一种基于AI算法的数字人交互控制方法与流程

一种基于ai算法的数字人交互控制方法
技术领域
1.本发明涉及ai数字人交互技术领域，具体为一种基于ai算法的数字人交互控制方法，能够进行用户虚拟形象的建立，有效的提高了交互体验感。


背景技术：

2.数字人是利用人工智能信息科学方法相融合形成的数字模型，通过视频采集、数据处理等，然后根据输入的文稿、语音，加上可选的情绪，背景图片、视频、站姿、坐姿等进行视频生成输出，以此可实现数字人的建立，可与使用者进行语音互动，主要用于商场咨询和接待使用，大多数是通过文字、图片和预制的视频建立的由于建立的，由于数字人是通过视频或照片等形式进行人物采集制成的，不能很好的根据用户的意图进行交互，从而使得数字人物只具有声音和表情，缺少肢体动作，进而降低了使用者的交互体验感。
3.为此提供一种基于ai算法的数字人交互控制方法。


技术实现要素：

4.本发明的目的在于提供一种基于ai算法的数字人交互控制方法，具备建立虚拟形象的优点，解决了由于建立的数字人通过视频或照片等形式进行的人物采集，不能很好的根据用户的意图进行交互，从而使得数字人物只具有声音和表情，缺少肢体动作，进而降低了使用者交互体验感的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于ai算法的数字人交互控制方法，其控制方法包括：
6.a、首先获取用户基本信息；
7.a1、通过语音和文本的形式进行用户信息的输入；
8.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
9.b、根据用户信息构建用户模型；
10.b1、对用户图像进行采集；
11.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
12.b3、通过3d图像绘制引擎构建用户模型；
13.b4、通过液晶显示进行用户模型显示；
14.c、然后通过对话引擎能够进行语音交互；
15.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
16.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
17.d、ai数字人学习；
18.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，
将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
19.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
20.优选的，所述步骤a1中语音输入通过语音识别进行输入，所述语音输入为tts语音引擎。
21.优选的，所述步骤b1图像采集由红外摄像头和图像处理器组成，所述步骤b2中人脸面部识别为人脸识别终端。
22.优选的，所述人脸识别终端由人脸图像采集装置、数据传输、ocr识别、组成，所述人脸图像采集装置为高清摄像头。
23.优选的，所述数据传输由rj45网口、otg接口组成，可将人员照片身份信息及比对结果日志等数据发送至后台管理系统，并可由管理系统对终端进行配置管理。
24.优选的，所述步骤c语音交互由asr、语音部分、tts和adr组成，所述语音部分由nlp和slp组成。
25.优选的，所述红外摄像头和高清摄像头对用户唇形和动作变化进行实时监测，实现语音唇形同步，驱动ai数字人动作自如，充分满足在不同网络环境下的交互场景，轻松提升交互体验。
26.与现有技术相比，本发明的有益效果如下：
27.本发明通过该方法，语音交互、3d建模，创造仿真人形象和声音的虚拟人物，丰富生动的展现形式，充分满足在不同网络环境下的交互场景，有效的提升了交互体验，有效的解决了由于建立的数字人通过视频或照片等形式进行的人物采集，不能很好的根据用户的意图进行交互，从而使得数字人物只具有声音和表情，缺少肢体动作，进而降低了使用者交互体验感的问题。
具体实施方式
28.下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.本发明提供一种技术方案，一种基于ai算法的数字人交互控制方法，其控制方法包括：
30.a、首先获取用户基本信息；
31.a1、通过语音和文本的形式进行用户信息的输入；
32.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
33.b、根据用户信息构建用户模型；
34.b1、对用户图像进行采集；
35.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
36.b3、通过3d图像绘制引擎构建用户模型；
37.b4、通过液晶显示进行用户模型显示；
38.c、然后通过对话引擎能够进行语音交互；
39.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
40.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
41.d、ai数字人学习；
42.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
43.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
44.实施例二：
45.在实施例一中，再加上下述流程：
46.所述步骤a1中语音输入通过语音识别进行输入，所述语音输入为tts语音引擎。
47.其控制方法包括以下步骤：
48.a、首先获取用户基本信息；
49.a1、通过语音和文本的形式进行用户信息的输入；
50.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
51.b、根据用户信息构建用户模型；
52.b1、对用户图像进行采集；
53.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
54.b3、通过3d图像绘制引擎构建用户模型；
55.b4、通过液晶显示进行用户模型显示；
56.c、然后通过对话引擎能够进行语音交互；
57.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
58.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
59.d、ai数字人学习；
60.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
61.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
62.实施例三：
63.在实施例二中，再加上下述流程：
64.所述步骤b1图像采集由红外摄像头和图像处理器组成，所述步骤b2中人脸面部识
别为人脸识别终端。
65.其控制方法包括以下步骤：
66.a、首先获取用户基本信息；
67.a1、通过语音和文本的形式进行用户信息的输入；
68.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
69.b、根据用户信息构建用户模型；
70.b1、对用户图像进行采集；
71.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
72.b3、通过3d图像绘制引擎构建用户模型；
73.b4、通过液晶显示进行用户模型显示；
74.c、然后通过对话引擎能够进行语音交互；
75.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
76.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
77.d、ai数字人学习；
78.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
79.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
80.实施例四：
81.在实施例三中，再加上下述流程：
82.所述人脸识别终端由人脸图像采集装置、数据传输、ocr识别、组成，所述人脸图像采集装置为高清摄像头。
83.其控制方法包括以下步骤：
84.a、首先获取用户基本信息；
85.a1、通过语音和文本的形式进行用户信息的输入；
86.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
87.b、根据用户信息构建用户模型；
88.b1、对用户图像进行采集；
89.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
90.b3、通过3d图像绘制引擎构建用户模型；
91.b4、通过液晶显示进行用户模型显示；
92.c、然后通过对话引擎能够进行语音交互；
93.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
94.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
95.d、ai数字人学习；
96.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
97.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
98.实施例五：
99.在实施例四中，再加上下述流程：
100.所述数据传输由rj45网口、otg接口组成，可将人员照片身份信息及比对结果日志等数据发送至后台管理系统，并可由管理系统对终端进行配置管理。
101.其控制方法包括以下步骤：
102.a、首先获取用户基本信息；
103.a1、通过语音和文本的形式进行用户信息的输入；
104.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
105.b、根据用户信息构建用户模型；
106.b1、对用户图像进行采集；
107.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
108.b3、通过3d图像绘制引擎构建用户模型；
109.b4、通过液晶显示进行用户模型显示；
110.c、然后通过对话引擎能够进行语音交互；
111.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
112.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
113.d、ai数字人学习；
114.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
115.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
116.实施例六：
117.在实施例五中，再加上下述流程：
118.所述步骤c语音交互由asr、语音部分、tts和adr组成，所述语音部分由nlp和slp组成。
119.其控制方法包括以下步骤：
120.a、首先获取用户基本信息；
121.a1、通过语音和文本的形式进行用户信息的输入；
122.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
123.b、根据用户信息构建用户模型；
124.b1、对用户图像进行采集；
125.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
126.b3、通过3d图像绘制引擎构建用户模型；
127.b4、通过液晶显示进行用户模型显示；
128.c、然后通过对话引擎能够进行语音交互；
129.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
130.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
131.d、ai数字人学习；
132.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
133.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
134.实施例七：
135.在实施例六中，再加上下述流程：
136.所述红外摄像头和高清摄像头对用户唇形和动作变化进行实时监测，实现语音唇形同步，驱动ai数字人动作自如，充分满足在不同网络环境下的交互场景，轻松提升交互体验。
137.其控制方法包括以下步骤：
138.a、首先获取用户基本信息；
139.a1、通过语音和文本的形式进行用户信息的输入；
140.a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；
141.b、根据用户信息构建用户模型；
142.b1、对用户图像进行采集；
143.b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；
144.b3、通过3d图像绘制引擎构建用户模型；
145.b4、通过液晶显示进行用户模型显示；
146.c、然后通过对话引擎能够进行语音交互；
147.c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；
148.c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；
149.d、ai数字人学习；
150.d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；
151.d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。
152.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
153.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于ai算法的数字人交互控制方法，其特征在于：其控制方法包括如下步骤：a、首先获取用户基本信息；a1、通过语音和文本的形式进行用户信息的输入；a2、将获取的用户信息通过saa平台经过ai算法获取用户的使用意图；b、根据用户信息构建用户模型；b1、对用户图像进行采集；b2、通过人脸面部识别进行用户人脸建模，通过机械骨骼绑定获取用户动作；b3、通过3d图像绘制引擎构建用户模型；b4、通过液晶显示进行用户模型显示；c、然后通过对话引擎能够进行语音交互；c1、在特定业务场景下，ai数字人在理解用户的需求意图之后，结合云平台库存的信息材料，得出最优解，并从用户的话术、情绪、喜好等方面综合出发，能够给出最合理的应答或推荐；c2、通过用户模型、面部识别，确认当前用户信息后，通过云储存获取历史交互数据，并在用户画像的标签或属性下，向其推荐感兴趣的话题，或展示他们最喜欢的状态；d、ai数字人学习；d1、ai数字人的语言理解，利用中文分词算法、词泛化、句向量、拼音标注等技术，将用户反馈的话术拆分为机器或软件能转化的结构化数据、可操作的对象，实现抽象概念的理解；d2、ai数字人的语言处理，通过理解用户的需求意图之后，结合现有知识库的信息材料，给出最合理的应答。2.根据权利要求1所述的一种基于ai算法的数字人交互控制方法，其特征在于：所述步骤a1中语音输入通过语音识别进行输入，所述语音输入为tts语音引擎。3.根据权利要求1所述的一种基于ai算法的数字人交互控制方法，其特征在于：所述步骤b1图像采集由红外摄像头和图像处理器组成，所述步骤b2中人脸面部识别为人脸识别终端。4.根据权利要求3所述的一种基于ai算法的数字人交互控制方法，其特征在于：所述人脸识别终端由人脸图像采集装置、数据传输、ocr识别、组成，所述人脸图像采集装置为高清摄像头。5.根据权利要求4所述的一种基于ai算法的数字人交互控制方法，其特征在于：所述数据传输由rj45网口、otg接口组成，可将人员照片身份信息及比对结果日志等数据发送至后台管理系统，并可由管理系统对终端进行配置管理。6.根据权利要求1所述的一种基于ai算法的数字人交互控制方法，其特征在于：所述步骤c语音交互由asr、语音部分、tts和adr组成，所述语音部分由nlp和slp组成。7.根据权利要求4所述的一种基于ai算法的数字人交互控制方法，其特征在于：所述高清摄像头对用户唇形和动作变化进行实时监测，实现语音唇形同步，驱动ai数字人动作自如，充分满足在不同网络环境下的交互场景，轻松提升交互体验。

技术总结
本发明公开了一种基于AI算法的数字人交互控制方法，其控制方法包括：A、首先获取用户基本信息；A1、通过语音和文本的形式进行用户信息的输入；A2、将获取的用户信息通过SAA平台经过AI算法获取用户的使用意图；B、根据用户信息构建用户模型；B1、对用户图像进行采集。本发明通过该方法，语音交互、3D建模，创造仿真人形象和声音的虚拟人物，丰富生动的展现形式，充分满足在不同网络环境下的交互场景，有效的提升了交互体验，有效的解决了由于建立的数字人通过视频或照片等形式进行的人物采集，不能很好的根据用户的意图进行交互，从而使得数字人物只具有声音和表情，缺少肢体动作，进而降低了使用者交互体验感的问题。了使用者交互体验感的问题。


技术研发人员：王哲 王洪彬
受保护的技术使用者：猎居人工智能科技（江苏）有限公司
技术研发日：2023.03.22
技术公布日：2023/9/20