一种基于使用场景驱动VR数字人的方法与流程

一种基于使用场景驱动vr数字人的方法
技术领域
1.本发明涉及虚拟现实技术领域，具体是一种基于使用场景驱动vr数字人的方法。


背景技术：

2.虚拟现实技术是一种可以创建和体验虚拟现实世界的计算机仿真技术。随着虚拟现实技术的发展，用户通过虚拟现实系统可以在视觉、听觉、触觉以及与虚拟对象交互等方面得到和现实场景越来越相似的体验。提升用户的沉浸感是虚拟现实技术发展的一个重要方向。为了使用户拥有更真实的虚拟现实体验，在使用过程中，虚拟现实系统通常会使用户视觉以及听觉都沉浸在虚拟现实世界中，将用户在虚拟现实世界中的体验与现实场景中的体验相分离。
3.现有的虚拟现实技术虽然已经可以实现比较真实的场景和角色，但是在使用过程中，用户的体验还不够好。
4.以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

5.本公开的目的之一是提供一种能够克服现有技术中至少一个缺陷的基于使用场景驱动vr数字人的方法。
6.为解决上述技术问题，本技术实施例公开了如下技术方案：
7.一种基于使用场景驱动vr数字人的方法，包括以下步骤：
8.a.获取场景信息：通过摄像头捕捉场景信息，使用ai工具分析场景图片关联的元素获取图片的主题，具体步骤如下：
9.a1)图片预处理：
10.将图片转换为ai工具所需的格式；
11.a2)物体检测：
12.使用ai工具对图片进行物体检测，识别图片中的各种物体，并根据识别结果赋予各种物体对应的文字标签；
13.a3)文字识别：
14.使用ai工具对文字标签进行识别，把图片中各种物体对应的文字标签中的文字提取出来；
15.a4)物体和文字关联：
16.使用ai工具将物体和文字进行关联，找出它们之间的关系；
17.a5)主题获取：
18.使用ai工具分析物体和文字之间的关系，获取图片的主题；
19.b.生成数字人:根据场景信息，生成与场景相匹配的数字人；
20.c.场景交互：用户进入场景后，根据用户所处场景，将数字人切换对应的角色，数字人会根据用户的动作和语音指令进行交互。
21.优选地，本技术实施例还公开了：步骤b.生产数字人：根据场景信息，生成与场景相匹配的数字人的具体步骤如下：
22.b1)通过提供的人体照片，生成与使用者面貌相似的数字人；
23.b2)为提前准备好的素材打上标签，结合第一步主题获取中产生的主题，为数字人更换服饰；
24.b3)根据场景的不同，为数字人设定不同的角色。
25.优选地，本技术实施例还公开了：步骤c.场景交互中数字人会根据用户的动作和语音指令进行交互的具体步骤如下：c1)获取用户的语音或文字输入；
26.c2)为当前场景设置交谈背景；
27.c3)结合交谈背景与用户输入，使用大语言模型向用户通过语音或文字输出内容。
28.优选地，本技术实施例还公开了：所述基于使用场景驱动vr数字人的方法还包括：步骤d.用户体验优化：根据用户的反馈和行为数据，对数字人的行为和场景进行优化。
29.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
30.本技术实施例中，通过ai工具使得数字人与用户使用场景进行结合，使得数字人参与到用户实际场景中，打通了虚拟与现实之间的连接。通过使用场景驱动vr数字人的方法，可以提高用户的体验。vr数字人的行为与场景相匹配，增强了用户的沉浸感和代入感。同时，使得数字人能更好的参与到现实中。
附图说明
31.图1为本发明实施例的一种基于使用场景驱动vr数字人的方法的流程示意图。
具体实施方式
32.现在将详细提及本发明的具体实施方案。尽管结合这些具体的实施方案描述本发明，但应认识到不打算限制本发明到这些具体实施方案。相反，这些实施方案意欲覆盖可包括在由权利要求限定的发明精神和范围内的替代、改变或等价实施方案。在下面的描述中，阐述了大量具体细节以便提供对本发明的全面理解。本发明可在没有部分或全部这些具体细节的情况下被实施。在其它情况下，为了不使本发明不必要地模糊，没有详细描述熟知的工艺操作。
33.当与本说明书和附加权利要求中的“包括”、“方法包括”、或类似语言联合使用时，单数形式“某”、“某个”、“该”包括复数引用，除非上下文另外清楚指明。除非另外定义，本文中使用的所有技术和科学术语具有本发明所属技术领域的普通技术人员通常理解的相同含义。
34.参照图1，本实施例公开了一种基于使用场景驱动vr数字人的方法，包括以下步骤：
35.a.获取场景信息：通过摄像头捕捉场景信息，使用ai工具分析场景图片关联的元素；具体步骤如下：
36.a1)图片预处理：
37.将图片转换为ai工具所需的格式，如jpeg或png等；
38.a2)物体检测：
39.使用ai工具对图片进行物体检测，识别图片中的各种物体，并根据识别结果赋予各种物体对应的文字标签；
40.a3)文字识别：
41.使用ai工具对文字标签进行识别，把图片中各种物体对应的文字标签中的文字提取出来；
42.a4)物体和文字关联：
43.使用ai工具将物体和文字进行关联，找出它们之间的关系；
44.a5)主题获取：
45.使用ai工具分析物体和文字之间的关系，获取图片的主题；
46.例如，对于一张包含沙滩、海浪、太阳伞和海鸥的图片，通过ai工具检测出沙滩、海浪、太阳伞和海鸥这些物体，并在图片上赋予对应的文字标签。然后，利用ai工具可以识别出图片中文字标签的文字，如“海滩”、“度假”、“旅游”等。接着，ai工具可以将这些物体和文字进行关联，找出它们之间的关系。最后，通过分析物体和文字之间的关系，ai工具可以获取图片的主题，如“海滩度假”或“旅游胜地”。
47.b.生成数字人:根据场景信息，生成与场景相匹配的数字人，具体步骤如下：
48.b1)通过提供的人体照片，生成与使用者面貌相似的数字人；
49.b2)为提前准备好的素材打上标签，例如休闲，度假，会议，洽谈等。结合第一步主题获取中产生的主题，为数字人更换服饰；
50.b3)根据场景的不同，为数字人设定不同的角色；
51.数字人的生成可以基于人体建模技术，包括骨骼、肌肉、皮肤等。数字人的动作可以基于运动捕捉技术实现，数字人的生成可以基于人体建模技术实现，数字人的动作可以基于运动捕捉技术实现。
52.c.场景交互：用户进入场景后，根据用户所处场景，将数字人切换对应的角色，数字人会根据用户的动作和语音指令进行交互，具体步骤如下：
53.c1)获取用户的语音或文字输入；
54.c2)为当前场景设置交谈背景；
55.c3)结合交谈背景与用户输入，使用大语言模型向用户通过语音或文字输出内容。其中，场景变化可以基于用户的交互实现。
56.d.用户体验优化：根据用户的反馈和行为数据，对数字人的行为和场景进行优化，以提高用户的体验。例如：1.在数字人进行问答时，配套相应的口型，动作和表情。2.为数字人增加更多的表现内容，例如唱歌，跳舞等。3.进行多轮次的互动。
57.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换。而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

技术特征：
1.一种基于使用场景驱动vr数字人的方法，其特征在于：包括以下步骤：a.获取场景信息：通过摄像头捕捉场景信息，使用ai工具分析场景图片关联的元素获取图片的主题，具体步骤如下：a1)图片预处理：将图片转换为ai工具所需的格式；a2)物体检测：使用ai工具对图片进行物体检测，识别图片中的各种物体，并根据识别结果赋予各种物体对应的文字标签；a3)文字识别：使用ai工具对文字标签进行识别，把图片中各种物体对应的文字标签中的文字提取出来；a4)物体和文字关联：使用ai工具将物体和文字进行关联，找出它们之间的关系；a5)主题获取：使用ai工具分析物体和文字之间的关系，获取图片的主题；b.生成数字人:根据场景信息，生成与场景相匹配的数字人；c.场景交互：用户进入场景后，根据用户所处场景，将数字人切换对应的角色，数字人会根据用户的动作和语音指令进行交互。2.根据权利要求1所述的基于使用场景驱动vr数字人的方法，其特征在于：步骤b.生产数字人：根据场景信息，生成与场景相匹配的数字人的具体步骤如下：b1)通过提供的人体照片，生成与使用者面貌相似的数字人；b2)为提前准备好的素材打上标签，结合第一步主题获取中产生的主题，为数字人更换服饰；b3)根据场景的不同，为数字人设定不同的角色。3.根据权利要求1所述的基于使用场景驱动vr数字人的方法，其特征在于：步骤c.场景交互中数字人会根据用户的动作和语音指令进行交互的具体步骤如下：c1)获取用户的语音或文字输入；c2)为当前场景设置交谈背景；c3)结合交谈背景与用户输入，使用大语言模型向用户通过语音或文字输出内容。4.根据权利要求1或3所述的基于使用场景驱动vr数字人的方法，其特征在于：所述基于使用场景驱动vr数字人的方法还包括：步骤d.用户体验优化：根据用户的反馈和行为数据，对数字人的行为和场景进行优化。

技术总结
本发明公开了一种基于使用场景驱动VR数字人的方法，属于虚拟现实技术领域；包括以下步骤：a.获取场景信息：通过摄像头捕捉场景信息，使用AI工具分析场景图片关联的元素获取图片的主题，具体步骤如下：a1)图片预处理：将图片转换为AI工具所需的格式；a2)物体检测：使用AI工具对图片进行物体检测，识别图片中的各种物体，并根据识别结果赋予各种物体对应的文字标签；a3)文字识别；a4)物体和文字关联；a5)主题获取；b.生成数字人:根据场景信息，生成与场景相匹配的数字人；c.场景交互：用户进入场景后，根据用户所处场景，将数字人切换对应的角色，数字人会根据用户的动作和语音指令进行交互；本发明能够提高用户的体验感。本发明能够提高用户的体验感。本发明能够提高用户的体验感。


技术研发人员：李美玲 潘胜怀 栗世伟 马博译 田勇 武海洋
受保护的技术使用者：广西互真科技有限公司
技术研发日：2023.05.06
技术公布日：2023/8/16