一种基于VR环境的情感训练系统和情感素材生成方法与流程
未命名
09-08
阅读:95
评论:0

一种基于vr环境的情感训练系统和情感素材生成方法
技术领域
1.本技术涉及医疗器械领域,特别是涉及一种基于vr环境的情感训练系统和情感素材生成方法。
背景技术:
2.情绪(emotion)和情感(feeling)可统称为感情(affection),是个体对客观事物是否符合自己需要的态度体验。情绪和情感有联系也有区别,情绪具有情境性和短暂性,往往随着情境的改变和需要的满足而消失或减弱,情感具有稳定性、深刻性和持久性。换言之,情绪与自然需要是否得到满足相联系、涉及到本能层面;而情感则与社会需要相联系、涉及到道德层面,情感在情绪的基础上形成,又通过情绪来表达。
3.情感为人类等高级动物所特有的一种高级心理感受,需要有基本的认知、逻辑推理能力,一般随着人生理发育的成熟、社会经验的丰富而逐渐产生。但也存在例外——情感障碍,情感障碍是目前全球发病率最高的精神障碍之一,据世卫组织和柳叶刀等医疗权威曾得出的结论,在儿童阶段培养、增强对情感的认知、处理和疏解等能力,可以有效降低后续生命过程中情感障碍的发病率,但对于情感迟钝的正常儿童及具有情感障碍的儿童,目前缺乏相应的情感训练方法。
4.目前针对相关技术中如何对情感障碍用户进行训练治疗的问题,尚未提出有效的解决方案。
技术实现要素:
5.本技术实施例提供了一种基于vr环境的情感训练系统和情感素材生成方法,以至少解决相关技术中如何对情感障碍用户进行训练治疗的问题。
6.第一方面,本技术实施例提供了一种基于vr环境的情感训练系统,所述系统包括数据处理模块和vr环境反馈模块;
7.所述数据处理模块,用于接收和处理所述vr环境反馈模块传输的数据,得出用户的情感理解分数;
8.所述vr环境反馈模块,用于呈现虚拟现实环境对用户进行情感训练和测试,并获取所述用户在所述训练和测试中所产生的数据;
9.其中,所述vr环境反馈模块包括vr投影子模块、激光雷达扫描子模块和摄像子模块;
10.所述vr投影子模块,用于输出虚拟现实画面对用户进行情感训练和测试;
11.所述激光雷达扫描子模块,用于获取所述用户与所述虚拟现实画面进行交互的交互数据;
12.所述摄像子模块,用于获取所述用户在所述虚拟现实画面的环境中所产生的影音数据。
13.在其中一些实施例中,所述系统包括:
14.所述vr投影子模块输出第一虚拟现实画面,其中,所述第一虚拟现实画面中展示的是预设时长的情感训练素材,所述情感训练素材具有预设情感的特征信息;
15.通过所述情感训练素材中的情感铺垫部分,对所述用户进行产生所述预设情感的背景理解训练;
16.通过所述情感训练素材中的情感诱因部分,对所述用户进行产生所述预设情感的逻辑理解训练;
17.通过所述情感训练素材中的情感表现部分,对所述用户进行所述预设情感导致的客观表现的理解训练。
18.在其中一些实施例中,所述系统包括:
19.所述激光雷达扫描子模块获取所述用户与第一虚拟现实画面进行交互的第一交互数据;
20.所述摄像子模块获取所述用户在所述第一虚拟现实画面的环境中所产生的第一影音数据;
21.所述数据处理模块接收并处理所述第一交互数据和所述第一影音数据,得出所述用户的第一情感理解分数,所述第一情感理解分数用于评价所述用户的情感训练效果。
22.在其中一些实施例中,所述系统包括:
23.所述vr投影子模块输出第二虚拟现实画面对用户进行情感测试,其中,所述第二虚拟现实画面中展示的是预设数量的情感测试素材,所述情感测试素材具有预设情感的特征信息。
24.在其中一些实施例中,所述系统包括:
25.所述激光雷达扫描子模块获取所述用户与第二虚拟现实画面进行交互的第二交互数据;
26.所述摄像子模块获取所述用户在所述第二虚拟现实画面的环境中所产生的第二影音数据;
27.所述数据处理模块接收并处理所述第二交互数据和所述第二影音数据,得出所述用户的第二情感理解分数,所述第二情感理解分数反映用户对各个情感测试素材中预设情感的感受强烈程度。
28.在其中一些实施例中,所述系统包括:
29.所述数据处理模块根据所述第二情感理解分数,通过最小二乘法得出所述用户的情感测试曲线;
30.对所述情感测试曲线与所述预设情感的标准曲线进行f检验,若所述f检验的结果无显著性,则所述用户的情感认知能力符合预设要求。
31.在其中一些实施例中,所述系统包括:
32.所述数据处理模块对所述第二情感理解分数进行预处理,得到分数总体正负3个标准差内的预处理情感理解分数;
33.基于所述预处理情感理解分数,通过最小二乘法得出所述用户的情感测试曲线。
34.第二方面,本技术实施例提供了一种情感素材的生成方法,所述生成方法生成的情感素材用于所述第一方面的情感训练系统,所述生成方法包括:
35.通过人工智能模型自动生成情感素材。
36.在其中一些实施例中,通过人工智能模型自动生成情感素材包括:
37.通过关键词提取模型从具有情感特征的原始素材中提取文本关键词,其中,所述关键词提取模型为基于palm路径语言模型架构的rlhf人类反馈语言模型;
38.通过ldms潜在扩散模型,生成基于所述文本关键词的情感图像;
39.基于github copilot技术对所述情感图像进行自动排版,得到情感素材。
40.在其中一些实施例中,所述生成方法生成的情感素材包括情感训练素材和情感测试素材。
41.相比于相关技术,本技术实施例提供的一种基于vr环境的情感训练系统和情感素材生成方法,其中,该系统包括数据处理模块和vr环境反馈模块,vr环境反馈模块进一步包括vr投影子模块、激光雷达扫描子模块和摄像子模块;数据处理模块,用于接收和处理vr环境反馈模块传输的数据,得出用户的情感理解分数;vr投影子模块,用于输出虚拟现实画面对用户进行情感训练和测试;激光雷达扫描子模块,用于获取用户与虚拟现实画面进行交互的交互数据;摄像子模块,用于获取用户在虚拟现实画面的环境中所产生的影音数据,通过该系统,解决了如何对情感障碍用户进行训练治疗的问题,实现了基于vr技术对情感障碍用户的自动训练治疗,并在训练治疗过程中对用户的发声表现、肢体动作等信息进行全自动追踪和评估,输出简洁明了的量化报告。
附图说明
42.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
43.图1是根据本技术实施例的基于vr环境的情感训练系统的结构框图;
44.图2是根据本技术实施例的基于vr环境的情感训练系统的具体结构示意图;
45.图3是根据本技术实施例的基于第二情感理解分数得到情感测试曲线的示意图;
46.图4是根据本技术实施例的情感素材生成方法步骤流程图;
47.图5是根据本技术实施例的电子设备的内部结构示意图。
48.附图标识:11、数据处理模块;12、vr环境反馈模块;13、vr投影子模块;14、激光雷达扫描子模块;15、摄像子模块。
具体实施方式
49.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。基于本技术提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
50.显而易见地,下面描述中的附图仅仅是本技术的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本技术应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本技术公开的内容相关的本领域的普通技术人员而言,在本技术揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本技术公开的内容不充分。
51.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本技术所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
52.除非另作定义,本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
53.本技术实施例提供了一种基于vr环境的情感训练系统,图1是根据本技术实施例的基于vr环境的情感训练系统的结构框图,如图1所示,该系统包括数据处理模块11和vr环境反馈模块12,其中,vr环境反馈模块12包括vr投影子模块13、激光雷达扫描子模块14和摄像子模块15;
54.数据处理模块11,用于接收和处理vr环境反馈模块12传输的数据,得出用户的情感理解分数;
55.具体地,图2是根据本技术实施例的基于vr环境的情感训练系统的具体结构示意图,如图2所示,101为数据处理中心(如高性能电脑),内置人工智能算法、数据处理程序,最终输出的报告可同步至用户的手机、平板,也可以导出pdf、word等常见格式,方便用户查阅。此外,101也是vr环境、激光雷达、投影仪等组件的总控制中心。201至204为四个vr环境反馈模块,每一个模块都由三大部分组成:投影机(投影模块)、激光雷达和摄像机;投影机负责输出vr画面,当用户与vr画面产生肢体接触(例如,用户用手触碰正在呈现vr画面的墙壁)时,激光雷达负责捕捉接触点激光扫描阵列的变化,然后将变化反馈给101进行处理,继而实现vr画面的改变,最终完成用户与vr环境的交互。201-204中均包含摄像机,负责拍摄用户康复训练时的画面、动作,同时记录声音,然后将这些数据发送给101进行处理。
56.vr环境反馈模块12,用于呈现虚拟现实环境对用户进行情感训练和测试,并获取用户在训练和测试中所产生的数据;
57.需要说明的是,vr(virtual reality,虚拟现实)是目前被广泛关注的新兴技术之一,经过精心设计的vr辅助疗法可以取得优于单一传统疗法的康复效果。利用vr技术创造了一个虚拟世界,身处虚拟世界内的用户(如儿童)身临其境的感觉很强烈,即高度沉浸感,儿童可以与虚拟环境内的虚拟人物进行交互,从而发挥主观能动性,在交互的过程中完成情感训练。此外,vr虚拟环境中展示的信息元素都是人为可控的,从而避免用户产生社交压
力、信息过载等问题。vr技术方案目前主要有两种,头戴式和洞穴式(或称“开放式”),前者是通过佩戴头戴式设备构建虚拟环境,后者是在一个特定空间内(如一个空房间),通过三维投影构建虚拟环境,四方的墙壁就是屏幕。洞穴式相对于头戴式产生的眩晕感显著更弱,用户在洞穴式vr环境中无需佩戴任何设备,并且洞穴式vr在视觉、听觉之外,还可以通过丰富多样的肢体动作实现交互,即交互过程中能触发出更多体现用户情绪的数据,基于这些数据再借助激光雷达扫描、计算机视觉等相关技术,对用户的训练结果或测试结果进行更准确、合理的评估。本实施例中vr环境反馈模块12呈现的虚拟现实环境正是洞穴式vr。
58.vr投影子模块13,用于输出虚拟现实画面对用户进行情感训练和测试;
59.具体地,vr投影子模块13输出第一虚拟现实画面,其中,第一虚拟现实画面中展示的是预设时长的情感训练素材,情感训练素材具有预设情感的特征信息;
60.通过上述情感训练素材中的情感铺垫部分,对用户进行产生预设情感的背景理解训练;通过情感训练素材中的情感诱因部分,对用户进行产生预设情感的逻辑理解训练;通过情感训练素材中的情感表现部分,对用户进行预设情感导致的客观表现的理解训练。
61.优选地,上述情感训练过程优选包括:
62.vr投影子模块13先输出第一虚拟现实画面,通过第一虚拟现实画面将情感训练素材进行沉浸式呈现,使用户熟悉该素材情境所蕴含的预设情感(如尴尬)
63.vr投影子模块13再输出第一虚拟现实画面,通过第一虚拟现实画面将情感训练素材拆解成情感铺垫部分、情感诱因部分和情感表现部分进行依次呈现,依次对用户进行预设情感(如尴尬)的背景理解训练、产生预设情感的逻辑理解训练,以及预设情感导致的客观表现的理解训练。
64.激光雷达扫描子模块14获取用户与第一虚拟现实画面进行交互的第一交互数据;摄像子模块获取15用户在第一虚拟现实画面的环境中所产生的第一影音数据;
65.数据处理模块11接收并处理该第一交互数据和该第一影音数据,得出用户的第一情感理解分数,第一情感理解分数用于评价用户的情感训练效果。
66.需要说明的是,上述情感训练的顺序和方式遵循着语言类艺术传统曲艺中的“铺平垫稳”和“三翻四抖”。其中,“铺平垫稳”简称“铺垫”,是相声、山东快书等曲种组织包袱的过程和技巧,基本原理是先安排伏笔,为笑料的迸发打下基础,为抖响包袱创造条件,以“尴尬”的情感训练素材为例:
67.首先要把铺垫的部分片段(即情感铺垫部分)截取出来,通过vr投影子模块13对用户集中展示该部分片段,确保用户明白铺垫的作用。可选地,通过激光雷达扫描子模块14和摄像子模块15获取该过程中用户产生的数据,数据处理模块11基于该数据判断用户是否明白铺垫的作用。
68.其次,把“尴尬”原因的部分片段(即情感诱因部分)截取出来,通过vr投影子模块13对用户集中展示该部分片段,使用户明白“尴尬”产生的内涵逻辑关系。可选地,通过激光雷达扫描子模块14和摄像子模块15获取该过程中用户产生的数据,数据处理模块11基于该数据判断用户是否明白情感产生的逻辑关系。
69.最后,把“尴尬”的结果片段(即情感表现部分)截取出来,通过vr投影子模块13对用户集中展示该结果片段,使用户明白到尴尬所导致的客观事实结果、他人的感受以及因尴尬导致的他人情绪变化。可选地,通过激光雷达扫描子模块14和摄像子模块15获取该过
程中用户产生的数据,数据处理模块11基于该数据判断用户是否明白尴尬所导致的客观事实结果。
70.通过将传统曲艺技巧与自动化情感训练结合起来,对情感训练素材进行拆解展示,使得用户能够较容易地理解特定情感,提升用户对情感的认知、处理能力。
71.具体地,vr投影子模块13还输出第二虚拟现实画面对用户进行情感测试,其中,第二虚拟现实画面中展示的是预设数量的情感测试素材,情感测试素材具有预设情感的特征信息。
72.激光雷达扫描子模块14获取用户与第二虚拟现实画面进行交互的第二交互数据;摄像子模块15获取用户在第二虚拟现实画面的环境中所产生的第二影音数据;
73.数据处理模块11接收并处理第二交互数据和第二影音数据,得出用户的第二情感理解分数,第二情感理解分数反映用户对各个情感测试素材中预设情感的感受强烈程度。
74.优选地,vr投影子模块13输出第二虚拟现实画面对用户进行情感测试,第二虚拟现实画面中展示了30个的情感测试素材,而是这30个的情感测试素材是具有情感强烈梯度的一组素材;
75.激光雷达扫描子模块14分别获取用户与第二虚拟现实画面(30个的情感测试素材)进行交互的第二交互数据;摄像子模块15分别获取用户在第二虚拟现实画面(30个的情感测试素材)的环境中所产生的第二影音数据;
76.数据处理模块11接收并处理第二交互数据和第二影音数据,得出30个用户的第二情感理解分数;
77.数据处理模块11根据30个第二情感理解分数,通过最小二乘法得出用户的情感测试曲线。图3是根据本技术实施例的基于第二情感理解分数得到情感测试曲线的示意图,如图3所示,假设30个的情感测试素材包含的预设情感为“尴尬”,得出到的用户的第二情感理解分数如表1所示,基于表1中的分数,采用最小二乘法,可得到该用户的一元线性回归方程及唯一斜率的曲线,斜率为1.2839;
78.对情感测试曲线与预设情感的标准曲线进行f检验,若f检验结果无显著性,则用户的情感认知能力符合预设要求。其中,预设情感的标准曲线可经由30位以上的资深心理治疗师和/或音乐治疗师打分,打分分数通过拟合处理后形成(也称常模拟合曲线)。
79.表1
80.[0081][0082]
此外,在得出情感测试曲线之前,数据处理模块11优选对第二情感理解分数进行预处理,得到分数总体正负3个标准差内的第二情感理解分数;即第二情感理解分数中纳入曲线生成的数据必须符合样本总体正负3个标准差以内,超出的数据不被纳入。通过预处理能够提高曲线生成的合理性,进而提高测试结果的准确性。
[0083]
可选地,第二情感理解分数也可由用户基于情感测试素材中情感的强烈程度来主动打分得出。
[0084]
需要说明的是,vr投影子模块13输出第二虚拟现实画面对用户进行情感测试,若该用户是上述“情感训练”中的用户,则此处情感测试的作用是检验用户的情感训练是否达标;若该用户是没有经过上述“情感训练”的用户,则此处情感测试的作用是检验用户是否具有情感认知障碍。
[0085]
通过本技术实施例中的数据处理模块11、vr环境反馈模块12、vr投影子模块13、激光雷达扫描子模块14和摄像子模块15,解决了如何对情感障碍用户进行训练治疗的问题,实现了基于vr技术对情感障碍用户的自动训练治疗,并在训练治疗过程中对用户的发声表现、肢体动作等信息进行全自动追踪和评估,输出简洁明了的量化报告。
[0086]
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0087]
本技术实施例提供了一种情感素材的生成方法,图4是根据本技术实施例的情感素材生成方法步骤流程图,如图4所示,通过人工智能模型自动生成情感素材,其中,该情感素材包括情感训练素材和情感测试素材,生成的情感素材用于上述实施例中的情感训练系统,具体生成方法的步骤如下:
[0088]
步骤s402,通过关键词提取模型从具有情感特征的原始素材中提取文本关键词,其中,关键词提取模型为基于palm路径语言模型架构的rlhf人类反馈语言模型;进一步地,该rlhf人类反馈语言模型优选为轻量级lora语言模型。
[0089]
步骤s402优选地,基于人工智能模型palm+rlhf(lora),计算机会自动从具有情感特征(如尴尬)的原始素材中提取文本关键词,其中,该原始素材包括影视作品、文学作品、曲艺作品等等。
[0090]
需要说明的是,palm(pathways language model,路径语言模型)为谷歌在2009年推出的模型架构,其开发的初衷是为了改善软件的可扩展性和可维护性,允许开发者以分
层的方式将业务逻辑分成多个可复用的组件。自发布至今,palm模型已经成为一种普遍的技术架构,可用于开发web和本地应用。2022年4月,谷歌发布包含5400亿参数的新一代palm模型,可以完成写代码、聊天、语言理解等任务。上述rlhf人类反馈语言模型(reinforcement learning from human feedback,以强化学习方式依据人类反馈优化语言模型)为基于palm模型架构的语言模型。构建了一个面向自然语言处理的人工智能模型。进一步地,本实施例中的rlhf语言模型优选为lora轻量级语言模型(low-rank adaptation of large language models)。
[0091]
因此,通过基于“palm+rlhf(lora)”的关键词提取模型能够提高关键词提取的准确性,提高后续情感素材生成的合理性。
[0092]
步骤s404,通过ldms潜在扩散模型,生成基于文本关键词的情感图像;
[0093]
步骤s404优选地,基于上述生成的文本关键词,或者儿童及其家庭、治疗师自主设置的一些文本关键词,例如,“尴尬,明亮的天空,绿色墙壁,卡通风格”,本发明借助潜在扩散模型(latent diffusion models,ldms)可自动生成“尴尬”主题的图片,用于呈现洞穴式vr环境。ldms通过在一个潜在表示空间中迭代“去噪”数据来生成图像,然后将表示结果解码为完整的图像。
[0094]
步骤s406,基于github copilot技术对情感图像进行自动排版,得到情感素材。
[0095]
步骤s406优选地,图像生成之后,借助github copilot技术,可以对所有图像自动排版、设计以及具体的呈现方式。github copilot是github去年6月推出的人工智能模型,这是一个利用机器学习技术为开发者提供代码建议和代码补全的工具,能够帮助开发者更快完成编程任务。
[0096]
步骤s402至步骤s406可选地,可以通过人工筛选得出情感素材。由资深心理咨询师、音乐治疗师筛选出具有明显情感特征的影视作品、文学作品、曲艺片段等,筛选出的素材时长在5-30分钟之间,剧情展开以中文为主(可存在其它语言,但不懂该语言不影响剧情展开)。
[0097]
通过本技术实施例中的步骤s402至步骤s406,自动生成情感训练和测试所需vr环境的情感素材,能够节省情感素材人工筛选所耗费的人力物力,且通过先提取关键词,再生成基于关键词的图像,最后对图像排版得到情感素材,也提高了情感素材生成的合理性,提高后续情感训练或测试的效果。
[0098]
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0099]
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0100]
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
[0101]
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
[0102]
另外,结合上述实施例中的基于vr环境的情感素材生成方法,本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时
实现上述实施例中的任意一种基于vr环境的情感素材生成方法。
[0103]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于vr环境的情感素材生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0104]
在一个实施例中,图5是根据本技术实施例的电子设备的内部结构示意图,如图5所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图5所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种基于vr环境的情感素材生成方法,数据库用于存储数据。
[0105]
本领域技术人员可以理解,图5中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0106]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0107]
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0108]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
技术特征:
1.一种基于vr环境的情感训练系统,其特征在于,所述系统包括数据处理模块和vr环境反馈模块;所述数据处理模块,用于接收和处理所述vr环境反馈模块传输的数据,得出用户的情感理解分数;所述vr环境反馈模块,用于呈现虚拟现实环境对用户进行情感训练和测试,并获取所述用户在所述训练和测试中所产生的数据;其中,所述vr环境反馈模块包括vr投影子模块、激光雷达扫描子模块和摄像子模块;所述vr投影子模块,用于输出虚拟现实画面对用户进行情感训练和测试;所述激光雷达扫描子模块,用于获取所述用户与所述虚拟现实画面进行交互的交互数据;所述摄像子模块,用于获取所述用户在所述虚拟现实画面的环境中所产生的影音数据。2.根据权利要求1所述的系统,其特征在于,所述系统包括:所述vr投影子模块输出第一虚拟现实画面,其中,所述第一虚拟现实画面中展示的是预设时长的情感训练素材,所述情感训练素材具有预设情感的特征信息;通过所述情感训练素材中的情感铺垫部分,对所述用户进行产生所述预设情感的背景理解训练,使所述用户理解产生所述预设情感的背景;通过所述情感训练素材中的情感诱因部分,对所述用户进行产生所述预设情感的逻辑理解训练,使所述用户理解产生所述预设情感的逻辑;通过所述情感训练素材中的情感表现部分,对所述用户进行所述预设情感导致的客观表现的理解训练,使所述用户理解所述预设情感导致的客观表现。3.根据权利要求2所述的系统,其特征在于,所述系统包括:所述激光雷达扫描子模块获取所述用户与第一虚拟现实画面进行交互的第一交互数据;所述摄像子模块获取所述用户在所述第一虚拟现实画面的环境中所产生的第一影音数据;所述数据处理模块接收并处理所述第一交互数据和所述第一影音数据,得出所述用户的第一情感理解分数,所述第一情感理解分数用于评价所述用户的情感训练效果。4.根据权利要求1所述的系统,其特征在于,所述系统包括:所述vr投影子模块输出第二虚拟现实画面对用户进行情感测试,其中,所述第二虚拟现实画面中展示的是预设数量的情感测试素材,所述情感测试素材具有预设情感的特征信息。5.根据权利要求4所述的系统,其特征在于,所述系统包括:所述激光雷达扫描子模块获取所述用户与第二虚拟现实画面进行交互的第二交互数据;所述摄像子模块获取所述用户在所述第二虚拟现实画面的环境中所产生的第二影音数据;所述数据处理模块接收并处理所述第二交互数据和所述第二影音数据,得出所述用户的第二情感理解分数,所述第二情感理解分数反映用户对各个情感测试素材中预设情感的
感受强烈程度。6.根据权利要求5所述的系统,其特征在于,所述系统包括:所述数据处理模块根据所述第二情感理解分数,通过最小二乘法得出所述用户的情感测试曲线;对所述情感测试曲线与所述预设情感的标准曲线进行f检验,若所述f检验的结果无显著性,则所述用户的情感认知能力符合预设要求。7.根据权利要求6所述的系统,其特征在于,所述系统包括:所述数据处理模块对所述第二情感理解分数进行预处理,得到分数总体正负3个标准差内的预处理情感理解分数;基于所述预处理情感理解分数,通过最小二乘法得出所述用户的情感测试曲线。8.一种情感素材的生成方法,其特征在于,所述生成方法生成的情感素材用于权利要求1-7任一项所述的情感训练系统,所述生成方法包括:通过人工智能模型自动生成情感素材。9.根据权利要求8所述的方法,其特征在于,通过人工智能模型自动生成情感素材包括:通过关键词提取模型从具有情感特征的原始素材中提取文本关键词,其中,所述关键词提取模型为基于palm路径语言模型架构的rlhf人类反馈语言模型;通过ldms潜在扩散模型,生成基于所述文本关键词的情感图像;基于github copilot技术对所述情感图像进行自动排版,得到情感素材。10.根据权利要求8所述的方法,其特征在于,所述生成方法生成的情感素材包括情感训练素材和情感测试素材。
技术总结
本申请涉及一种基于VR环境的情感训练系统和情感素材生成方法,其中,该系统包括数据处理模块和VR环境反馈模块,VR环境反馈模块进一步包括VR投影子模块、激光雷达扫描子模块和摄像子模块;数据处理模块,用于接收和处理VR环境反馈模块传输的数据,得出用户的情感理解分数;VR投影子模块,用于输出虚拟现实画面对用户进行情感训练和测试;激光雷达扫描子模块,用于获取用户与虚拟现实画面进行交互的交互数据;摄像子模块,用于获取用户在虚拟现实画面的环境中所产生的影音数据。通过本申请,解决了如何对情感障碍用户进行训练治疗的问题,实现了基于VR技术对情感障碍用户的自动训练治疗,全自动追踪评估,输出简洁明了的量化报告。报告。报告。
技术研发人员:刘浩然 张晓薇 唐倩兰 宋昕妍 王宁远
受保护的技术使用者:杭州南粟科技有限公司
技术研发日:2023.05.10
技术公布日:2023/9/5
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/