一种抑郁状态评估装置、方法、设备及存储介质

1.本发明涉及数据分析技术领域，尤其涉及一种抑郁状态评估装置、方法、设备及存储介质。


背景技术：

2.当今，大学生心理状态已经成为大学关注的焦点。通过评估大学生的抑郁状态来及时掌握大学生的心理状态，以为开展心理状态教育活动和进行心理咨询提供有效帮助，以及为有针对性地采取干预措施提高大学生心理状态水平提供参考。其中，如何快速准确地进行抑郁状态评估给大学生心理状态教育带来了巨大挑战，现阶段抑郁状态的评估方法主要依靠心理测评量表或咨询心理医生，咨询心理医生这一方式无法针对大量学生进行快速测评，心理测评量表评估主要依靠被测评人的自我陈述，比如调查问卷，然后根据评估规则对照被测评人回答的结果进行抑郁状态评估，这种抑郁状态评估方式只通过单一的角度进行测查，被测评人易隐瞒自身的抑郁状况，从而造成较大的偏差，难以全面客观地反映被测评人的真实抑郁状态。


技术实现要素：

3.本发明实施例的目的是提供一种抑郁状态评估装置、方法、设备及存储介质，通过结合被测人员的多种特征信息以及个人的社交关系，对被测人员进行较为全面有效且快速的抑郁状态测评，实现了快速且准确的抑郁状态评估。
4.为实现上述目的，本发明实施例提供了一种抑郁状态评估装置，包括：
5.数据获取模块，用于获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
6.特征提取模块，用于对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
7.图构建模块，用于根据所述社交网络数据和所述多模态融合特征构建图；
8.状态评估模块，用于将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
9.作为上述方案的改进，所述特征提取模块，具体用于：
10.基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；
11.基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；
12.将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。
13.作为上述方案的改进，所述图构建模块，具体用于：
14.将所述社交网络数据转换为关系矩阵；
15.根据所述多模态融合特征和所述关系矩阵构建图；其中，所述多模态融合特征作为顶点特征、所述关系矩阵作为边。
16.作为上述方案的改进，所述状态评估模块，具体用于：
17.将构建的图输入预先训练好的图注意力网络，更新所述顶点特征；
18.将更新后的顶点特征输入全连接层，输出所述被测人员的抑郁状态评估结果。
19.作为上述方案的改进，所述装置还包括参数训练模块，所述多模态图注意力模型的参数包括所述文本特征提取器的参数、所述语音特征提取器的参数、所述图像特征提取器的参数、所述特征融合器的参数以及所述图注意力网络的参数，所述参数训练模块用于：
20.获取已知人员的文本数据、语音数据、图像数据和社交网络数据，作为训练样本，并为每一训练样本赋予对应的真实标签；
21.对所述文本特征提取器进行参数训练，并根据预测的为文本序列特征和对应的真实标签计算第一损失函数；
22.对所述语音特征提取器、所述图像特征提取器以及所述特征融合器进行参数训练，并根据预测的情绪序列特征和对应的真实标签计算第二损失函数；
23.对所述图注意力网络进行参数训练，并根据预测的抑郁状态评估结果和对应的真实标签计算第三损失函数；
24.调用adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数。
25.作为上述方案的改进，所述调用adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数，具体包括：
26.根据所述第一损失函数、所述第二损失函数和所述第三损失函数得到总损失函数l
all
：
27.l
all
＝l
transformer
+λ1l
fusion
+λ2l
graph
；
28.其中，l
transformer
表示所述第一损失函数，l
fusion
表示所述第二损失函数，l
graph
表示所述第三损失函数，λ1和λ2为可调节的平衡系数；
29.调用adam优化器优化所述总损失函数。
30.为实现上述目的，本发明实施例提供了一种抑郁状态评估方法，包括：
31.获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
32.对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
33.根据所述社交网络数据和所述多模态融合特征构建图；
34.将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
35.作为上述方案的改进，所述对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征，具体包括：
36.基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；
37.基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的
语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；
38.将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。
39.为实现上述目的，本发明实施例提供了一种抑郁状态评估设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的抑郁状态评估方法。
40.为实现上述目的，本发明实施例提供了一种计算机可读存储介质，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的抑郁状态评估方法。
41.与现有技术相比，本发明实施例公开的抑郁状态评估装置、方法、设备及计算机可读存储介质，通过获取被测人员的文本数据、语音数据、图像数据和社交网络数据，来用于提取并融合与抑郁状态相关的特征，以得到多模态融合特征；通过根据社交网络数据和多模态融合特征来构建与抑郁状态相关的图，用于输入预先训练好的多模态图注意力模型，输出被测人员的抑郁状态评估结果。本发明实施例通过从文本、图像、语音三种角度进行特征提取融合以得到多模态融合特征，并结合被测人员的社交关系评估得到被测人员的抑郁状态，实现了快速且准确的抑郁状态评估。
附图说明
42.图1是本发明一实施例提供的一种抑郁状态评估的流程图；
43.图2是本发明一实施例提供的又一种抑郁状态评估的流程图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.本发明实施例提供的一种抑郁状态评估装置，参见图1，是本发明实施例提供的一种抑郁状态评估的流程图，所述装置包括：
46.数据获取模块，用于执行步骤s1：获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
47.特征提取模块，用于执行步骤s2：对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
48.图构建模块，用于执行步骤s3：根据所述社交网络数据和所述多模态融合特征构建图；
49.状态评估模块，用于执行步骤s4：将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
50.参见图2，图2是本发明实施例提供的一种抑郁状态评估的流程图，1、通过评测数据采集模块采集得到一批被测人员的文本数据、语音数据和图像数据，并预定义一批被测
人员的社交关系(社交网络数据)；2、分别利用文本特征提取器、语音特征提取器和图像特征提取器对文本数据、语音数据和图像数据进行特征提取；3、将各个特征进行融合得到多模态融合特征；4、利用多模态融合特征和社交网络数据构建图，利用预先训练好的多模态图注意力模型对构建的图进行数据处理，输出被测人员的抑郁状态评估结果。
51.在本发明实施例中，依据用户进行心理测评时的多模态信息，包括测评量表的文本数据、语音数据和图像数据，通过提取多模态融合特征，并联合预定义的社交网络关系(朋友关系、舍友关系、同学关系等)对多模态融合特征进行更新，然后进行抑郁状态程度打分，提高了评估的效率，且提高了抑郁状态评估的准确性，为后续心理健康教育和干预治疗提供更加可靠的依据。
52.在一种优选的实施方式中，所述特征提取模块，具体用于执行步骤s21～s23：
53.s21、基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；
54.s22、基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；
55.s23、将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。
56.具体地，提取的文本特征作为抑郁状态状况直接相关的序列特征，语音特征和文本特征经过特征融合器得到描述被测人员评测时的情绪状态特征，作为辅助；将状态序列特征和情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。示例性的，对n个被测人员在摄像头下进行抑郁状态评测，得到测量表和视频数据，测量表经过词嵌入模型转换得到文本数据t∈rn×d，其中d代表数据维度；视频的音频信号经过快速傅里叶变换(fft)转换声谱图得到语音数据s∈rn×a×
l
，其中a代表频率强度，l代表时间长度；视频采样抽帧得到图像数据i∈rn×w×h×
l
，其中w,h分别代表图像宽和高。特征提取及融合过程包括：将上述数据输入多模态图注意力网络模型，包括：
57.文本数据经过文本特征提取器transformer得到序列特征z
t
，
58.z
t
＝trdnsformer(t)；
59.语音数据经过语音特征提取器2d-cnn得到语音特征zs，
60.zs＝f1(s)；
61.图像数据经过图像特征提取器3d-cnn得到图像特征zi，
62.zi＝f2(i)；
63.将语音特征和图像特征输入注意力网络得到语音-图像融合特征zf，
64.zf＝attention(zs,zi)；
65.将序列特征级联合并语音-图像融合特征得到多模态融合特征z，
66.z＝concatenate(z
t
，zf)。
67.在一种优选的实施方式中，所述图构建模块，具体用于：
68.将所述社交网络数据转换为关系矩阵；
69.根据所述多模态融合特征和所述关系矩阵构建图；其中，所述多模态融合特征作为顶点特征、所述关系矩阵作为边。
70.具体地，定义n个被测人员的社交关系网络(社交网络数据)，得到关系矩阵m∈rn×n，其中，m
ij
∈{0,1}表示第i个人员与j个人员的社交关系，0表示无关联，1表示有关联。将预定义的社交关系转换为描述一批被测人员的关系矩阵数据(关系矩阵)，利用多模态融合特征和关系矩阵数据构建图。示例性的，一般而言，构建图g＝(v,e)需要顶点v和边e，这里将多模态融合特征作为图的顶点特征，关系矩阵m∈rn×n作为边的关系。可以理解的是，通过将预定义的社交关系作为先验知识加入图模型中，以修正多模态融合特征，增强特征间的对比性，从而引入个体置于群体中的心理相对状态，来提高抑郁评估结果的准确性。
71.在一种优选的实施方式中，所述状态评估模块，具体用于：
72.将构建的图输入预先训练好的图注意力网络，更新所述顶点特征；
73.将更新后的顶点特征输入全连接层，输出所述被测人员的抑郁状态评估结果。
74.具体地，将构建的图数据输入图注意力网络，更新图的特征，将更新后的图回归，得到抑郁状态程度分数。示例性的，将构建好的图输入图注意力网络(graph attention network，gan)，更新顶点特征z
new
，
75.(z
new
,m)＝gan(z,m)；
76.最后将顶点特征输入全连接层得到抑郁状态评估分数f，
77.f＝fcn(z
new
)。
78.在一种优选的实施方式中，所述装置还包括参数训练模块，所述多模态图注意力模型的参数包括所述文本特征提取器的参数、所述语音特征提取器的参数、所述图像特征提取器的参数、所述特征融合器的参数以及所述图注意力网络的参数，所述参数训练模块用于：
79.获取已知人员的文本数据、语音数据、图像数据和社交网络数据，作为训练样本，并为每一训练样本赋予对应的真实标签；
80.对所述文本特征提取器进行参数训练，并根据预测的为文本序列特征和对应的真实标签计算第一损失函数；
81.对所述语音特征提取器、所述图像特征提取器以及所述特征融合器进行参数训练，并根据预测的情绪序列特征和对应的真实标签计算第二损失函数；
82.对所述图注意力网络进行参数训练，并根据预测的抑郁状态评估结果和对应的真实标签计算第三损失函数；
83.调用adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数。
84.示例性的，选取部分视频和测量表进行标注，作为训练集训练多模态图注意力网络参数，具体地，对视频数据标注愤怒、悲伤、愁闷、正常和高兴5类情绪，记为e
label
。对测量表标注是否抑郁状态2类，否为0，是为1,记为t
label
。根据被测人员测评时情绪细化心理状态程度，愤怒、悲伤、愁闷、正常和高兴对应权重为[0.2,0.4,0.6,0.8,1.0],乘以t
label
得到分数f
label
＝{0,0.2,0.4,0.6,0.8,1.0}。
[0085]
训练文本特征提取器transformer的参数，将提取得到文本序列特征z
t
后，输入sigmoid二分类器，将预测的结果与真实标签计算二元交叉熵损失(第一损失函数)：
[0086]
l
transformer
＝bce(sigmoid(z
t
),
label
′
)；
[0087]
训练语音特征提取器2d-cnn、图像特征提取器3d-cnn和注意力网络的参数，将提取到的语音-图像融合特征输入softmax分类器中，将预测的结果与真实标签计算交叉熵损失(第二损失函数)：
[0088]
l
fusion
＝ce(softmax(zf),e
label
)；
[0089]
训练图注意力网络的参数，将预测的抑郁状态程度分数与真实标签计算均方误差损失(第三损失函数)：
[0090]
l
graph
＝mse(f,f
label
)；
[0091]
最后，通过adam优化器联合优化三个损失函数。
[0092]
在一种优选的实施方式中，所述调用adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数，具体包括：
[0093]
根据所述第一损失函数、所述第二损失函数和所述第三损失函数得到总损失函数l
all
：
[0094]
l
all
＝l
transformer
+λ1l
fusion
+λ2l
graph
；
[0095]
其中，l
transformer
表示所述第一损失函数，l
fusion
表示所述第二损失函数，l
graph
表示所述第三损失函数，λ1和λ2为可调节的平衡系数；
[0096]
调用adam优化器优化所述总损失函数。
[0097]
与现有技术相比，本发明实施例公开的一种抑郁状态评估装置通过采集被测人员心理测量表和测评视频，定义被测人员的社交网络，输入多模态图注意力模型提取多模态图嵌入特征为抑郁状态程度打分，该模型结合被测人员测评时的情绪和文字自述以及所处的社交网络关系进行抑郁状态评估，融合了更加全面有效的信息，实现了更准确的抑郁状态快速评估，为后续心理状态教育和干预治疗提供更加可靠的依据。
[0098]
本发明实施例还提供一种抑郁状态评估方法，包括：
[0099]
获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
[0100]
对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
[0101]
根据所述社交网络数据和所述多模态融合特征构建图；
[0102]
将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
[0103]
在一种实施方式中，所述对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征，具体包括：
[0104]
基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；
[0105]
基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；
[0106]
将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。
[0107]
值得说明的是，具体的所述抑郁状态评估方法的工作过程可参考上述实施例中所述抑郁状态评估装置的工作过程，在此不再赘述。
[0108]
本发明实施例提供的抑郁状态评估方法通过采集被测人员心理测量表和测评视频，定义被测人员的社交网络，输入多模态图注意力模型提取多模态图嵌入特征为抑郁状态程度打分，该模型结合被测人员测评时的情绪和文字自述以及所处的社交网络关系进行抑郁状态评估，融合了更加全面有效的信息，实现了更准确的抑郁状态评估，为后续心理状态教育和干预治疗提供更加可靠的依据。
[0109]
本发明实施例还提供一种抑郁状态评估设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述抑郁状态评估方法实施例中的步骤，例如图1中所述的步骤s1～s4；或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如数据获取模块。
[0110]
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述抑郁状态评估设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：
[0111]
数据获取模块，用于获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
[0112]
特征提取模块，用于对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
[0113]
图构建模块，用于根据所述社交网络数据和所述多模态融合特征构建图；状态评估模块，用于将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
[0114]
各个模块具体的工作过程可参考上述实施例所述的抑郁状态评估装置的工作过程，在此不再赘述。
[0115]
所述抑郁状态评估设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述抑郁状态评估设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是抑郁状态评估设备的示例，并不构成对抑郁状态评估设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述抑郁状态评估设备还可以包括输入输出设备、网络接入设备、总线等。
[0116]
所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述抑郁状态评估设备的控制中心，利用各种接口和线路连接整个抑郁状态评估设备的各个部分。
[0117]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述抑郁状态评估设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存
储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0118]
其中，所述抑郁状态评估设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
[0119]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种抑郁状态评估装置，其特征在于，包括：数据获取模块，用于获取被测人员的文本数据、语音数据、图像数据和社交网络数据；特征提取模块，用于对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；图构建模块，用于根据所述社交网络数据和所述多模态融合特征构建图；状态评估模块，用于将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。2.如权利要求1所述的抑郁状态评估装置，其特征在于，所述特征提取模块，具体用于：基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。3.如权利要求1所述的抑郁状态评估装置，其特征在于，所述图构建模块，具体用于：将所述社交网络数据转换为关系矩阵；根据所述多模态融合特征和所述关系矩阵构建图；其中，所述多模态融合特征作为顶点特征、所述关系矩阵作为边。4.如权利要求3所述的抑郁状态评估装置，其特征在于，所述状态评估模块，具体用于：将构建的图输入预先训练好的图注意力网络，更新所述顶点特征；将更新后的顶点特征输入全连接层，输出所述被测人员的抑郁状态评估结果。5.如权利要求4所述抑郁状态评估装置，其特征在于，所述装置还包括参数训练模块，所述多模态图注意力模型的参数包括所述文本特征提取器的参数、所述语音特征提取器的参数、所述图像特征提取器的参数、所述特征融合器的参数以及所述图注意力网络的参数，所述参数训练模块用于：获取已知人员的文本数据、语音数据、图像数据和社交网络数据，作为训练样本，并为每一训练样本赋予对应的真实标签；对所述文本特征提取器进行参数训练，并根据预测的为文本序列特征和对应的真实标签计算第一损失函数；对所述语音特征提取器、所述图像特征提取器以及所述特征融合器进行参数训练，并根据预测的情绪序列特征和对应的真实标签计算第二损失函数；对所述图注意力网络进行参数训练，并根据预测的抑郁状态评估结果和对应的真实标签计算第三损失函数；调用adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数。6.如权利要求4所述抑郁状态评估装置，其特征在于，所述调用adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数，具体包括：根据所述第一损失函数、所述第二损失函数和所述第三损失函数得到总损失函数l
all
：
l
all
＝l
transformer
+λ1l
fusion
+λ2l
graph
；其中，l
transformer
表示所述第一损失函数，l
fusion
表示所述第二损失函数，l
graph
表示所述第三损失函数，λ1和λ2为可调节的平衡系数；调用adam优化器优化所述总损失函数。7.一种抑郁状态评估方法，其特征在于，包括：获取被测人员的文本数据、语音数据、图像数据和社交网络数据；对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；根据所述社交网络数据和所述多模态融合特征构建图；将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。8.如权利要求7所述的抑郁状态评估方法，其特征在于，所述对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征，具体包括：基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。9.一种抑郁状态评估设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求7至8中任意一项所述的抑郁状态评估方法。10.一种计算机可读存储介质，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求7至8中任意一项所述的抑郁状态评估方法。

技术总结
本发明公开一种抑郁状态评估装置、方法、设备及存储介质，通过获取被测人员的文本数据、语音数据、图像数据和社交网络数据，来对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；根据所述社交网络数据和所述多模态融合特征构建图；将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。本发明实施例通过结合被测人员的多种特征信息以及个人的社交关系，对被测人员进行较为全面有效且快速的抑郁状态测评，实现了快速且准确的抑郁状态评估。的抑郁状态评估。的抑郁状态评估。


技术研发人员：李亚桃
受保护的技术使用者：云南师范大学
技术研发日：2023.01.13
技术公布日：2023/7/11