基于非静止状态下多通道视频的工作记忆负荷评估方法

1.本发明涉及信息处理技术领域，具体涉及一种基于非静止状态下多通道视频的工作记忆负荷评估方法。


背景技术：

2.常用的工作记忆负荷评估方法是通过间接测量来评估，如行为、心理和生理观测等。间接测量评估的主要方式可以分为两大类：主观方法和客观方法。主观评估法使用过程繁琐，耗时大，而且在存在很大的主观性，时间滞后性等缺点。客观评估法可以分为接触式参数测量评估和非接触式生理参数测量评估。接触式参数测量评估主要包括心电图、脑电波、光电容积描记等。通过穿戴对应医疗检测设备测量可以获得准确的生理参数，但是价格设备昂贵、体积较大、维护成本高且需要专业人士进行操作检测等，会给受测者带来体验舒适度差和很强的不适应感，难以满足人们日常所需的工作记忆负荷评估检测和预防。传统的非接触式参数测量评估方法通常在测试过程过需要保持相对静止状态，会使得受测者的舒适性下降。


技术实现要素：

3.本发明的目的是为了改善传统非接触设备测量生理参数方法以及工作记忆负荷识别方法的主观性和接触式设备测量的不便性等问题，提供一种基于非静止状态下多通道面部视频的工作记忆负荷评估方法，使用多通道网络摄像头录制面部视频，提取生理参数，进而评估工作记忆负荷的方法，使用非接触式设备测量生理参数并且不需要受测者保持静止，具有无损无创、舒适高效、经济客观等优点，为工作记忆负荷评估提供客观的辅助分析，具有重要的现实意义。
4.本发明的目的可以通过采取如下技术方案达到：
5.一种基于非静止状态下多通道面部视频的工作记忆负荷评估方法，旨在改善传统非接触设备测量生理参数方法以及工作记忆负荷水平识别方法的主观性和接触式设备的不便性等问题，所述识别方法包括以下步骤：
6.s1、构建测试场景，采集不同工作记忆负荷下的多通道面部视频并计算测试正确率；其中，不同工作记忆负荷等级设定为3个不同水平，分别为：高负荷、中负荷和低负荷水平；测试正确率是指记忆c≤3轮之后，复现前c轮的内容正确率；测试场景中通过放置在测试者圆形半径周围的n个摄像头采集面部视频，每个摄像头采集的面部视频称为1个通道视频；
7.s2、对每个通道的视频分帧，定位多个感兴趣区域并提取每个感兴趣区域的原始脉搏波信号，然后去噪；对不同工作记忆负荷下的每个通道面部视频，分帧得到面部视频图像序列，进而进行人脸识别和人脸特征点检测，定位多个感兴趣区域；将每个感兴趣区域进行颜色通道分离提取出绿色通道的灰度均值作为该感兴趣区域的原始脉搏波信号；然后对原始脉搏波信号进行预处理、变分模态分解、小波阈值和巴特沃斯带通滤波处理去噪；
8.s3、重复步骤s2，得到每个感兴趣区域去噪后的脉搏波信号，并分别计算多谐波信噪比和权重，然后根据权重加权融合多个感兴趣区域的脉搏波信号，最后得到每个通道的脉搏波信号；
9.s4、重复步骤s2～s3，得到n个通道的脉搏波信号，分别计算每个通道脉搏波信号的多谐波信噪比和权重；然后将n通道的脉搏波信号进行互相关平移对齐后，最后根据权重将多通道的脉搏波信号加权融合得到n通道融合的脉搏波信号；
10.s5、对n通道融合的脉搏波信号进行时域和频域分析，计算得出心率、心率变异性指标；
11.s6、对若干个被测者进行不同工作记忆负荷等级题目的测试，重复步骤s1～s5，得到被测者的测试正确率、心率和心率变异性特征指标，形成模型构建所需的数据集，然后进行消除特征的个体性差异、特征选取和负荷水平分类，构建工作记忆负荷生理模型；
12.s7、在被测者工作记忆负荷实测中，将测试正确率以及通过多通道面部视频提取出来的经过消除个体性差异的心率和心率变异性指标，输入到工作记忆负荷生理模型中，评估受测者当前的工作记忆负荷水平。
13.进一步地，所述步骤s1过程如下：
14.s101、在光照充足的外部条件下，通过放置在测试者圆形半径周围的n个摄像头通道采集不同工作记忆负荷下的多通道面部视频，拍摄距离为50厘米，低负荷、中负荷和高负荷水平的拍摄时长分别为10秒、15秒和20秒。此步骤基于工作记忆负荷的连续变化，采集的多通道面部视频分别对应了低负荷、中负荷和高负荷的工作记忆场景；
15.s102、在屏幕上展示记忆内容，不断增加受测者回忆前面轮次的内容增加工作记忆负荷水平；从第四轮开始，记忆当前轮和写出前面3轮的内容。此步骤为了保证工作记忆负荷的连续可变，通过在工作记忆上施加连续且参数可变的负荷，能够不断刺激大脑，从而保证测试的科学性；
16.s103、对于低负荷，回忆当前轮的前一轮的内容；对于中负荷，回忆当前轮的前2轮的内容；对于高负荷，回忆当前轮的前3轮的内容。此步骤为了诱发不同等级的工作记忆负荷，通过增加回忆前面轮次提升记忆的难度，难度越高，脑部神经越紧张，从而诱发不同等级的工作记忆负荷；
17.s104、从第4轮开始，记录受测者按下的前面3轮内容，对照题目计算测试正确率。此步骤考虑到工作记忆容量有限，通常情况下一件事的记忆会覆盖另一件事情，容易出现记忆丢失的状况，因此将测试正确率看作识别工作记忆负荷水平的一个重要指标。
18.进一步地，所述步骤s2过程如下：
19.s201、先对采集到的n通道面部视频进行分帧，得到面部视频图像序列。此步骤目的是将视频分帧得到面部视频图像序列，便于后续的人脸识别和人脸特征点检测；
20.s202、对面部视频图像序列进行人脸识别和人脸特征点检测，根据人脸特征点，并以此定位多个感兴趣区域。此步骤考虑到人脸不同区域的脉搏波的信噪比是不同的，根据人脸识别和人脸特征点检测，选择信噪比和质量高的区域作为感兴趣区域，减少计算心率和心率变异性指标时候的误差；
21.s203、将每个感兴趣区域进行颜色通道分离提取出绿色通道的灰度均值作为该感兴趣区域的原始脉搏波信号。此步骤为了提取原始的脉搏波信号，并且考虑到绿色通道的
信号包含的心率信号最多，对心率变化的敏感程度最高，最能体现心脏搏动的信息；
22.s204、对提取到的原始脉搏波，进行包括去趋势化和z-score归一化在内的预处理。此步骤为了消除光线会随着时间的变化从而对绿色通道的原始脉搏波信号波形造成干扰和消除信号中的直流分量和尺度因子，同时保留信号的形态特征，使得信号在同一范围内进行比较或分析；
23.s205、对预处理后的脉搏波信号进行变分模态分解得到多个本征模态函数分量，本征模态函数简称imf，对每个imf分量进行快速傅里叶变换计算频谱图中最大峰值对应的频率，选取频率较高前λ个高频imf分量，方便后续进行去噪；
24.s206、对选取的λ个高频imf分量进行小波去噪处理。此步骤考虑到经过变分模态分解分解得到的高频分量信号含有诸如运动伪影等高频噪声，而小波去噪对于环境、工频等其他噪声都具有很好的去除效果；
25.s207、将经过小波去噪处理的高频imf分量与剩余的imf分量进行叠加，重构脉搏波信号；
26.s208、对重构的脉搏波信号进行巴特沃斯带通滤波处理。此步骤目的是为了去除人体的心率范围以外的信号，正常情况下人心率范围是每分钟42-180次，对应的频率为0.7-3hz，因此将带通频段设置为0.7-3hz，进行滤波处理，得到某个感兴趣区域最终的脉搏波信号，称为感兴趣区域脉搏波信号。假设步骤s202得到的感兴趣区域的个数为m，则对每个感兴趣区域进行步骤s202～s208的处理，得到m个感兴趣区域脉搏波信号ym，m＝1，2，3，...，m。
27.进一步地，所述步骤s3过程如下：
28.s301、通过快速傅里叶变换计算第m个感兴趣区域脉搏波信号ym的多谐波信噪比snr
roj
(m)，计算公式如下：
[0029][0030]
其中，f
(m)
(.)表示该脉搏波信号ym的频谱图，i表示该频谱图频率序号，fs表示脉搏波信号的采样率，a
max
表示频谱图峰值所对应的频率即基频，a[k]＝[a
max
，2a
max
，3a
max
，..ka
max
]表示小于的多谐波频率数组，b表示相邻基频或者相邻谐波的一点所对应的频率。
[0031]
对m个感兴趣区域计算多谐波信噪比，得到m个感兴趣区脉搏波信号的多谐波信噪比snr
roj
(m)；
[0032]
s302、根据m个感兴趣区域的信噪比，然后计算m个感兴趣区域脉搏波信号的权重，计算公式如下：
[0033][0034]
其中，snr
roi
(m)表示第m个感兴趣区域脉搏波信号的信噪比，m表示感兴趣区域的个数，表示m个感兴趣区域的信噪比之和，r为经验常数，表示拉伸参数
用于权重的非线性拉伸；
[0035]
s303、将m个感兴趣区域的脉搏波信号根据上述权重进行加权融合得到单个通道融合的脉搏波信号，计算公式如下：
[0036][0037]
其中，ippg
cam
表示单个通道融合后的脉搏波信号。
[0038]
进一步地，所述步骤s4过程如下：
[0039]
s401、对n个通道的面部视频进行步骤s2～s3的处理，得到n个通道的脉搏波信号ippg
cam
(n)，n＝1，2，3，...，n；
[0040]
s402、通过快速傅里叶变换计算第n个通道脉搏波信号的多谐波信噪比snr
cam
(n)；
[0041]
该通道脉搏波信号的多谐波信噪比的计算公式如下：
[0042][0043]
对n个通道计算多谐波信噪比，得到n个通道脉搏波信号的多谐波信噪比snr
cam
(n)；
[0044]
s403、根据步骤s402得到n个通道的信噪比，然后计算n个通道脉搏波信号的权重，计算公式如下：
[0045][0046]
其中，snr
cam
(n)表示第n个通道脉搏波信号的信噪比，n表示通道的个数，表示n个通道的信噪比之和；
[0047]
s404、将每个通道的脉搏波信号进行互相关对齐；
[0048]
s405、将对齐后的脉搏波信号根据步骤s403计算得到的权重进行加权融合得到n通道融合的脉搏波信号，融合计算公式如下：
[0049][0050]
其中，ippg
cam
(n)表示第n个通道的脉搏波信号，signal表示n个通道融合后的脉搏波信号。
[0051]
进一步地，所述步骤s5过程如下：
[0052]
s501、将脉搏波信号signal转换到频域，将频谱图的最大峰值所对应频率看作是心脏搏动的频率；将得到的频率乘以60，即为心率；
[0053]
s502、对脉搏波信号signal进行窄带通滤波。此步骤目的是为了进一步提高融合后的脉搏波信号的质量，减少心率变异性特征提取干扰。
[0054]
s503、对窄带通滤波后的脉搏波信号进行三次样条插值。此步骤目的是为了增加采样点数，提高后续峰值检测的准确率。
[0055]
s504、对三次样条插值后的脉搏波信号进行峰值点检测。此步骤目的是为了提取
出所有相邻点的时间间隔，用于心率变异性的提取。
[0056]
s505、脉率变异信号和心率变异信号具有高度的一致性，因此可以通过脉搏波信号计算心率变异性指标。根据得到的相邻峰值点时间间隔，计算心率变异性指标，其中心率变异性指标，包括心跳间期标准差sdnn、相邻心跳间期差值标准差sdsd、相邻心跳间期差值均方根rmssd、心率均值mean_hr、最高心率max_hr、最低心率min_hr、心率标准差std_hr、信号总功率tp、低频段功率lf、高频段功率hf、低频段与高频段功率比lf/hf、甚低频段功率vlf。
[0057]
进一步地，所述步骤s6过程如下：
[0058]
s601、采集受测者在不同工作记忆负荷的多通道面部视频并计算测试正确率；
[0059]
s602、重复步骤s2～s5提取心率和心率变异性特征指标；
[0060]
s603、将心率和心率变异性特征指标进行消除个体性差异。此步骤的目的是消除受测者个体基础的生理参数对于所提取生理参数特征的影响，提高对工作记忆负荷水平的评估准确率；
[0061]
s604、将经过个体性差异消除的心率和心率变异性特征指标和测试正确率组合形成构建模型所需的特征数据集，并将特征数据集标签化，其中低负荷标签为0，中负荷标签为1，高负荷标签为2；
[0062]
s605、将每个指标看作一个特征，从特征数据集通过特征选择，消除无关的和冗余的特征，形成最优的特征数据子集。此步骤的目的是降低构建模型的时间和学习难度，提高模型的效率和分类准确率；
[0063]
s606、将步骤s605得到的特征数据子集分成训练集和测试集；其中，训练集用于训练随机森林模型，随机森林模型属于现有技术，出自“breiman l.random forests[j].machine learning,2001,45:5-32.”，输入训练集和标签通过训练得到工作记忆负荷生理分类模型，测试集用于验证模型的性能指标；
[0064]
s607、构建工作记忆负荷生理分类模型，首先基于训练集数据进行训练，接着利用分类器进行分类，并通过k折交叉验证得到分类器得超参数，最终得到工作记忆负荷生理分类模型。此步骤的目的是评估分类模型的性能，降低模型过拟合风险；
[0065]
s608、通过测试集验证工作记忆负荷生理分类模型的识别准确率。此步骤的目的是通过模型的准确分类，建立多种特征与不同工作记忆负荷水平之间的映射关系，实现工作记忆负荷水平的评估。
[0066]
进一步地，所述步骤s7过程如下：
[0067]
s701、采集受测者的多通道面部视频，计算测试正确率。；
[0068]
s702、经过步骤s2～s5得到心率和心率变异性特征指标；
[0069]
s703、将测试正确率、心率和心率变异性指标输入到工作记忆负荷生理分类模型中，评估受测者当前的工作记忆负荷水平。
[0070]
本发明相对于现有技术具有如下的优点及效果：
[0071]
(1)本发明基于多通道面部视频提取脉搏波信号中的生理参数，进行工作记忆负荷水平的评估，是一种客观的、非接触式的方法，并且改善了主观评估方法中存在的主观倾向性、时间滞后性等不足以及客观评价方法中接触式测量导致的不便性等问题；本发明基于多通道面部视频提取脉搏波中的生理参数的方法，改善了传统的非接触设备测量生理参
数方法通常是在受测者静止状态下测量或者受测者的运动范围受到很大的限制，测量结果容易受到运动干扰的影响，提高受测者的舒适性。
[0072]
(2)本发明选取了与脉搏波信号密切相关的多个面部感兴趣区区域，提高原始脉搏波信号的质量和信噪比，减少计算心率和心率变异性指标时候的误差；本发明结合信号预处理、信号分解和小波阈值的联合去噪算法对原始的脉搏波信号进行去噪处理，消除脉搏波信号的噪声，得到质量和信噪比都较高的脉搏波信号；本发明从能量的角度定义多谐波信噪比，把基频和各次谐波附近的能量作为脉搏波的能量，其他地方的能量作为噪声的信噪比计算公式，将多个感兴趣区域的脉搏波信号加权融合得到高质量的脉搏波信号。
[0073]
(3)本发明在多通道摄像头脉搏波信号上，提出了一种多通道信号互相关方法，减少由于摄像头设备硬件、软件驱动或电脑性能和复杂等多个原因导致了多个摄像头打开时间不一致，导致的数据不对齐使得后续心率和心率变异性计算出现误差；本发明在多通道摄像头脉搏波信号融合上，提出了一种基于多谐波信噪比的多通道信号融合方法，实现不同通道间的信号对齐后根据多谐波信噪比进行加权融合得到质量很好的脉搏波信号，提高提取心率和心率变异性的准确性。
[0074]
(4)本发明将提取到的生理参数作为特征，然后对特征进行递归特征消除算法选取特征，减少无关的和冗余的特征对分类模型的影响，提高模型的效率和准确率，构建工作记忆负荷生理分类模型，建立了不同工作记忆负荷水平与多个特征之间的对应关系，实现了基于多通道面部视频对不同水平的工作记忆负荷进行有效地分类。
附图说明
[0075]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0076]
图1是本发明中公开的一种基于非静止状态下多通道面部视频的工作记忆负荷评估方法的流程图；
[0077]
图2是本发明实施例1中原始脉搏波的去噪流程图；
[0078]
图3是本发明实施例1中对每个摄像头的脉搏波信号加权融合得到多通道融合后的脉搏波信号的流程图；
[0079]
图4是本发明实施例1中心率和脉搏变异性提取过程的流程图；
[0080]
图5是本发明实施例2中3个感兴趣区域的绿色通道信号示意图；
[0081]
图6是本发明实施例2中3个感兴趣区域去噪后的脉搏波信号示意图；
[0082]
图7是本发明实施例2中3个感兴趣区域融合得到的脉搏波信号示意图；
[0083]
图8是本发明实施例2中3个摄像头的脉搏波信号示意图；
[0084]
图9是本发明实施例2中3个摄像头融合得到的脉搏波信号示意图；
[0085]
图10是本发明实施例2中经过窄带通滤波器的脉搏波信号示意图。
具体实施方式
[0086]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0087]
实施例1
[0088]
图1是本发明实施例提供的一种基于非静止状态下多通道面部视频生理指标的工作记忆负荷评估方法的流程图，本实施例是在一种弹琴的场景下实现的，能够实现对于工作记忆负荷水平的非接触式评估，具体步骤如下：
[0089]
s1、构建测试场景，采集不同工作记忆负荷的3通道面部视频并计算测试正确率；测试场景中通过放置在测试者圆形半径周围的3个摄像头采集面部视频，每个摄像头采集的面部视频称为1个通道视频；
[0090]
s101、在光照充足的外部条件下，通过放置在测试者圆形半径周围的3个摄像头通道采集不同工作记忆负荷下的多通道面部视频，拍摄距离为50厘米，低负荷、中负荷和高负荷水平的拍摄时长分别为10秒、15秒和20秒；
[0091]
s102、在屏幕上展示随机生成的7个阿拉伯数字，记忆时间是15秒，15秒后换成另外7个不同的数字，共5轮；从第4轮开始，记忆当前轮和写出前面3轮的内容；
[0092]
s103、对于低负荷，回忆当前轮的前1轮的内容；对于中负荷，回忆当前轮的前2轮的内容；对于高负荷，回忆当前轮的前3轮的内容；
[0093]
s104、本实施例中的88键电子琴经过改造，琴键下安装了布有多个传感器的电路板，按下琴键的同时，传感器可通过串口来记录受测者所弹下的琴键。受测者在结束当前乐谱的弹奏后，按下电子琴尾部的88号键，以表示当前乐谱弹奏结束。在结束所有乐谱的弹奏后，将串口所记录的数据输出为txt文件；
[0094]
s105、从第4轮开始，记录受测者按下的前面3轮内容，对照题目计算受测者的弹奏记忆正确率。
[0095]
s2、视频分帧定位3个感兴趣区域、提取3个感兴趣区域的原始脉搏波信号，然后去噪，具体步骤如下：
[0096]
如图2为提取原始脉搏波和去噪的流程图。
[0097]
s201、先对3通道的面部视频进行分帧，得到面部视频图像序列；
[0098]
s202、对面部视频图像序列进行人脸识别和人脸特征点检测，根据人脸特征点，并以此定位到前额、左脸颊和右脸颊3个部位，以此作为感兴趣区域；
[0099]
s203、将每个感兴趣区域进行颜色通道分离提取出绿色通道的灰度均值作为该感兴趣区域的原始脉搏波信号；
[0100]
s204、对提取到的原始脉搏波，包括去趋势化和z-score归一化在内的预处理；其中，z-score归一化公式如下：
[0101][0102]
其中，x表示初始数据，μ表示均值，σ表示标准差，z表示归一化结果。
[0103]
s205、对预处理后的脉搏波信号进行变分模态分解得到多个本征模态函数分量，本征模态函数简称imf，对每个分imf量进行快速傅里叶变换计算最大峰值对应的频率，经计算发现共有8个的imf分量的频率较高；
[0104]
s206、对选取的8个高频imf分量进行小波去噪处理，小波阈值去噪中的小波基函数是“db8”小波、小波分解层数是3、阈值是全局阈值和阈值函数硬阈值函数；其中，全局阈
值公式如下：
[0105][0106]
其中，σ代表噪声的标准方差，n代表信号的长度。
[0107]
s207、将经过小波去噪处理的8个imf分量与剩余2个imf分量进行叠加，重构脉搏波信号；
[0108]
s208、对重构的脉搏波信号进行使用巴特沃斯5阶带通滤波器处理，得到质量较高的脉搏波信号；
[0109]
s3、重复步骤s2，得到每个感兴趣区域去噪后的脉搏波信号，并分别计算多谐波信噪比和权重，然后根据权重加权融合多个感兴趣区域的脉搏波信号，最后得到每个通道的脉搏波信号，具体步骤如下：
[0110]
s301、通过快速傅里叶变换计算经过步骤s208的3个感兴趣区域脉搏波信号的多谐波信噪比；
[0111]
s302、根据3个感兴趣区域的信噪比计算3个感兴趣区域脉搏波信号的权重；
[0112]
s303、将3个感兴趣区域的脉搏波信号根据上述权重进行加权融合得到单个通道融合的脉搏波信号。
[0113]
s4、重复步骤s2～s3，得到3个通道的脉搏波信号，分别计算每个通道脉搏波信号的多谐波信噪比和权重，然后将3个通道的脉搏波信号进行互相关平移对齐后，最后根据权重将3通道的脉搏波信号加权融合得到3通道融合的脉搏波信号，具体步骤如下：
[0114]
如图3为多通道融合的流程图。
[0115]
s401、对3个通道的面部视频进行步骤s2～s3的处理，得到3个通道的脉搏波信号；
[0116]
s402、通过快速傅里叶变换分别计算3个通道脉搏波信号的多谐波信噪比；
[0117]
s403、根据步骤s402得到3个通道的信噪比，然后计算3个通道脉搏波信号的权重；
[0118]
s404、将3个通道的脉搏波信号进行互相关对齐；
[0119]
s405、将对齐后的脉搏波信号根据步骤s403计算得到的权重比进行加权融合得到3个同搭配融合的脉搏波信号。
[0120]
s5、对3通道融合后的脉搏波信号进行时域和频域分析，计算得出心率、心率变异性指标，具体步骤如下：
[0121]
如图4为心率和脉搏变异性提取过程的流程图。
[0122]
s501、将脉搏波信号转换到频域，找到幅度谱最高峰对应的频率即为受测者每秒的心跳数；将得到的每秒心跳数乘以60，即为心率；
[0123]
s502、对融合后的脉搏波信号进行窄带通滤波；
[0124]
s503、对窄带通滤波后的脉搏波信号进行三次样条插值；
[0125]
s504、对三次样条插值后的脉搏波信号进行峰值点检测；
[0126]
s505、脉率变异信号和心率变异信号具有高度的一致性，因此可以通过脉搏波信号计算心率变异性指标。通过步骤s504得到的相邻峰值点时间间隔，计算心率变异性指标，其中心率变异性指标，包括心跳间期标准差sdnn、相邻心跳间期差值标准差sdsd、相邻心跳间期差值均方根rmssd、心率均值mean_hr、最高心率max_hr、最低心率min_hr、心率标准差std_hr、信号总功率tp、低频段功率lf、高频段功率hf、低频段与高频段功率比lf/hf、甚低
频段功率vlf等25个指标；。
[0127]
s6、对若干个受测者进行不同工作记忆负荷等级题目的测试，重复步骤s1～s5，得到受测者的测试正确率、心率和心率变异性特征指标，形成模型构建所需的数据集，然后进行消除特征的个体性差异、特征选取和负荷水平分类，构建工作记忆负荷生理模型，具体步骤如下：
[0128]
s601、采集受测者在不同工作记忆负荷的多通道面部视频并计算测试正确率；
[0129]
s602、重复步骤s2～s5提取心率和心率变异性特征指标；
[0130]
s603、将心率和心率变异性特征指标进行消除个体性差异；
[0131]
s604、将经过个体性差异消除的心率和心率变异性特征指标和测试正确率组合形成构建模型所需的特征数据集，并将特征数据集标签化，其中低负荷标签为0，中负荷标签为1，高负荷标签为2；
[0132]
s605、将每个指标看作一个特征，从特征数据集通过特征选择，消除无关的和冗余的特征，形成最优的特征数据子集。其中，特征选择通过递归特征消除算法进行特征选取；
[0133]
s606、将步骤s605得到的特征数据子集分成训练集和测试集，其中，训练集用于训练随机森林模型，随机森林模型出自“breiman l.random forests[j].machine learning,2001,45:5-32.”，输入训练集和标签通过训练得到工作记忆负荷生理分类模型，测试集用于验证模型的性能指标；
[0134]
s607、构建工作记忆负荷生理分类模型，首先基于训练集数据进行训练，接着利用分类器进行分类，并通过5折交叉验证得到分类器得超参数，最终得到工作记忆负荷生理分类模型。其中，通过随机森林算法构建工作记忆负荷生理分类模型以及5折交叉验证对分类结果进行验证；经过实验验证，此时5折交叉验证的均值为0.65；
[0135]
s608、通过测试集验证工作记忆负荷生理分类模型的识别准确率。其中，识别准确率的公式如下：
[0136][0137]
式中，tp表示少数类样本被正确预测为少数类的数量，fn表示少数类样本被错误预测为多数类的数量，fp表示多数类样本被错误预测为少数类的数量，tn表示多数类样本被正确预测为多数类的数量；此时模型对于每一种负荷的分类的准确率如表1所示；
[0138]
表1.实施例1中各负荷水平识别准确率表s7、在被测者工作记忆负荷实测中，将测试正确率以及通过多通道面部视频提取出来的经过消除个体性差异的心率和心率变异性指标，输入到工作记忆负荷生理模型中，评估受测者当前的工作记忆负荷水平。
[0139]
s701、采集受测者的多通道面部视频，计算测试正确率。；
[0140]
s702、经过步骤s2～s5得到心率和心率变异性特征指标；
[0141]
s703、将测试正确率、心率和心率变异性指标输入到工作记忆负荷生理分类模型
中，评估受测者当前的工作记忆负荷水平。
[0142]
实施例2
[0143]
图1是本发明实施例提供的一种基于非静止状态下多通道面部视频生理指标的工作记忆负荷评估方法的流程图，以高工作记忆负荷的面部视频提取到的心率和心率变异性为参考指标，评估工作记忆负荷的流程，其具体步骤如下：
[0144]
s1、采集受测者在高工作记忆负荷状态下的20秒多3道面部视频以及计算弹奏复现音符正确率；
[0145]
s101、在光照充足且面部无损伤和遮掩的条件下，采集受测者在高工作记忆负荷下的3通道面部视频，拍摄距离为50厘米，时间为20秒视频；
[0146]
s102、参照实施例1中对应步骤，此处不再赘述；
[0147]
s103、参照实施例1中对应步骤，此处不再赘述；
[0148]
s104、参照实施例1中对应步骤，此处不再赘述；
[0149]
s105、参照实施例1中对应步骤，此处不再赘述；
[0150]
s2、参照实施例1中对应步骤，此处不再赘述。其中，3个感兴趣区域的绿色通道信号如图5所示，3个感兴趣区域去噪后的脉搏波信号如图6所示；
[0151]
s3、参照实施例1中对应步骤，此处不再赘述。3个感兴趣区域融合得到的脉搏波信号如图7所示。其中，在频谱图中每个imf分量的最大峰值对应的频率如表2所示，摄像头通道1的3个感兴趣区域的信噪比和权重如表3所示；
[0152]
表2.实施例2中imf分量的最大峰值对应的频率表
[0153][0154]
表3.实施例2中摄像头1的3个感兴趣区域的信噪比和权重表
[0155][0156]
s4、参照实施例1中对应步骤，此处不再赘述。3个通道的脉搏波信号如图8所示，3个通道融合得到的脉搏波信号如图9所示；其中，3个通道信噪比和权重如表4所示；
[0157]
表4.实施例2中3个通道信噪比和权重表
[0158][0159]
s5、参照实施例1中对应步骤，此处不再赘述。窄带通滤波后的脉搏波信号如图10
所示；
[0160]
s6、参照实施例1中对应步骤，此处不再赘述；
[0161]
s7、参照实施例1中对应步骤，此处不再赘述；其中，识别结果如表5所示。
[0162]
表5.实施例2中识别结果表
[0163][0164]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.一种基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述评估方法包含以下步骤：s1、构建测试场景，采集不同工作记忆负荷下的多通道面部视频并计算测试正确率；其中，不同工作记忆负荷等级设定为3个不同水平，分别为：高负荷、中负荷和低负荷水平；测试正确率是指记忆c≤3轮之后，复现前c轮的内容正确率；测试场景中通过放置在测试者圆形半径周围的n个摄像头采集面部视频，每个摄像头采集的面部视频称为1个通道视频；s2、对每个通道的视频分帧，定位多个感兴趣区域提取每个感兴趣区域的原始脉搏波信号，然后去噪；对不同工作记忆负荷下的每个通道面部视频，分帧得到面部视频图像序列，进而进行人脸识别和人脸特征点检测，定位多个感兴趣区域；将每个感兴趣区域进行颜色通道分离提取出绿色通道的灰度均值作为该感兴趣区域的原始脉搏波信号；然后对原始脉搏波信号进行预处理、变分模态分解、小波阈值和巴特沃斯带通滤波处理去噪；s3、重复步骤s2，得到每个感兴趣区域去噪后的脉搏波信号，并分别计算多谐波信噪比和权重，然后根据权重加权融合多个感兴趣区域的脉搏波信号，最后得到每个通道的脉搏波信号；s4、重复步骤s2～s3，得到n个通道的脉搏波信号，分别计算每个通道脉搏波信号的多谐波信噪比和权重；然后将n个通道的脉搏波信号进行互相关平移对齐后，最后根据权重将多通道的脉搏波信号加权融合得到n通道融合的脉搏波信号；s5、对n通道融合的脉搏波信号进行时域和频域分析，计算得出心率、心率变异性指标；s6、对若干个被测者进行不同工作记忆负荷等级题目的测试，重复步骤s1～s5，得到被测者的测试正确率、心率和心率变异性特征指标，形成模型构建所需的数据集，然后进行消除特征的个体性差异、特征选取和负荷水平分类，构建工作记忆负荷生理模型；s7、在被测者工作记忆负荷实测中，将测试正确率以及通过多通道面部视频提取出来的经过消除个体性差异的心率和心率变异性指标，输入到工作记忆负荷生理模型中，评估受测者当前的工作记忆负荷水平。2.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s1过程如下：s101、在光照充足的外部条件下，通过放置在测试者圆形半径周围的n个摄像头采集不同工作记忆负荷下的多通道面部视频，拍摄距离为50厘米，低负荷、中负荷和高负荷水平的拍摄时长分别为10秒、15秒和20秒；s102、在屏幕上展示记忆内容，通过不断增加被测者回忆前面轮次的内容增加工作记忆负荷水平；从第4轮开始，记忆当前轮和写出前面3轮的内容；s103、对于低负荷，回忆当前轮的前一轮的内容；对于中负荷，回忆当前轮的前2轮的内容；对于高负荷，回忆当前轮的前3轮内容；s104、从第4轮开始，记录被测者按下的前面3轮内容，对照题目计算测试正确率。3.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s2过程如下：s201、先对采集到的n通道面部视频进行分帧，得到面部视频图像序列；s202、对面部视频图像序列进行人脸识别和人脸特征点检测，根据人脸特征点，定位多个感兴趣区域；
s203、将每个感兴趣区域进行颜色通道分离提取出绿色通道的灰度均值作为该感兴趣区域的原始脉搏波信号；s204、对提取到的原始脉搏波，进行包括去趋势化和z-score归一化在内的预处理；s205、对预处理后的脉搏波信号进行变分模态分解得到多个本征模态函数分量，本征模态函数简称imf，对每个imf分量进行快速傅里叶变换计算频谱图中最大峰值对应的频率，选取频率较高前λ个高频imf分量；s206、对选取的λ个高频imf分量进行小波去噪处理；s207、将经过小波去噪处理的高频imf分量与剩余的imf分量进行叠加，重构脉搏波信号；s208、对重构脉搏波信号进行巴特沃斯带通滤波处理，得到m个感兴趣区域脉搏波信号y
m
，m＝1，2，3，
…
，m。4.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s3过程如下：s301、通过快速傅里叶变换计算第m个感兴趣区域脉搏波信号y
m
的多谐波信噪比snr
roi
(m)，计算公式如下：其中，f
(m)
(
·
)表示该脉搏波信号y
m
的频谱图，i表示该频谱图频率序号，fs表示脉搏波信号的采样率，a
max
表示频谱图峰值所对应的频率即基频，a[k]＝[a
max
,2a
max
,3a
max
,..ka
max
]表示小于的多谐波频率数组，b表示相邻基频或者相邻谐波的一点所对应的频率；对m个感兴趣区域计算多谐波信噪比，得到m个感兴趣区脉搏波信号的多谐波信噪比snr
roi
(m)；s302、根据m个感兴趣区域的信噪比，然后计算m个感兴趣区域脉搏波信号的权重，计算公式如下：其中，snr
roi
(m)表示第m个感兴趣区域脉搏波信号的信噪比，m表示感兴趣区域的个数，表示m个感兴趣区域的信噪比之和，r为经验常数，表示拉伸参数用于权重的非线性拉伸；s303、将m个感兴趣区域的脉搏波信号根据上述权重进行加权融合得到单个通道融合的脉搏波信号，计算公式如下：其中，ippg
cam
表示单个通道融合后的脉搏波信号。5.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s4过程如下：
s401、对n个通道的面部视频进行步骤s2～s3的处理，得到n个通道的脉搏波信号ippg
cam
(n)，n＝1，2，3，
…
，n；s402、通过快速傅里叶变换计算第n个通道脉搏波信号的多谐波信噪比snr
cam
(n)；该通道脉搏波信号的多谐波信噪比的计算公式如下：对n个通道计算多谐波信噪比，得到n个通道脉搏波信号的多谐波信噪比snr
cam
(n)；s403、根据步骤s402得到n个通道的信噪比，然后计算n个通道脉搏波信号的权重，计算公式如下：其中，snr
cam
(n)表示第n个通道脉搏波信号的信噪比，n表示通道的个数，表示n个通道的信噪比之和；s404、将每个通道的脉搏波信号进行互相关对齐；s405、将对齐后的脉搏波信号根据步骤s403计算得到的权重进行加权融合得到n通道融合的脉搏波信号，融合计算公式如下：其中，ippg
cam
(n)表示第n个通道的脉搏波信号，signal表示n个通道融合后的脉搏波信号。6.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s5过程如下：s501、将脉搏波信号signal转换到频域，找到幅度谱最高峰对应的频率即为被测者每秒的心跳数；将得到的每秒心跳数乘以60，即为心率；s502、对脉搏波信号signal进行窄带通滤波；s503、对窄带通滤波后的脉搏波信号进行三次样条插值；s504、对三次样条插值后的脉搏波信号进行峰值点检测；s505、根据得到的相邻峰值点时间间隔，计算心率变异性指标，其中心率变异性指标，包括心跳间期标准差sdnn、相邻心跳间期差值标准差sdsd、相邻心跳间期差值均方根rmssd、心率均值mean_hr、最高心率max_hr、最低心率min_hr、心率标准差std_hr、信号总功率tp、低频段功率lf、高频段功率hf、低频段与高频段功率比lf/hf、甚低频段功率vlf。7.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s6过程如下：s601、采集若干个被测者在不同工作记忆负荷的多通道面部视频并计算测试正确率；s602、重复步骤s2～s5提取心率和心率变异性特征指标；s603、将心率和心率变异性特征指标进行消除个体性差异；
s604、将经过个体性差异消除的心率和心率变异性特征指标和测试正确率组合形成构建模型所需的特征数据集，并将特征数据集标签化，其中低负荷标签为0，中负荷标签为1，高负荷标签为2；s605、将每个指标看作一个特征，从特征数据集通过特征选择，消除无关的和冗余的特征，形成最优的特征数据子集；s606、将步骤s605得到的特征数据子集分成训练集和测试集；其中，训练集用于训练随机森林模型，输入训练集和标签通过训练得到工作记忆负荷生理分类模型，测试集用于验证模型的性能指标；s607、构建工作记忆负荷生理分类模型，首先基于训练集数据进行训练，接着利用分类器进行分类，并通过k折交叉验证得到分类器得超参数，最终得到工作记忆负荷生理分类模型；s608、通过测试集验证工作记忆负荷生理分类模型的识别准确率。8.根据权利要求1所述的基于非静止状态下多通道面部视频的工作记忆负荷评估方法，其特征在于，所述步骤s7过程如下：s701、采集受测者的多通道面部视频，计算测试正确率。；s702、经过步骤s2～s5得到心率和心率变异性特征指标；s703、将测试正确率、心率和心率变异性指标输入到工作记忆负荷生理分类模型中，评估受测者的工作记忆负荷水平。

技术总结
本发明公开了一种基于非静止状态下多通道面部视频生理指标的工作记忆负荷评估方法，采用多通道记录不同工作记忆负荷的面部视频，提取心率等指标，评估工作记忆负荷水平，克服了在测量过程需要被测者保持静止的问题。步骤如下：多通道采集不同负荷下的面部视频；对单个通道视频划分多个感兴趣区域并从中提取脉搏波信号进行去噪，然后基于多谐波信噪比融合多个感兴趣区的脉搏波信号，得到单个通道脉搏波信号；重复上述步骤得到多通道脉搏波信号并进行对齐，然后融合多通道的脉搏波信号，得到最终脉搏波信号，提取心率等指标，评估工作记忆负荷水平。本发明可以为评估工作记忆负荷提供一种无创无损的方法。供一种无创无损的方法。供一种无创无损的方法。


技术研发人员：韦岗 方卓 曹燕 王一歌
受保护的技术使用者：华南理工大学
技术研发日：2023.05.23
技术公布日：2023/8/24