一种基于多模态数据的脑认知功能康复状态分析方法

1.本发明属于功能性近红外光谱和脑电图像处理技术领域，具体是一种基于多模态数据的脑认知功能康复状态分析方法。


背景技术：

2.脑是人体最复杂、最高效的信息处理系统，探索人类智力的产生和人脑信息处理的过程是脑认知研究的核心内容。脑认知在不同层次上研究感知觉的基本表达和信息加工机制，认识大脑如何形成对外部世界的感知，以及如何实现学习、记忆、语言、思维、情绪、意识等高级认知功能。
3.人类正常的工作学习生活离不开完善的脑认知功能，而部分人因遗传或后天的外界刺激及对大脑的损伤，患有认知功能障碍。常见的脑认知障碍相关疾病通常有：精神分裂症、抑郁症、阿尔兹海默症、儿童注意力障碍等。国内外针对这些疾病，已经或者正在开展一系列研究，并取得了一些初步研究成果。目前临床最常用的分析手段就是基于高分辨率的功能性核磁共振数据fmri的分析，但功能性核磁共振数据fmri存在采集麻烦、费用较高、一些患者由于身体条件不具备采集条件等缺点，需要其他采集较为方便的生理数据如功能性近红外光谱fnirs和脑电图eeg等进行替代，但现有文献中，通常为单模态数据特征提取之后的简单分析，对人体的生理特征提取不够全面，例如，文献
【1】
为通过计算功能性近红外光谱fnirs信号的斜率和均值作为特征送入到线性判别分析(lda)模型进行分类，文献
【2】
也是将功能性近红外光谱fnirs送入级联随机森林中进行分类，文献
【3】
将脑电图eeg信号进行快速傅里叶变换处理，然后将频谱图送入pcanet中进行分类。
4.因此，需要一种能够改进上述问题的方法。


技术实现要素：

5.本发明要解决的技术问题是提供一种基于多模态数据的脑认知功能康复状态分析方法，通过构造基于功能性近红外光谱fnirs和脑电图eeg的多模态数据融合的分类模型，并结合曼－肯德尔(mann-kendall)趋势分析方法，用以脑认知功能康复效果的智能评估。
6.为了解决上述技术问题，本发明提供一种基于多模态数据的脑认知功能康复状态分析方法，包括以下步骤：
7.采集患者的静息态的功能核磁共振成像fmri数据以及评估任务测试过程中的功能性近红外光谱fnirs和脑电图eeg数据，然后将功能核磁共振成像fmri输入fmri-fc-cnn网络得到分类为正常的概率其中n为患者序号，k为就诊次数，将功能性近红外光谱fnirs和脑电图eeg数据进行数据预处理后输入基于多模态特征融合分类网络获得分类为正常的概率将将绘制为概率-就诊次数折线图，并使用曼－肯德尔检验进行折线图的趋势分析。
8.作为本发明的一种基于多模态数据的脑认知功能康复状态分析方法的改进：
9.所述基于多模态特征融合分类网络包括三个连续的卷积+批归一化模块，然后分为lstm分支和inception分支，将lstm分支和inception分支输出进行拼接后再经过两个全连接层；
10.所述lstm分支包括2个连续的lstm模块；
11.所述inception分支包括6个连续inception模块并以3个inception模块为一组，每组均采用残差结构。
12.作为本发明的一种基于多模态数据的脑认知功能康复状态分析方法的进一步改进：
13.所述fmri-fc-cnn网络包括首先使用解剖学自动标记模板获得时间序列，然后使用非振荡连接构建功能连接矩阵后送入alexnet网络；alexnet网络包括五层卷积层和三个全连接层。
14.作为本发明的一种基于多模态数据的脑认知功能康复状态分析方法的进一步改进：
15.所述基于多模态特征融合分类网络和fmri-fc-cnn网络的训练测试过程为：
16.采集静息态的功能核磁共振成像fmri数据以及任务测试过程中的功能性近红外光谱fnirs和脑电图eeg数据，并分为训练集和测试集，其中训练集包括eeg-fnirs训练集和fmri训练集，测试集包括eeg-fnirs测试集和fmri测试集；然后对eeg-fnirs训练集和eeg-fnirs测试集均进行预处理；
17.将预处理后的eeg-fnirs训练集输入所述基于多模态特征融合分类网络进行训练，将fmri训练集输入fmri-fc-cnn网络进行训练；将训练后的基于多模态特征融合分类网络在预处理后的eeg-fnirs测试集上进行验证得到准确率acca以及在m个样本上的分类结果将训练后的fmri-fc-cnn网络在fmri测试集上进行验证得到准确率accb以及m个样本上的分类结果计算基于多模态特征融合分类网络和fmri-fc-cnn网络在同一个样本数据上分类结果的概率p和准确率差值acc
diff
：
[0018][0019]
acc
diff
＝|acc
a-accb|
ꢀꢀ
(2)
[0020]
如果p+acc
diff
＜λ，验证结束，其中，λ为0.1。
[0021]
作为本发明的一种基于多模态数据的脑认知功能康复状态分析方法的进一步改进：
[0022]
所述预处理的过程为：
[0023]
(1)、统计获得所述功能性近红外光谱fnirs的最短长度l
fnirs-min
和脑电图eeg最短长度l
eeg-min
；然后截取每一个功能性近红外光谱fnirs数据中前l
fnirs-min
时间维度长度的数据，截取每一个脑电图eeg数据中前l
eeg-min
时间维度长度的数据，得到n个样本的维度为(c1，w)的功能性近红外光谱fnirs数据其中c1为功能性近红外光谱fnirs数据的通道数，w为时间维度的长度，以及维度为(c2，kw)的脑电图eeg数据
其中c2为脑电图eeg数据的通道数，k为常数；
[0024]
(2)、对数据进行采样频率为s的降采样，得到新数据集对数据进行采样频率为k*s的降采样，得到新数据集
[0025]
(3)、对于同一来源的样本，将维度为的和纬度为的在通道维度上进行拼接，得到s个维度为的融合后的数据并得到维度为的融合后的数据集
[0026]
本发明的有益效果主要体现在：
[0027]
1、本发明以降采样方式对训练数据集进行了数据扩充，并将反应脑部血氧情况的功能性近红外光谱fnirs数据和反应脑部电信号的eeg数据进行了通道维度上的拼接作为本发明的网络模型的输入，两种模态的数据互补能够为网络模型提供不同的信息源，使得模型学习到的特征更加完备，同时采用了能够提取不同尺度特征的inception模块和防止过拟合的残差模块对经典时序信号处理模型lstm进行改进，提升了网络的表征能力；
[0028]
2、本发明使用分辨率更高、临床使用频率更高的功能性核磁共振数据fmri数据对fnirs-eeg的分析效果进行了验证，更具备说服力；同时采集患者功能性核磁共振数据fmri使得预测结果更完备和准确，但功能性核磁共振数据fmri非必选项，从而避免了费用较高、一些患者由于身体条件不具备采集条件等缺点；
[0029]
3、本发明对多次就诊过程中的功能性核磁共振数据、近红外光谱fnirs数据和反应脑部电信号的eeg数据的预测的分类概率使用曼－肯德尔(mann-kendall)检验进行概率-就诊次数折线图分析，从而获得更准确地过程数据的增长或下降的趋势分析结果。
[0030]
需要强调的是：本发明是为了获得更准确地过程数据的增长或下降的趋势分析结果，因此本发明不属于疾病的诊断方法。
附图说明
[0031]
下面结合附图对本发明的具体实施方式作进一步详细说明。
[0032]
图1为本发明一种基于多模态数据的脑认知功能康复状态分析方法的示意图；
[0033]
图2为预处理过程中对fnirs和eeg数据进行降采样和特征融合的过程示意图；
[0034]
图3为本发明的三种基础网络lstm模块、inception模块、残差模块的结构示意图；
[0035]
图4为本发明的基于多模态特征融合分类(lstm-inception-nn)网络的结构示意图；
[0036]
图5为本发明采用曼－肯德尔(mann-kendall)检验分析过程的示意图。
具体实施方式
[0037]
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于
此：
[0038]
实施例1、一种基于多模态数据的脑认知功能康复状态分析方法，如图1-4所示，该方法包括以下步骤：
[0039]
s1、注意力缺陷障碍的儿童和对照组的正常儿童在进行规定任务前进行静息态的功能核磁共振成像fmri数据采集，在进行规定任务时对其进行功能性近红外光谱fnirs的采集和脑电图eeg的采集，构造数据集并按照4:1的比例划分出训练集和测试集：
[0040]
s101、在合作医院征集六十位患有注意力缺陷障碍的儿童和六十位未患有注意力缺陷障碍的对照组儿童，对其采集静息态的功能核磁共振成像fmri数据。
[0041]
s102、对步骤s101中的一百二十位与试者，进行任务内容为go/nogo范式评估任务，要求被试者对其中的某个刺激作反应(go)，而对另一个刺激不反应(nogo)。go刺激为屏幕上呈现数字“1”的刺激，nogo刺激为屏幕上呈现数字“2”的刺激，任务开始3秒后将在屏幕正中间呈现十字，作为提示被试刺激即将开始的标志，持续时间7秒钟，之后每间隔1秒钟呈现一个随机刺激，刺激持续1秒钟，共40组刺激，总体go刺激与nogo刺激的比例为3:1。任务过程中为被试者带上脑电帽，并在前额部位贴上近红外采集探头和发射器，进行生理数据采集，包括功能性近红外光谱fnirs的采集和脑电图eeg的采集。
[0042]
s103、将步骤s101采集到的功能核磁共振成像fmri数据和步骤s102采集到的功能性近红外光谱fnirs数据和脑电图eeg数据按照与试者进行归档，并为其打上标签，患者组为1，对照组为0，每位与试者均关联了一例功能核磁共振成像fmri数据、一例功能性近红外光谱fnirs数据和一例脑电图eeg数据，然后将数据按照与试者粒度以4：1的比例划分训练集组和测试集组。训练集包含48名患者和48名对照组，训练集的96名与试者的功能性近红外光谱fnirs数据和脑电图eeg数据构成eeg-fnirs训练集，功能核磁共振成像fmri数据构成fmri训练集；测试集组包含了12名患者和12名对照组，测试集组的24名与试者的功能性近红外光谱fnirs数据和脑电图eeg数据构成eeg-fnirs测试集，功能核磁共振成像fmri数据构成fmri测试集。
[0043]
s104、eeg-fnirs训练集和测试集数据的预处理
[0044]
(1)、由于采集到的功能性近红外光谱fnirs和脑电图eeg数据存在时间维度上尺寸的些许差异，需要对维度进行裁剪对齐：对采集到的功能性近红外光谱fnirs数据和脑电图eeg分别进行时间长度的统计，得出fnirs的最短长度l
fnirs-min
和eeg的最短长度l
eeg-min
；针对每一个功能性近红外光谱fnirs数据，截取前l
fnirs-min
时间维度长度的数据，针对每一个脑电图eeg数据，截取前l
eeg-min
时间维度长度的数据，得到n位与试者的维度为(c1，w)的功能性近红外光谱fnirs数据其中c1为功能性近红外光谱fnirs数据的通道数，w为时间维度的长度，以及n位与试者的维度为(c2，kw)的脑电图eeg数据其中c2为脑电图eeg数据的通道数，k为常数。
[0045]
(2)、为了防止模型训练过拟合，需要对数据集进行数据增强。对裁剪对齐后的数据集进行采样频率为s的降采样，得到样本数目扩充了s倍的新数据集针对数据集进行采样频率为k*s的降采样，得到样本数目扩充了k*s倍的新数据集
[0046]
(3)、为了综合fnirs和eeg的信息以提高模型的鲁棒性，对降采样后的数据集x
fnirs-ds
和x
eeg-ds
进行特征前融合，如图2所示，具体针对每一位患者的样本,将维度为的fnirs数据和纬度为的eeg数据的eeg数据在通道维度上进行拼接，得到s个维度为的融合后的数据由此得到维度为的融合后的数据集
[0047]
s2、针对步骤s1采集到的功能性近红外光谱fnirs和脑电图eeg数据，设计基于多模态特征融合分类(lstm-inception-nn)网络，针对分辨率更高的功能核磁共振成像fmri数据，搭建常用的fmri-fc-cnn网络：
[0048]
s21、搭建基于多模态特征融合分类(lstm-inception-nn)网络
[0049]
基于多模态特征融合分类(lstm-inception-nn)网络，如图4所示，将步骤104预处理后获得的数据集作为输入，先经过三个连续的卷积+批归一化模块，然后分别经过lstm分支和inception分支，其中lstm分支包括2个连续的lstm模块，inception分支包括6个连续inception模块并以3个inception模块为一个inception组，每个inception组模块均采用残差结构，将首个inception模块的输入和最后一个inception模块的输出进行加和，将lstm分支和inception分支提取到的特征进行拼接，然后将拼接后的特征向量输入到两个全连接层进行特征综合，得到最后的输出。具体为：
[0050]
(1)、为提取数据通道维度上的特征,将数据集(1)、为提取数据通道维度上的特征,将数据集在通道维度上依次进行两次padding＝
″
same
″
、卷积核大小为(m，1)的卷积操作和一次padding＝"valid",卷积核大小为((c1+k*c2)，1)的卷积操作得到维度为+k*c2)，1)的卷积操作得到维度为的特征图f1,其中batch_size为送入网络的批大小；
[0051]
(2)、用图3所示的lstm模块、inception模块、残差模块搭建时间维度的特征提取部分的网络。将特征图f1输入到连续两个lstm模块中，以综合长时间段信号的上下文信息，得到输出维度为的特征图f2＝lstm(lstm(f1))；
[0052]
(3)、将特征图f1输入到连续三个的inception模块中，以提取信号多尺度的特征，其中前一个inception模块的输出作为后一个inception模块的输入。参照残差模块，将首个inception模块的输入和最后一个inception模块的输出进行加和，输出特征图个inception模块的输入和最后一个inception模块的输出进行加和，输出特征图
[0053]
(4)，将特征图f3再输入到连续三个的inception模块提取特征，前一个inception模块的输出作为后一个inception模块的输入，将首个inception模块的输入和最后一个inception模块的输出进行加和，输出特征图
[0054]
(5)、将特征图f2和特征图f4进行时间维度的拼接得到特征图f5＝concate(f2，f4)。
将特征图f5依次输入到两层神经元个数分别为n和2的全连接层，以综合特征向量，并将最后的输出作为分类结果。
[0055]
s22、搭建fmri-fc-cnn网络
[0056]
针对步骤s1采集到的功能核磁共振成像fmri数据，采用解剖学自动标记(aal,anatomical automatic labeling)模板对大脑进行功能性分区，获得含有116个脑区活动的时间序列，对提取到的时间序列使用非振荡连接构建功能连接(functional connection,fc)矩阵，随后将功能连接矩阵送入alexnet网络中，该网络由五层卷积层和三个全连接层构成，以此完成fmri-fc-cnn网络的搭建。
[0057]
s3、训练步骤s2搭建的基于多模态特征融合分类(lstm-inception-nn)网络和fmri-fc-cnn网络，使用fmri-fc-cnn网络评估基于多模态特征融合分类(lstm-inception-nn)网络的效果：
[0058]
s301、训练环境配置
[0059]
训练在centos操作系统服务器进行，利用tesla p4 gpu加速实验，开发环境基于tensorflow深度学习框架。具体的软硬件配置如下表1：
[0060]
表1
[0061]
名称环境配置操作系统centos7.3.1611处理器12*e5-2609v3@1.9ghz,15m cache显卡tesla p4 8gb(384.81)内存125gb开发环境python3.7 tensorflow1.15.0
[0062]
s302、设置超参数，batch size设为8，基于多模态特征融合分类(lstm-inception-nn)网络的采样频率s设为3，通道维度卷积核大小m设为11，第一层全连接网络神经元个数n设为64；设置训练损失函数为交叉熵，优化器为adam；训练轮次epoch设为50。
[0063]
s303、将步骤s104中经预处理后的eeg-fnirs训练集输入到步骤s2所搭建的基于多模态特征融合分类(lstm-inception-nn)网络中，将步骤s103中获得的fmri训练集(无需经过步骤104的预处理)输入fmri-fc-cnn网络中，开始训练，保存训练后的基于多模态特征融合分类(lstm-inception-nn)网络和fmri-fc-cnn网络。
[0064]
s304、将步骤s303得到的训练后的基于多模态特征融合分类(lstm-inception-nn)网络在步骤s104获得预处理后的eeg-fnirs测试集上进行验证，得到准确率fnirs测试集上进行验证，得到准确率以及在m个样本上的分类结果
[0065]
将步骤s303训练得到的fmri-fc-cnn网络在步骤s103中获得的的fmri测试集上进行验证，得到准确率accb以及在m个样本上的分类结果
[0066]
s305、计算模型基于多模态特征融合分类(lstm-inception-nn)网络和fmri-fc-cnn网络在同一患者的数据上分类结果的概率和准确率差值acc
diff
：
[0067][0068]
acc
diff
＝|acc
a-accb|
ꢀꢀ
(2)
[0069]
如果p+acc
diff
＜λ，则证明基于多模态特征融合分类(lstm-inception-nn)网络可以替代fmri-fc-cnn网络，由此得到验证的、可实际使用的基于多模态特征融合分类(lstm-inception-nn)网络和fmri-fc-cnn网络，可实际使用的基于多模态特征融合分类(lstm-inception-nn)网络与fmri-fc-cnn网络的误差控制在λ内，其中，λ为0.1。如果p+acc
diff
≥λ，则回到步骤s303重新训练模型。
[0070]
s4、实际使用阶段，对于康复过程中的患者的每次就诊，进行静息态的功能核磁共振成像fmri数据采集(可选的)，以及go/nogo范式评估任务测试过程中的功能性近红外光谱fnirs和脑电图eeg的采集，对采集的功能性近红外光谱fnirs和脑电图eeg数据按步骤s104进行数据预处理后,输入步骤s3得到的可实际使用的基于多模态特征融合分类(lstm-inception-nn)网络和fmri-fc-cnn网络进行分析，记录康复过程中多次数据评估的预测结果，具体过程如图1所示：
[0071]
s401、对于患者n的第k次就诊(包括初次就诊)，如果采集了静息态的功能核磁共振成像fmri数据，输入步骤s3得到的可实际使用的fmri-fc-cnn网络对所采集的功能核磁共振成像fmri进行分析，得到分类为正常的概率
[0072]
s402、在患者n第k次就诊(包括初次就诊)进行go/nogo任务测试时，采集功能性近红外光谱fnirs和脑电图eeg并按步骤s104进行数据预处理后,输入步骤s3得到的可实际使用的基于多模态特征融合分类(lstm-inception-nn)网络进行分析，得到分类为正常的概率
[0073]
s5、对于步骤s4中每位患者多次分类结果，绘制折线图，并使用数学模型对多次分类结进行评估，过程如图5所示：
[0074]
s501、步骤s4中患者n就诊的功能核磁共振成像fmri的分析结果序列为s501、步骤s4中患者n就诊的功能核磁共振成像fmri的分析结果序列为功能性近红外光谱fnirs和脑电图eeg的分析结果序列为
[0075]
s502、对于步骤s501的p
n-fmri
和p
n-fnirs-eeg
，绘制fmri和fnirs-eeg的概率-就诊次数折线图，并使用曼－肯德尔(mann-kendall)检验进行折线图的趋势分析。mann-kendall检验适用于分析持续增长或下降趋势(单调趋势)的时间序列数据。它是一个非参数检验，适用于所有的分布(即数据不需要满足正态分布的假设)，但数据应该没有序列相关性。
[0076]
实验：
[0077]
本发明提出了基于多模态数据的脑认知功能康复状态分析方法，整个方法主要依托于基于多模态特征融合分类(lstm-inception-nn)网络进行实现，曼－肯德尔(mann-kendall)检验效果也依赖于分类模型分类的准确率。下面设置两个实验来证明该模型的先进性，所使用的数据集仍是上述实施例1的步骤s104中经过预处理后的fnirs-eeg训练集和测试集。
[0078]
实验将从准确率(accuracy)、精确率(precision)、召回率(recall)和f1值(f1 score)四个指标对各个方法进行性能评估，这些指标可通过下表2所示混淆矩阵中的元素进行表示：
[0079]
表2混淆矩阵
[0080][0081]
其中，tp(true positive)为真正类，即样本的实际结果和模型的预测结果均为正类。fn(false negative)为假负类，即样本的实际结果为正类，模型的预测结果为负类。fp(false positive)为假正类，即样本的实际结果为负类，模型的预测结果为正类。tn(true negative)为真负类，即样本的实际结果和模型的预测结果均为负类。
[0082]
准确率(accuracy)是指模型正确预测的样本数量占整体样本数量的比例，其可表示为：
[0083][0084]
精准率(precision)和召回率(recall)都是对于正样本而言的，精准率是指模型预测为正样本的数据中实际结果为正样本的占比，而召回率是指实际结果为正样本的数据中预测结果为正样本的占比，两者可表示为：
[0085][0086][0087]
f1值(f1 score)是对精准率和召回率的综合分析，可表示为：
[0088][0089]
(1)：消融实验
[0090]
本实验将fnirs、eeg分别单独输入到基于多模态特征融合分类(lstm-inception-nn)网络中，在训练集上训练得到针对fnirs的单模态分类模型和针对eeg的单模态分类模型，并同实施例1的步骤s303训练获得的基于多模态特征融合分类(lstm-inception-nn)网络在测试集上进行测试对比，得到各项模型指标如下表3所示：
[0091]
表3消融实验性能对比
[0092][0093]
从表3中可以看出，本发明的基于多模态特征融合分类的各项性能指标均要高于两个单模态分类模型，可见多模态补齐了彼此可能缺失的信息，使得模型更加鲁棒。
[0094]
(2)：与现有技术对比
[0095]
本实验将本发明提出的方法和现有文献中的方法进行了对比。将文献在训练集上进行复现，并在训练集上测试，其各项性能对比如下表4所示：
[0096]
表4文献对比
[0097][0098]
从表4可以看出，相比其他方法，本发明通过对fnirs和eeg降采样后进行通道维度的拼接、通道维度特征提取、时间维度特征提取，实现了对多模态数据特征的充分表征和融合，其准确率、精确率、召回率、f1值均高于参考文献的方法。
[0099]
综上所述，本发明提出的基于多模态特征融合的分类算法通过特征前融合的方式综合fnirs反映的脑部血氧信息和eeg反映的脑电信息，通过通道卷积、lstm模块、inception模块进行特征提取，通过全连接层进行特征综合，整个分类模型的性能具有显著优越性，同时也保证了此分类模型基础上建立的基于曼－肯德尔(mann-kendall)检验的趋势评估方法的准确性。
[0100]
文献
【1】
：hong k s,naseer n,kim y h.classification of prefrontal and motor cortex signalsfor three-class fnirs
–
bci[j].neuroscience letters,2015,587:87-92.
[0101]
文献
【2】
：chen c,wen y,cui s,et al.amultichannel fnirs system for prefrontal mental taskclassification with dual-level excitation and deep forest algorithm[j].journal of sensors,2020,2020.
[0102]
文献
【3】
：li m,chen w.fft-based deep feature learning method for eeg classification[j].biomedical signal processing and control,2021,66:102492。
[0103]
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

技术特征：
1.一种基于多模态数据的脑认知功能康复状态分析方法，其特征在于，包括以下步骤：采集患者的静息态的功能核磁共振成像fmri数据以及评估任务测试过程中的功能性近红外光谱fnirs和脑电图eeg数据，然后将功能核磁共振成像fmri输入fmri-fc-cnn网络得到分类为正常的概率其中n为患者序号，k为就诊次数，将功能性近红外光谱fnirs和脑电图eeg数据进行数据预处理后输入基于多模态特征融合分类网络获得分类为正常的概率将将绘制为概率-就诊次数折线图，并使用曼－肯德尔检验进行折线图的趋势分析。2.根据权利要求1所述的一种基于多模态数据的脑认知功能康复状态分析方法，其特征在于：所述基于多模态特征融合分类网络包括三个连续的卷积+批归一化模块，然后分为lstm分支和inception分支，将lstm分支和inception分支输出进行拼接后再经过两个全连接层；所述lstm分支包括2个连续的lstm模块；所述inception分支包括6个连续inception模块并以3个inception模块为一组，每组均采用残差结构。3.根据权利要求2所述的一种基于多模态数据的脑认知功能康复状态分析方法，其特征在于：所述fmri-fc-cnn网络包括首先使用解剖学自动标记模板获得时间序列，然后使用非振荡连接构建功能连接矩阵后送入alexnet网络；alexnet网络包括五层卷积层和三个全连接层。4.根据权利要求3所述的一种基于多模态数据的脑认知功能康复状态分析方法，其特征在于：所述基于多模态特征融合分类网络和fmri-fc-cnn网络的训练测试过程为：采集静息态的功能核磁共振成像fmri数据以及任务测试过程中的功能性近红外光谱fnirs和脑电图eeg数据，并分为训练集和测试集，其中训练集包括eeg-fnirs训练集和fmri训练集，测试集包括eeg-fnirs测试集和fmri测试集；然后对eeg-fnirs训练集和eeg-fnirs测试集均进行预处理；将预处理后的eeg-fnirs训练集输入所述基于多模态特征融合分类网络进行训练，将fmri训练集输入fmri-fc-cnn网络进行训练；将训练后的基于多模态特征融合分类网络在预处理后的eeg-fnirs测试集上进行验证得到准确率acc
a
以及在m个样本上的分类结果将训练后的fmri-fc-cnn网络在fmri测试集上进行验证得到准确率acc
b
以及m个样本上的分类结果计算基于多模态特征融合分类网络和fmri-fc-cnn网络在同一个样本数据上分类结果的概率p和准确率差值acc
diff
：acc
diff
＝|acc
a-acc
b
|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)如果p+acc
diff
＜λ，验证结束，其中，λ为0.1。
5.根据权利要求4所述的一种基于多模态数据的脑认知功能康复状态分析方法，其特征在于：所述预处理的过程为：(1)、统计获得所述功能性近红外光谱fnirs的最短长度l
fnirs-min
和脑电图eeg最短长度l
eeg-min
；然后截取每一个功能性近红外光谱fnirs数据中前l
fnirs-min
时间维度长度的数据，截取每一个脑电图eeg数据中前l
eeg-min
时间维度长度的数据，得到n个样本的维度为(c1，w)的功能性近红外光谱fnirs数据其中c1为功能性近红外光谱fnirs数据的通道数，w为时间维度的长度，以及维度为(c2，kw)的脑电图eeg数据其中c2为脑电图eeg数据的通道数，k为常数；(2)、对数据进行采样频率为s的降采样，得到新数据集对数据进行采样频率为k*s的降采样，得到新数据集(3)、对于同一来源的样本，将维度为的和纬度为的在通道维度上进行拼接，得到s个维度为的融合后的数据并得到维度为的融合后的数据集

技术总结
本发明属于功能性近红外光谱和脑电图像处理技术领域，具体是一种基于多模态数据的脑认知功能康复状态分析方法，采集患者的静息态的fMRI数据以及评估任务测试过程中的fNIRS和脑电图EEG数据，然后将fMRI数据输入fMRI-FC-CNN网络得到分类为正常的概率，将fNIRS和EEG数据进行数据预处理后输入基于多模态特征融合分类网络获得分类为正常的概率，绘制成概率-就诊次数折线图，并使用曼－肯德尔检验进行折线图的趋势分析。本发明采用两种模态的数据互补，为网络模型提供不同的信息源使得学习到的特征更加完备，同时采用了Inception模块和残差结构对LSTM模型进行改进，提升了网络的表征能力。表征能力。表征能力。


技术研发人员：金心宇 田鹏 钱旭 金昀程
受保护的技术使用者：浙江大学
技术研发日：2023.03.28
技术公布日：2023/8/24