一种运动障碍症状量化评估模型的建模方法

1.本发明涉及运动障碍症状评估技术领域，尤其涉及一种运动障碍症状量化评估模型的建模方法。


背景技术：

2.帕金森等运动障碍性疾病和脑卒中临床上会出现运动障碍症状(运动迟缓、静止性震颤、肌强直、姿势平衡障碍等)，帕金森病等运动障碍性疾病初期患者首先出现运动障碍症状，而脑卒中、偏瘫等疾病中后期以运动功能障碍为主要表现。运动障碍症状的评估对于帕金森等运动障碍性疾病的诊断和脑卒中等疾病的康复评定具有重要意义。
3.目前，针对运动障碍症状的临床评估大多依赖医学量表，例如最常见的运动障碍性疾病帕金森病依据运动障碍学会统一帕金森病评定量表(movement disorder society-unified parkinson＇s disease rating scale，mds-updrs)来评估。这种评估方式临床上被广泛使用，但存在一定的弊端：消耗大量时间且在分析上存在一定程度的主观性，导致不同医生的评估结果之间存在差异。与此同时，评估结果不同对疾病的治疗与康复也会有影响，随之而来的就是治疗效果和康复效果的评估也存在着一定的难度。
4.运动障碍症状的临床评估中，研发一种智能的、客观的运动障碍症状量化分析有段是有必要的。目前，医学工程等研究领域尝试用惯性传感器、肌电传感器或视频的方式对运动障碍症状进行量化评估，而临床中，患者病情发展程度不同，单一传感器的方式难以解决所有的实际问题，在实际条件下，患者比正常人的动作具有随意性以及无序性，增加了动作识别以及量化特征提取的难度；许多研究者在进行运动障碍症状量化研究时通过机器学习或深度学习，对正常人和帕金森等运动障碍性疾病患者的惯性数据或视频数据进行分类识别，有效区分了正常人和帕金森等运动障碍性疾病而忽略了对运动障碍症状的量化分级评估，另外通过单一传感器获取的信息不全面易导致评估结果不够准确。现有基于多种模态信息的运动障碍症状的量化分析技术过程繁琐、操作复杂且大多要求实验室环境，不适合临床应用，另外所提取特征提取不够全面，量化分级程度精细度较低。
5.本发明结合多源信息对提高运动障碍症状的临床测试动作的识别性能有很大提升，利用多模态信息提取的多维度、高效率的运动障碍特征对于运动障碍症状的高精细度量化分级评估有着非常重要的价值，而便捷的、智能的、客观的疾病量化分析有段对疾病的治疗和康复评估具有重要意义。


技术实现要素：

6.本发明主要解决现有技术的难以全面客观量化的评估帕金森等运动障碍性疾病和脑卒中的运动障碍症状的技术问题，提出一种运动障碍症状量化评估模型的建模方法，能够有效的克服由人工主观分析患者临床症状的弊端，本发明所提出的特征提取方法所提取的多种运动障碍特征都与神经内科专家的量表评分具有显著相关性，而利用本发明所提出的量化评估模型能够较准确的对患者的运动障碍症状进行分级评估。
7.本发明提供一种运动障碍症状量化评估模型的建模方法，包括以下过程：
8.步骤100：采集人体动作数据，建立人体动作识别模型；
9.步骤200：提取患者的震颤特征和运动迟缓特征，并进行皮尔逊相关性分析；
10.步骤300：获取患者的步态参数；
11.步骤400：利用步骤200得到的震颤特征、第一运动迟缓特征、第二运动迟缓特征以及步骤300得到的步态参数，得到运动障碍特征集，将神经内科专家的医学量表评分作为标签；并将运动障碍特征集按比例随机划分为运动障碍特征训练集和运动障碍特征测试集，随机选择运动障碍特征训练集的一部分作为运动障碍特征验证集；
12.步骤500：基于全连接神经网络，建立运动障碍症状量化评估网络；利用运动障碍特征训练集对运动障碍症状量化评估网络进行训练，利用运动障碍特征测试集对运动障碍症状量化评估网络进行测试，最终获得运动障碍症状量化评估模型。
13.进一步的，步骤100，包括如下步骤101-步骤103：
14.步骤101：利用分别固定于人体不同部位的n个惯性传感器节点，采集人体动作数据；利用视频采集设备采集人体动作视频；
15.步骤102：利用滑动窗口分割技术，对每个可穿戴传感器节点所采集的人体动作数据进行窗口分割，得到每个可穿戴传感器节点的多个动作数据片段；
16.步骤103：利用每个惯性传感器节点的多个动作数据片段，形成动作数据集，将动作数据集按比例随机划分为动作数据训练集和动作数据测试集，随机选择动作数据训练集的一部分作为动作数据验证集；
17.步骤104：建立动作识别网络；
18.步骤105：利用动作数据训练集，对动作识别网络进行训练，得到动作识别模型；并利用动作数据验证集上对动作识别模型进行验证；利用动作识别模型测试集，对动作识别模型进行测试，获得性能最佳的人体动作识别模型；其中，所述人体动作识别模型识别的动作类别包括：震颤动作、运动迟缓动作或步态动作。
19.进一步的，所述动作识别网络包括：一个fcn模块和一个lstm模块；输入变量个数为v；变量并行作为输入，每个时间序列的输入长度为l帧；
20.所述fcn模块包括k个卷积层；
21.所述lstm模块的时间步长设置为m；在lstm模块之前设置一个注意机制，在lstm之后设置一个dropout层；
22.lstm模块中的注意力机制如下式所示，将lstm模型注意力集中在不同维度的变量：
[0023][0024]
其中，wi为νi的权重之和，每个νi的权重σi定义为σi＝f(νi)
⊙
νi'，
⊙
为hadamard积，f(
·
)为一个全连接层；
[0025]
代价函数包括l2正则化和类不平衡损失函数两部分：
[0026]
[0027]
其中，类别为i时，yi＝1，否则yi＝0；k是类别个数，p是模型的输出；βi根据下式计算：
[0028][0029]
其中，ni表示j类的样本数，δ为超参数。
[0030]
进一步的，步骤200，包括如下步骤201-步骤204：
[0031]
步骤201：对于震颤动作的动作片段，提取其震颤特征；所述震颤特征包括：加速度、角速度和表面肌电信号的差值的均方根、样本熵、均值、方差、协方差、偏度、峰度；
[0032]
步骤202：对于运动迟缓动作的动作片段，提取的第一运动迟缓特征；并对其对应的人体动作视频片段提取第二动作迟缓特征；
[0033]
所述第一运动迟缓特征包括：加速度和角速度的峰-峰值、整流平均值、方差、标准差、偏度、峭度、均方根、峰值因子、裕度因子、模糊熵；semg信号的互信息熵、互相关系数、kl散度以及semg的模糊熵、排列熵；手腕的横滚角和俯仰角；合加速度，三轴角速度平方和的算数平方根；
[0034]
所述第二运动迟缓特征包括：人体关节点信息和关节角度；
[0035]
步骤203：将步骤201获取的震颤特征、步骤202获得的第一运动迟缓特征和第二运动迟缓特征与神经内科专家评定的医学量表评分进行皮尔逊相关性分析，获得皮尔逊相关系数，并根据皮尔逊相关系数确定所提特征的有效性。
[0036]
进一步的，步骤300包括如下步骤301-步骤303：
[0037]
步骤301：通过加速度数据与角速度数据，计算步态分析所需要的步态特征；
[0038]
步骤302：将传感器坐标系下的加速度转换到导航坐标系下进行二重积分，得到导航坐标系下空间位置；并对时空参数漂移进行修正；
[0039]
步骤303：使用tcn提取惯性信号的特征，通过tcn实现对步态时间序列信息感知，使用空洞卷积扩大了帕金森步态分析中对信号的感受野；根据多层残差连接结构，实现对惯性信号从局部到全局的逐步计算，并获得可以表征帕金森等运动障碍性疾病和脑卒中的步态参数。
[0040]
本发明提供的一种运动障碍症状量化评估模型的建模方法，在动作识别层面主要利用fcn、lstm、注意力机制以及类不平衡损失函数构建运动障碍症状量化评估模型，模型能有效捕捉输入变量中的重要变量，以及提升模型学习类不平衡问题的能力，从而有利于提高算法性能；在特征提取层面，利用ceemdan算法，结合疾病震颤特点设置参数，提取震颤动作片段中加速度信号的频率和幅值，基于肌电信息、惯性信息和视频信息提取运动迟缓测试动作的运动迟缓特征，基于视频提取第二运动迟缓特征，利用惯性信息基于四元数的扩展卡尔曼滤波方法和tcn提取步态时间参数、空间参数以及关节参数特征；在量化评估层面，建立运动障碍特征集，利用全连接神经网络设计分类器对运动障碍特征进行分类，实现运动障碍症状的量化分级评估。本发明能有效的克服帕金森等运动障碍性疾病和脑卒中的运动障碍症状由人工主观评估带来的弊端，所提出的智能化量化评估方法用于临床评估可有效的提高评估结果的客观性和精确性。利用本发明所提出的识别模型所获得的识别结果明显优于传统识别方法。
附图说明
[0041]
图1是本发明提供的运动障碍症状量化评估模型的建模方法的实现流程图；
[0042]
图2是本发明提供的运动障碍症状量化评估模型的建模方法的过程示意图；
[0043]
图3是本发明提供的动作识别网络的网络结构图；
[0044]
图4是本发明提供的获取帕金森等运动障碍性疾病和脑卒中患者步态参数的过程示意图。
具体实施方式
[0045]
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0046]
如图1-2所示，本发明实施例提供的一种运动障碍症状量化评估模型的建模方法，包括以下过程：
[0047]
步骤100：采集人体动作数据，建立人体动作识别模型，包括如下步骤101-步骤103；
[0048]
步骤101：利用分别固定于人体不同部位的n个惯性传感器节点，采集人体动作数据；利用视频采集设备采集人体动作视频。
[0049]
首先，把n个惯性传感器节点分别固定于受试者上肢的n个部位，每个惯性传感器节点分别包括一个加速度计、一个磁力计、一个陀螺仪和一个表面肌电信号传感器；其中，惯性传感器可采用可穿戴式惯性传感器。
[0050]
利用惯性传感器节点采集受试者全身运动障碍测试动作，得到人体动作数据；例如前臂回旋、双手平举等测试动作；所述人体动作数据，包括：每个可穿戴节点的加速度数据、角速度数据、磁力计数据以及表面肌电数据。具体的，对于第i个可穿戴节点，其采集的人体动作数据包括x轴、y轴和z轴的加速度数据和x轴、y轴和z轴的角速度数据，x轴、y轴和z轴的磁力计数据，通道ch1和通道ch2的表面肌电数据，则对于第i个可穿戴节点，原始的运动数据矩阵有11列。其中，加速度数据、角速度数据、磁力计数据属于惯性信息，表面肌电数据属于表面肌电信息。
[0051]
利用视频采集设备固定在受试者正前方固定距离处，采集受试者的人体动作视频。
[0052]
利用接收节点把视频采集设备采集的人体动作视频和n个可穿戴传感器节点采集的人体动作数据上传到上位机数据处理平台。
[0053]
步骤102：利用滑动窗口分割技术，对每个可穿戴传感器节点所采集的人体动作数据进行窗口分割，得到每个可穿戴传感器节点的多个动作数据片段。
[0054]
当获取步骤101中所采集的人体动作数据后，对人体动作数据进行窗口分割。本实施例主要采用滑动窗口分割技术对动作数据进行窗口划分：首先选择固定长度的窗口大小，然后移动窗口对动作数据进行分割。
[0055]
特别地，对于任意一条动作序列数据，令分割窗口的大小为l，若运动数据矩阵的
长度为la，则运动数据矩阵可以分割为个数据窗口，每个窗口内的分割数据矩阵大小为l
×
11维。
[0056]
步骤103：利用每个惯性传感器节点的多个动作数据片段，形成动作数据集，将动作数据集按比例随机划分为动作数据训练集和动作数据测试集，随机选择动作数据训练集的一部分作为动作数据验证集。
[0057]
步骤104：建立动作识别网络。
[0058]
如图3所示，所述动作识别网络包括：一个fcn模块和一个lstm模块；输入变量个数为v；变量并行作为输入，每个时间序列的输入长度为l帧。
[0059]
所述fcn(fully convolutional networks，全卷积网络)模块包括k个卷积层。卷积层的滤波器大小被设置为n。第n个卷积层后设置一个池化层。
[0060]
所述lstm(long short-term memory，长短期记忆网络)模块的时间步长设置为m。在lstm模块之前设置一个注意机制，在lstm之后设置一个dropout层，以防止过拟合。代价函数中利用l2正则化防止模型过拟合，损失函数为类不平衡损失函数。
[0061]
lstm模块中的注意力机制如下式所示，将lstm模型注意力集中在不同维度的变量：
[0062][0063]
其中，wi为νi的权重之和，每个νi的权重σi定义为σi＝f(νi)vνi'，
⊙
为hadamard积，f(
·
)为一个全连接层。
[0064]
代价函数包括l2正则化和类不平衡损失函数两部分：
[0065][0066]
其中，类别为i时，yi＝1，否则yi＝0；k是类别个数，p是模型的输出。βi根据下式计算：
[0067][0068]
其中，ni表示j类的样本数，δ为超参数。
[0069]
步骤105：利用动作数据训练集，对动作识别网络进行训练，得到动作识别模型；并利用动作数据验证集上对动作识别模型进行验证；利用动作识别模型测试集，对动作识别模型进行测试，获得性能最佳的人体动作识别模型；其中，所述人体动作识别模型识别的动作类别包括：震颤动作、运动迟缓动作或步态动作。
[0070]
步骤200：提取患者的震颤特征和运动迟缓特征，并进行皮尔逊相关性分析，包括如下步骤201-步骤204：
[0071]
本发明所述患者包括：帕金森等运动障碍性疾病和脑卒中等具有运动障碍症状的患者。
[0072]
步骤201：对于震颤动作的动作片段，提取其震颤特征。
[0073]
所述震颤特征包括：加速度、角速度和表面肌电信号的差值的均方根、样本熵、均值、方差、协方差、偏度、峰度。其中，双通道表面肌电信号的相关系数和相干系数。
[0074]
通过完全噪声辅助聚合经验模态分解方法，从惯性信息中的加速度、角速度分解出震颤模态，并通过频域分析获得震颤模态的幅值和频率。
[0075]
完全噪声辅助聚合经验模态分解方法的算法步骤如下：
[0076]
(1)将高斯白噪声加入到待分解信号x(n)得到新信号x(n)+ε0ωi(n)，对新信号进行emd分解，直到获得第一个新的内在模式函数
[0077]
(2)计算第一个残差
[0078]
(3)分解r1(n)+ε1e1ωi(n),i＝1,...,n，直到找到第一个模态，被定义为第二个内在模式函数：
[0079]
(4)对于k＝2，...，k,计算最小残差
[0080]
(5)分解和实施rk(n)+ε
kek
ωi(n),i＝1,...,n直到第一个模态被找到并定义为
[0081]
(6)返回到步骤(4)。
[0082]
循环步骤(4)到步骤(6)，直到获得在既定标准下不能分解的残差。
[0083]
步骤202：对于运动迟缓动作的动作片段，提取的第一运动迟缓特征；并对其对应的人体动作视频片段提取第二动作迟缓特征。
[0084]
所述第一运动迟缓特征包括：加速度和角速度的峰-峰值、整流平均值、方差、标准差、偏度、峭度、均方根、峰值因子、裕度因子、模糊熵；semg信号的互信息熵、互相关系数、kl散度以及semg的模糊熵、排列熵；手腕的横滚角和俯仰角；合加速度，三轴角速度平方和的算数平方根。
[0085]
所述第二运动迟缓特征包括：人体关节点信息和关节角度。
[0086]
采用openpose估计模型，对视频采集设备采集到的人体动作视频中rgb人体图像的姿态进行估计，提取人体关节信息。为保护用户的隐私，所有的人体动作视频都将被处理为骨架序列。第k个人体关节点信息定义为pk(x,y)，基于人体关节点信息获得关节角度
[0087][0088]
式中，p
k-1
，pk，p
k+1
为三个相邻的人体关节点坐标。
[0089]
步骤203：将步骤201获取的震颤特征、步骤202获得的第一运动迟缓特征和第二运动迟缓特征与神经内科专家评定的医学量表评分进行皮尔逊相关性分析，获得皮尔逊相关系数，并根据皮尔逊相关系数确定所提特征的有效性。
[0090]
步骤300：获取患者的步态参数，如图4所示，包括如下步骤301-步骤303：
[0091]
步骤301：通过加速度数据与角速度数据，计算步态分析所需要的步态特征。
[0092]
使用基于四元数的扩展卡尔曼滤波方法，以数据最小均方误差为原则，在系统前一状态的基础上递归计算，对于非线性系统，对系统状态微分方程作泰勒级数展开，根据需要保留对应阶数的导数，以将非线性系统转化为线性系统分析。系统微分方程为：
[0093][0094]
其中w
x
、wy、w
x
为陀螺仪计测量的绕x、y、z轴转动的角速度。对应的表达式为：
[0095][0096]
其中δt为传感器采样周期。得到了卡尔曼滤波中状态转移的微分方程后，接下来求取观测方程，将重力加速度投影到导航坐标系得到：
[0097][0098]
公式对应卡尔曼滤波的表达式zk＝hxk+vk。其中h即为加速度向量关于载体状态四元数的雅各比矩阵：
[0099][0100]
得到状态转移微分方程和观测方程后，根据卡尔曼滤波的公式进行递归计算。对于一个离散的线性系统，可以用如下方程描述其状态：
[0101][0102]
其中δt为传感器采样周期。得到了卡尔曼滤波中状态转移的微分方程后，接下来求取观测方程，将重力加速度投影到导航坐标系得到：
[0103][0104]
公式对应卡尔曼滤波的表达式zk＝hxk+vk。其中h即为加速度向量关于载体状态四元数的雅各比矩阵：
[0105][0106]
得到状态转移微分方程和观测方程后，根据卡尔曼滤波的公式进行递归计算。对于一个离散的线性系统，可以用如下方程描述其状态：
[0107]
xk＝ax
k-1
+buk+wk[0108]
其中x
k-1
为上一时刻系统的状态，a为状态转移矩阵，即系统当前时刻状态与上一时刻状态的线性关系矩阵，uk为k时刻对系统的控制量，b为状态输入矩阵，即系统状态与系统控制量之间的线性关系，wk为满足高斯分布的系统噪声，其协方差矩阵为q。同时，对于该
系统，有观测方程如下：
[0109]
zk＝hxk+vk[0110]
其中，zk为系统k时刻的观测值，xk为系统当前真实状态，h为系统观测矩阵，即观测量与系统状态之间的线性关系，vk为满足高斯分布的白噪声误差，其协方差矩阵为r。卡尔曼滤波的过程，可分为状态预测状态修正两个环节，状态预测即根据上一系统最优估计和状态转移微分方程得出当前状态估计值。
[0111]
x
k|k-1
＝ax
k-1|k-1
+buk[0112]
其中x
k|k-1
为系统根据上一时刻最优估计得到的当前系统状态预测值，x
k-1|k-1
为上一时刻最优估计。状态预测之后，系统的协方差也随之更新，根据协方差的乘积公式可得系统的协方差更新公式为：
[0113]
p
k|k-1
＝ap
k-1|k-1at
+q
[0114]
其中，p
k|k-1
代表x
k|k-1
对应的协方差，p
k-1|k-1
代表x
k-1|k-1
对应的协方差，q即为状态转移方程的噪声协方差矩阵，具体的取值取决于实际工程应用中传感器的精度或误差散布。以上即为状态预测的两个步骤，之后是状态更新环节，结合状态预测的结果，可以得到当前卡尔曼增益kgk：
[0115]
kgk＝p
k|k-1ht
/(hp
k|k-1ht
+r)
[0116]
其中，r为观测方程高斯噪声协方差矩阵其具体取值和q一样，也取决于实际工程应用中传感器精度误差指标。得到卡尔曼增益，即可求取最优估计：
[0117]
x
k|k
＝x
k|k-1
+kgk(z
k-hx
k|k-1
)
[0118]
需要注意的是，在实际系统中，若状态变量或观测变量为多个，则卡尔曼增益kgk是一个n
×
m的矩阵，其中n为状态变量个数，m为观测变量个数。最后，还需根据公式(4)更新最优估计x
k|k
的协方差，以便下次递归计算p
k|k
＝(i-kgkh)p
k|k-1
[0119]
其中i为单位矩阵。通过卡尔曼滤波融合后，即可求得任意采样时刻的传感器四元数姿态x
k|k
。
[0120]
在步态分析时，通常选取脚跟着地点作为步态周期的起始。根据单侧脚是否与地面相接触，可将步态周期分为静止相与摆动相，从单侧脚跟着地开始，到单侧脚尖离地，为支撑相，此过程中单侧脚始终与地面相接触。从单侧脚尖离地到下一次脚跟着地，为摆动相。根据静止相和摆动相计算步态时间参数。
[0121]
步骤302：将传感器坐标系下的加速度转换到导航坐标系下进行二重积分，得到导航坐标系下空间位置；并对时空参数漂移进行修正。
[0122]
具体的，对于空间参数的计算主要是在导航坐标系上完成的，将传感器坐标系下的加速度根据姿态信息转换到导航坐标系下进行二重积分，得到导航坐标系下空间位置，基于足部在与地面接触的相对静止阶段零速假设对时空参数漂移进行修正。
[0123]
根据步态相位划分来提取每一步位置，其中第k步水平坐标系的x轴坐标值为p
x
(k)，y轴坐标值为py(k)，，z轴坐标值为pz(k)，那么跨步长的计算公式表示如下：
[0124][0125]
廓清是指脚在摆动相内的最高离地高度，也就是脚在摆动相中期时脚的离地高度，即最大步高。廓清能够反映人的下肢肌力、膝关节、髋关节协调性及灵活性等情况。
[0126]
height＝max(pz(k))
[0127]
根据各姿态信息进行遍历，设关节向量通过关节向量计算关节角信息，计算公式如下：
[0128][0129]
其中和分别是相邻的关节向量。
[0130]
步骤303：使用tcn提取惯性信号的特征，通过tcn实现对步态时间序列信息感知，使用空洞卷积扩大了帕金森步态分析中对信号的感受野；根据多层残差连接结构，实现对惯性信号从局部到全局的逐步计算，并获得可以表征帕金森等运动障碍性疾病和脑卒中的步态参数。
[0131]
通过上述计算得到步态时间、空间和关节角步态参数。
[0132]
步骤400：利用步骤200得到的震颤特征、第一运动迟缓特征、第二运动迟缓特征以及步骤300得到的步态参数，得到运动障碍特征集，将神经内科专家的医学量表评分作为标签；并将运动障碍特征集按比例随机划分为运动障碍特征训练集和运动障碍特征测试集，随机选择运动障碍特征训练集的一部分作为运动障碍特征验证集。
[0133]
步骤500：基于全连接神经网络，建立运动障碍症状量化评估网络；利用运动障碍特征训练集对运动障碍症状量化评估网络进行训练，利用运动障碍特征测试集对运动障碍症状量化评估网络进行测试，最终获得运动障碍症状量化评估模型。
[0134]
在本步骤中，运动障碍症状量化评估网络是基于全连接神经网络的分类器算法。
[0135]
本发明得到的运动障碍症状量化评估模型的使用方法：
[0136]
采集患者的人体动作数据和人体动作视频，并利用动作识别模型，对患者的人体动作数据进行分类，输出动作片段的动作类别；利用运动障碍症状量化评估模型，对患者进行运动障碍症状量化评估。
[0137]
下面以实例的形式对本发明做进一步的解释说明：
[0138]
例如，通过两个可穿戴传感器节点采集人体手部动作数据，每个传感器节点包含一个三轴加速度计、一个三轴磁力计、一个三轴陀螺仪和一个双通道表面肌电信号传感器，采样频率为1024hz。通过七个可穿戴传感器节点采集人体步态数据，佩戴位置分别为腰部、左右侧大腿、左右侧小腿和左右侧脚踝。实验对象在实验开始时需要静止一分钟用于传感器初始化准备工作。本实验所设计的动作为十米步态测试，即实验者在无人辅助的情况，按照自己舒适的速度和最大的速度完成十米步行测试。实验对象一共40人，年龄在41—95岁之间。两个传感器节点分别放在实验对象的右手手腕，左手手腕。另外，本实验所设计的动作包括：(a)双手放在椅子扶手上；(b)双手平举；(c)前臂回旋；(d)手指敲击；(e)手掌运动；(f)手指鼻子；(g)十米步行测试。动作数据采集过程中采用摄像机采集视频动作数据。另外，采集的原始数据会在python中进行处理，并且结合编写的识别算法，得到最后的识别结果。本实例一共采集了(40人
×
2传感器
×
7动作)560个动作序列和40个视频频段。
[0139]
然后，对采集的动作序列进行窗口分割。例如，对于第i个动作序列，取分割窗口的大小为3072，即每3072个采样点为一个数据窗口。
[0140]
若动作序列矩阵的长度为la，则运动数据矩阵可以分割为个数据窗口，每个窗口内的分割数据矩阵大小为3072
×
11维。每个特征向量被看作是一个数据样本，将所有样本制作成数据集，对其进行识别与分类。
[0141]
本实例主要利用简单交叉验证法对识别算法进行评价。首先随机取30名实验对象的数据作为训练数据用于模型训练，训练过程中由模型随机选择6名实验对象的数据不参与训练，作为验证集用于模型的验证，其余10名实验对象的数据作为测试数据。模型参数设置：变量并行作为输入，每个时间序列的输入长度为3072帧。模型中卷积层的滤波器大小被设置为128，128，256，256。lstm的时间步长设置为32。在lstm之前有一个注意机制，在lstm之后有一个下降率为0.5的dropout层，以防止过拟合。模型的代价函数中的δ和λ分别设置为0.01和0.2。
[0142]
表1出了在不同的识别方法下所获得的分类精确度。其中本实例给出了利用不同变量进行识别测试样本时所获得的识别结果；另外本实还给出了其他相似方法所获得的识别结果。最近邻分类器(knn)，支持向量机(svm)。从结果上可以看出，本发明提出的方法可以获得最高的识别精度。
[0143]
表1不同的识别方法下所获得的动作分类精确度
[0144]
方法svmknnmscnntapnetmlstmfcn本发明识别率60.16％62.50％55.20％78.13％91.40％92.20％
[0145]
对已识别的数据片段特征提取，以右手数据集为例，如前面所述，对于震颤动作提取的25种特征包括：y轴加速度、y轴角速度以及两通道semg差值的均方根、样本熵、均值、方差、协方差、偏度、峰度。两通道semg的相关系数和相干系数。以及利用ceemdan算法分解y轴角速度，获取震颤分量的幅值和频率。对于运动迟缓动作提取的74种特征包括：3轴加速度和3轴角速度的峰-峰值、整流平均值、方差、标准差、偏度、峭度、均方根、峰值因子、裕度因子、模糊熵；两通道semg信号的互信息熵、互相关系数、kl散度以及两通道semg及两者差值的模糊熵、排列熵；手腕的横滚角和俯仰角；合加速度，三轴角速度平方和的算数平方根；基于人体关节的右肘部关节角度。
[0146]
将所提取的震颤特征与mds-updrs震颤评分进行皮尔逊相关性分析，结果为：震颤分量的幅值和频率、两通道semg差值的样本熵、两通道semg的相干系数，y轴加速度的均方根，y轴角速度的均方根和样本熵与震颤评分呈显著相关(p《0.01)。将所提取的运动迟缓特征与mds-updrs运动迟缓评分进行皮尔逊相关性分析，结果为：所提取的运动迟缓特征中有68种特征与mds-updrs运动迟缓评分呈极显著相关(p《0.001)，其中y轴和z轴角速度的均方根、x轴加速度的峰值因子、x轴和y轴加速度的模糊熵以及通道1的semg信号的模糊熵与mds-updrs运动迟缓评分统计学差异不显著(p》0.05)。
[0147]
在matlab中处理惯性传感器采集的步态原始数据，基于四元数的扩展卡尔曼滤波方法提取步态时间参数、空间参数以及关节参数特征。首先基于加速度和角速度信息实现惯性数据之间的融合，通过信息互补实现对传感器姿态的解算。计算惯性信号的每一时刻强度，通过佩戴在足部的惯性信号来判断是否处于静止相，根据相位信息将每一个步态周期进行划分。根据姿态信息将传感器的加速度信号转化到导航坐标系下，用于计算使用者足部在空间中的位置。使用二重积分计算导航坐标系下的加速度的位移，使用零速更新对
位置漂移进行修正。使用人体骨骼模型和正向运动学方法，按照遍历的方法推算各关节的姿态，重构人体动作和计算关节角变化。使用相位信息将时空参数和关节参数信息进行分割，获得离散的步态参数特征。使用tcn提取惯性信号的特征，通过tcn实现对步态时间序列信息感知，使用空洞卷积扩大了帕金森步态分析中对信号的感受野。根据多层残差连接结构实现对惯性信号从局部到全局的逐步计算，并获得可以表征帕金森病步态参数，所提取的步态特征能有效表征帕金森患者的步态特点。
[0148]
本实例主要利用简单交叉验证法对评估算法进行评价。基于步态特征、震颤特征和运动迟缓特征建立运动障碍特征集，将患者疾病等级分为初级、中级和高级三类，将数据集按3：1的比例划分为训练集和测试集，利用本发明提出的分类模型进行量化评估，在测试集上多次试验得到的识别结果为90％以上。
[0149]
本实例提供的基于惯性和肌电信息的帕金森等运动障碍性疾病和脑卒中患者临床运动障碍测试动作的识别方法，针对不同于正常人的复杂度较高的帕金森等运动障碍性疾病和脑卒中患者的数据，提出基于双模态数据融合的帕金森等运动障碍性疾病和脑卒中患者临床测试动作识别方法，基于fcn和lstm建立识别模型，并添加注意力机制以及改进代价函数，从而提升了模型捕捉重要特征和解决类不平衡问题的能力，提高了算法精度。本发明还提供了一种帕金森等运动障碍性疾病和脑卒中患者运动障碍特征提取方法，能够对步态参数、震颤和运动迟缓特征进行量化特征提取，并采用皮尔逊相关性分析方法验证了所提特征的有效性，而本发明所提出的特征提取方法所提取的多种运动障碍特征都与神经内科专家的量表评分具有显著相关性。此外，本发明提供的帕金森等运动障碍性疾病和脑卒中运动障碍症状量化分级评估方法能够对患者运动障碍症状进行客观的量化分级评估，有效克服了人工评估的弊端。
[0150]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种运动障碍症状量化评估模型的建模方法，其特征在于，包括以下过程：步骤100：采集人体动作数据，建立人体动作识别模型；步骤200：提取患者的震颤特征和运动迟缓特征，并进行皮尔逊相关性分析；步骤300：获取患者的步态参数；步骤400：利用步骤200得到的震颤特征、第一运动迟缓特征、第二运动迟缓特征以及步骤300得到的步态参数，得到运动障碍特征集，将神经内科专家的医学量表评分作为标签；并将运动障碍特征集按比例随机划分为运动障碍特征训练集和运动障碍特征测试集，随机选择运动障碍特征训练集的一部分作为运动障碍特征验证集；步骤500：基于全连接神经网络，建立运动障碍症状量化评估网络；利用运动障碍特征训练集对运动障碍症状量化评估网络进行训练，利用运动障碍特征测试集对运动障碍症状量化评估网络进行测试，最终获得运动障碍症状量化评估模型。2.根据权利要求1所述的运动障碍症状量化评估模型的建模方法，其特征在于，步骤100，包括如下步骤101-步骤103：步骤101：利用分别固定于人体不同部位的n个惯性传感器节点，采集人体动作数据；利用视频采集设备采集人体动作视频；步骤102：利用滑动窗口分割技术，对每个可穿戴传感器节点所采集的人体动作数据进行窗口分割，得到每个可穿戴传感器节点的多个动作数据片段；步骤103：利用每个惯性传感器节点的多个动作数据片段，形成动作数据集，将动作数据集按比例随机划分为动作数据训练集和动作数据测试集，随机选择动作数据训练集的一部分作为动作数据验证集；步骤104：建立动作识别网络；步骤105：利用动作数据训练集，对动作识别网络进行训练，得到动作识别模型；并利用动作数据验证集上对动作识别模型进行验证；利用动作识别模型测试集，对动作识别模型进行测试，获得性能最佳的人体动作识别模型；其中，所述人体动作识别模型识别的动作类别包括：震颤动作、运动迟缓动作或步态动作。3.根据权利要求2所述的运动障碍症状量化评估模型的建模方法，其特征在于，所述动作识别网络包括：一个fcn模块和一个lstm模块；输入变量个数为v；变量并行作为输入，每个时间序列的输入长度为l帧；所述fcn模块包括k个卷积层；所述lstm模块的时间步长设置为m；在lstm模块之前设置一个注意机制，在lstm之后设置一个dropout层；lstm模块中的注意力机制如下式所示，将lstm模型注意力集中在不同维度的变量：其中，w
i
为ν
i
的权重之和，每个ν
i
的权重σ
i
定义为σ
i
＝f(ν
i
)vν
i
'，
⊙
为hadamard积，f(
·
)为一个全连接层；代价函数包括l2正则化和类不平衡损失函数两部分：
其中，类别为i时，y
i
＝1，否则y
i
＝0；k是类别个数，p是模型的输出；β
i
根据下式计算：其中，n
i
表示j类的样本数，δ为超参数。4.根据权利要求1所述的运动障碍症状量化评估模型的建模方法，其特征在于，步骤200，包括如下步骤201-步骤204：步骤201：对于震颤动作的动作片段，提取其震颤特征；所述震颤特征包括：加速度、角速度和表面肌电信号的差值的均方根、样本熵、均值、方差、协方差、偏度、峰度；步骤202：对于运动迟缓动作的动作片段，提取的第一运动迟缓特征；并对其对应的人体动作视频片段提取第二动作迟缓特征；所述第一运动迟缓特征包括：加速度和角速度的峰-峰值、整流平均值、方差、标准差、偏度、峭度、均方根、峰值因子、裕度因子、模糊熵；semg信号的互信息熵、互相关系数、kl散度以及semg的模糊熵、排列熵；手腕的横滚角和俯仰角；合加速度，三轴角速度平方和的算数平方根；所述第二运动迟缓特征包括：人体关节点信息和关节角度；步骤203：将步骤201获取的震颤特征、步骤202获得的第一运动迟缓特征和第二运动迟缓特征与神经内科专家评定的医学量表评分进行皮尔逊相关性分析，获得皮尔逊相关系数，并根据皮尔逊相关系数确定所提特征的有效性。5.根据权利要求1所述的运动障碍症状量化评估模型的建模方法，其特征在于，步骤300包括如下步骤301-步骤303：步骤301：通过加速度数据与角速度数据，计算步态分析所需要的步态特征；步骤302：将传感器坐标系下的加速度转换到导航坐标系下进行二重积分，得到导航坐标系下空间位置；并对时空参数漂移进行修正；步骤303：使用tcn提取惯性信号的特征，通过tcn实现对步态时间序列信息感知，使用空洞卷积扩大了帕金森步态分析中对信号的感受野；根据多层残差连接结构，实现对惯性信号从局部到全局的逐步计算，并获得可以表征帕金森等运动障碍性疾病和脑卒中的步态参数。

技术总结
本发明涉及运动障碍症状评估技术领域，提供一种运动障碍症状量化评估模型的建模方法，包括：步骤100：采集人体动作数据，建立人体动作识别模型；步骤200：提取患者的震颤特征和运动迟缓特征，并进行皮尔逊相关性分析；步骤300：获取患者的步态参数；步骤400：得到运动障碍特征集；步骤500：基于全连接神经网络，建立运动障碍症状量化评估网络；利用运动障碍特征训练集对运动障碍症状量化评估网络进行训练，利用运动障碍特征测试集对运动障碍症状量化评估网络进行测试，最终获得运动障碍症状量化评估模型。利用本发明所提出的量化评估模型能够较准确的对患者的运动障碍症状进行分级评估。估。估。


技术研发人员：王哲龙 林芳 刘芮辰 石鑫
受保护的技术使用者：大连理工大学
技术研发日：2023.04.28
技术公布日：2023/8/16