一种结合多尺度卷积和注意力机制的手部连续运动估计方法

1.本发明属于生物信号处理技术领域，涉及一种结合多尺度卷积和注意力机制的手部连续运动估计方法。


背景技术：

3.近年来，随着人工智能技术和神经科学的快速发展，分析人类运动意图的生物电信号变得更加可能。表面肌电由于其包含丰富的运动信息、易于采集和无创等特点，受到了广泛关注。因此，基于表面肌电的连续运动估计成为实现下一代人机交互的重要技术路线。
4.目前，对于意图识别的主要研究分为两部分：一是离散动作的分类和运动模式的识别，二是直接解码神经中枢的运动意图信息，如关节角度、角速度、力矩等。虽然研究方法在分类问题上已相对成熟，但其只能预测少数离散肢体动作。应用这些预测结果控制康复机器人时，无法像人体关节一样运动自如，保证人机运动的连续匹配是实现康复机器人安全控制的前提。因此，通过表面肌电信号估计人体关节的连续运动对患者康复训练具有积极的作用。本发明使用表面肌电信号识别人体下肢多关节角度，估计结果可作为控制机器人的参考输入，提高机器人的自主适应能力，并为患者提供一个安全舒适的训练环境，促进人机交互的发展。


技术实现要素：

5.本发明提供一种基于表面肌电信号的手部多关节角度估计方法，以克服现有的连续运动估计方法结果不够精准、动作不够丰富等技术问题。
6.为了实现上述目的，本发明的技术方案是：一种结合多尺度卷积和注意力机制的手部连续运动估计方法，包括以下步骤：
7.步骤1、使用预设的采样频率记录该关节部位的表面肌电信号和关节角度信号；
8.步骤2、将采集待预测对象的关节部位肌电信号和关节角度信号划分为训练集和测试集，分别进行预处理，以实现肌电信号和关节角度信号采样时间一一对应；
9.步骤3、利用训练集中的肌电信号和关节角度信号作为样本进行输入，以构建预测模型，对预测模型进行训练，得到训练好的预测模型；
10.步骤4、实时采集待预测对象的肌电信号，并将其输入训练好的预测模型以进行关节角度的预测；
11.步骤5、将上述预测输出的角度信号进行实时平滑处理，以此获得所需的关节角度信号，由此实现所述人体关节角度的连续估计。
12.进一步地，将采集好的表面肌电信号和关节角度信号进行划分，前60％的数据作为训练集，后40％的数据作为测试集；
13.进一步地,所述对划分好的肌电信号进行预处理包括:
14.首先采用滤波器对采集的所述肌电信号去噪；
15.然后对关节角度信号进行重采样，使其与表面肌电信号同步；
16.再采用滑动窗技术提取去噪后所述肌电信号中的肌电特征,并将该肌电特征进行归一化处理,以此实现所述肌电信号的预处理。
17.进一步地,,所述采用滤波器对采集的肌电信号去噪具体包括:
18.首先，对采集的肌电信号进行陷波滤波处理，以去除50hz及其倍频分量；
19.接着，采用butterworth高通滤波去除陷波滤波处理信号中的运动伪迹，以消除待预测对象低频运动对信号的影响。
20.进一步地,所述采用滑动窗技术以滑动窗口中的零阶矩、波动期望、无偏标准差三种方式进行特征提取，再将提取后的特征进行特征融合，融合后的特征作为肌电特征。
21.进一步地，所述预测模型包括：融合后的特征信号的时间特征，然后通过通道注意力机制自适应的提取特征信号的空间特征的多尺度特征提取模块；
22.将输出的融合信号进行切片处理，然后将每个切片视为一个token，通过一个嵌入矩阵e线性投影到模型的维度d的切片处理模块；
23.对映射后的切片序列添加位置编码来捕获位置信息的三层编码模块；
24.将附带位置信息的切片序列的进行全局信息的捕获的encoder模块；
25.将多层encoder提取后的特征经过平均池化层进行压缩，然后经过线性层映射为目标关节角度的映射模块；
26.将预测输出的角度信号进行实时平滑处理的平滑模块。
27.进一步地,对预测模型进行训练，得到训练好的预测模型具体过程为；
28.步骤3.1、利用不同尺度的卷积核来提取融合后的特征信号的时间特征，然后通过通道注意力机制自适应的提取特征信号的空间特征；
29.步骤3.2、将输出的融合信号进行切片处理，然后将每个切片视为一个token，通过一个嵌入矩阵e线性投影到模型的维度d；
30.步骤3.3、对映射后的切片序列添加位置编码来捕获位置信息；
31.步骤3.4、将附带位置信息的切片序列的进行全局信息的捕获；
32.步骤3.5、将多层encoder提取后的特征经过平均池化层进行压缩，然后经过线性层映射为目标关节角度。
33.进一步地,所述通道注意力机制先使用全局平均池化来提取全局特征，然后采用一个一维卷积操作进行学习通道间的关注度，采用一种自适应的方法来确定卷积核k的大小，表示局部跨通道交互的覆盖范围，k的计算过程如下：
[0034][0035]
其中|t|
odd
表示t最近的奇数，在本文中，我们将γ和b分别设为2和1。
[0036]
进一步地,所述映射后的切片序列采用可学习的一维位置嵌入进一步地,所述映射后的切片序列采用可学习的一维位置嵌入来捕获位置信息。
[0037]
进一步地,所述3层编码模块中每层encoder中包括多头注意力模块和多层感知机模块；多头注意力机制允许模型使用多个的注意头以多种方式关注输入semg切片的成分，多层感知机将msa提取的特征进行进一步的筛选。
[0038]
进一步地,所述步骤5中将对预测的关节角度信号进行平滑处理，具体计算公式如
下：
[0039][0040]
s0＝y
′1+y
′2+y
′3[0041]st
＝αy
′
t
+(1-α)s
t-1
[0042]
其中：y为线性层的输出，l为窗口长度，α是平滑系数。
[0043]
有益效果：本发明一种结合多尺度卷积和注意力机制的手部连续运动估计方法，采用首先提取semg的多种特征进行融合，为后续的模型训练提供丰富的先验知识。然后将融合后的特征信号送入多尺度卷积融合模块来提取信号中不同尺度的局部特征包括时间维度和空间维度。接着将融合后的信号进行切片操作，并进行线性映射，之后在对其附加上位置编码。然后将附带位置信息的切片序列送入编码器来捕获序列的全局信息，并使用平均池化层对特征信息进行压缩，将压缩后的特征用于关节角度信号的映射，然后通过平滑模块进行平滑处理，作为最终预测的关节角度信号，从而得出精度更高、鲁棒性更强、实时性更好的预测结果。
附图说明
[0044]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1是本发明实施例中表面肌电信号特征处理与关节角度预测方法的流程示意；
[0046]
图2为本发明中预处理后表面肌电信号进行手部关节角度估计的示意图；
[0047]
图3为本发明中预测网络结构图；
[0048]
图4为本发明中卷积融合模块中通道注意力的结构图；
[0049]
图5为本发明的实施用例的实验一测试结果。
具体实施方式
[0050]
为使更清晰地了解本发明的目的、技术方案和优点，下面将结合附图对本发明的实施例进行详细的描述。需要注意的是，所描述的实施例只是本发明的部分实施例，而不是全部实施例。根据本发明的实施例，本领域普通技术人员可以在不需要做出创造性工作的情况下获得本发明的其他实施例，并且这些实施例都属于本发明受保护的范围。
[0051]
下面通过不同的实施例来详细地描述本技术的技术方案。
[0052]
本实施例提供了一种基于表面肌电信号的手部多关节角度估计方法，
[0053]
图1是本发明实施例中表面肌电信号特征处理与关节角度预测方法的流程示意；包括以下步骤：
[0054]
步骤1、使用预设的采样频率记录该关节部位的表面肌电信号和关节角度信号；
[0055]
步骤2、将采集待预测对象的关节部位肌电信号和关节角度信号划分为训练集和测试集，分别进行预处理，以实现肌电信号和关节角度信号采样时间一一对应；
[0056]
步骤3、利用训练集中的肌电信号和关节角度信号作为样本进行输入，以构建预测模型，对预测模型进行训练，得到训练好的预测模型；
[0057]
步骤4、实时采集待预测对象的肌电信号，并将其输入训练好的预测模型以进行关节角度的预测；
[0058]
步骤5、将上述预测输出的角度信号进行实时平滑处理，以此获得所需的关节角度信号，由此实现所述人体关节角度的连续估计。
[0059]
图2为本发明中预处理后表面肌电信号进行手部关节角度估计的示意图；
[0060]
所述步骤1、步骤2、步骤3、步骤4、步骤5顺序执行；
[0061]
在具体实施用例中，所述步骤1中，选定要预测的人体关节部位，并采集该部位的肌电信号和关节角度信号；使用包括12个无线semg电极的delsys trigno无线系统来记录semg,使用22个传感器的cyber手套ii来测量手部运动。cyber手套ii和delsys的采样率分别为20hz和2000hz。
[0062]
在具体实施用例中，所述步骤2中，我们首先对采集后的表面肌电信号和关节角度信号进行划分，数据的前60％作为训练集，后40％作为测试集。然后对划分后的表面肌电信号分别进行了滤波、特征提取、归一化等一系列操作，并对肌电信号与角度信号进行同步，具体如下：
[0063]
在步骤2.1中，我们对semg信号进行滤波处理，肌电信号去噪具体包括:首先对采集的所述肌电信号进行了陷波滤波处理,以此去除该肌电信号中50hz及其整数倍频率的分量,然后采用butterworth高通滤波去除陷波滤波信号中的运动伪迹,以此排除待预测对象低频运动对信号产生的影响；
[0064]
在步骤2.2中，我们对semg信号进行特征提取，利用滑动窗技术计算表面肌电信号的零阶矩、振幅变化速度的期望、无偏标准差等时序特征。将滑动窗口大小设置为100ms，滑动步进设置为0.5ms，以保留肌电信号的原始信息的前提下尽量降低人机交互的延迟。零阶矩、振幅变化速度的期望、无偏标准差的计算公式分别如下：
[0065][0066]
其中n表示滑动窗口长度，x[i],i＝1,2,
…
,n来表示时间长度为n的肌电信号。
[0067][0068]
其中δ2表示2阶导数。
[0069][0070]
其中表示肌电样本的期望值。
[0071]
在步骤2.3中，在获得处理后的肌电信号特征后，采用最大最小归一化方法使其数
值在[0,1]之间，并记录最小最小值，用于测试数据的归一化。计算公式如下：
[0072][0073]
在步骤2.4中，由于提取特征后地semg与关节角度信号采样率不同，我们采用线性插值的方法对关节角度信号进行插值处理，使其与semg在时间上一一对应。
[0074]
图3为本发明中预测网络结构图；
[0075]
所述预测模型包括：融合后的特征信号的时间特征，然后通过通道注意力机制自适应的提取特征信号的空间特征的多尺度卷积融合模块；
[0076]
将输出的融合信号进行切片处理，然后将每个切片视为一个token，通过一个嵌入矩阵e线性投影到模型的维度d的切片编码模块；
[0077]
对映射后的切片序列添加位置编码来捕获位置信息的三层encoder模块；
[0078]
将附带位置信息的切片序列的进行全局信息的捕获的捕获模块；
[0079]
将多层encoder提取后的特征经过平均池化层进行压缩，然后经过线性层映射为目标关节角度的映射模块。
[0080]
还包括平滑模块，将上述预测输出的角度信号进行实时平滑处理，主要在测试集使用，模型训练的时候不使用；
[0081]
图4为本发明中卷积融合模块中通道注意力的结构图；
[0082]
在具体实施用例中，所述步骤3中，我们将同步后的semg特征信号与关节角度信号划分为100ms(200个样本点)的小片段作为样本输入到所提出的方法预测模型(smcf-pen)中，依次经过多尺度卷积融合模块、切片编码模块、encoder模块、平滑模块等处理。具体步骤如下：
[0083]
在步骤3.1中，首先将融合后的肌电信号x送入多尺度卷积融合模块，首先通过不同尺度大小的卷积核在时间方向上提取特征信号的局部信息，卷积核的尺度分别为1
×
3、1
×
5、1
×
7，然后通过elu激活函数，接着进入通道注意力模块eca来自适应提取信号通道间的空间信息。
[0084]
进一步地，eca能够增强输入特征图的通道特征，而不改变其大小，首先使用全局平均池化来提取全局特征，然后采用一维卷积操作学习通道间的关注度。一维卷积核大小的选择尤为重要，它表示局部跨通道交互的覆盖范围。这里采用一种自适应的方法来确定卷积核k的大小，计算公式如下：
[0085][0086]
其中|t|
odd
表示t最近的奇数，在本文中，我们将γ和b分别设为2和1。
[0087]
最后，将每个特征分支的信息直接相加以获得多尺度特征x
′
，计算公式如下：
[0088][0089]
其中(
·
)表示c个卷积核为n1×
1为的卷积操作，σ(
·
)为elu激活函数,e表示eca通道注意模块。
[0090]
在步骤3.2中，在将多尺度特征融合后的信号x
′
送入编码器之前，我们将其分成若
干个不重叠的patch，表示为每个patch的长度为c，因此patch的数量为m＝w/c。然后，我们将每个patch视为一个token，与许多基于transformer的模型不同，我们不是将每个时间点视为一个token，而是将时间步长聚合到semg子序列级补丁中，这不仅增强了局部性，还捕获了点级不可用的全面语义信息。然后通过一个嵌入矩阵e线性投影每个token到模型的维度d。
[0091]
进一步地，由于semg信号具有特定的顺序，如果改变这个顺序，输入的含义可能会发生变化。但是变换器的架构不会对位置信息进行建模，因此需要显式地编码输入序列的顺序。我们采用可学习的一维位置嵌入矩阵来捕获位置信息。生成的带有位置信息的补丁序列可以表示为：
[0092][0093]
在步骤3.3中，我们将带有位置信息的补丁送入编码器中。我们采用了n个相同的编码器来提取semg的相关信息。每个编码器由多头自注意块(msa)和多层感知器(mlp)组成。为了方便描述，我们用z
l
(l＝1,2
…
n)来表示每层编码器的输入。
[0094]
进一步地，所述步骤3.3中多头注意力模块由多个自注意力层构成，自我注意层的功能是捕获肌电特征序列中不同向量之间的相关性，聚集全局上下文信息来更新序列的每个成分。因此，针对一系列输入片段z
l
，我们首先将输入向量转换为三个不同的向量：查询向量q、关键向量k和值v，它们的维度为dq＝dk＝dv＝d。来自不同输入的向量被打包成三个不同的矩阵，即q、k和v。不同输入向量之间的注意力函数的计算公式如下：
[0095][0096]
多头注意力允许模型使用多个注意头以不同的方式关注输入的semg补丁组成部分。假设有h个头，每个头的维度为dh＝d/h.。首先，我们计算每个注意力头的输出结果headi，然后将多个注意力头的输出拼接起来，最后将结果投影到一个矩阵中，该过程可以通过以下方式实现：
[0097]
headi＝attention(qi，ki，vi)
[0098]
multihead＝concat(head1…
headh)w
[0099]
其中qi，ki，vi表示第i个注意力头计算过程中的q，k，v，i＝{1，2
…
h}，为线性投影矩阵。
[0100]
为了减缓网络的退化以及加速训练速度，该模块添加跳跃连接和层归一化操作，公式如下：
[0101]zl
＝multihead(ln(z
l-1
))+z
l-1
[0102]
进一步地，将多头注意力模块的输出z
l
送入多层感知机中(mlp)，mlp由两个线性变换层、一个漏失层和一个称为高斯误差线性单元(gelu)的非线性激活函数组成。目的是为了将输入的z映射到更加高维的空间中，然后通过非线性函数grlu进行筛选，筛选完后再变回原来的维度。因此，mlp可以描述为：
[0103]
mlp(z
l
)＝w2δ(w1z
l
)
[0104]
其中w1和w2分别表示两个线性层的参数矩阵，δ表示激活函数gelu。与多头注意力
模块一样，这里也添加残差快和归一化层：
[0105]z′
l
＝mlp(ln(z
l
))+z
l
[0106]
在步骤3.4中，为了将所述步骤3.3中输出转化为所需的关节角度，首先进行了平均池化来进一步压缩特征，然后采用一个线性层进行预测，得到预测的关节角度y。
[0107]
y＝linear(avgpooling(z
′
l
))
[0108]
在具体实施用例中，所述步骤5中将预测的关节角度信号进行平滑处理。该模块可以使用少量的历史关节角度来处理一些误差较大的预测值，使其更符合人体的实际运动，并提高模型的鲁棒性。具体实现方法如下：
[0109][0110]
s0＝y
′1+y
′2+y
′3[0111]st
＝αy
′
t
+(1α)s
t-1
[0112]
其中y为mcf-pen的输出，l表示窗口长度，α表示平滑系数，我们将l和α分别设为4和0.3。
[0113]
进一步地，为了验证由本实施例得到的连续运动信息预测模型的效果，进行了实验验证。本实验均采用pytorch框架实现，在公开数据集ninapro上进行验证。
[0114]
实验一：选取ninapro中具有代表性的10个受试者。计算每个受试者测试集预测曲线与实际曲线的皮尔森相关系数(cc)。如图5所示，本实施例一提出的预测模型(smcf-pen)明显优于其他的现有算法，例如tcn和lstm模型。
[0115]
最后需要说明的是：以上各实施例仅用于阐述本发明的技术方案，而不是对其进行限制。尽管参照前述各实施例对本发明进行了详细的说明，但本领域的普通技术人员应理解：他们仍可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换。这些修改或替换不会使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种结合多尺度卷积和注意力机制的手部连续运动估计方法，其特征在于，包括以下步骤：步骤1、使用预设的采样频率记录该关节部位的表面肌电信号和关节角度信号；步骤2、将对采集待预测对象的关节部位肌电信号和关节角度信号分别进行预处理划分为训练集和测试集，以实现肌电信号和关节角度信号采样时间一一对应；步骤3、利用训练集中的肌电信号和关节角度信号作为样本进行输入，以构建预测模型，对预测模型进行训练，得到训练好的预测模型；步骤4、实时采集待预测对象的肌电信号，并将其输入训练好的预测模型以进行关节角度的预测；步骤5、将上述预测输出的角度信号进行实时平滑处理，以此获得所需的关节角度信号，由此实现所述人体关节角度的连续估计。2.如权利要求1所述的方法,其特征在于,在步骤2中,所述对划分好的肌电信号进行预处理包括:首先采用滤波器对采集的所述肌电信号去噪；然后对关节角度信号进行重采样，使其与表面肌电信号同步；再采用滑动窗技术提取去噪后所述肌电信号中的肌电特征,并将该肌电特征进行归一化处理,以此实现所述肌电信号的预处理。3.如权利要求2所述的方法,其特征在于,所述采用滤波器对采集的肌电信号去噪具体包括:首先，对采集的肌电信号进行陷波滤波处理，以去除50hz及其倍频分量；接着，采用butterworth高通滤波去除陷波滤波处理信号中的运动伪迹，以消除待预测对象低频运动对信号的影响。4.如权利要求2所述的方法,其特征在于,所述采用滑动窗技术以滑动窗口中的零阶矩、波动期望、无偏标准差三种方式进行特征提取，再将提取后的特征进行特征融合，融合后的特征作为肌电特征。5.如权利要求7所述的方法,其特征在于，所述预测模型包括：融合后的特征信号的时间特征，然后通过通道注意力机制自适应的提取特征信号的空间特征的多尺度特征提取模块；将输出的融合信号进行切片处理，然后将每个切片视为一个token，通过一个嵌入矩阵e线性投影到模型的维度d的切片处理模块；对映射后的切片序列添加位置编码来捕获位置信息的三层编码模块；将附带位置信息的切片序列的进行全局信息的捕获的encoder模块；将多层encoder提取后的特征经过平均池化层进行压缩，然后经过线性层映射为目标关节角度的映射模块；将预测输出的角度信号进行实时平滑处理的平滑模块。6.如权利要求1所述的方法,其特征在于,对预测模型进行训练，得到训练好的预测模型具体过程为；步骤3.1、利用不同尺度的卷积核来提取融合后的特征信号的时间特征，然后通过通道注意力机制自适应的提取特征信号的空间特征；
步骤3.2、将输出的融合信号进行切片处理，然后将每个切片视为一个token，通过一个嵌入矩阵e线性投影到模型的维度d；步骤3.3、对映射后的切片序列添加位置编码来捕获位置信息；步骤3.4、将附带位置信息的切片序列的进行全局信息的捕获；步骤3.5、将多层encoder提取后的特征经过平均池化层进行压缩，然后经过线性层映射为目标关节角度。7.如权利要求6所述的方法,其特征在于,所述通道注意力机制先使用全局平均池化来提取全局特征，然后采用一个一维卷积操作进行学习通道间的关注度，采用一种自适应的方法来确定卷积核k的大小，表示局部跨通道交互的覆盖范围，k的计算过程如下：其中|t|
odd
表示t最近的奇数，在本文中，我们将γ和b分别设为2和1。8.如权利要求7所述的方法,其特征在于，所述映射后的切片序列采用可学习的一维位置嵌入来捕获位置信息。9.如权利要求5所述的方法,其特征在于，所述3层编码模块中每层encoder中包括多头注意力模块和多层感知机模块；多头注意力机制允许模型使用多个的注意头以多种方式关注输入semg切片的成分，多层感知机将msa提取的特征进行进一步的筛选。10.如权利要求1所述的方法,其特征在于，所述步骤5中将对预测的关节角度信号进行平滑处理，具体计算公式如下：s0＝y
′1+y
′2+y
′3s
t
＝αy
′
t
+(1-α)s
t-1
其中y为线性层的输出，l为窗口长度，α是平滑系数。

技术总结
本发明为一种结合多尺度卷积和注意力机制的手部连续运动估计方法，公开了一种基于表面肌电信号连续估计人体关节角度的方法，属于人机交互领域。该方法包括下列步骤:对采集待预测对象的关节部位肌电信号和关节角度信号分别进行预处理，以实现肌电信号和关节角度信号采样时间一一对应；利用训练集中的肌电信号和关节角度信号作为样本进行输入，以构建预测模型，对预测模型进行训练，得到训练好的预测模型；实时采集待预测对象的肌电信号，并将其输入训练好的预测模型以进行关节角度的预测；将上述预测输出的角度信号进行实时平滑处理，以此获得所需的关节角度信号。通过本发明，以连续的方式实现表面肌申信号映射到关节角度上的运动，保证连续估计的实时性，提高预测准确性，降低计算复杂度。降低计算复杂度。降低计算复杂度。


技术研发人员：林闯 赵鹏辉 牛昕悦 张建华 崔紫薇 张军
受保护的技术使用者：大连海事大学
技术研发日：2023.06.01
技术公布日：2023/10/8