一种基于多扩展率压缩卷积的太极拳动作识别方法

1.本发明属于动作识别技术领域，具体涉及一种基于多扩展率压缩卷积的太极拳动作识别方法。


背景技术：

2.太极拳是我国的一种传统拳法，可强身健体、修身养性。在交互式太极拳康复训练过程中，可能存在动作不规范、动作协调性差等问题，需要进行指导。随着深度学习和机器学习的应用，表面肌电信号经常用于肢体运动的模式识别。文献“learning effective spatial-temporal features for semg armband-based gesture recognition.ieee internet of things journal.2020，7(8)：6979-6992”利用memd将信号分解为多级，与原信号一同组成三维数据矩阵，通过crnn对其进行特征提取和分类；文献“semg-based gesture recognition using deep learning from noisy labels.ieee biomed.health informatics 26(9)：4462-4473(2022)”利用多层小波分解的多分辨率谱图来构造一个丰富的融合特征图，并用cnn模型来阐述形成的特征图像中的高冗余结构，从而达到手部动作识别的目的；文献“surface electromyography image driven torque estimation of multi-dof wrist movements.ieee transactions on industrial electronics,2021，pp(99)：1-1.”通过采集hd-emg信号，并通过cnn的演化模型提取瞬时肌肉活动潜在生理过程的相对全局测量，以实现手部动作识别；文献“long exposure convolutional memory network for accurate estimation of finger kinematics from surface electromyographic signals.journal of neural engineering.2021，18(2)”采取重叠加窗的方式构造三维数据矩阵，再利用3d-cnn提取空间特征，实现动作识别。
3.但太极拳练习需要全身肌肉协同，这种协同关系在肌电信号上反映为通道之间的关系，现有机器学习方法和卷积结合循环网络的方法，通常忽略了通道关系，或只考虑相邻通道或固定扩展率下的空间关系，忽略了上下肢肌肉多种协同模式的问题，影响识别结果准确性。


技术实现要素：

4.为解决上述技术问题，本发明提出了一种基于多扩展率压缩卷积的太极拳动作识别方法，兼顾肌电信号不同通道间关系及信号自有特征，降低数据维度，减少数据冗余，提高太极拳动作识别的准确性。
5.本发明的技术方案为：一种基于多扩展率压缩卷积的太极拳动作识别方法，具体步骤如下：
6.s1、采集太极拳动作肌电数据，并进行数据预处理；
7.s2、提取源信号的时域特征，构建特征矩阵；
8.s3、通过多扩展率压缩卷积算法提取跨通道压缩特征序列；
9.s4、基于步骤s3得到的源数据和四种时域特征的压缩特征序列，进行融合得到多
维度的融合特征矩阵，再通过长短期记忆网络得到时序关系特征，最后通过全连接层得到动作识别结果，完成太极拳动作识别。
10.进一步地，所述步骤s1具体如下：
11.通过表面肌电设备，即电极贴片，收集指导者打太极拳各个动作时上肢、下肢、躯干各部的肌电信号；
12.将每个电极贴片固定在上肢肌、下肢肌、躯干肌所对应的位置上，一共c片电极贴片；
13.确认佩戴稳固并连接好采集系统后，指导者开始进行各个动作的操习；收集到的每条数据有c个通道。
14.然后对采集到的数据进行预处理，具体如下：
15.首先进行低通滤波：
16.用四阶巴特沃斯滤波器对信号进行低通滤波，截止频率的经验值为5hz，针对不同的设备和具体应用场景进行适当调节；
17.再进行陷波整流处理：
18.用陷波滤波器对信号进行陷波滤波，依据采集设备的电子噪声频率设定陷波频率，默认设置为50hz及其倍数，针对不同的设备和具体应用场景进行适当调节，并对陷波节点进行平滑处理。
19.将预处理后的肌电数据称为源信号，表示为s，其维度为c
×
t，将s的第c个通道的数据序列表示为sc,c∈(1,c)，每个通道序列长度为t，c表示数据序列的通道总数。
20.进一步地，所述步骤s2具体如下：
21.对每个sc,c∈(1,c)，使用长度为l的窗来生成特征序列。
22.s21、在长度为t的源信号前面以长度为(l/2)-1的零值进行填充，后面以长度为l/2的零值进行填充，形成长度为t+l-1的扩充信号序列；
23.s22、从扩充序列的头部开始加窗，长度为l；
24.s23、计算窗内信号的特征值，表示为c∈(1,c)；
25.其中，c表示通道编号，type表示特征种类，包括绝对均值mav、均方根rms、波形长度wl和标准差sd四种特征；
26.通道c中长度l的窗内信号的绝对均值mav反映太极拳动作的局部强度信息，表达式计算如下：
[0027][0028]
其中，sc(t)表示源信号通道c的数据序列中第t个采样点的信号值，l表示加窗的长度，即窗口对应序列内采样点的个数；
[0029]
通道c中长度l的窗内信号的均方根rms反映太极拳动作过程肌电信号包含的能量信息，表达式计算如下：
[0030][0031]
通道c中长度l的窗内信号的波形长度wl表示肌电信号波形的累积长度，反映太极拳动作的波动情况和持续时长，表达式计算如下：
[0032][0033]
通道c中长度l的窗内信号的标准差sd表示信号能量的动态分量，反映太极拳动作所包含的能量信息，表达式计算如下：
[0034][0035]
其中，表示窗口内肌电信号平均值。
[0036]
s24、窗口向后移动，步长为1，重复步骤s23、s24，直到窗口包含了序列的所有值，得到sc的特征序列
[0037]
其中，type∈{mav，rms，wl，sd}。
[0038]
s25、将各通道的特征序列c∈(1,c)组合成一个特征矩阵s
type
，维度为c
×
t。
[0039]
综上，每个源信号s得到四个特征矩阵，分别表示为绝对均值矩阵s
mav
、均方根矩阵s
rms
、波形长度矩阵s
wl
、标准差矩阵s
sd
。
[0040]
进一步地，所述步骤s3具体如下：
[0041]
多扩展率压缩卷积(cconv)算法通过两层卷积分别对源信号s及步骤s2提取的时域特征矩阵s
mav
、s
rms
、s
wl
、s
sd
进行压缩卷积得到一维向量；
[0042]
其中，对s进行多扩展率压缩卷积，具体如下：
[0043]
(1)对维度为c
×
t的源信号s进行扩充；
[0044]
给定扩张卷积的扩展率d，根据公式c＝(k-1)d+k求取对应卷积核的大小k(向上取整)，并且需要满足k≥d，然后根据d和k的值反求此时扩充矩阵的行数c
′
，记为c
′
＝(k-1)d+k。
[0045]
以信号序列值依序的每一行填充行使其达到c
′
行，即填充的第一行是原序列第一行的值，填充的第二行是原序列第二行的值，以此类推；得到尺寸为c
′
×
t的扩充矩阵；
[0046]
通过不同的扩展率获得多种肌肉(群)组合的协同信息，得到一组d值(d1,d2,
…
,dz)、一组k值(k1,k2,
…
,kz)、和一组c
′
(c
′1,c
′2,
…
,c
′z)。
[0047]
其中，z表示不同扩展率的个数。
[0048]
(2)通过压缩卷积提取压缩特征序列；
[0049]
压缩卷积包含两层卷积核，第一层为扩张卷积，卷积核大小为kz(z∈(1,z))，扩展率为dz，步长为1，第二层为普通卷积，即扩展率为1，其卷积核大小也为kz，步长为1；
[0050]
其中，各层的单步卷积公式为：∑i∑jk
ij
si′j，k
ij
表示卷积核的第i行j列的值，si′j表示扩充矩阵中卷积核覆盖范围内第i行第j列的值。
[0051]
两层卷积的公式如下：
[0052][0053]
其中，t表示矩阵的转置，i表示第i层卷积(i＝1，2)，s
′
表示填充后的数据矩阵，w表示权重参数矩阵，b表示偏移参数矩阵，o表示最终的输出矩阵，两层权重矩阵权重值可以不同；f(
·
)表示激活函数，使用leaky relu函数，其公式如下：
[0054][0055]
其中，a表示一个超参数。
[0056]
通过压缩卷积，得到扩展率dz(z∈(1,z))下的压缩特征序列尺寸为1
×mz
。
[0057]
其中，mz＝t-(k
z-1)dz，通过压缩卷积后的特征序列包含了太极拳肌电信号(或时域特征)序列的压缩特征。
[0058]
不同扩展率下可以得到不同的压缩特征序列，即对于d1,d2,
…
,dz及其对应的k1,k2,
…
,kz可以得到长度分别为m1,m2,
…
,mz的压缩特征序列，取max
zmz
，记为m，表示最长的压缩特征序列的长度。
[0059]
以m为基准将所有长度不足的压缩特征序列填零补齐，得到长度相同的多个压缩特征序列。将所有扩展率下压缩卷积得到的压缩特征序列进行加和后，得到源信号s最终的压缩特征序列，记为尺寸为1
×
m。
[0060]
综上，同理可得，分别对时域特征矩阵s
mav
、s
rms
、s
wl
、s
sd
进行多扩展率压缩卷积，得到压缩特征序列
[0061]
进一步地，所述步骤s4具体如下：
[0062]
将步骤s3得到的及整合得到一个多维度的融合特征矩阵其尺寸为5
×
m，将输入lstm模型提取时序关系特征，在lstm模型后加一层全连接层和softmax得到模型最终预测值，得到动作识别结果，完成太极拳动作识别。
[0063]
本发明的有益效果：本发明的方法首先采集太极拳动作肌电数据，并进行数据预处理，然后提取源信号的时域特征，构建特征矩阵，通过多扩展率压缩卷积(cconv)算法提取跨通道压缩特征序列，进行融合得到多维度融合特征矩阵，再通过长短期记忆网络得到时序关系特征，最后通过全连接层得到动作识别结果，完成太极拳动作识别。本发明的方法通过多扩展率的扩张卷积实现对肌电信号的多尺度跨通道特征提取，打破普通卷积中只能提取相邻通道之间的空间关系的局限性，可将任意尺寸的肌电信号序列所包含信息压缩为一单位大小的特征块，以提取其高度融合的特征，降低数据冗余、参数数量和模型计算量，提高太极拳动作识别准确度。
附图说明
[0064]
图1为本发明的一种基于多扩展率压缩卷积的太极拳动作识别方法的流程图。
[0065]
图2为本发明实施例中压缩卷积算法流程图。
具体实施方式
[0066]
下面结合附图与实施例对本发明作进一步的说明。
[0067]
如图1所示，本发明的一种基于多扩展率压缩卷积的太极拳动作识别方法流程图，具体步骤如下：
[0068]
s1、采集太极拳动作肌电数据，并进行数据预处理；
[0069]
s2、提取源信号的时域特征，构建特征矩阵；
[0070]
s3、通过多扩展率压缩卷积(cconv)算法提取跨通道压缩特征序列；
[0071]
s4、基于步骤s3得到的源数据和四种时域特征的压缩特征序列，进行融合得到多维度的融合特征矩阵，再通过长短期记忆网络得到时序关系特征，最后通过全连接层得到动作识别结果，完成太极拳动作识别。
[0072]
在本实施例中，所述步骤s1具体如下：
[0073]
通过表面肌电设备，即电极贴片，收集指导者打太极拳各个动作时上肢、下肢、躯干各部的肌电信号；
[0074]
将每个电极贴片固定在上肢肌如肱二头肌、肱三头肌、肱肌、肱桡肌、肱侧腕长伸肌、肱侧腕短伸肌、桡侧腕屈肌、掌长肌、旋前圆肌、尺侧腕屈肌；下肢肌如阔筋膜张肌、臀大肌、股直肌、股外侧肌、股内侧肌、股二头肌、胫骨前肌、腓肠肌外侧肌、腓肠肌内侧肌；躯干肌如斜方肌、竖背肌所对应的位置上，一共c片电极贴片；
[0075]
确认佩戴稳固并连接好采集系统后，指导者开始进行各个动作的操习；收集到的每条数据有c个通道。
[0076]
然后对采集到的数据进行预处理，具体如下：
[0077]
首先进行低通滤波：
[0078]
用四阶巴特沃斯滤波器对信号进行低通滤波，截止频率的经验值为5hz，针对不同的设备和具体应用场景进行适当调节；
[0079]
再进行陷波整流处理：
[0080]
用陷波滤波器对信号进行陷波滤波，依据采集设备的电子噪声频率设定陷波频率，默认设置为50hz及其倍数，针对不同的设备和具体应用场景进行适当调节，并对陷波节点进行平滑处理。
[0081]
将预处理后的肌电数据称为源信号，表示为s，其维度为c
×
t，将s的第c个通道的数据序列表示为sc,c∈(1,c)，每个通道序列长度为t，c表示数据序列的通道总数。
[0082]
在本实施例中，所述步骤s2具体如下：
[0083]
对每个通道序列分别进行时域特征提取，得到一维特征序列，再将这些一维特征序列按通道排布整合在一起，形成二维特征矩阵；对每个sc,c∈(1,c)，使用长度为l(一般选择200ms内的数据点数，保证有效特征的同时降低冗余)的窗来生成特征序列，具体如下：
[0084]
s21、为了特征提取后数据尺寸的规整性，在长度为t的源信号前面以长度为(l/2)-1的零值进行填充，后面以长度为l/2的零值进行填充，使特征提取不受干扰且保证特征序列与源信号序列长度一致，形成长度为t+l-1的扩充信号序列；
[0085]
s22、从扩充序列的头部开始加窗，长度为l；
[0086]
s23、计算窗内信号的特征值，表示为c∈(1,c)；
[0087]
其中，c表示通道编号，type表示特征种类，包括绝对均值mav、均方根rms、波形长
度wl和标准差sd四种特征；
[0088]
通道c中长度l的窗内信号的绝对均值mav反映太极拳动作的局部强度信息，即计算各信号值取绝对值后的平均值，表达式计算如下：
[0089][0090]
其中，sc(t)表示源信号通道c的数据序列中第t个采样点的信号值，l表示加窗的长度，即窗口对应序列内采样点的个数；
[0091]
通道c中长度l的窗内信号的均方根rms反映太极拳动作过程肌电信号包含的能量信息，即计算各信号平方均值的开根值，表达式计算如下：
[0092][0093]
通道c中长度l的窗内信号的波形长度wl表示肌电信号波形的累积长度，反映太极拳动作的波动情况和持续时长，即为信号的累计相对差值之和，表达式计算如下：
[0094][0095]
通道c中长度l的窗内信号的标准差sd表示信号能量的动态分量，反映太极拳动作所包含的能量信息，即为各信号值与该段内信号算术平均值之间的平均距离的开根值，表达式计算如下：
[0096][0097]
其中，表示窗口内肌电信号平均值。
[0098]
s24、窗口向后移动，步长为1，重复步骤s23、s24，直到窗口包含了序列的所有值，得到sc的特征序列
[0099]
其中，type∈{mav，rms，wl，sd}。
[0100]
s25、将各通道的特征序列c∈(1,c)组合成一个特征矩阵s
type
，维度为c
×
t。
[0101]
综上，每个源信号s得到四个特征矩阵，分别表示为绝对均值矩阵s
mav
、均方根矩阵s
rms
、波形长度矩阵s
wl
、标准差矩阵s
sd
。
[0102]
如图2所示，在本实施例中，所述步骤s3具体如下：
[0103]
多扩展率压缩卷积(cconv)算法通过两层卷积分别对源信号s及步骤s2提取的时域特征矩阵s
mav
、s
rms
、s
wl
、s
sd
进行压缩卷积得到一维向量，这两层卷积的卷积核大小相同、扩展率不同、参数可以不同；
[0104]
其中，对s进行多扩展率压缩卷积，具体如下：
[0105]
(1)对维度为c
×
t的源信号s进行扩充；
[0106]
给定扩张卷积的扩展率d，根据公式c＝(k-1)d+k求取对应卷积核的大小k(向上取
整)，并且需要满足k≥d，然后根据d和k的值反求此时扩充矩阵的行数c
′
，记为c
′
＝(k-1)d+k。
[0107]
以信号序列值依序的每一行填充行使其达到c
′
行，即填充的第一行是原序列第一行的值，填充的第二行是原序列第二行的值，以此类推；得到尺寸为c
′
×
t的扩充矩阵；
[0108]
对源信号s进行扩充使得所有数据都能够被卷积核覆盖到，避免损失太极拳动作信息。
[0109]
通过不同的扩展率获得多种肌肉(群)组合的协同信息，得到一组d值(d1,d2,
…
,dz)、一组k值(k1,k2,
…
,kz)、和一组c
′
(c
′1,c
′2,
…
,c
′z)。
[0110]
其中，z表示不同扩展率的个数。
[0111]
(2)通过压缩卷积提取压缩特征序列；
[0112]
压缩卷积包含两层卷积核，第一层为扩张卷积，卷积核大小为kz(z∈(1,z))，扩展率为dz，步长为1，第二层为普通卷积，即扩展率为1，其卷积核大小也为kz，步长为1；
[0113]
其中，各层的单步卷积公式为：∑i∑jk
ijs′′j，k
ij
表示卷积核的第i行j列的值，si′j表示扩充矩阵中卷积核覆盖范围内第i行第j列的值。
[0114]
两层卷积的公式如下：
[0115][0116]
其中，t表示矩阵的转置，i表示第i层卷积(i＝1，2)，s
′
表示填充后的数据矩阵，w表示权重参数矩阵，b表示偏移参数矩阵，o表示最终的输出矩阵，两层权重矩阵权重值可以不同；f(
·
)表示激活函数，使用leaky relu函数，其公式如下：
[0117][0118]
其中，a表示一个超参数，它决定了该激活函数激活区的斜率，进而能够影响深度模型的反向传播。
[0119]
通过压缩卷积，得到扩展率dz(z∈(1,z))下的压缩特征序列尺寸为1
×mz
。
[0120]
其中，mz＝t-(k
z-1)dz，通过压缩卷积后的特征序列包含了太极拳肌电信号(或时域特征)序列的压缩特征。
[0121]
不同扩展率下可以得到不同的压缩特征序列，即对于d1,d2,
…
,dz及其对应的k1,k2,
…
,kz可以得到长度分别为m1,m2,
…
,mz的压缩特征序列，取max
zmz
，记为m，表示最长的压缩特征序列的长度。
[0122]
以m为基准将所有长度不足的压缩特征序列填零补齐，得到长度相同的多个压缩特征序列。将所有扩展率下压缩卷积得到的压缩特征序列进行加和后，得到源信号s最终的压缩特征序列，记为尺寸为1
×
m。
[0123]
综上，同理可得，分别对时域特征矩阵s
mav
、s
rms
、s
wl
、s
sd
进行多扩展率压缩卷积，得到压缩特征序列
[0124]
使用多扩展率扩张卷积可以提取不同跨度通道之间的关系，而不只局限于相邻通道或固定通道。用两层卷积既可以充分提取空间关系特征，又可以降低数据冗余。
[0125]
在本实施例中，所述步骤s4具体如下：
[0126]
将步骤s3得到的及整合得到一个多维度的融合特征矩阵
其尺寸为5
×
m，将输入lstm(long short term memory，长短期记忆神经网络)模型提取时序关系特征，在lstm模型后加一层全连接层和softmax得到模型最终预测值，得到动作识别结果，完成太极拳动作识别。
[0127]
综上，本发明的方法对源信号提取多种时域特征，将时域特征序列和源数据序列分别通过多扩展率压缩卷积提取跨通道特征，得到不同的压缩特征序列，整合压缩特征序列，进一步提取时序特征，并实现太极拳动作识别，多扩展率压缩卷积兼顾了肌电信号跨通道的协同作用和信号自身的时域特征，也即考虑了信号的时间与空间特征，降低数据冗余的同时，提高太极拳动作识别的准确度。
[0128]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

技术特征：
1.一种基于多扩展率压缩卷积的太极拳动作识别方法，具体步骤如下：s1、采集太极拳动作肌电数据，并进行数据预处理；s2、提取源信号的时域特征，构建特征矩阵；s3、通过多扩展率压缩卷积算法提取跨通道压缩特征序列；s4、基于步骤s3得到的源数据和四种时域特征的压缩特征序列，进行融合得到多维度的融合特征矩阵，再通过长短期记忆网络得到时序关系特征，最后通过全连接层得到动作识别结果，完成太极拳动作识别。2.根据权利要求1所述的一种基于多扩展率压缩卷积的太极拳动作识别方法，其特征在于，所述步骤s1具体如下：通过表面肌电设备，即电极贴片，收集指导者打太极拳各个动作时上肢、下肢、躯干各部的肌电信号；将每个电极贴片固定在上肢肌、下肢肌、躯干肌所对应的位置上，一共c片电极贴片；确认佩戴稳固并连接好采集系统后，指导者开始进行各个动作的操习；收集到的每条数据有c个通道；然后对采集到的数据进行预处理，具体如下：首先进行低通滤波：用四阶巴特沃斯滤波器对信号进行低通滤波，截止频率的经验值为5hz，针对不同的设备和具体应用场景进行适当调节；再进行陷波整流处理：用陷波滤波器对信号进行陷波滤波，依据采集设备的电子噪声频率设定陷波频率，默认设置为50hz及其倍数，针对不同的设备和具体应用场景进行适当调节，并对陷波节点进行平滑处理；将预处理后的肌电数据称为源信号，表示为s，其维度为c
×
t，将s的第c个通道的数据序列表示为s
c
,c∈(1,c)，每个通道序列长度为t，c表示数据序列的通道总数。3.根据权利要求1所述的一种基于多扩展率压缩卷积的太极拳动作识别方法，其特征在于，所述步骤s2具体如下：对每个s
c
,c∈(1,c)，使用长度为l的窗来生成特征序列；s21、在长度为t的源信号前面以长度为(l/2)-1的零值进行填充，后面以长度为l/2的零值进行填充，形成长度为t+l-1的扩充信号序列；s22、从扩充序列的头部开始加窗，长度为l；s23、计算窗内信号的特征值，表示为其中，c表示通道编号，type表示特征种类，包括绝对均值mav、均方根rms、波形长度wl和标准差sd四种特征；通道c中长度l的窗内信号的绝对均值mav反映太极拳动作的局部强度信息，表达式计算如下：其中，s
c
(t)表示源信号通道c的数据序列中第t个采样点的信号值，l表示加窗的长度，
即窗口对应序列内采样点的个数；通道c中长度l的窗内信号的均方根rms反映太极拳动作过程肌电信号包含的能量信息，表达式计算如下：通道c中长度l的窗内信号的波形长度wl表示肌电信号波形的累积长度，反映太极拳动作的波动情况和持续时长，表达式计算如下：通道c中长度l的窗内信号的标准差sd表示信号能量的动态分量，反映太极拳动作所包含的能量信息，表达式计算如下：其中，表示窗口内肌电信号平均值；s24、窗口向后移动，步长为1，重复步骤s23、s24，直到窗口包含了序列的所有值，得到s
c
的特征序列其中，type∈{mav，rms，wl，sd}；s25、将各通道的特征序列组合成一个特征矩阵s
type
，维度为c
×
t；综上，每个源信号s得到四个特征矩阵，分别表示为绝对均值矩阵s
mav
、均方根矩阵s
rms
、波形长度矩阵s
wl
、标准差矩阵s
sd
。4.根据权利要求1所述的一种基于多扩展率压缩卷积的太极拳动作识别方法，其特征在于，所述步骤s3具体如下：多扩展率压缩卷积(cconv)算法通过两层卷积分别对源信号s及步骤s2提取的时域特征矩阵s
mav
、s
rms
、s
wl
、s
sd
进行压缩卷积得到一维向量；其中，对s进行多扩展率压缩卷积，具体如下：(1)对维度为c
×
t的源信号s进行扩充；给定扩张卷积的扩展率d，根据公式c＝(k-1)d+k求取对应卷积核的大小k(向上取整)，并且需要满足k≥d，然后根据d和k的值反求此时扩充矩阵的行数c
′
，记为c
′
＝(k-1)d+k；以信号序列值依序的每一行填充行使其达到c
′
行，即填充的第一行是原序列第一行的值，填充的第二行是原序列第二行的值，以此类推；得到尺寸为c
′×
t的扩充矩阵；通过不同的扩展率获得多种肌肉(群)组合的协同信息，得到一组d值(d1,d2,
…
,d
z
)、一组k值(k1,k2,
…
,k
z
)、和一组c
′
(c
′1,c
′2,
…
,c
′
z
)；其中，z表示不同扩展率的个数；(2)通过压缩卷积提取压缩特征序列；压缩卷积包含两层卷积核，第一层为扩张卷积，卷积核大小为k
z
(z∈(1,z))，扩展率为
d
z
，步长为1，第二层为普通卷积，即扩展率为1，其卷积核大小也为k
z
，步长为1；其中，各层的单步卷积公式为：∑
i
∑
j
k
ij
s
′
ij
，k
ij
表示卷积核的第i行j列的值，s
′
ij
表示扩充矩阵中卷积核覆盖范围内第i行第j列的值；两层卷积的公式如下：其中，t表示矩阵的转置，i表示第i层卷积(i＝1，2)，s
′
表示填充后的数据矩阵，w表示权重参数矩阵，b表示偏移参数矩阵，o表示最终的输出矩阵，两层权重矩阵权重值可以不同；f(
·
)表示激活函数，使用leaky relu函数，其公式如下：其中，a表示一个超参数；通过压缩卷积，得到扩展率d
z
(z∈(1,z))下的压缩特征序列尺寸为1
×
m
z
；其中，m
z
＝t-(k
z-1)d
z
，通过压缩卷积后的特征序列包含了太极拳肌电信号(或时域特征)序列的压缩特征；不同扩展率下可以得到不同的压缩特征序列，即对于d1,d2,
…
,d
z
及其对应的k1,k2,
…
,k
z
可以得到长度分别为m1,m2,
…
,m
z
的压缩特征序列，取max
z
m
z
，记为m，表示最长的压缩特征序列的长度；以m为基准将所有长度不足的压缩特征序列填零补齐，得到长度相同的多个压缩特征序列；将所有扩展率下压缩卷积得到的压缩特征序列进行加和后，得到源信号s最终的压缩特征序列，记为尺寸为1
×
m；综上，同理可得，分别对时域特征矩阵s
mav
、s
rms
、s
ql
、s
sd
进行多扩展率压缩卷积，得到压缩特征序列5.根据权利要求1所述的一种基于多扩展率压缩卷积的太极拳动作识别方法，其特征在于，所述步骤s4具体如下：将步骤s3得到的及整合得到一个多维度的融合特征矩阵其尺寸为5
×
m，将输入lstm模型提取时序关系特征，在lstm模型后加一层全连接层和softmax得到模型最终预测值，得到动作识别结果，完成太极拳动作识别。

技术总结
本发明公开了一种基于多扩展率压缩卷积的太极拳动作识别方法，首先采集太极拳动作肌电数据，并进行数据预处理，然后提取源信号的时域特征，构建特征矩阵，通过多扩展率压缩卷积算法提取跨通道压缩特征序列，进行融合得到多维度融合特征矩阵，再通过长短期记忆网络得到时序关系特征，最后通过全连接层得到动作识别结果，完成太极拳动作识别。本发明的方法通过多扩展率的扩张卷积实现对肌电信号的多尺度跨通道特征提取，打破普通卷积中只能提取相邻通道之间的空间关系的局限性，可将任意尺寸的肌电信号序列所包含信息压缩为一维的压缩特征序列，以提取其高度融合的特征，降低数据冗余、参数数量和模型计算量，提高太极拳动作识别准确度。识别准确度。识别准确度。


技术研发人员：刘济宁 李巧勤 傅翀 刘勇国 朱嘉静 张云
受保护的技术使用者：电子科技大学
技术研发日：2023.05.24
技术公布日：2023/8/1