一种基于迭代自训练域适应的肌电手势识别方法及系统与流程
未命名
07-12
阅读:97
评论:0

1.本发明属于手势识别技术领域,尤其涉及一种基于迭代自训练域适应的肌电手势识别方法及系统。
背景技术:
2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
3.肌电手势识别是一种基于传感器的手势识别方法。与基于视觉、超声波等传感的手势识别相比,基于肌电的手势识别可以实现更自然的人机交互。肌电信号可以直接感知和解析人体肌肉活动,且对光照和噪声也不敏感。基于表面肌电信号的手势识别具有广泛的应用,特别是在康复医学领域。如辅助假肢控制系统的开发和帮助中风患者恢复。
4.肌电信号是一种人体生理电信号,具有较强的用户依赖性,更具体的说就是不同用户之间的信号分布存在较大的差异。传统的域适应模型在解决计算机视觉、自然语言处理等问题中的分布不一致获得了较大进展,然而在这种时序生理信号上的表现不佳。因此,为了实现有效的跨用户表面肌电手势识别,传统的域适应模型面临重要的挑战。
技术实现要素:
5.为了解决上述背景技术中存在的技术问题,本发明提供一种基于迭代自训练域适应的肌电手势识别方法及系统,即采用基于迭代自训练域适应的算法(iterative self-training based domainadaptation,stda),该方法仅仅利用目标域极少标记数据和少量未标记数据,实现源域向目标域的有效迁移。stda主要由基于差异的域适应(discrepancy-based domainadaptation,dda)和伪标签迭代更新(pseudo-label iterative update,piu)两部分组成。dda使用基于高斯核的距离约束将现有用户的数据和新用户的未标记数据进行对齐。piu迭代地不断更新伪标签,以生成具有类别平衡的新用户的更准确的标记数据。
6.为了实现上述目的,本发明采用如下技术方案:
7.本发明的第一个方面提供一种基于迭代自训练域适应的肌电手势识别方法。
8.一种基于迭代自训练域适应的肌电手势识别方法,包括:
9.获取历史用户的肌电数据和新用户的肌电数据;
10.基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;
11.采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;
12.基于对齐后的目标域时频特征,训练模型,判断模型是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设
定的迭代次数。
13.进一步地,所述采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征的过程包括:将源域时频特征和目标域时频特征映射到同一个共享空间,测量源域时频特征和目标域时频特征两个分布之间的距离;根据所述距离优化目标域时频特征。
14.更进一步地,所述共享空间为再生核希尔伯特空间。
15.更进一步地,所述测量源域时频特征和目标域时频特征两个分布之间的距离采用以下公式:
[0016][0017]
其中,φ表示一个将原始数据映射到h的函数,φ(x)=k(
·
,x),且k一般取高斯核函数。
[0018]
进一步地,在所述训练模型的过程,还包括:训练含有少量标记数据的模型;利用训练好的模型预测未标记样本的类标签;使用阈值筛选出置信度满足条件的伪标签;采用有标记和伪标记的数据联合训练模型,直到模型收敛,得到训练好的模型。
[0019]
更进一步地,所述模型收敛根据损失函数判断,所述损失函数为:
[0020][0021]
其中,y表示实际的标签,表示预测输出,c表示分类的总数,p
i,k
表示第i个样本被预测为第k类的概率。
[0022]
更进一步地,所述置信度满足条件的伪标签计算公式为:
[0023][0024]
其中,对于一个c分类问题中的每个样本,
[0025]
本发明的第二个方面提供一种基于迭代自训练域适应的肌电手势识别系统。
[0026]
一种基于迭代自训练域适应的肌电手势识别系统,包括:
[0027]
数据获取模块,其被配置为:获取历史用户的肌电数据和新用户的肌电数据;
[0028]
特征提取模块,其被配置为:基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;
[0029]
对齐模块,其被配置为:采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;
[0030]
训练识别模块,其被配置为:基于对齐后的目标域时频特征,训练模型,判断模型是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设定的迭代次数。
[0031]
本发明的第三个方面提供一种计算机可读存储介质。
[0032]
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一个方面所述的基于迭代自训练域适应的肌电手势识别方法中的步骤。
[0033]
本发明的第四个方面提供一种计算机设备。
[0034]
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一个方面所述的基于迭代自训练域适应的肌电手势识别方法中的步骤。
[0035]
与现有技术相比,本发明的有益效果是:
[0036]
本发明提供了基于迭代自训练域适应的肌电手势识别方法及系统,采用基于迭代自训练的域适应方法stda。stda主要由基于差异的域适应(dda)和伪标签迭代更新(piu)两部分组成。dda使用基于高斯核的距离约束将现有用户的数据和新用户的未标记数据进行对齐。piu迭代地不断更新伪标签,以生成具有类别平衡的新用户的更准确的标签数据。由自训练生成的伪标签来监督特征解耦过程,以实现源域到目标域的有效迁移,从而提高肌电手势识别的准确性。
附图说明
[0037]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
[0038]
图1是本发明示出的基于迭代自训练域适应的肌电手势识别方法的流程图;
[0039]
图2是本发明示出的基于迭代自训练域适应的方法框架图;
[0040]
图3是本发明示出的capgmyo中的8种手势示意图;
[0041]
图4是本发明示出的capgmyo中的12种手势示意图;
[0042]
图5(a)是本发明示出的db-1数据集上的混淆矩阵分析结果图;
[0043]
图5(b)是本发明示出的db-5数据集上的混淆矩阵分析结果图;
[0044]
图5(c)是本发明示出的capgmyo db-a数据集上的混淆矩阵分析结果图;
[0045]
图5(d)是本发明示出的capgmyo db-b数据集上的混淆矩阵分析结果图;
[0046]
图5(e)是本发明示出的capgmyo db-c数据集上的混淆矩阵分析结果图;
[0047]
图6(a)是本发明示出的参数epoch敏感性分析结果图;
[0048]
图6(b)是本发明示出的参数thres敏感性分析结果图。
具体实施方式
[0049]
下面结合附图与实施例对本发明作进一步说明。
[0050]
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0051]
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0052]
需要注意的是,附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意,在有些作为备选的实现中,方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,或者它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。同样应当注意的是,流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合,可以使用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以使用专用硬件与计算机指令的组合来实现。
[0053]
实施例一
[0054]
本实施例提供了一种基于迭代自训练域适应的肌电手势识别方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器和系统,并通过终端和服务器的交互实现。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。本实施例中,该方法包括以下步骤:
[0055]
获取历史用户的肌电数据和新用户的肌电数据;
[0056]
基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;
[0057]
采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;
[0058]
基于对齐后的目标域时频特征,训练模型,判断模型是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设定的迭代次数。
[0059]
基于迭代自训练域适应的肌电手势识别方法的流程图,如图1所示:
[0060]
1)开始
[0061]
2)提取源域时频特征和目标域时频特征
[0062]
3)判断是否满足预训练轮数,是则4),否则5)
[0063]
4)对齐源域和目标域特征
[0064]
5)训练分类器
[0065]
6)判断是否达到设定训练轮数,是则7),否则8)
[0066]
7)对目标域测试数据进行预测,转10)
[0067]
8)给目标域无标签数据打上伪标签
[0068]
9)少数类进行上采样以平衡所有类别,转4)
[0069]
10)结束。
[0070]
1、问题定义
[0071]
已有用户的数据构成源域其中ns表示源域中样本的数量,表示源域中第i个样本,表示源域中第i个样本对应的标签。目标用户的数据构成目标域其中表示目标域中的少量标记数据(对于一个c(c∈n
+
)分类问题,它只有c个样本),表示目标域中相对大量的未标记数据,表示目标域的测试数据,且满足其中n
l
表示目标域中标记样本的数量。其中nu表示目标域中未标记样本的数量。其中n
te
表示目标域中测试样本的数量。在跨用户场景中,存在域偏移,即源域和目标域的分布不一致以上的xs,x
t
是四维的数据向量,ys,y
t
是类别标签。跨用户肌电手势识别的目标是使用现有用户的数据在目标域上的少量的标记数据和相对大量的未标记数据获得准确的测试数据的标签,即
[0072]
2、基于迭代自训练域适应的方法
[0073]
基于迭代自训练域适应的方法(iterative self-training based domain adaptation,stda)是一种域适应方法,通过迭代自训练生成的伪标签监督特征解耦的过程,实现源域到目标域的有效迁移。stda方法的总体框架图如图2所示,由基于差异的域适应(discrepancy-based domainadaptation,dda)和伪标签迭代更新(pseudo-label iterative update,piu)两部分组成,分别用于对齐特征和生成更准确的目标域标签。
[0074]
dda使用最大均值差异(maximum mean discrepancy,mmd)作为距离度量,将源域和目标域特征在再生核希尔伯特空间(reproducing kernel hilbert space,rkhs)进行对齐。piu主要由两部分组成,一通过迭代自训练不断生成更准确的伪标签,二通过数据层面的上采样使得生成的伪标签更平衡。stda的基本思路是通过不断迭代生成的更准确的目标域伪标签来监督特征解耦的过程以实现源域到目标域的有效迁移。
[0075]
(1)基于差异的域适应
[0076]
源域表示为目标域表示为源域和目标域的输入空间和标签空间相同,但两者的概率分布不一致,即ps≠p
t
。特征对齐的目的是学习一个好的映射(f),同时将源域和目标域映射到一个共享空间(h),使得两者之间的距离相对接近基于最大均值差异(maximum mean discrepancy,
mmd)的核学习方法有效地度量了分布间的差异。最大均值差异测量的是再生核希尔伯特空间(reproducing kernel hilbert space,rkhs)中两个分布之间的距离。两个分布ps和p
t
之间的距离可以定义为:
[0077][0078]
其中,表示在rkhs下的一个函数集,e
x~
.表示在源域或目标域下的期望。当源域和目标域的分布接近时,距离d接近于0。源域和目标域之间的mmd可以计算为:
[0079][0080][0081]
其中,φ表示一个将原始数据映射到h的函数,φ(x)=k(
·
,x),且k一般取高斯核函数。在这个高维空间中,源域和目标域样本之间的分布差异可以用这个距离来测量。因此,mmd距离通常被认为是一种损失,嵌入到深度学习的网络高层,然后进行优化。
[0082]
(2)伪标签迭代更新
[0083]
伪标签迭代更新主要分为两个部分,一是迭代自训练,二是类别再平衡。本实施例中的迭代自训练主要分为如下四步:1)训练一个含有少量标记数据的模型;2)利用训练好的模型来预测未标记样本的类标签;3)使用阈值筛选出置信度满足条件的伪标签;4)用有标记和伪标记的数据联合训练模型,并重复1)-4),直到模型收敛。对于多分类问题,使用交叉熵,计算公式如下:
[0084][0085]
其中,y表示实际的标签,表示预测输出,c表示分类的总数,p
i,k
表示第i个样本被预测为第k类的概率。对于一个c分类问题中的每个样本,基于softmax置信度的伪标签计算如下:
[0086][0087]
本实施例中的类别再平衡是为了防止不平衡类别样本对模型学习的误导,采用了数据级方法过采样,使少数类别与大多数类别样本具有可比性。为了使类别达到平衡,定义了平衡损失。假设一组手势类别的数量是x1、x2、
···
、xn,则平衡损失的计算公式如下:
[0088][0089]
[0090]
其中,所述模型如图2所示,模型主要包括两个部分,基于差异的域适应(dda)和伪标签迭代更新(piu)。首先,将源域已有用户的肌电数据提取时频特征,将目标域新用户也提取时频特征;其次,将源域和目标域通过卷积神经网络(cnn)和自注意(self-attention)提取特征;然后使用源域特征和目标域特征的最大均值差异(mmd)距离作为模型优化的损失,同时用目标域模型给目标域未标记数据打上伪标签,并且采用上采样平衡(category rebalance)目标域上的所有类;迭代直到模型收敛。
[0091]
3、实验评估
[0092]
(1)数据集
[0093]
表1常用公开数据集
[0094][0095]
ninapro:ninapro db-1和db-5是由稀疏电极感知设备采集的肌电数据,是肌电手势识别最常用的公开数据集之一,目前ninapro数据集发展到db10,其中包含了健康受试者和残肢患者的数据。db-1子数据集包括27名健康的受试者,总共有52个手势,其中基本手指动作12个,基本手部动作8个,基本手腕动作9个,抓握和功能动作23个。db1数据集的表面肌电数据采用10通道(差分电极)的ottobock myobock采集,采样频率为100hz。db-5包括10名受试者,52个手势,16个通道,采样频率为200hz。
[0096]
capgmyo:capgmyo是由高密度电极阵列感知设备采集的肌电数据,是肌电手势识别最常用的公开数据集之一,capgmyo是浙江大学耿卫东教授团队采用自研的设备采集的23名健康受试者的128通道的高密度表面肌电数据,采样频率为1000hz,包含3个子数据集,db-a,db-b和db-c。db-a包含18名受试者的8种手指手势,db-b包含10名受试者在2个不同时间段采集的8种手势,db-c包含10名受试者的12种基本手指手势。
[0097]
capgmyo中的8种手势、12种手势分别如图3和图4。
[0098]
(2)对比方法
[0099]
为了验证stda方法的效果,本实施例选择七种方法作为对比方法,包括:
[0100]
·
stda的一种变体,它只使用源域来训练模型(only-source);
[0101]
●
stda的一种变体,它只使用目标域来训练模型(only-target);
[0102]
●
首先分解通道,其次再融合特征的基于微调的方法(multi-stream’);
[0103]
●
一种双流监督域适应框架(mdsda);
[0104]
●
一种基于核空间距离的域自适应方法(sgas);
[0105]
●
一种具有伪组对比机制的无监督域适应方法(self-tuning);
[0106]
●
一种循环自训练领域适应方法(cst)。
[0107]
其中,only-source和only-target是两种基准方法,multi-stream’是一种基于深度学习的微调方法,mdsda和sgas是两种监督域适应方法,self-tuning和cst是两种无监督域适应方法。实验环境为linux 125gb,开发环境为python3.8.3,主要依赖的第三方库为pytorch 1.10.2+cu113。实验过程中,主要参数设置如下,置信度参数设为0.99,预训练轮数设置为400,学习率设置为0.001。
[0108]
(3)对比实验结果
[0109]
表2对比实验结果
[0110][0111]
对比实验结果如表2所示。根据表2所示实验结果,在公开基准肌电手势识别数据集上,本实施例提出的stda方法明显优于其他方法。与基线方法相比,改善了25%以上;与微调方法相比,除db-1数据集外,在其余数据集上提高了8%以上;与监督域适应方法相比,提高了5%以上;与无监督域适应方法相比,提高了24%以上。
[0112]
(4)混淆矩阵分析
[0113]
混淆矩阵分析结果如图5(a)-图5(e)所示。从db-1和db-5数据集上的混淆矩阵中可以看出,db-1上的第28个和第51个手势比其他手势获得更高的准确性;db-5上的第1、4、16、24、27个手势比其他手势具有更高的准确率,说明在手势识别系统的构建中,复杂的手势集设计也至关重要。此外,一些手势也很容易被混淆。例如,在db-1数据集上,第50个手势有大约24%的概率被误判为第49个手势。同样地,第14个手势也很容易被错误地判为第13个手势。在db-5数据集上也出现了类似的现象。例如,第8个手势很容易被误判为第10个手势,而第13个手势很容易被误判为第14个手势。假阳性率高达30%。在capgmyo的三个子数据集db-a、db-b和db-c上也得到了类似的结论。
[0114]
从capgmyo数据集的两个八分类数据集db-a和db-b可以看出,在db-a中第五个手势准确率最高,为71.6%,在db-b中第五个手势的准确率达到第二高,非常接近db-b中81.7%的最高准确率。同时,第三个手势在db-a和db-b中的准确率最低,db-a上准确率为35.2%,db-b上准确率为57.5%。一个可能的原因是,第五个手势与其他七个手势相对不同,而第三个手势与其余七个手势中的几个非常相似。
[0115]
(5)消融实验分析
[0116]
表3消融实验结果
[0117][0118]
消融实验结果如表3所示。为了探究各部分的贡献,我们进行了消融实验。sdta方法主要由两个模块组成。特征空间的对齐简称为mmd,伪标签的迭代更新简称为self-traing。总体来说,将特征对齐和自训练相结合的stda方法具有最好的性能,证明了该方法的有效性。同时,实验结果表明,在db-5、db-a、db-b和db-c数据集上,自训练策略的贡献最大。在db-1数据集上,主要的贡献是特征空间的对齐。
[0119]
(6)参数敏感性分析
[0120]
参数敏感性分析结果如图6(a)-图6(b)所示。sdta方法主要对两个参数敏感,即预训练的轮数(简称“epoch”)和迭代自训练的置信度阈值(简称“thres”)。为了评估参数对stda方法性能的影响,我们使用了一种单变量方法,换句话说,就是改变一个变量,同时保持另一个变量不变。参数“epoch”的范围设置为{50、100、200、400、600、800};参数“thres”的范围设置为{0.7、0.8、0.9、0.95、0.99}。图中三角形是最优值。可以看出,当“epoch”为100时,stda方法的性能最好,当“epoch”为600时,stda方法的性能最差。这表明,适当的预训练有利于模型学习,过度的预训练可能导致模型的过拟合。当“thres”为0.95时,stda方法的性能最好,当“thres”为0.8时,stda方法的性能最差。这说明,过低的置信度会导致产生大量错误标签,误导模型的学习,过高的置信度也会对模型产生不利影响。
[0121]
实施例二
[0122]
本实施例提供了一种基于迭代自训练域适应的肌电手势识别系统。
[0123]
一种基于迭代自训练域适应的肌电手势识别系统,包括:
[0124]
数据获取模块,其被配置为:获取历史用户的肌电数据和新用户的肌电数据;
[0125]
特征提取模块,其被配置为:基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;
[0126]
对齐模块,其被配置为:采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;
[0127]
训练识别模块,其被配置为:基于对齐后的目标域时频特征,训练模型,判断模型
是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设定的迭代次数。
[0128]
此处需要说明的是,上述数据获取模块、特征提取模块、对齐模块和训练识别模块与实施例一中的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0129]
实施例三
[0130]
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例一所述的基于迭代自训练域适应的肌电手势识别方法中的步骤。
[0131]
实施例四
[0132]
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例一所述的基于迭代自训练域适应的肌电手势识别方法中的步骤。
[0133]
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0134]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0135]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0136]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0137]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存储记忆体(random accessmemory,ram)等。
[0138]
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
技术特征:
1.一种基于迭代自训练域适应的肌电手势识别方法,其特征在于,包括:获取历史用户的肌电数据和新用户的肌电数据;基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;基于对齐后的目标域时频特征,训练模型,判断模型是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设定的迭代次数。2.根据权利要求1所述的基于迭代自训练域适应的肌电手势识别方法,其特征在于,所述采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征的过程包括:将源域时频特征和目标域时频特征映射到同一个共享空间,测量源域时频特征和目标域时频特征两个分布之间的距离;根据所述距离优化目标域时频特征。3.根据权利要求2所述的基于迭代自训练域适应的肌电手势识别方法,其特征在于,所述共享空间为再生核希尔伯特空间。4.根据权利要求2所述的基于迭代自训练域适应的肌电手势识别方法,其特征在于,所述测量源域时频特征和目标域时频特征两个分布之间的距离采用以下公式:其中,φ表示一个将原始数据映射到h的函数,φ(x)=k(
·
,x),且k一般取高斯核函数。5.根据权利要求1所述的基于迭代自训练域适应的肌电手势识别方法,其特征在于,在所述训练模型的过程,还包括:训练含有少量标记数据的模型;利用训练好的模型预测未标记样本的类标签;使用阈值筛选出置信度满足条件的伪标签;采用有标记和伪标记的数据联合训练模型,直到模型收敛,得到训练好的模型。6.根据权利要求5所述的基于迭代自训练域适应的肌电手势识别方法,其特征在于,所述模型收敛根据损失函数判断,所述损失函数为:
其中,y表示实际的标签,表示预测输出,c表示分类的总数,p
i,k
表示第i个样本被预测为第k类的概率。7.根据权利要求5所述的基于迭代自训练域适应的肌电手势识别方法,其特征在于,所述置信度满足条件的伪标签计算公式为:其中,对于一个c分类问题中的每个样本,8.一种基于迭代自训练域适应的肌电手势识别系统,其特征在于,包括:数据获取模块,其被配置为:获取历史用户的肌电数据和新用户的肌电数据;特征提取模块,其被配置为:基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;对齐模块,其被配置为:采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;训练识别模块,其被配置为:基于对齐后的目标域时频特征,训练模型,判断模型是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设定的迭代次数。9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于迭代自训练域适应的肌电手势识别方法中的步骤。10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于迭代自训练域适应的肌电手势识别方法中的步骤。
技术总结
本发明属于手势识别领域,提供了一种基于迭代自训练域适应的肌电手势识别方法及系统。该方法包括,获取历史用户的肌电数据和新用户的肌电数据;基于历史用户的肌电数据,提取源域时频特征,基于新用户的肌电数据,提取目标域时频特征;采用基于差异的域适应方法,对齐源域时频特征和目标域时频特征;基于对齐后的目标域时频特征,训练模型,判断模型是否达到迭代次数要求,若是,对新用户的肌电数据的目标域时频特征进行预测,得到手势识别结果;否则,给目标域时频特征无标签数据打上伪标签,选取伪标签数量少于一定值的标签类进行上采样以平衡所有类别,重复对齐源域时频特征和目标域时频特征至迭代次数判断的过程,直到达到设定的迭代次数。设定的迭代次数。设定的迭代次数。
技术研发人员:陈益强 王康 张迎伟 杨晓东 胡春雨
受保护的技术使用者:山东产业技术研究院智能计算研究院
技术研发日:2023.03.02
技术公布日:2023/7/11
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/