基于持续学习的WiFi手势增量识别系统的构建方法

基于持续学习的wifi手势增量识别系统的构建方法
技术领域
1.本发明属于手势识别技术领域，具体涉及一种基于持续学习的wifi手势增量识别系统的构建方法。


背景技术：

2.随着交互式通信的兴起，手势识别逐渐成为人机交互的重要组成部分。手势识别被广泛应用于医疗保健、安全管理和智能家居中。最初的手势识别系统都是采用接触式的传感设备，研究人员穿戴传感器、加速度计等设备，这些设备与计算机连接，计算机再将从传感器获得的信息(手指位置或伸展方向等)进一步分析。而随着无线传感技术的发展，非接触式的手势识别方法也逐渐成为主要的研究方向。研究人员使用部署光学传感器、雷达及wifi等设备采集手势信息。基于wifi设备的手势识别由于其部署广泛、成本低廉等优势吸引了很多的关注。当研究人员在无线环境中移动时，信道状态信息(csi)会发生波动。这种波动对于不同的手势是唯一的。通过对收集到的csi提取分析手势特征，即而得到数据与手势相关的信息。常用的特征提取方法包括svm、k-近邻算法、决策树以及神经网络等。神经网络由于其细粒度的手势识别性能被广泛应用。
3.然而，基于神经网络的手势识别系统仍存在限制。首先，网络的参数依据训练阶段中的数据集更新，在部署或调用阶段冻结参数用于测试网络性能，即一旦训练阶段结束，网络可识别的手势类别固定。如果需要增加新类别手势时，网络通常必须在整个数据集上重新训练网络，以避免过度拟合和遗忘。然而，这种方法是低效的并且当先前的数据由于存储限制或隐私限制不可用时，这种方法就不可行。
4.其次，网络的训练通常在静态的测量环境和受试者数量下进行。然而在实际场景中，测试不仅会发生在与收集训练数据环境不同的场景中，同时还需检测新的受试者。无线信号特征不仅与用户手势有关，还与用户的身体特征或行为习惯有关，因此固定受试者训练的网络在新受试者的相同手势数据下表现出较差的性能。如果仅使用新受试者的手势信息更新网络，则网络参数会被新受试者的特征更新，而已学习的受试者的部分信息将会被覆盖，使其识别效果极速下降，这种现象称为灾难性遗忘。这些设置使基于神经网络的手势识别系统面临重要的实际挑战。
5.综上所述，现有的以神经网络为特征提取器的手势识别系统在动态更新手势类别及多目标手势识别上存在不足，因此需要研究新的支持跨类别和领域的基于持续学习的手势增量识别系统。


技术实现要素：

6.针对上述现有技术存在的缺陷或不足，本发明的目的在于，提供一种基于持续学习的wifi手势增量识别系统的构建方法，该方法在从不断增加的数据流中学习信息，逐渐扩展已学习的信息并将其应用于未来的学习，使得到的识别系统具有稳定性和可塑性。
7.为了实现上述任务，本发明采取如下的技术技术解决方案：
8.一种基于持续学习的wifi手势增量识别系统的构建方法，其特征在于，按以下步骤进行：
9.步骤一：在基于无线网卡的环境中，部署收发器，收集信道状态信息csi；
10.步骤二：在样本采集环境中完成手势，得到手势动作样本集；
11.步骤三：从手势样本数据提取幅值信息并进行预处理；
12.步骤四：对处理后的数据进行子载波选择和降维，得到数据集；
13.步骤五：使用神经网络对数据集进行特征提取与分类，得到初始模型；
14.步骤六：以初始模型为基模型，采用持续学习中的梯度情景记忆方法对初始模型分别进行类别增量和领域增量学习，得到动态更新的基于持续学习的wifi手势增量识别系统。
15.根据本发明，所述步骤一中，在基于无线网卡的环境中，采用带有intel5300wi-fi无线网卡的笔记本电脑作为收发器，发射端设置一根天线，接收端设置三根天线，每根天线上对应有30个子载波，收发器都工作在monitor模式，频段为5.32ghz，传输速率为每秒1000个数据包。
16.具体地，所述步骤三中预处理的步骤具体包括：
17.步骤3.1：提取出样本中的幅值信息；
18.步骤3.2：对提取到的幅值信息采用hampel滤波器滤除离群值进行异常值去除，得到稳定波动的幅值；
19.步骤3.3，对异常值去除后的幅值进行去噪。
20.所述步骤四中，需要对数据进行最优子载波选择和降维，具体方法包括：
21.步骤4.1：采用基于动态时间扭曲的子载波选择算法选择最佳子载波；
22.步骤4.2：采用重采样方法对数据进行降维；
23.所述步骤五中，采用resnet18对数据集进行特征提取和分类，得到初始模型。
24.所述步骤六中，采用持续学习中的梯度情景记忆gem方法实现类别增量和领域增量学习。
25.本发明的基于持续学习的wifi手势增量识别系统的构建方法，带来的有益效果是：
26.通过使用持续学习方法实现了以神经网络为特征提取器的增量手势识别系统，解决了在不重新训练模型的情况下动态地添加手势类别以及多领域手势识别的问题，并且具有良好识别性能。相较于现有的实验策略，在内存消耗，计算速度及系统性能都有进一步提升。在节省内存与提高效率的同时，实现了高效地增加手势类别与手势领域。
附图说明
27.图1是本发明的基于持续学习的wifi手势增量识别系统构建流程图。
28.图2是基于持续学习的wifi手势增量识别系统的部署示意图。
29.图3是采用hampel滤波器滤除异常值的对比图。
30.图4是采用butterworse滤波器滤除高频噪声的对比图。
31.图5是采用子载波挑选后的30个子载波与原90个子载波的对比图。
32.图6是基于持续学习的wifi手势增量识别系统在类别增量场景下的平均准确率示
意图。
33.图7是基于持续学习的wifi手势增量识别系统在领域增量场景下的准确率示意图。
34.图8是不同实施策略下在类别增量场景下的平均准确率对比图。
35.图9是不同实施策略下在领域增量场景下的平均准确率对比图。
36.下面结合附图和实施例对本发明作进一步地详细说明。
具体实施方式
37.本实施例给出一种基于持续学习的wifi手势增量识别系统的构建方法，包括以下步骤：
38.步骤一：在基于无线网卡的环境中，部署wifi收发装置，收集信道状态信息csi；
39.步骤二：在样本采集环境中完成手势，得到手势动作样本集；
40.步骤三：从手势样本数据提取幅值信息并进行预处理；
41.步骤四：对处理后的数据进行子载波选择和降维，得到数据集；
42.步骤五：使用神经网络对数据集进行特征提取与分类，得到初始模型；
43.步骤六：以初始模型为基模型，采用持续学习中的梯度情景记忆方法对初始模型分别进行类别增量和领域增量学习，得到动态更新的基于持续学习的wifi手势增量识别系统。
44.所述步骤一中，在基于无线网卡的环境中，采用带有intel 5300wi-fi无线网卡的笔记本电脑作为收发器，发射端设置一根天线，接收端设置三根天线，每根天线上对应有30个子载波，收发器都工作在monitor模式，频段为5.32ghz。本实施例实验所设置的传输速率为每秒1000个数据包。
45.参阅图2，基于无线网卡的样本采集环境可为：配置桌椅的教室，感应区域布局为2m
×
2m。收发端之间的距离为2m，并且都放置在1.2m的高度。
46.在步骤二中，发明人共召集了10名志愿者，其中男性有5名，身高从1.70m到1.85m，体重从60kg到80kg不等；女性5名，身高从1.52m到1.65m不等，体重从43kg到60kg不等。分别收集了16种手势的csi测量值。每个志愿者对每个动作分别重复收集30个实例。共获得4800个csi测量值(10个志愿者
×
16个手势
×
30个实例)。将收集到的10个志愿者样本的80％作为训练集，剩余的20％作为测试集。
47.得到样本集后，受环境的影响，需要对样本数据进行预处理后才能使用。
48.所述步骤三，预处理的具体步骤包括：
49.步骤3.1：提取出样本中的幅值信息；
50.步骤3.2：对提取到的幅值信息进行异常值去除；
51.3.3：对异常值去除后的幅值进行去噪。
52.在所述步骤3.1中，提取幅值信息具体包括：
53.3.1.1：信道状态信息csi表现为复数形式：
[0054][0055]
式(1)中，ai为条路径的功率衰减，ti为第i条路径的时间延迟，n为路径数量，f为载
波频率。对于1个发射天线、3个接收天线以及30个子载波的无线信道，csi为1*3*30的三维矩阵。
[0056]
3.1.2：设h以复数形式a+bi存在，则幅值信息的计算式为：
[0057][0058]
在所述步骤3.2中，采用hampel滤波器滤除离群值，得到稳定波动的幅值。具体地，假设有一组序列{x1，x2，
…
，xn}对序列中的每个元素生成滑动窗口，窗口的长度为2k+1；首先，计算该窗口中所有元素的中值x
median
在窗口中的每一个元素与中值x
median
的差中找到一个中位数，该中位数称为绝对中位差mad，且：
[0059]
mad＝median{|x
k-x
median
|}
ꢀꢀꢀꢀ
(3)
[0060]
如果窗口中的某个样本与中值x
median
相差超过三倍mad，则用中值x
median
替换该样本。
[0061]
参阅图3，原始数据中，黑色圆圈的点代表偏离中心数据的离群值，在经过hampel滤波处理后，与主信息无关的异常值被滤除。
[0062]
由滤波后的结果可知，仅进行异常值去除不能完全消除csi中的噪声，因此要进行信号降噪。
[0063]
步骤3.3中，噪声具有与手势相关信号相比更高的频率。因此需要滤除信号中的高频噪声成分而增强低频手势成分，利用butterworth滤波器通频带内频率响应曲线最大限度平坦，而阻频带则逐渐下降为零这一特点，就可以实现这一目的。设置butterworth滤波器的阻带截止频率ws为：
[0064]ws
＝30/(0.5fn)
[0065]
其中，fn为实验采用的采样频率。
[0066]
参阅图4，异常值去除后的数据经滤波去噪后波形更加平滑。
[0067]
所述步骤四中，需要对数据进行最优子载波选择和降维，具体方法包括：
[0068]
步骤4.1：采用基于动态时间扭曲的子载波选择算法选择最佳子载波；
[0069]
步骤4.2：采用重采样方法对数据进行降维。
[0070]
本实施例中，所述步骤4.1中，由于特定环境的影响，并非所有的子载波都有助于捕捉手势变化。大部分子载波的幅度变化有效表示了手势变化对无线信道的影响并且它们存在一定的相关性。因此为了减少不相关子载波的冗余信息对手势特征的干扰，采用基于动态时间扭曲(dtw)的子载波选择算法从90个子载波中选择出相关度最高的前k个子载波；具体如下：
[0071]
步骤4.1.1：分别计算90个子载波的相似度矩阵：
[0072][0073]
步骤4.1.2：对每一个子载波的相似度矩阵求和：
[0074][0075]
步骤4.1.3：选出度矩阵md中相似度最高的前k＝30个子载波。
[0076]
参阅图5，原始csi数据的90个子载波波形有一定相似性，经过子载波选择后的30个子载波就可以代表原来的大部分信息，避免了引入噪声。
[0077]
步骤4.2中，由于设备硬件的限制导致采集到的样本长度存在差异，为便于神经网络提取特征与识别，需要进行重采样以获取相同的数据包长度。采用matlab工具包中的resample函数即可实现。
[0078]
所述步骤五中，可采用resnet18对数据集进行特征提取和分类，得到初始模型。
[0079]
所述步骤六中，采用了持续学习中的梯度情景记忆gem方法分别实现了类别增量和领域增量学习。
[0080]
gem是一种基于重放的方法，具体地说，gem对新任务和旧任务在当前网络的梯度更新方向施加了限制。gem的主要特征是情景记忆mt，它存储了已经学习过的t个任务的部分信息。在实践中，设置网络的内存预算为m，则对于k个任务，每个任务分配m＝m/k的内存来保存部分信息，随着任务数量的增加，每个任务的所分配的内存随之下降；也可以固定每个任务可占用的内存m，随着任务数列增加，情景记忆mt逐渐增加。
[0081]
对于任务k的情景记忆：
[0082][0083]
其中，xi为数据，yi为相应的标签；
[0084]
定义该任务的记忆损失为：
[0085][0086]
gem将上式(6)作为不等式限制，对于新任务x＝{x1，x2，
…
，xn}以及相应的标签在y＝{y1，y2，
…
，yn}训练新任务的过程中，使得所有k个旧任务在当前网络的记忆损失不增加，甚至是减少的情况下，减少新任务的记忆损失，即：
[0087]
minimize l(f
θ
(x,y))
[0088][0089]
其中，l(f
θ
(x，y))为新任务在当前网络的损失，l(f
θ
，mk)表示第k个任务在当前网络t的损失；表示第k个任务在t-1网络上的损失；
[0090]
为了减少内存消耗，gem不需要存储每次更新时的旧任务的预测变量，只需通过计算梯度梯度向量以及预更新的梯度向量之间的角度来判断先前任务的损失向量是否增加，即：
[0091]
其中，偏微分项代表任务在网络上的梯度参数：
[0092][0093]
如果先前任务都满足式(8)，则表明预更新的梯度方向不会增加先前任务的损失。
[0094]
如果存在某个任务不满足该不等式约束，则需要对该任务的梯度参数进行二次规划，来抑制该任务损失的增加。
[0095]
所述步骤六中，类别增量与领域增量的具体步骤如下：
[0096]
步骤6.1：使用gem进行类别增量学习
[0097]
本步骤中，设置第t个任务的训练数据可表示为dtrain，其中yi为当前任务添加的新类别，n为对应类的样本数。也就是说，当t＝1，系统输出类别的维度为2，随着任务数t的
增加，输出类别的维度为2*t，即每一次的类增量学习会让系统增加2个可识别的手势类别，再增加的过程中使用gem方法限制新旧类别的梯度更新方向，使得系统在不重新训练整个模型的情况下动态的合并新类。
[0098]
步骤6.2：使用gem进行领域增量学习
[0099]
本步骤中，对于相同类别的手势数据，不同的受试者表现出不同的特征分布。将不同受试者的相同的手势数据看作不同领域下的相同表现形式，巧妙地应用在领域增量学习中，不仅可以抑制灾难性遗忘问题，同时增加系统可识别的受试者类别。在该场景中，不同受试者主体不断增加，而要分类的手势类别固定。对于第t个受试者的训练数据dtrain，在无法访问之前t-1个受试者的数据的情况下，每一次增量学习1个用户的数据，使用gem方法对系统进行领域增量。
[0100]
经上述步骤6.1和步骤6.2，即得到动态更新的基于持续学习的wifi手势增量识别系统。
[0101]
实验结果对比：
[0102]
发明人尝试从整体性能、不同实验策略的准确度、存储方面来评估本实施例得到的基于持续学习的wifi手势增量识别系统。
[0103]
1、总体性能：
[0104]
参阅图6，随着类别的增加，基于持续学习的wifi手势增量识别系统的平均准确率仍然能达到以上94％，且增量过程中的标准偏差小于3％，这意味着所述基于持续学习的wifi手势增量识别系统可以实现高性能的类别增量识别。
[0105]
参阅图7，随着用户数量的增加，基于持续学习的wifi手势增量识别系统不仅在新用户数据中表现出良好的性能，同时已学习的用户性能并不会随着新用户的增加而衰减。每一次增量过程中，所有用户的性能都能达到97％以上且标准偏差小于4％，这说明该系统可以实现多目标手势识别的高准确率。
[0106]
2、不同实验策略的准确度：
[0107]
为了凸显基于持续学习的wifi手势增量识别系统的优势，发明人将该系统与现有实验策略在两种应用场景中的性能进行比较。
[0108]
对于类别增量学习，将本实施例得到的基于持续学习的wifi手势增量识别系统与微调、联合训练进行比较。
[0109]
参阅图8，不同方法在类别增量场景下的平均准确度，所有方法都优于微调，这是由于微调是将训练好的模型迁移至新的任务中，在此过程中只改变了部分网络参数，虽然在新任务中具有较高的性能但是会遗忘已学习过的任务的部分信息。因此微调的性能会随着旧任务的遗忘而大幅下降；由于每次增量学习过程中，联合训练都使用所有任务的数据参与训练，因此表现出最佳性能；而本实施例得到的基于持续学习的wifi手势增量识别系统的性能接近甚至优于联合训练，显示了联合训练在类别增量学习中的优越性。
[0110]
对于领域增量学习，将本实施例得到的基于持续学习的wifi手势增量识别系统与联合训练、简单更新进行比较。
[0111]
参阅图9，在领域增量的场景下每种方法的平均准确度。简单更新由于只使用当前任务更新模型，且没有任何正则化限制，因此会产生灾难性遗忘。联合训练同样作为上限，本实施例得到的基于持续学习的wifi手势增量识别系统性能接近于联合训练，在领域增量
学习中表现出了高性能。
[0112]
3、存储：
[0113]
在两种增量场景中，发明人比较了本实施例的基于持续学习的wifi手势增量识别系统与联合训练在一次增量过程中所占用内存。其中，类别增量学习16个手势数据与领域增量学习10个用户数据的6个手势时，其中每个手势数据占用的内存为5.79mb，每个用户数据占用的内存为34.7mb。由于联合训练需存储所有任务的数据，该系统仅需保存每个手势数据的30％。因此相较于joint，该系统减少了的30％额外内存。
[0114]
综上所述，本实施例得到的基于持续学习的wifi手势增量识别系统，可以有效避免神经网络作为特征提取器时的限制，在节省内存与提高效率的同时，实现了高效地增加手势类别与手势领域。

技术特征：
1.一种基于持续学习的wifi手势增量识别系统的构建方法，其特征在于，按以下步骤进行：步骤一：在基于无线网卡的环境中，部署收发器，收集信道状态信息csi；步骤二：在样本采集环境中完成手势，得到手势动作样本集；步骤三：从手势样本数据提取幅值信息并进行预处理；步骤四：对处理后的数据进行子载波选择和降维，得到数据集；步骤五：使用神经网络对数据集进行特征提取与分类，得到初始模型；步骤六：以初始模型为基模型，采用持续学习中的梯度情景记忆方法对初始模型分别进行类别增量和领域增量学习，得到动态更新的基于持续学习的wifi手势增量识别系统。2.如权利要求1所述的方法，其特征在于，所述步骤一中，在基于无线网卡的环境中，采用带有intel 5300wi-fi无线网卡的笔记本电脑作为收发器，发射端设置一根天线，接收端设置三根天线，每根天线上对应有30个子载波，收发器都工作在monitor模式，频段为5.32ghz，传输速率为每秒1000个数据包。3.如权利要求1所述的方法，其特征在于，所述步骤三中预处理的步骤具体包括：步骤3.1：提取出样本中的幅值信息；步骤3.2：对提取到的幅值信息采用hampel滤波器滤除离群值进行异常值去除，得到稳定波动的幅值；步骤3.3，对异常值去除后的幅值进行去噪。4.如权利要求1所述的方法，其特征在于，所述步骤四中，需要对数据进行最优子载波选择和降维，具体方法包括：步骤4.1：采用基于动态时间扭曲的子载波选择算法选择最佳子载波；步骤4.2：采用重采样方法对数据进行降维。5.如权利要求1所述的方法，其特征在于，所述步骤五中，采用resnet18对数据集进行特征提取和分类，得到初始模型。6.如权利要求1所述的方法，其特征在于，所述步骤六中，采用持续学习中的梯度情景记忆gem方法实现类别增量和领域增量学习。

技术总结
本发明公开了一种基于持续学习的WiFi手势增量识别系统的构建方法，该方法从不断增加的数据流中学习信息，逐渐扩展已学习的信息并将其应用于未来的学习，使得到的识别系统具有稳定性和可塑性。包括在基于无线网卡的环境中，部署收发器，收集信道状态信息CSI；在样本采集环境中完成手势，得到手势动作样本集；从手势样本数据提取幅值信息并进行预处理；对处理后的数据进行子载波选择和降维，得到数据集；使用神经网络对数据集进行特征提取与分类，得到初始模型；以初始模型为基模型，采用持续学习中的梯度情景记忆方法对初始模型分别进行类别增量和领域增量学习，得到动态的基于持续学习的WiFi手势增量识别系统。持续学习的WiFi手势增量识别系统。持续学习的WiFi手势增量识别系统。


技术研发人员：常俪琼 张钰琪 杨小凤 贾万 李欣怡 王举 王薇
受保护的技术使用者：西北大学
技术研发日：2022.12.13
技术公布日：2023/7/31