基于Wi-Fi的全方向手势感知与识别方法

基于wi-fi的全方向手势感知与识别方法
技术领域
1.本发明涉及无线感知和手势识别技术，具体是一种基于wi-fi的全方向手势感知与识别方法。


背景技术：

2.手势识别技术广泛应用于聋哑人通信、虚拟现实、人机交互和场景监控等领域。在人机交互场景中，用户无需使用任何外置设备来与机器进行交互。近年来随着wi-fi技术、物联网技术快速发展，使得基于wi-fi技术的手势识别技术也随之出现。对无线信号的non-line-of-sight(nlos)研究使得在一些实验场景中，已经实现了亚米级别的精度，然而这些实验需要受测者携带无线设备，这限制了wi-fi技术的手势识别技术在安防监控，手势识别，老人关注等场景的使用。在智能穿戴领域，使用加速度传感器、陀螺仪等物理传感器能对受测者的手部动作精准的捕捉并识别。但是智能穿戴的功能实现必须要受测者携带传感器设备，这和不携带设备方案不符合。基于图像的手势识别技术已非常成熟并商用化，能够对视频流进行高速的识别分类并标记。但某些场景中不适宜部署图像识别技术，图像或视频信息会暴露被识别者的隐私。相比之下，由于wi-fi设备无处不在的部署和非视距覆盖方面的独特优势，因此研究基于wi-fi无携带设备的手势识别方法非常有必要。
3.基于wi-fi的无携带设备的手势识别技术工作原理是捕获和分析人体手部动作反射的信号，从而分辨出人体手部运动的特征。然而，构建无源跟踪系统很困难，因为人体动作的反射信号比直接接收的信号功率弱几个数量级，并且其他物体的反射也会叠加到人体动作的反射信号上。早期的工作致力于基于粗粒度(received signal strength indication，简称rssi)或细粒度csi的无线电信号特征和动作的映射，相比rssi只能提供不稳定的信号强度信息，csi能够提供发送端和接收端之间的每一条子载波信息，csi反映信号传输过程中的物理层的信息，但其还包含了丰富的环境信息。这需要多wi-fi设备的密集部署和无线电信号的指纹采集，因此缺乏实用性和准确性。


技术实现要素：

4.本发明的目的是针对原始无线数据不能高精度还原手势动作方向以及速度特征，使用手势速度导致多普勒频移对接收信号的影响，而提出一种基于wi-fi的全方向手势感知与识别方法。这种方法能降低数据采集误差对感知识别模型精度的影响，减少环境信息对手势动作识别的影响，提高跨场景的手势识别准确率，减少采集数据的工作量。
5.实现本发明目的的技术方案是：
6.基于wi-fi的全方向手势感知与识别方法，包括如下步骤：
7.步骤1、采集用户动作特征数据：分别选取了5个位置a、b、c、d、e作为典型配置区域的用户位置，用户面向方向共有5个面的方向，标注数据的位置和方向信息；
8.步骤2、借助802.11ncsi tool工具，从商用wi-fi以csi的形式获取特定频带的信道频率响应(channel frequency response，简称cfr)在若干子载波频率上的离散采样值，
只对其中的30个非零子载波的信道频率采样；
9.步骤3、使用无线网卡发送端控制算法、无线网卡接收端控制算法以及数据接收算法接收实时信号数据；
10.步骤4、将接收的数据写入缓存中；
11.步骤5、缓存的数据中使用线性相位误差和非线性相位误差消除法消除因为硬件的不完美性导致的相位误差；
12.线性相位误差建模公式：
13.对于任意收发天线对，在信道i的子载波k上获得的csi相位建模：
[0014][0015]
其中，ω
i,k
表示接收机信道i的子载波k的csi相位测量值，fg是两个子载波的间距，β表示信号的传播时延、采样率偏差即sfo和包检测延迟即pdd的总和，σi表示相位偏置误差，z表示高斯环境噪声；
[0016]
非线性相位误差建模公式：
[0017]
收发机在信号路径单一的情况下，csi相位用以下公式建模：
[0018][0019]
其中ε
i,a
和ε
i,θ
分别表示信道i下的增益失配和相位失配，μ表示一个未知时延，β表示信号传播时延、采样率偏差即sfo和包检测延迟即pdd的总和；
[0020]
相位误差处理：
[0021]
非线性相位误差处理：
[0022]
为了去除非线性相位误差，需要计算参数μ、ε
i,a
和ε
i,θ
的值，使用最小二乘回归方法对参数μ、ε
i,a
、β和ε
i,θ
进行估计：
[0023][0024][0025][0026]
其中i表示测量相位的总数，mi表示第i次的平均测量相位，是mi的平均值，ei是拟合值；
[0027]
线性相位误差处理：
[0028]
假设信道有m个子载波，信道i和信道j之间有n个非零索引且重叠的子载波，信道i和信道j之间重叠的子载波进行等式联立得其中s∈[1,m]，噪声z在等式中忽略，所以和写为：
[0029]
[0030][0031]
其中非线性相位误差和使用非线性相位误差消除方法来估计；
[0032]
将重叠联立等式，只需确定方程m的参数σi,βi,σj和βj，因为商用wi-fi设备相邻的两个信道重叠的子载波数大于4，采用普通最小二乘法(ordinary
[0033]
least squares，简称ols)找到近似解；
[0034]
步骤6、根据music算法计算接收信号的到达角aoa：
[0035][0036]
其中，d为天线的距离、λ为信号波长，为了提高计算分精确度将三个接收天线的每一个子载波扩展成为虚拟天线整理，即90根虚拟天线阵列，以下为每根虚拟天线阵列当到达角为θ时相对第一根虚拟天线的相位差，m为真实的天线序号，n为该天线上子载波序号；
[0037]
从wi-fi提取的csi数据生成一个90x1的矩阵，其中i
m,n
表示第m根天线上的第n个子载波；
[0038]
x＝[i
1,1
…i1,30
…i2,1
…i2,30
…i3,1
…i3,30
]
[0039]
使用music算法构建空间普函数得到：
[0040][0041]
其中，en是r
xx
的特征矩阵，当en与a(φ)的各列正交时分母为零，由于噪声的存在使得空间普函数此时为最小值，即空间普函数存在尖峰，通过使φ发生变化，及寻找波峰来估计到达角；
[0042]
步骤7、使用多普勒频移的手势识别模型识别计算单个链路上的手势动作方向和速度：
[0043][0044]
其中c为wi-fi信号在空气中传播的速度，人体手部动作的运动速度为v，vr为人体手部动作的运动速度相对于收发机椭圆焦点的径向方向速度分量，λ为wi-fi信号的波长，t为wi-fi信号周期，θ1和θ2分别为vr方向与接收机信号夹角和vr方向与发射机信号夹角，通过music算法计算到达角aoa中的φ1并且根据几何关系得出θ1的值，但无法得出vr方向与发射机信号夹角θ2，因人体不携带任何传感器无法计算出vr准确的数值，而本系统只需要知道该径向方向上存在动作速度即可，并且在感知区域内θ1和θ2相等，所以将θ1和θ2视为θ公式改写为；
[0045][0046]
步骤8、在不同的接收机上重复步骤4到步骤7，获得不同方向上的动作引起的信号变化信息转换的速度信息，在同一个接收机上重复步骤4到步骤7，获得该接收机方向上的动作引起的变化信息转换的速度信息；
[0047]
步骤9、将一个时刻内收集到的不同方向上的速度信息作为一个动作序列，并使用lstm神经网络对动作序列进行分类识别得出动作结果；
[0048]
相位误差处理如下：
[0049][0050][0051]
多普勒频移的手势识别模型方法如下：
[0052][0053][0054]
本技术方案是将手势速度对无线电频域上多普勒频移的影响进行建模，建立手势速度和多普勒频移之间的关系，将多普勒频移的变化对应到该链路的径向速度分量上，用多个方向上的速度分量对手势建模。即将手势速度对各个方向上物理信号的影响进行量化，能够从信号中还原出动作的原始特征。
[0055]
本技术方案的优点：(1)相位模型减少线性相位误差和非线性相位误差带来的影响，降低数据采集误差对感知识别模型精度的影响。(2)利用基于多普勒频移的手势速度模型能将环境特征信息过滤，减少环境信息对手势动作识别的影响，提高跨场景的手势识别准确率，减少采集数据的工作量。
附图说明
[0056]
图1为实施例中感知区域人体位置与人体方向示意图；
[0057]
图2为实施例中两个相邻信道重叠子载波示意图；
[0058]
图3为实施例中单链路反射路径和速度分量的关系图；
[0059]
图4为实施例中走廊场景图；
[0060]
图5为实施例中不同的动作示意图；
[0061]
图6为实施例中五个不同采样点30个非零子载波的相位测量图；
[0062]
图7为实施例中移动平均最小二乘回归图；
[0063]
图8为实施例中天线到达角原理图；
[0064]
图9为实施例中手势的方向速度合成示意图。
[0065]
图中，tx为发射机，rx为接收机。
具体实施方式
[0066]
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
[0067]
实施例：
[0068]
本例以空旷的走廊场景为例，按如图4位置摆放好接收机和发射机。
[0069]
基于wi-fi的全方向手势感知与识别方法，包括如下步骤：
[0070]
步骤1、采集用户动作特征数据：分别选取了5个位置a、b、c、d、e作为典型配置区域的用户位置，用户面向方向共有5个面的方向，标注数据的位置和方向信息，如图1所示；用户按照指定位置和方向站好后，按照指令做出动作，动作包含了推、拉、横扫、画圈和上肢开合5种动作，如图5所示，并且5种动作占的动作比例均为20％；
[0071]
步骤2、借助802.11ncsi tool工具，从商用wi-fi以csi的形式获取特定频带的信道频率响应(channel frequency response，简称cfr)在若干子载波频率上的离散采样值，只对其中的30个非零子载波的信道频率采样，如图6所示，采样数据保存至文件中；
[0072]
步骤3、使用无线网卡发送端控制算法、无线网卡接收端控制算法以及数据接收算法接收实时信号数据；其中本例无线网卡发送端控制算法、无线网卡接收端控制算法和数据接收算法均出自无线网卡节点控制及信号采集系统v1.0登记号为：2022sr1346383；
[0073]
步骤4、将接收的数据写入缓存中；
[0074]
步骤5、缓存的数据中使用线性相位误差和非线性相位误差消除法消除因为硬件的不完美性导致的相位误差；
[0075]
线性相位误差建模公式：
[0076]
对于任意收发天线对，在信道i的子载波k上获得的csi相位建模：
[0077][0078]
其中，ω
i,k
表示接收机信道i的子载波k的csi相位测量值，fg是两个子载波的间距，β表示信号的传播时延、采样率偏差即sfo和包检测延迟即pdd的总和，σi表示相位偏置误差，z表示高斯环境噪声；
[0079]
非线性相位误差建模公式：
[0080]
收发机在信号路径单一的情况下，csi相位用以下公式建模：
[0081]
[0082]
其中ε
i,a
和ε
i,θ
分别表示信道i下的增益失配和相位失配，μ表示一个未知时延，β表示信号传播时延、采样率偏差即sfo和包检测延迟即pdd的总和；
[0083]
相位误差处理：
[0084]
非线性相位误差处理：
[0085]
为了去除非线性相位误差，需要计算参数μ、ε
i,a
和ε
i,θ
的值，使用最小二乘回归方法对参数μ、ε
i,a
、β和ε
i,θ
进行估计：
[0086][0087][0088][0089]
其中i表示测量相位的总数，mi表示第i次的平均测量相位，是mi的平均值，ei是拟合值；
[0090]
线性相位误差处理：
[0091]
假设信道有m个子载波，信道i和信道j之间有n个非零索引且重叠的子载波，信道i和信道j之间重叠的子载波进行等式联立得其中s∈[1,m]，噪声z在等式中忽略，所以和写为：
[0092][0093][0094]
其中非线性相位误差和使用非线性相位误差消除方法来估计；
[0095]
将重叠联立等式，只需确定方程m的参数σi,βi,σj和βj，因为商用wi-fi设备相邻的两个信道重叠的子载波数大于4，采用普通最小二乘法(ordinary least squares，简称ols)找到近似解，如图7所示，图7显示了后1000个相位测量的移动平均值的最小二乘，其中估计参数ε
i,θ
＝-0.006527，ε
i,a
＝0.4836，μ＝-0.02833，β＝-0.02813和σi＝-0.03265，r2＝0.973表示相位采样非常接近于方程；本例使用intel 5300 nic，该网卡工作在20mhz时从一个信道中能够获取到30个子载波的csi信息，信道相隔为1时m可取25，信道相隔为2时m可取21，信道相隔为3时m可以取17，使用了该方法后能够去除线性相位误差和非线性相位误差来估计测量相位，如图2所示；
[0096]
步骤6、根据music算法计算接收信号的到达角aoa，如图8所示：
[0097][0098]
其中，d为天线的距离、λ为信号波长，为了提高计算分精确度将三个接收天线的每一个子载波扩展成为虚拟天线整理，即90根虚拟天线阵列，以下为每根虚拟天线阵列当到达角为θ时相对第一根虚拟天线的相位差，m为真实的天线序号，n为该天线上子载波序号；
[0099]
从wi-fi提取的csi数据生成一个90x1的矩阵，其中i
m,n
表示第m根天线上的第n个
子载波；
[0100]
x＝[i
1,1
…i1,30
…i2,1
…i2,30
…i3,1
…i3,30
]
[0101]
使用music算法构建空间普函数得到：
[0102][0103]
其中，en是r
xx
的特征矩阵，当en与a(φ)的各列正交时分母为零，由于噪声的存在使得空间普函数此时为最小值，即空间普函数存在尖峰，通过使φ发生变化，及寻找波峰来估计到达角；
[0104]
步骤7、使用多普勒频移的手势识别模型识别计算单个链路上的手势动作方向和速度，如图3、图9所示：
[0105][0106]
其中c为wi-fi信号在空气中传播的速度，人体手部动作的运动速度为v，vr为人体手部动作的运动速度相对于收发机椭圆焦点的径向方向速度分量，λ为wi-fi信号的波长，t为wi-fi信号周期，θ1和θ2分别为vr方向与接收机信号夹角和vr方向与发射机信号夹角，通过music算法计算到达角aoa中的φ1并且根据几何关系得出θ1的值，但无法得出vr方向与发射机信号夹角θ2，因人体不携带任何传感器无法计算出vr准确的数值，而本系统只需要知道该径向方向上存在动作速度即可，并且在感知区域内θ1和θ2相等，所以将θ1和θ2视为θ公式改写为；
[0107][0108]
步骤8、在不同的接收机上重复步骤4到步骤7，获得不同方向上的动作引起的信号变化信息转换的速度信息，在同一个接收机上重复步骤4到步骤7，获得该接收机方向上的动作引起的变化信息转换的速度信息；
[0109]
步骤9、将一个时刻内收集到的不同方向上的速度信息作为一个动作序列，并使用lstm神经网络对动作序列进行分类识别得出动作结果；
[0110]
相位误差处理如下：
[0111][0112]
多普勒频移的手势识别模型方法如下：
[0113]
[0114]

技术特征：
1.基于wi-fi的全方向手势感知与识别方法，其特征在于，包括如下步骤：步骤1、采集用户动作特征数据：分别选取了5个位置a、b、c、d、e作为典型配置区域的用户位置，用户面向方向共有5个面的方向，标注数据的位置和方向信息；步骤2、借助802.11ncsitool工具，从商用wi-fi以csi的形式获取特定频带的cfr在若干子载波频率上的离散采样值，只对其中的30个非零子载波的信道频率采样；步骤3、使用无线网卡发送端控制算法、无线网卡接收端控制算法以及数据接收算法接收实时信号数据；步骤4、将接收的数据写入缓存中；步骤5、缓存的数据中使用线性相位误差和非线性相位误差消除法消除因为硬件的不完美性导致的相位误差；线性相位误差建模公式：对于任意收发天线对，在信道i的子载波k上获得的csi相位建模：其中，ω
i,k
表示接收机信道i的子载波k的csi相位测量值，f
g
是两个子载波的间距，β表示信号的传播时延、采样率偏差即sfo和包检测延迟即pdd的总和，σ
i
表示相位偏置误差，z表示高斯环境噪声；非线性相位误差建模公式：收发机在信号路径单一的情况下，csi相位用以下公式建模：其中ε
i,a
和ε
i,θ
分别表示信道i下的增益失配和相位失配，μ表示一个未知时延，β表示信号传播时延、采样率偏差即sfo和包检测延迟即pdd的总和；相位误差处理：非线性相位误差处理：为了去除非线性相位误差，需要计算参数μ、ε
i,a
和ε
i,θ
的值，使用最小二乘回归方法对参数μ、ε
i,a
、β和ε
i,θ
进行估计：进行估计：进行估计：其中i表示测量相位的总数，m
i
表示第i次的平均测量相位，是m
i
的平均值，e
i
是拟合值；线性相位误差处理：假设信道有m个子载波，信道i和信道j之间有n个非零索引且重叠的子载波，信道i和信道j之间重叠的子载波进行等式联立得其中s∈[1,m]，噪声z在等
式中忽略，所以和写为：写为：其中非线性相位误差和使用非线性相位误差消除方法来估计；将重叠联立等式，只需确定方程m的参数σ
i
,β
i
,σ
j
和β
j
，因为商用wi-fi设备相邻的两个信道重叠的子载波数大于4，采用普通最小二乘法找到近似解；步骤6、根据music算法计算接收信号的到达角aoa：其中，d为天线的距离、λ为信号波长，为了提高计算分精确度将三个接收天线的每一个子载波扩展成为虚拟天线整理，即90根虚拟天线阵列，以下为每根虚拟天线阵列当到达角为θ时相对第一根虚拟天线的相位差，m为真实的天线序号，n为该天线上子载波序号；从wi-fi提取的csi数据生成一个90x1的矩阵，其中i
m,n
表示第m根天线上的第n个子载波；x＝[1
1,1
...i
1，30
...i
2，1
...i
2，30
...i
3，1
...i
3，30
]使用music算法构建空间普函数得到：其中，e
n
是r
xx
的特征矩阵，当e
n
与a(φ)的各列正交时分母为零，由于噪声的存在使得空间普函数此时为最小值，即空间普函数存在尖峰，通过使φ发生变化，及寻找波峰来估计到达角；步骤7、使用多普勒频移的手势识别模型识别计算单个链路上的手势动作方向和速度：其中c为wi-fi信号在空气中传播的速度，人体手部动作的运动速度为v，v
r
为人体手部动作的运动速度相对于收发机椭圆焦点的径向方向速度分量，λ为wi-fi信号的波长，t为wi-fi信号周期，θ1和θ2分别为v
r
方向与接收机信号夹角和v
r
方向与发射机信号夹角，通过music算法计算到达角aoa中的φ1并且根据几何关系得出β1的值，但无法得出v
r
方向与发射机信号夹角θ2，因人体不携带任何传感器无法计算出v
r
准确的数值，而本系统只需要知道该径向方向上存在动作速度即可，并且在感知区域内θ1和θ2相等，所以将θ1和θ2视为θ，公式改写为；步骤8、在不同的接收机上重复步骤4到步骤7，获得不同方向上的动作引起的信号变化信息转换的速度信息，在同一个接收机上重复步骤4到步骤7，获得该接收机方向上的动作引起的变化信息转换的速度信息；
步骤9、将一个时刻内收集到的不同方向上的速度信息作为一个动作序列，并使用lstm神经网络对动作序列进行分类识别得出动作结果；相位误差处理如下：相位误差处理如下：多普勒频移的手势识别模型方法如下：

技术总结
本发明公开了一种基于Wi-Fi的全方向手势感知与识别方法，包括如下步骤：步骤1、采集用户动作特征数据；步骤2、获取特定频带的CFR在若干子载波频率上的离散采样值；步骤3、接收实时信号数据；步骤4、将接收数据写入缓存中；步骤5、使用线性相位误差和非线性相位误差消除法消除因为硬件的不完美性导致的相位误差；步骤6、根据MUSIC算法计算接收信号的到达角AOA；步骤7、使用多普勒频移的手势识别模型识别计算手势动作方向和速度；步骤8、获得速度信息；步骤9、得出动作结果。这种方法降低了数据采集误差对感知识别模型精度的影响，减少环境信息对手势动作识别的影响，提高跨场景的手势识别准确率，减少采集数据的工作量。减少采集数据的工作量。减少采集数据的工作量。


技术研发人员：陈思国 覃少华 施薏 梁民群 吴博文
受保护的技术使用者：广西师范大学
技术研发日：2023.05.23
技术公布日：2023/9/6