一种面向飞行仿真环境的手部运动轨迹预测方法

1.本发明涉及飞行仿真、虚拟现实和计算机等技术领域，具体是指一种面向飞行仿真环境的手部运动轨迹预测方法。


背景技术：

2.通过飞行仿真环境进行飞行员训练、空战对抗模拟等，可以不受时间、地点等条件的制约，节约成本，尤其是在引入虚拟现实技术后具有高度沉浸感和真实感的飞行仿真环境迎来了快速发展。
3.在飞行仿真环境中，是否能够准确还原飞行员的手部动作非常关键，直接影响到仿真效果。准确还原飞行员的手部动作不仅要求正确拟合手部形态，也要求快速跟踪手部的空间位置。快速手部跟踪所面对的挑战主要是数据传输、跟踪算法、画面渲染等过程所造成的延时问题，延时问题将造成画面渲染结果与实际动作不同步的情况。一种解决方案是预测手部的运动轨迹，在当前时刻提前渲染未来的手部的运动轨迹以抵消延时的影响。现有技术中基于深度学习在交通等领域进行的运动轨迹预测的任务取得了很好的效果，但在飞行仿真环境中许多信息的构成方式、侧重点、关系等与交通等领域中的信息不同，目前尚不存在成熟可用的方案能够建立手部运动轨迹与飞行仿真环境中多种复杂信息的关系。


技术实现要素：

4.针对上述问题，本发明提出了一种面向飞行仿真环境的手部运动轨迹预测方法，构建了一种适用于飞行仿真环境中的深度学习框架，利用手部运动轨迹历史信息和飞行仿真环境信息预测未来手部运动轨迹信息，以解决在飞行仿真环境中进行快速手部跟踪时的延时问题。
5.本发明提供的一种面向飞行仿真环境的手部运动轨迹预测方法，包括如下步骤：
6.步骤一、设计手部运动轨迹预测模型，该模型包含特征工程模块、特征编码模块、全局信息交互模块和特征解码模块；
7.所述的特征工程模块对飞行仿真环境信息进行提取和矢量化；所述飞行仿真环境信息包括手部运动轨迹历史信息、座舱信息、飞行器信息、机场信息、航线信息和气象信息；从座舱信息中提取三维座舱模型的几何信息和飞行控制信息，从飞行器信息中提取飞行器的静态参数信息和动态参数信息，从机场信息中提取机场跑道信息和塔台指令信息；特征工程模块从各种飞行仿真环境信息中提取对应的局部矢量序列；
8.所述的特征编码模块对特征工程模块输出的各种局部矢量序列进行内部特征整合，输出每种飞行仿真环境信息的聚合特征；
9.所述的全局信息交互模块将每种飞行仿真环境信息对应为一个节点，对应的聚合特征为节点矢量，对每个节点构造图注意力网络，获取各节点矢量间的影响关系，确定各节点融合了邻域特征的矢量表示，将各节点之间的全局关系表示为图结构并输出；
10.所述的特征解码模块采用注意力机制网络结构，从全局图中获取手部运动轨迹历
史信息节点的融合了邻域特征的矢量表示，对该矢量表示进行解码，预测输出手部运动轨迹矢量；
11.步骤二、采集历史飞行仿真环境信息生成训练数据集和测试数据集，对所建立的手部运动轨迹预测模型进行训练，然后利用训练好的手部运动轨迹预测模型对飞行仿真环境中手部运动轨迹进行实时预测。
12.本发明的优点与积极效果在于：
13.(1)本发明方法建立了面向飞行仿真环境的手部运动轨迹预测模型，通过特征工程模块获取手部运动轨迹以及相关的环境信息，并针对每种环境信息提取局部矢量化序列，通过特征编码模块对每种环境信息进行内部整合，通过全局信息交互模块建立各节点间相互影响的全局图，获得融合了各种环境信息的手部运动轨迹矢量表示，最后通过特征解码模块解码输出未来手部运动轨迹。本发明充分利用考虑了飞行仿真环境中多种复杂信息，建立了手部运动轨迹与飞行仿真环境信息的关系，从而精确预测未来的手部运动轨迹。
14.(2)使用本发明方法可提前预测手部运动轨迹，解决在飞行仿真环境中进行快速手部跟踪时的延时问题，本发明方法不仅可以用于提前渲染消除延时，还可以用于预判飞行员的操作行为是否正确，从而达到训练目的等，应用前景十分广泛。
附图说明
15.图1是本发明方法进行手部运动轨迹预测的实现框架图；
16.图2是本发明的全局信息交互模块构建的图结构。
具体实施方式
17.下面将结合附图和实施例对本发明作进一步的详细说明。
18.本发明的面向飞行仿真环境的手部运动轨迹预测方法，使用深度学习框架设计了一种手部运动轨迹预测模型。如图1所示，本发明设计的手部运动轨迹预测模型包含特征工程模块、特征编码模块、全局信息交互模块和特征解码模块。下面对飞行仿真环境中各模块的实现进行具体说明。
19.(一)特征工程模块对飞行仿真环境信息进行提炼和矢量化。在本发明的实施例中分别对手部运动轨迹历史信息、座舱信息、飞行器信息、机场信息、航线信息、气象信息进行了矢量化过程。
20.具体地，以手部运动轨迹历史信息为例，对信息的矢量化表达式进行描述。不同类型信息的矢量化表达式格式相似，故其他飞行仿真环境信息仅描述该信息的构成而不再赘述其矢量化表达式。
21.手部运动轨迹历史信息通过将传感器采集到的手部信息抽象为三维空间中一点，一段时间内以固定的时间间隔记录形成一段折线的形式表示，折线中按时间顺序的任意两点所形成的矢量表达vi如下：
[0022][0023]
其中，和为向量起点和终点的三维坐标；和为向量起点和终点的时间戳；s为左、右手的区分标识。标号i代表矢量编号，如vi表示矢量i的信息。
[0024]
对于每只手均会采集40帧的连续数据，前20帧作为手部运动轨迹历史信息，后20
帧作为手部运动轨迹预测信息。
[0025]
座舱信息包括三维座舱模型的几何信息和飞行控制信息。
[0026]
三维座舱模型的几何信息为将模型轮廓边界视为线，操纵机构视为多个基础几何体构成，边界线、几何体中轴线的连接按固定距离采样形成折线的形式表示，并注明属于轮廓边界还是操纵机构。
[0027]
飞行控制信息记录一段时间内不同操纵机构的档位、按下状态、偏转数值等硬件输入信息以及时间戳。
[0028]
飞行器信息包括飞行器的静态参数信息和动态参数信息。
[0029]
飞行器的静态参数信息为机型、尺寸信息、发动机推力、升限、最大起飞重量、满载最大航程等。
[0030]
飞行器的动态参数信息为记录飞行器一段时间内的姿态角、方位角、力矩、空间三维坐标等实时飞行状态信息以及时间戳。
[0031]
机场信息包括机场跑道信息和塔台指令信息。
[0032]
机场跑道信息为跑道线和跑道标志按固定距离采样形成折线表示，以及跑道线和标志的属性标注。
[0033]
塔台指令信息为一段时间内塔台发出的如等待、准备滑出、允许起飞、限制降落等指令信息以及指令发出的时间戳。
[0034]
航线信息为将预定的三维飞行轨迹按固定距离采样形成折线的形式表示，并注明航线宽度、高度范围。
[0035]
气象信息为飞行仿真环境中的实时风力、风向、光照强度、光线方向、湿度、温度、气压等以及时间戳。
[0036]
(二)特征编码模块对特征工程模块所建立的各种局部矢量序列信息进行内部特征整合。
[0037]
如上，本发明实施例的特征工程模块从飞行仿真环境信息中提取了9种不同局部矢量序列，具体是：手部运动轨迹历史信息、三维座舱模型的几何信息、飞行控制信息、飞行器的静态参数信息、飞行器的动态参数信息、机场跑道信息、塔台指令信息、航线信息和气象信息。其中，按照信息是否具有时间连续性或空间位置规律将矢量序列进行分类，如飞行器的静态参数信息为不具备时间连续性或空间位置规律的信息。对各个局部矢量序列依据不同类型进行内部特征整合。
[0038]
具体地，本发明实施例对于不具有时间连续性或空间位置规律的信息，通过mlp(多层感知机)进行特征整合，设计如下：
[0039]
全连接层的输入为特征工程模块生成的矢量序列，然后进行layernorm(层归一化)操作以及relu激活函数，输出为相同长度的200维矢量序列。
[0040]
对输出的矢量序列进行特征聚合，聚合方式如下：
[0041][0042]
式中x为输入的特征矢量序列，xi为序列中第i个矢量，n为序列长度，sumpooling表示求和池化。
[0043]
具体地，本发明实施例对于具有时间连续性或空间位置规律的信息，特征编码模块通过基于自注意力机制的网络结构实现其特征整合，设计如下：
[0044]
输入部分：设计为embedding(嵌入)与encoding(编码)操作的组合。
[0045]
特征工程模块生成的局部矢量序列作为嵌入层的输入，通过一个d*n的嵌入矩阵e将长度为n的输入矢量映射为d维嵌入矢量a。在本发明实例中，嵌入矩阵e由数据训练得到，d的数值设定为300。
[0046]
对于具备时间连续特性的手部运动轨迹历史信息、飞行器的动态参数信息等，在本发明实例中位置编码的方式是按时间戳中时间的先后顺序进行。具体的位置编码矢量pe与嵌入矢量a具有相同的维度d，其表达式如下：
[0047][0048]
矩阵pe的偶数列是一个sin函数，奇数列是一个cos函数，p代表当前位置，j标识是奇数还是偶数列，i为输入的局部矢量的当前维度。
[0049]
对于具备空间位置规律的三维座舱模型的几何信息、机场跑道信息等，位置编码的方式通过三维空间中信息的拓扑关系进行。具体的位置编码通过将输入的局部矢量序列变换为多维数组输入一个cnn(卷积神经网络)层，再经过多层mlp映射的d维矢量表示。
[0050]
输入部分中，对局部矢量分别经嵌入矩阵e映射得到的矢量a，经位置编码得到矢量pe，将a和pe相加组合得到输入部分的输出矢量b。
[0051]
编码部分：在本实施例中编码部分由6个相同结构的编码器组成，每个编码器又包含一个多头自注意力机制子层和一个前馈网络子层，每个子层后还连接有一个残差连接和归一化(layernorm)操作层。
[0052]
将经输入部分输出的d维矢量与通过数据训练得到的查询矢量矩阵wq、键矢量矩阵wk、值矢量矩阵wv分别相乘，结果为查询矢量q、键矢量k、值矢量v，利用q和k的相似程度确定v权重分布的表达式如下：
[0053][0054]
其中，dk表示比例因子，上角标t表示转置。
[0055]
多组attention(注意力机制)经过加权、拼接、线性变换操作后映射到维度d形成最终的attention，随后对每个位置的矢量应用全连接层(fc)和relu激活函数进行非线性变换。
[0056]
进一步地，为防止梯度消失，加快收敛速度，在每个子层后执行输入与输出的残差连接以及layernorm操作。
[0057]
在最后一个编码器的输出进行特征聚合，聚合方式同样采用sumpooling。
[0058]
(三)全局信息交互模块基于特征编码模块输出的每种飞行仿真环境信息的聚合特征，建立各局部信息间的影响关系。
[0059]
具体地，各局部信息之间的全局关系可以表示为图结构，将各局部信息表示为图中的节点，如图2所示，本发明实施例中有9种飞行仿真环境信息，即包括9个节点，经过特征工程模块和特征编码模块后得到9个节点对应的聚合特征。
[0060]
同样，全局信息交互模块通过自注意力机制构建节点间的关系，在本发明的实施例中对图中每个节点构造图注意力网络，设计如下：
[0061]
对于节点矢量hi和hj，采用激活函数leakyrelu计算相关度e
ij
如下：
[0062]eij
＝leakyrelu(a[hi||hj])
[0063]
其中，a代表权重参数，hi||hj代表向量拼接操作。节点矢量hi和hj为由特征编码模块输出的第i种和第j种飞行仿真环境信息的聚合特征。依据上面相关度计算方式，计算不同节点矢量的相关度。
[0064]
如图2所示，本发明实施例中并不需要计算所有两个不同节点矢量的相关度，提前剔除无关节点间的相关度计算，例如对于三维座舱模型的几何信息这个节点，只需要计算其与手部运动轨迹历史信息、飞行控制信息和飞行器的静态参数信息这三个节点之间的相关度；而对于手部运动轨迹历史信息，需要计算其与另外8个节点之间的相关度。
[0065]
对第i个节点，先确定与该节点存在影响关系的节点，再按照上面方法计算该节点和其他节点的相关度，并在计算完成后，利用softmax函数对该节点的所有相关度进行归一化，然后进行加权求和，输出融合了邻域特征的当前节点特征的矢量表示。
[0066]
设对第i个节点的所有计算的相关度进行归一化，对相关度e
ij
归一化为α
ij
，则第i个节点融合了邻域特征的输出特征为hi'＝σ(∑α
ijhj
)，σ为激活函数。
[0067]
本发明优选地，还可以堆叠多层图注意力网络以增强复杂特征的拟合能力。具体地，使用d组相互独立的过程融合每个节点的邻域信息，然后将结果拼接，该过程表达式如下：
[0068][0069]
式中，||表示拼接操作，是第k组注意力机制计算出的节点i和节点j的归一化权重系数。
[0070]
(四)特征解码模块从某一节点中按源信息格式恢复预测信息。在本发明实例中，从手部运动轨迹信息节点预测未来的轨迹信息，采用注意力机制的网络结构实现。
[0071]
具体地，特征解码模块由mlp和6个相同结构的解码器组成，每个解码器除包含多头自注意力机制子层、前馈网络子层、残差连接和归一化操作层外，还具有一个关联全局图与解码器的注意力机制层。
[0072]
首先，通过mlp从手部运动轨迹历史信息节点矢量hi′
，恢复手部运动轨迹历史信息的矢量序列的长度n。
[0073]
在多头自注意力机制子层中，构建一个n*n的矩阵m，其中n为输入序列的长度，矩阵m的第i行第j列元素表示为：
[0074][0075]
其中，-inf为预设的下限值。
[0076]
使用解码器的训练数据通过与编码器中相同的方法计算qk
t
，与矩阵m相乘，并继续使用与编码器中相同的方法计算多头attention的输出。
[0077]
解码器与编码器的结构类似，但是增加关联全局图与每个解码器的注意力机制层。对于关联全局图与解码器的注意力机制层，其attention的计算所使用的矢量k、v由全局图的手部运动轨迹信息节点输出计算得出，矢量q由上一个解码器计算得出。
[0078]
最后对最后一个解码器的输出通过一个fc层进行特征映射，softmax函数按时间
顺序逐个预测输出手部运动轨迹矢量。
[0079]
在构建手部运动轨迹预测模型后，采集历史飞行仿真环境信息生成训练集和测试集，对手部运动轨迹预测模型进行训练，然后利用训练好的手部运动轨迹预测模型对飞行仿真环境中手部运动轨迹进行实时预测。在用模型进行实时预测时，将采集的当前时段的飞行仿真环境信息，通过特征工程模块进行局部矢量序列提取，对于不随时间变化的局部矢量序列直接使用已确定的数据即可，主要对当前时段的手部运动轨迹历史信息进行局部矢量序列提取、特征聚合提取以及全局影响关系提取后，经特征解码模块从聚合了其他环境信息的手部运动轨迹信息中预测未来手部运动轨迹，并输出为特征工程模块可以解读的矢量形式。
[0080]
除说明书所述的技术特征外，均为本专业技术人员的已知技术。本发明省略了对公知组件和公知技术的描述，以避免赘述和不必要地限制本发明。上述实施例中所描述的实施方式也并不代表与本技术相一致的所有实施方式，在本发明技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围内。

技术特征：
1.一种面向飞行仿真环境的手部运动轨迹预测方法，其特征在于，包括如下步骤：步骤一、设计手部运动轨迹预测模型，该模型包含特征工程模块、特征编码模块、全局信息交互模块和特征解码模块；所述的特征工程模块对飞行仿真环境信息进行提取和矢量化；所述飞行仿真环境信息包括手部运动轨迹历史信息、座舱信息、飞行器信息、机场信息、航线信息和气象信息；从座舱信息中提取三维座舱模型的几何信息和飞行控制信息，从飞行器信息中提取飞行器的静态参数信息和动态参数信息，从机场信息中提取机场跑道信息和塔台指令信息；特征工程模块从各种飞行仿真环境信息中提取对应的局部矢量序列；所述的特征编码模块对特征工程模块输出的各种局部矢量序列进行内部特征整合，输出每种飞行仿真环境信息的聚合特征；所述的全局信息交互模块将每种飞行仿真环境信息对应为一个节点，对应的聚合特征为节点矢量，对每个节点构造图注意力网络，获取各节点矢量间的影响关系，确定各节点融合了邻域特征的矢量表示，将各节点之间的全局关系表示为图结构并输出；所述的特征解码模块采用注意力机制网络结构，从全局图中获取手部运动轨迹历史信息节点的融合了邻域特征的矢量表示，对该矢量表示进行解码，预测输出手部运动轨迹矢量；步骤二、采集历史飞行仿真环境信息生成训练数据集和测试数据集，对所建立的手部运动轨迹预测模型进行训练，然后利用训练好的手部运动轨迹预测模型对飞行仿真环境中手部运动轨迹进行实时预测。2.根据权利要求1所述的方法，其特征在于，所述的步骤一中，特征工程模块从飞行仿真环境信息中提取信息如下：从手部运动轨迹历史信息中，将传感器采集的手部位置抽象为三维空间中一点，将手部运动轨迹以固定时间间隔记录手部位置形成的折线表示；从座舱信息中提取三维座舱模型的几何信息和飞行控制信息；其中，三维座舱模型的几何信息为，将模型轮廓边界视为线，操纵机构视为几何体组合构成，将边界线和几何体中轴线的连接按固定距离采样形成的折线表示，标识每段距离属于轮廓边界还是操纵机构；飞行控制信息包括在提取时间段内的不同操纵机构的硬件输入信息及时间戳；从飞行器信息中提取飞行器的静态参数信息和动态参数信息；其中，飞行器的静态参数信息包括机型、尺寸信息、发动机推力、升限、最大起飞重量和满载最大航程；飞行器的动态参数信息包括提取时间段内的飞行器的实时飞行状态信息及时间戳，实时飞行状态信息包括飞行器的姿态角、方位角、力矩和空间坐标；从机场信息中提取机场跑道信息和塔台指令信息；其中，机场跑道信息为跑道线和跑道标志按固定距离采样形成的折线表示，标注折线上每段距离上的跑道线和标志的属性；塔台指令信息包括提取时间段内的塔台发出的指令信息以及指令发出的时间戳；从航线信息中提取预定的三维飞行轨迹，按固定距离采样形成的折线表示，标注航线宽度和高度范围；从气象信息中提取飞行仿真环境的实时气象数据及时间戳；气象数据包括风力、风向、光照强度、光线方向、湿度、温度和气压。3.根据权利要求2所述的方法，其特征在于，所述的步骤一中，特征工程模块对手部运
动轨迹信息提取的信息矢量化，具体为：按时间顺序提取手部在任意两点位置形成的矢量的信息，提取到的矢量i的信息v
i
如下：其中，和分别为向量i的起点和终点的三维坐标，和分别为向量i的起点和终点的时间戳，s为左右手的区分标识。4.根据权利要求1或2所述的方法，其特征在于，所述的步骤一中，针对不具有时间连续性或空间位置规律的一种飞行仿真环境信息的局部矢量序列，特征编码模块通过多层感知机mlp进行内部特征整合，包括：将局部矢量序列输入mlp的全连接层，再经层归一化操作以及relu激活函数，输出具有相同长度的矢量序列，再对输出的矢量序列进行特征聚合，输出聚合特征。5.根据权利要求1或2所述的方法，其特征在于，所述的步骤一中，针对具有时间连续性或空间位置规律的一种局部矢量序列，特征编码模块采用基于自注意力机制的网络结构进行内部特征整合，包括输入部分和编码部分的处理；输入部分将特征工程模块输出的局部矢量分别经一个嵌入操作和编码操作后，再经求和组合输出给编码部分；其中，嵌入操作是指，将特征工程模块输出的局部矢量序列输入一个嵌入层，通过嵌入矩阵将长度为n的输入矢量映射为d维嵌入矢量；编码操作是指：对具有时间连续性的局部矢量序列，按时间的先后顺序进行位置编码，将局部矢量使用不同频率的正弦函数和余弦函数编码获得d维的位置编码矢量；对具有空间位置规律的局部矢量序列，按空间拓扑关系进行位置编码，将局部矢量变换为多维数组输入一个卷积神经网络层，再经多层感知机mlp映射得到d维的位置编码矢量；d、n均为正整数；编码部分由6个相同结构的编码器依次连接组成，每个编码器包含一个多头自注意力机制子层和一个前馈网络子层，在每个子层后连接有一个残差连接和归一化操作层；将输入部分输出的d维矢量序列输入第一个编码器，对最后一个编码器的输出进行特征聚合，输出对应种类的飞行仿真环境信息的聚合特征。6.根据权利要求1或2所述的方法，其特征在于，所述的步骤一中，所述的全局信息交互模块对第i个节点，先确定与该节点存在影响关系的节点，再计算节点矢量相关度，计算方式如下：设第i个节点与第j个节点存在影响关系，第i个节点矢量为h
i
，第j个节点矢量为h
j
，将两个节点矢量拼接后利用激活函数leakyrelu计算获得h
i
和h
j
的相关度e
ij
；计算获得第i个节点矢量与所有存在影响关系的节点矢量的相关度后，利用softmax函数对第i个节点矢量的所有相关度进行归一化，再进行加权求和，输出第i个节点融合了邻域特征的矢量表示。7.根据权利要求1或2所述的方法，其特征在于，所述的步骤一中，所述的全局信息交互模块堆叠多层图注意力网络，设第i个节点使用d个多层图注意力网络分别独立融合邻域特征，最后将d个结果拼接得到最终的第i个节点融合了邻域特征的矢量表示。8.根据权利要求6所述的方法，其特征在于，所述的步骤一中，特征解码模块由多层感知机mlp和6个结构相同的解码器组成，每个解码器包含多头自注意力机制子层、前馈网络子层、残差连接和归一化操作层，以及关联全局图与解码器的注意力机制层；首先，通过mlp从手部运动轨迹历史信息的节点矢量中恢复手部运动轨迹历史信息的
矢量序列的长度n；其次，多头自注意力机制子层构建n*n的矩阵m，其中第i行第j列的元素表示为：-inf为预设的下限值；在解码器的多头自注意力机制子层计算值矢量v权重分布时，将计算的qk
t
与矩阵m相乘，再计算多头自注意力机制的输出；在每个解码器设置有关联全局图的注意力机制层，注意力机制层使用的键矢量k和值矢量v根据全局图输出的手部运动轨迹历史信息节点矢量计算获得，使用的查询矢量q由上一个解码器计算得到；最后，对最后一个解码器的输出通过一个全连接层进行特征映射，使用softmax函数按时间顺序逐个输出预测的手部运动轨迹矢量。9.根据权利要求1所述的方法，其特征在于，所述的步骤二中，采集当前时段的飞行仿真环境信息输入训练好的手部运动轨迹预测模型，经特征工程模块、特征编码模块和全局信息交互模块获得当前时段的融合了其他环境信息的手部运动轨迹信息的矢量表示，利用特征解码模块解码，输出预测的未来手部运动轨迹矢量序列。

技术总结
本发明提供了一种面向飞行仿真环境的手部运动轨迹预测方法，用于飞行虚拟现实仿真领域。本发明方法包括：建立手部运动轨迹预测模型，包含特征工程模块、特征编码模块、全局信息交互模块和特征解码模块；特征工程模块对飞行仿真环境信息进行提取和矢量化，特征编码模块对各种局部矢量序列进行内部特征整合，全局信息交互模块确定各节点融合了具有影响关系的环境信息的矢量表示，特征解码模块对融合了环境信息的手部运动轨迹历史信息的矢量表示解码，预测输出手部运动轨迹矢量序列。本发明方法实现了手部运动轨迹的提前预测，解决了在飞行仿真环境中进行快速手部跟踪时的延时问题，充分考虑了与飞行仿真环境信息的关系，实现了精确预测。精确预测。精确预测。


技术研发人员：郝天宇 赵永嘉 雷小永 戴树岭
受保护的技术使用者：北京航空航天大学江西研究院
技术研发日：2023.05.30
技术公布日：2023/8/21