一种人体动作捕捉数据恢复方法及系统

1.本发明属于动作捕捉数据恢复技术领域，具体涉及一种人体动作捕捉数据恢复方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.动作捕捉(mocap)数据是由专业动作捕捉系统记录的人体运动的数字表示。广泛应用于3d动画、电影制作、医学分析、人机交互、虚拟现实等诸多领域。如何处理和分析这些动作捕捉数据是近几十年来计算机图形学和动画领域的一个活跃的研究热点。
4.然而即使是专业的运动捕捉设备，由于遮挡问题，在动作捕捉过程中原始的动作捕捉数据可能是不完整的或损坏的。因此，在使用之前，必须从原始数据中恢复缺失的运动。
5.动作捕捉数据本质上是一种顺序数据，适合用循环神经网络(rnn)进行处理，最近也有研究人员进行了尝试，他们主要使用长短期记忆网络(lstm)来组成模型基础框架，在此基础上添加约束项、添加自注意力机制、添加双向结构以及改变深度等方法。但其处理方法改变不了rnn顺序运行计算的本质，其模型运行效率以及恢复效果都存在着局限性。


技术实现要素：

6.为了解决上述问题，本发明提出了一种人体动作捕捉数据恢复方法及系统，本发明探索并利用动作捕捉数据中的空间和时间相关性进行恢复。
7.根据一些实施例，本发明的第一方案提供了一种人体动作捕捉数据恢复方法，采用如下技术方案：
8.一种人体动作捕捉数据恢复方法，包括：
9.获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；
10.基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；
11.将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；
12.基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。
13.进一步地，所述动作捕捉数据矩阵由一系列帧组成，其中每个帧记录了所有标记点的3d位置。
14.进一步地，所述利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，具体为：
15.基于transformer编码器对高维单帧数据进行自注意力提取；
16.将提取的自注意力特征进行残差连接，捕获高维单帧数据中所有标记点之间的相关性；
17.得到高维单帧空间特征。
18.进一步地，所述利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，具体为：
19.基于transformer编码器对嵌入时间信息的高维动作捕捉数据矩阵进行自注意力提取；
20.将提取的自注意力特征进行残差连接，捕获每帧高维单帧空间特征之间的相关性；
21.得到时空间动作捕捉数据矩阵。
22.进一步地，所述transforme编码器由多头自注意力块和多层感知块组成，在每个块之后连接残差连接。
23.进一步地，所述transformer编码器进行l次迭代计算，具体为：
24.z
′
l＝msa(ln(z
l-1
))+z
l-1
，l＝1，2，...，l
25.z
l
＝mlp(ln(z
′
l))+z
′
l，l＝1，2，...，l
26.y＝ln(zl)
27.其中，ln(
·
)表示层规范化操作符，z
l
表示在编码器第l次计算处理的数据，l表示当前迭代的次数，共迭代l次。
28.进一步地，所述基于时空间动作捕捉数据矩阵，利用多层感知机进行数据降维，还原完整的动作捕捉数据。
29.根据一些实施例，本发明的第二方案提供了一种人体动作捕捉数据恢复系统，采用如下技术方案：
30.一种人体动作捕捉数据恢复系统，包括：
31.数据采集模块，被配置为获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；
32.空间特征提取模块，被配置为基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；
33.时间特征提取模块，被配置为将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；
34.数据恢复模块，被配置为基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。
35.根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
36.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种人体动作捕捉数据恢复方法中的步骤。
37.根据一些实施例，本发明的第四方案提供了一种计算机设备。
38.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的
计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种人体动作捕捉数据恢复方法中的步骤。
39.与现有技术相比，本发明的有益效果为：
40.本发明选择使用transformer学习动作捕捉数据之间的时空依赖关系，探索并利用动作捕捉数据中的空间和时间相关性进行恢复，在结构上，它突破了传统rnn模型不能并行计算的限制，其计算两个位置之间的关联所需的操作次数不随距离增长，大大缩减了模型训练的时间；在恢复效果上，它使用时间、空间模块对数据时空间信息分别进行学习，增强了模型对于数据的理解，使得恢复效果具有优秀的表现；此外新颖综合的损失函数，使得模型能够全面衡量恢复数据的效果，提供准确的反馈信息。
附图说明
41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
42.图1是本发明实施例所述的一种人体动作捕捉数据恢复方法的流程图；
43.图2是本发明实施例所述的时空transformer网络结构示意图；图3是本发明实施例中篮球运动恢复标记点图。
具体实施方式
44.下面结合附图与实施例对本发明作进一步说明。
45.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
46.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
47.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
48.实施例一
49.本实施例提供了一种人体动作捕捉数据恢复方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
50.步骤s01：获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；
51.步骤s02：基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空
间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；
52.步骤s03：将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；
53.步骤s04：基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。
54.本实施例充分利用数据相关性，提出了一种新颖的动作捕捉数据恢复神经网络模型，它有两级transformer，分别为空间transformer编码器和时间transformer编码器，后面跟着一个回归头，第一层次和第二层次的transformer分别探讨和利用了空间和时间的相关性。
55.为了学习动作捕捉数据之间的时空依赖关系，本实施例使用transformer构建骨干网，骨干网善于通过自注意机制挖掘序列数据中的相关性。如图2所示，本实施例所提出的动作捕捉数据恢复神经网络模型由两级transformer(空间transformer和时间transformer)以及回归头组成。利用空间transformer编码器对每一帧进行处理，然后利用时间transformer编码器对所有帧提取的特征进行处理。最后，回归头还原完整的动作捕捉数据。
56.具体地，步骤s01中，动作捕捉数据矩阵由一系列帧组成，其中每个帧记录了所有标记点的3d位置。
57.对于步骤s02，空间transformer编码器
58.利用动作捕捉数据恢复神经网络模型中的空间transformer编码器对动作捕捉数据矩阵中每一帧中标记点之间相关性的空间特征进行提取和利用，具体为：
59.标记点之间的相关性反映了不同动作的特点，该步骤旨在提取和利用捕捉每帧数据中标记点之间相关性的空间特征。对于每一帧，设计了一个单独的空间transformer编码器。
60.通过一个可学习的线性投影将xi∈r
3j
映射到高维特征空间rj×c；
61.将空间位置信息e
pos
∈rj×c嵌入其中，得到高维单帧数据
62.将高维单帧数据发送给空间transformer编码器，利用空间transformer编码器的自注意力机制捕捉高维单帧数据中标记点之间相关性的空间特征。
63.空间transformer编码器采用transformer编码器，由多头自注意力(msa)块和mlp块组成。transformer的自注意力机制有助于捕获标记点之间的相关性，i-th帧提取的结果空间特征为高维单帧空间特征对动作捕捉数据矩阵中的每帧数据均采用上述过程进行处理，得到一系列高维单帧空间特征组成的空间特征组合。
64.对于步骤s03，时间transformer编码器
65.利用动作捕捉数据恢复神经网络模型中的时间transformer编码器对经过空间transformer编码器处理过的动作捕捉数据矩阵中的每一帧高维单帧空间特征之间相关性的时间特征进行提取和利用，具体为：
66.每个运动的帧之间都有特定的相关性，因此，该步骤旨在提取和利用捕捉帧之间
相关性的时间特征。
67.将空间transformer编码器提取的空间特征组合z＝(z1,z2,
…
,zi,
…
,zn)∈rn×j·c,在将时间信息发送给时间transformer编码器之前嵌入时间信息；
68.利用时间transformer编码器的自注意力机制捕捉空间特征组合中每帧高维单帧空间特征之间相关性的时间特征；
69.利用时间transformer编码器的自注意力机制帮助捕获帧之间的相关性，输出y∈rn×j·c被发送到产生恢复动作捕捉数据的回归头x
rec
∈rn×
3j
。
70.请注意，回归头是一个简单的mlp块，具有层范数和线性层。
71.对于步骤s03和s04中的空间transformer编码器和时间transformer编码器，均采用transformer编码器模型；
72.其中，transformer编码器模型由多头自注意力(msa)块和mlp块组成，在每个块之前应用层范数，在每个块之后应用残差连接，使用transformer编码器和初始嵌入特征z0，进行l次迭代计算，如下所示：
73.z
l
′
＝msa(ln(z
l-1
))+z
l-1
，l＝1，2，...，l
74.z
l
＝mlp(ln(z
′
l
))+z
′
l
，l＝1，2，...，l
75.y＝ln(z
l
)
76.其中，ln(
·
)表示层规范化操作符，z
l
表示在编码器第l次计算处理的数据，l表示当前迭代的次数，共迭代l次，l数值可调整，默认为4。
77.对于步骤s04，回归头regression head
78.回归头是一个简单的mlp块，具有层范数和线性层。
79.基于时空间动作捕捉数据矩阵，利用多层感知机进行数据降维，还原完整的动作捕捉数据。
80.如图2所示，具体地实施例中，在对动作捕捉数据恢复神经网络模型进行训练的过程中，为了能够更好的对比数据恢复之后的效果，会对完整数据进行遮挡得到损坏数据，然后将损坏数据输入到本实施例所述的动作捕捉数据恢复神经网络模型中进行训练。
81.对于数据集的准备，具体为：
82.对于一个动作剪辑，动作捕捉数据矩阵由一系列帧(姿势)组成，其中每个帧记录了所有标记点的3d位置。
83.将动作捕捉数据矩阵表示为x＝(x1，x2，...，xn}∈rn
×
3j
，其中n是帧数，j是人类骨架中的标记点数，i-th(1≤i≤n)时间步长的帧表示为xi∈r
3j
。
84.引入符号x
tru
表示完整数据，x
cor
表示损坏数据，其中x
cor
＝x
tru
⊙
m，m∈rn×
3j
，屏蔽矩阵m由元素0和1组成，其中0屏蔽原始数据，1保留原始数据。
85.训练的具体过程：
86.将数据集按照3：7的比例划分为测试集和训练集；
87.基于训练集，对动作捕捉数据恢复神经网络模型进行动作捕捉数据恢复训练，得到恢复后的动作捕捉数据；
88.使用总体损失函数计算恢复后的动作捕捉数据和真实动作捕捉数据之间的差距，并通过优化器反向传播优化网络中的参数；
89.将测试集数据输入动作捕捉数据恢复神经网络模型计算模型rmse值，其中，rmse
值是误差值，越小越好，判断动作捕捉数据恢复神经网络模型是否收敛，如是则训练结束，否则继续训练，保存训练好的动作捕捉数据恢复神经网络模型。可以理解的是，模型训练的过程会设置epoch轮数，轮数到了，模型停止训练。一般在设置轮数内模型会趋于收敛。
90.优化器
91.总体损失函数由重构损失、刚性损失和平滑损失三部分组成，公式为：
92.l
sum
＝λ
rec
×
l
rec
+λ
ri
×
l
ri
+λ
sm
×
l
sm
93.λ
rec
+λ
ri
+λ
sm
＝1
94.其中，λ
rec
，λ
ri
，λ
sm
表示三个损失项的权重参数。
95.三个损失函数具体如下：
96.重建损失，计算ground-truth和恢复的mocap序列之间的损失，具体为：
97.l
rec
＝||x
rec-x
tru
||298.刚性损失，是本实施例提出的一种新的刚性损失方法，它计算每帧中集合b中标记点对之间的距离损失，其中集合b由具有刚性结构的标记点对组成，具体为：
[0099][0100]
其中，i，s分别表示帧索引和标记点对索引，b
i，s
表示真实动作捕捉序列i-th帧中s-th刚性标记点对之间的距离，表示恢复的动作捕捉序列的距离。
[0101]
平滑度损失，计算恢复的mocap序列的每一帧与其相邻帧的平均值之间的损失，具体为：
[0102][0103]
遵循之前许多工作中的协议，本实施例从cmu数据集中选择了25个主题来进行实验，所选择的运动包括步行，跳跃，篮球等。所有的mocap数据都以c3d格式存储，它提供了41个标记点的坐标；因此，每个帧都可以表示为xi∈r3×
41
。
[0104]
实例试验
[0105]
本实例使用pytorch 1.9和python 3.7实现了神经网络，并在nvidia geforce gtx 3090gpu上进行训练。使用adam优化器，学习率为0.001，训练模型的批大小为256。超参数λ
rec
、λ
ri
和λ
sm
分别被设置为0.8、0.1和0.1。
[0106]
为了模拟缺失数据，对某些帧的数据和帧内的标记点进行遮挡。采用两种控制策略：改变缺失间隔和改变缺失数量。标记点缺失间隔控制标记点缺失间隔的长度(以帧为单位)，标记点缺失数控制单帧内标记点缺失的数量。这两种控制策略协同工作，模拟实际应用场景中可能出现的缺失情况。针对两个控制变量，设计了两类实验来验证所提模型的鲁棒性。我们使用均方根误差(rmse)作为我们的评价指标，其公式如下所示。
[0107][0108]
实验结果
[0109]
在不同缺失间隙下进行实验
[0110]
在本实验中，缺失数据的差距从10帧到200帧不等，缺失标记点的数量固定为5(10％)。在lstm、a-lstm+ls和我们的方法下打篮球、散步和拳击的rmse显示在表一(a)(b)(c)中。可以看到，本实施例的模型在所有缺失间隔条件下取得了出色的结果。即使缺失帧数达到200帧，模型的性能仍然稳定。这表明，该模型能够有效地利用动作捕捉数据的时间相关性，并能够处理长期的缺失数据空白。
[0111]
表一
[0112][0113][0114]
在不同缺失标记点数下进行实验
[0115]
在本实验中，缺失标记点的数量分别设置为5、10、15(分别对应缺失数据量的10％、20％和30％)，并且与前面的实验一样，缺失区间的采样值来自均值为10、标准差为5的高斯分布。打篮球、拳击和跳跃的rmse在window、lstm、li和本实施例的方法下显示在表二。可以看到，本实施例的模型在打篮球和跳跃转弯方面表现最好，但在拳击方面表现不佳。原因是拳击包含在测试集中，而不是训练集中。尽管如此，所提出方法在拳击运动产生了比window更好的结果，表明了模型的延展性。
[0116]
表二
[0117]
[0118][0119]
在图3中可视化了一个恢复的篮球运动，标记点缺失率为30％，其中恢复的标记点和原始标记点分别用橙色和蓝色表示。图3显示了良好的恢复运动质量。
[0120]
实施例二
[0121]
本实施例提供了一种人体动作捕捉数据恢复系统，包括：
[0122]
数据采集模块，被配置为获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；
[0123]
空间特征提取模块，被配置为基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；
[0124]
时间特征提取模块，被配置为将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；
[0125]
数据恢复模块，被配置为基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。
[0126]
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0127]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0128]
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不
执行。
[0129]
实施例三
[0130]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种人体动作捕捉数据恢复方法中的步骤。
[0131]
实施例四
[0132]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种人体动作捕捉数据恢复方法中的步骤。
[0133]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0134]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0135]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0136]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0137]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0138]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术特征：
1.一种人体动作捕捉数据恢复方法，其特征在于，包括：获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。2.如权利要求1所述的一种人体动作捕捉数据恢复方法，其特征在于，所述动作捕捉数据矩阵由一系列帧组成，其中每个帧记录了所有标记点的3d位置。3.如权利要求1所述的一种人体动作捕捉数据恢复方法，其特征在于，所述利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，具体为：基于transformer编码器对高维单帧数据进行自注意力提取；将提取的自注意力特征进行残差连接，捕获高维单帧数据中所有标记点之间的相关性；得到高维单帧空间特征。4.如权利要求1所述的一种人体动作捕捉数据恢复方法，其特征在于，所述利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，具体为：基于transformer编码器对嵌入时间信息的高维动作捕捉数据矩阵进行自注意力提取；将提取的自注意力特征进行残差连接，捕获每帧高维单帧空间特征之间的相关性；得到时空间动作捕捉数据矩阵。5.如权利要求3或4所述的一种人体动作捕捉数据恢复方法，其特征在于，所述transformer编码器由多头自注意力块和多层感知块组成，在每个块之后连接残差连接。6.如权利要求5所述的一种人体动作捕捉数据恢复方法，其特征在于，所述transformer编码器进行l次迭代计算，具体为：z
′
l
＝msa(ln(z
l-1
))+z
l-1
，l＝1，2，...，lz
l
＝mlp(ln(z
′
l
))+z
′
l
，l＝1，2，...，ly＝ln(z
l
)其中，ln(
·
)表示层规范化操作符，z
l
表示在编码器第l次计算处理的数据，l表示当前迭代的次数，共迭代l次。7.如权利要求1所述的一种人体动作捕捉数据恢复方法，其特征在于，所述基于时空间动作捕捉数据矩阵，利用多层感知机进行数据降维，还原完整的动作捕捉数据。8.一种人体动作捕捉数据恢复系统，其特征在于，包括：数据采集模块，被配置为获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；空间特征提取模块，被配置为基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；
时间特征提取模块，被配置为将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；数据恢复模块，被配置为基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种人体动作捕捉数据恢复方法中的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种人体动作捕捉数据恢复方法中的步骤。

技术总结
本发明属于动作捕捉数据恢复领域，提供了一种人体动作捕捉数据恢复方法及系统，包括获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。的动作捕捉数据。的动作捕捉数据。


技术研发人员：吕娜 张继进 彭京亮
受保护的技术使用者：济南大学
技术研发日：2023.04.06
技术公布日：2023/7/12