基于反馈式循环神经网络的人体模型重定向方法及装置与流程

1.本发明涉及计算机视觉技术领域，特别涉及一种基于反馈式循环神经网络的人体模型重定向方法及装置。


背景技术：

2.三维重建是计算机视觉领域的重点问题。而人体三维重建问题在安防监控，体育康复，电影cg，虚拟直播，vr游戏等领域都有十分重要的发展前景，是三维重建领域的一个重点问题，但同时也是一个难点问题。基于红外光学动捕和惯性传导动捕的方法已经在很多领域有了广泛的落地应用，但两者都具有穿戴繁琐，采集流程复杂等缺陷。最新的基于卷积神经网络的无标记动捕系统一方面改进了这些方面，但另一方面无标记动捕的输出结果噪声较大，并且关节定义相对简略，因此直接使用传统的ik解算方法来重定向avatar的效果并不理想。


技术实现要素：

3.本发明提供了一种基于反馈式循环神经网络的人体模型重定向方法，利用循环神经网络来进行人体重定向的梯度预测，相对于解析链式求导的重定向方法具有收敛速度更快和收敛路径更鲁棒的优势，并且神经梯度方法可以利用大规模人体姿态数据库的隐空间先验信息，对不合理的姿态拟合起到更好的滤波作用。
4.本发明提供了一种基于反馈式循环神经网络的人体模型重定向方法，包括：获取姿态参数训练数据池和体型参数训练数据池；预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；生成一组旋转矩阵r和平移向量t作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数和体型参数；根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
5.进一步地，所述获取姿态参数训练数据池和体型参数训练数据池的步骤，包括：采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池；采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成
体型参数训练数据池。
6.进一步地，所述预训练人体重定向的关节回归矩阵，所所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标的步骤，包括：令人体参数化模型的骨架坐标为，令动作捕捉的重建骨架坐标为，令插值回归矩阵为，最小化以下能量函数来训练：，其中，指的是约束人体拓扑对称性的正则项。
7.进一步地，根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式的步骤中，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为以及。
8.进一步地，所述根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络的步骤，包括：设反馈循环神经网络迭代次数为，则反馈循环神经网络包含层循环神经元，第次迭代时，输入当前的人体模型骨架相对于给定重定向骨架的残差，通过反馈循环神经网络输出参数的更新量, , , ，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为，参数更新过程为：，第一次迭代时，令为零；最终损失函数为：，其中，表示不同迭代次数的权重；时，取。
9.进一步地，所述第一次迭代时，还可以令为数据集的平均值。
10.进一步地，所述将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向的步骤中，每帧输入动作捕捉的骨架为，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为。
11.本发明还提供了一种基于反馈式循环神经网络的人体模型重定向装置，包括：获取模块，用于获取姿态参数训练数据池和体型参数训练数据池；预训练模块，用于预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；抽取模块，用于生成一组旋转矩阵r和平移向量t作为全局的刚性运动扰动，并从
所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数和体型参数；转换模块，用于根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；训练模块，用于根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；迭代模块，用于将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
12.本发明的有益效果为：本发明对于动作捕捉系统重建的人体骨架，在采集完人体骨骼信息和运动模态后，利用深度学习方法，重新定向到一个人体表面蒙皮模型；同时，利用反馈式循环神经网络来迭代优化重定向过程，每次迭代过程利用网络来预测优化方向与步长，相对于传统解析求导链式法则的方法大大减小了计算开销，并且可以有效的改善陷入局部极小的情况。除此之外，在一个丰富的人体动作序列库中进行采样监督训练，得到了人体运动的隐空间表征，从而约束了梯度预测空间，避免硬梯度下降方法出现的动作不合理的问题，基于深度循环网络的梯度预测方法具有对不同体型和姿态的重定向问题自适应调整能量项权重的优势，提升了方法的易用性和鲁棒性。
附图说明
13.图1为本发明一实施例的方法流程示意图。
14.图2为本发明中反馈循环神经网络的结构示意图。
15.图3为本发明一实施例的装置结构示意图。
16.图4为本发明一实施例的计算机设备内部结构示意图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
19.如图1所示，本发明提供了一种基于反馈式循环神经网络的人体模型重定向方法，利用循环神经网络代替传统解析式梯度下降或高斯牛顿算法，并且将姿态的轴角参数解空间映射为隐向量编码表示，实现了减小计算开销并且提高算法鲁棒性的效果，具体包括以下步骤：s1、获取姿态参数训练数据池和体型参数训练数据池。
20.如上述步骤s1所述，对于姿态参数训练数据池：在大规模人体姿态运动序列上进行动作采样，并且叠加高斯噪声来进行数据集增广和增强，具体为：采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池。
21.对于体型参数训练数据池：在人体测量数据库上对不同性别、体型的样本进行采
样，同样叠加高斯噪声对数据集进行增强，具体为：采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。采集的大量不同性别、年龄的人体测量数据加入一些随机正态分布扰动来进行数据集扩充，生成体型参数的训练数据池。
22.s2、预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标，即从重定向人体参数化模型的骨架到输入的动捕骨架之间的插值回归矩阵。
23.如上述步骤s2所述，由于骨架定义的关节坐标与人体参数化模型的关节坐标具有一定的偏移，直接进行映射会存在系统误差，因此需要预训练一个插值回归矩阵。具体地，令人体参数化模型的骨架坐标为，令动作捕捉的重建骨架坐标为，令插值回归矩阵为，最小化以下能量函数来训练：，其中，指的是约束人体拓扑对称性的正则项。
24.s3、生成一组旋转矩阵r和平移向量t作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数和体型参数；s4、根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为以及。
25.如上述步骤s3-s4所述，在姿态数据池和体型数据池中抽样对应参数，结合随机的全局旋转与平移扰动驱动人体模型，得到成对匹配的人体参数和骨架坐标，再通过步骤s2中的回归矩阵转换为动捕输出的骨架格式，即，生成配对的骨架训练数据：分别从姿态参数池和体型参数池中随机抽取对应的人体姿态参数和体型参数，然后另外生成一组旋转矩阵和平移向量作为全局的刚性运动扰动，通过这些参数计算出人体表面蒙皮模型以及。
26.s5、根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络。
27.参照图2，图2示出了反馈循环神经网络的结构示意图，进行反馈循环神经网络的训练，约束每次迭代过后的拟合误差尽可能小：设反馈循环神经网络迭代次数为，则反馈循环神经网络包含层循环神经元（lstm或gru），第次迭代时，输入当前的人体模型骨架相对于给定重定向骨架的残差，通过反馈循环神经网络输出参数的更新量, , , ，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为，参数更新过程为：，
第一次迭代时，令为零，还可以令为数据集的平均值；最终损失函数为：，其中，表示不同迭代次数的权重（逐次递增）；典型地，对于时，取。
28.s6、将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。在测试和使用过程中则只需输入动捕的骨架，然后通过网络迭代优化三次后取出对应的人体模板参数即可完成重定向过程。
29.完成实际动捕骨架运动序列的重定向：每帧输入动作捕捉的骨架为，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为。
30.本发明涉及动态三维人体重建的方法，对于动作捕捉系统（包括光学动捕，惯性动捕或无标记动捕等）重建的人体骨架，在采集完人体骨骼信息和运动模态后，利用深度学习方法，重新定向到一个人体表面蒙皮模型。其中包括两个难点：其一是三维骨骼关节坐标骨骼作为输入缺少了关节的旋转运动信息，以此来重建人体蒙皮模型是一个具有多义性的病态问题；其二是不同性别、体型的人体骨骼动作捕捉结果对人体模型重定向方法的鲁棒性有不小的挑战。传统的基于梯度下降优化的人体重定向方法存在易陷入局部极小，计算开销大等问题，并且很难利用到现有的人体动作序列库中的姿态先验信息。本发明利用反馈式循环神经网络来迭代优化重定向过程，每次迭代过程利用网络来预测优化方向与步长，相对于传统解析求导链式法则的方法大大减小了计算开销，并且可以有效的改善陷入局部极小的情况。除此之外，在一个丰富的人体动作序列库中进行采样监督训练，得到了人体运动的隐空间表征，从而约束了梯度预测空间，避免硬梯度下降方法出现的动作不合理的问题。基于深度循环网络的梯度预测方法天然地具有对不同体型和姿态的重定向问题自适应调整能量项权重的优势，提升了方法的易用性和鲁棒性。
31.如图3所示，本发明还提供了一种基于反馈式循环神经网络的人体模型重定向装置，包括：获取模块1，用于获取姿态参数训练数据池和体型参数训练数据池；预训练模块2，用于预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；抽取模块3，用于生成一组旋转矩阵r和平移向量t作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数和体型参数；转换模块4，用于根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；训练模块5，用于根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网
络进行训练，得到训练完成的反馈循环神经网络；迭代模块6，用于将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
32.在一个实施例中，获取模块1，包括：第一采集单元，用于采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；扩充单元，用于将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池；第二采集单元，用于采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。
33.在一个实施例中，预训练模块2，包括：第一训练单元，用于令人体参数化模型的骨架坐标为，令动作捕捉的重建骨架坐标为，令插值回归矩阵为，最小化以下能量函数来训练：，其中，指的是约束人体拓扑对称性的正则项。
34.在一个实施例中，转换模块4中，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为以及。
35.在一个实施例中，训练模块5，包括：第二训练单元，用于设反馈循环神经网络迭代次数为，则反馈循环神经网络包含层循环神经元，第次迭代时，输入当前的人体模型骨架相对于给定重定向骨架的残差，通过反馈循环神经网络输出参数的更新量, , , ，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为，参数更新过程为：，第一次迭代时，令为零；最终损失函数为：，其中，表示不同迭代次数的权重；时，取。
36.在一个实施例中，第二训练单元中，所述第一次迭代时，还可以令为数据集的平均值。
37.在一个实施例中，迭代模块6中，每帧输入动作捕捉的骨架为，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为。
38.上述各模块、单元均是用于对应执行上述基于反馈式循环神经网络的人体模型重定向方法中的各个步骤，其具体实现方式参照上述方法实施例所述，在此不再进行赘述。
39.如图4所示，本发明还提供了一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于反馈式循环神经网络的人体模型重定向方法的过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于反馈式循环神经网络的人体模型重定向方法。
40.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定。
41.本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一个基于反馈式循环神经网络的人体模型重定向方法。
42.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双速据率sdram（ssrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
43.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
44.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于反馈式循环神经网络的人体模型重定向方法，其特征在于，包括：获取姿态参数训练数据池和体型参数训练数据池；预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；生成一组旋转矩阵r和平移向量t作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数和体型参数；根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。2.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述获取姿态参数训练数据池和体型参数训练数据池的步骤，包括：采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池；采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。3.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标的步骤，包括：令人体参数化模型的骨架坐标为，令动作捕捉的重建骨架坐标为，令插值回归矩阵为，最小化以下能量函数来训练：，其中，指的是约束人体拓扑对称性的正则项。4.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式的步骤中，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为以及。5.根据权利要求4所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络的步骤，包括：设反馈循环神经网络迭代次数为，则反馈循环神经网络包含层循环神经元，第次迭代时，输入当前的人体模型骨架相对于给定重定向骨架的残差，通过反馈循环神经
网络输出参数的更新量,,,，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为，参数更新过程为：，第一次迭代时，令为零；最终损失函数为：，其中，表示不同迭代次数的权重；时，取。6.根据权利要求5所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述第一次迭代时，还可以令为数据集的平均值。7.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向的步骤中，每帧输入动作捕捉的骨架为，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为。8.一种基于反馈式循环神经网络的人体模型重定向装置，其特征在于，包括：获取模块，用于获取姿态参数训练数据池和体型参数训练数据池；预训练模块，用于预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；抽取模块，用于生成一组旋转矩阵r和平移向量t作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数和体型参数；转换模块，用于根据所述姿态参数、体型参数、旋转矩阵r和平移向量t，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；训练模块，用于根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；迭代模块，用于将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。

技术总结
本发明涉及计算机视觉技术领域，公开了一种基于反馈式循环神经网络的人体模型重定向方法及装置，包括：获取姿态参数训练数据池和体型参数训练数据池；预训练人体重定向的关节回归矩阵；生成旋转矩阵R和平移向量T，并抽取姿态参数和体型参数；得到人体参数和骨架坐标，转换为动作捕捉输出的骨架格式；对反馈循环神经网络进行训练；将动作捕捉的骨架输入，迭代三次后取出对应人体模型参数。本发明提供的基于反馈式循环神经网络的人体模型重定向方法，利用循环神经网络来进行人体重定向的梯度预测，具有收敛速度更快和收敛路径更鲁棒的优势，且神经梯度方法可以利用大规模人体姿态数据库的隐空间先验信息，对不合理的姿态拟合起到更好的滤波作用。拟合起到更好的滤波作用。拟合起到更好的滤波作用。


技术研发人员：戴翘楚 吴翼天 曹静萍
受保护的技术使用者：杭州倚澜科技有限公司
技术研发日：2023.06.02
技术公布日：2023/7/7