基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法

1.本发明属于人体姿态估计计算机视觉识别技术领域，特别是涉及到一种基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法。


背景技术：

2.人体姿态估计是现代图像工程学的重要分支，通过准确识别捕捉人体的关键点，将关键点识别结果应用到其他视觉领域，为虚拟现实和人机交互提供技术支持。但是传统的人体姿态估计网络面临着巨大挑战，灵活的身体构造和较高自由度的肢体，可能出现的姿态种类千奇百怪，身体外观上的不同色彩会造成视觉干扰，复杂的外界环境会出现人体遮挡和视角差异问题。
3.随着计算机深度学习的不断研究，深度学习将卷积神经网络应用到人体姿态估计识别成了一种较好的解决方法。神经网络会提取图像中人体的特征，通过不同的特征定位人体关键点，并通过网络中的计算和联接将不同关键点联系起来，经过大量的训练过程模拟人脑的识别过程，最终自动的识别出人体关键点所在位置。基于卷积神经网络的姿态识别方法相比于传统姿态识别方法，在准确率和效率上有更好的表现。
4.在神经网络的姿态识别过程中，利用大量的卷积核提取图像中的特征，在下采样的特征提取过程中，虽然获得较大的感受野，但是由于空洞卷积或最大池化操作一定会造成部分信息的丢失，必要的提取特征过程中，损失了一部分非常重要的特征信息，并且在多次卷积阶段的过程后，累计丢失的特征信息不计其数，会造成神经网络识别人体关键点的热力图不准确，影响后续的关键点识别。
5.cpn(cascaded pyramid network)网络及网络变体结构中，采用两个级联级模块(globalnet和refinenet)构建了一个类似fpn的金字塔网络结构，其中global-net负责网络中所有关键点的检测，重点是对于八个不容易遮挡的关键点进行预测，而refine-net则是对global-net预测的结果进行修正，解决存在遮挡和看不见的关节部位或者是复杂背景下人体关键点预测误差较大的位置，采用关键点在线硬挖掘策略。
6.hrnet是一种并行多尺度融合的结构网络，采用了多路并行网络结构，通过多层并行保证分辨率维持在较高层次，减少下采样过程可以有效的维持高分辨所保留的信息，多尺度融合使得上下文信息融合。上述的两种方法只是从网络结构上进行改良，并没有关注到各关键点彼此的联系。
7.传统的网络结构都是通过提取图像中的多维特征，进一步估计出关键点热力图，通过热力图进行估计关键点所在位置概率，并没有单独考虑姿态估计网络形成的热力图是否准确，也没有进一步考虑对形成的热力图进行下一步研究。
8.因此现有技术当中亟需要一种新型的技术方案来解决这一问题。


技术实现要素：

9.本发明所要解决的技术问题是：提供一种基于关键点互联的被遮挡人体姿态估计
矫正器及矫正方法用于解决现有技术中人体姿态估计网络中通过热力图进行估计关键点所在位置概率却并没有考虑姿态估计网络形成的热力图是否准确的技术问题。
10.基于关键点互联的被遮挡人体姿态估计矫正器，包括输入端插口、输出端插头以及中央处理模块；所述输入端插口与传统人体姿态估计网络的热力图输出端插头插接；所述输出端插头与传统人体姿态估计网络的热力图输入端插口插接；所述中央处理模块包括存储模块、人体姿态估计矫正处理模块以及矫正后热力图输出模块；所述存储模块存储训练集以及人体姿态估计矫正处理模块中获得的数据；所述矫正后热力图输出模块用于输出矫正后热力图。
11.基于关键点互联的被遮挡人体姿态估计矫正方法，利用所述的基于关键点互联的被遮挡人体姿态估计矫正器，包括以下步骤，并且以下步骤顺次进行：
12.步骤一、从现有的数据集中选取9000张存在人体的图像作为数据集ⅰ，并将数据集ⅰ中随机取1000张图像的人体并随机的对识别关键点部位进行遮挡，形成新的图像后再存入数据集ⅰ中形成数据集ⅱ，所述识别关键点的数量为16个，该数据集ⅱ中包含正常的人体图像和存在遮挡的人体图像一共10000张，将数据集ⅱ的图像分辨率统一到同一个分辨率，根据所述正常的人体图像中的人体识别关键点分别对应生成具有高斯分布的热力图，将其作为实际热力图记为将所有实际热力图和数据集ⅱ合并形成训练集；
13.步骤二、将训练集存储至传统人体姿态估计网络中，将基于关键点互联的被遮挡人体姿态估计矫正器的输入端插头与传统人体姿态估计网络的热力图输出端插口插接，将基于关键点互联的被遮挡人体姿态估计矫正器的输出端插头接入传统人体姿态估计网络的热力图输入端插口插接，并利用训练集对所述矫正器进行训练；
14.①
利用传统人体姿态估计网络对数据集ⅱ中的图像进行人体姿态估计，获取人体姿态估计热力图并进行重新排序，排序规则为：将每个识别关键点的估计准确率由高至低排序，形成伪热力图，记为p＝h
×w×
k，h是伪热力图的高，w是伪热力图的宽，k是热力图的长，也是网络关键点个数，k＝16；
15.②
将伪热力图p分为两部分，表示为p＝{p1，p2}，其中，第一部分的伪热力图p1＝h
×w×
k1，k1＝12，第二部分的伪热力图p2＝h
×w×
k2，k2＝4，进行重构排列；
16.重构排列是线性变换映射，展开成为一个二维图像，记为重构排列是线性变换映射，展开成为一个二维图像，记为将二维图像所在区域分为和两个区域，其中，为指引关键点区域，为待索引关键点区域，并且k1＝12，k2＝4；
17.③
为了矩阵乘法计算，将从上到下均匀分为三个区域，记为gⅰ、gⅱ、gⅲ，而这三个区域因为准确率的不同，所代表的相关性也不同，其中gⅰ＝hw
×k1ⅰ、其中k
1ⅰ＝{1≤k≤4}、k
1ⅱ＝{5≤k≤8}、
[0018][0019]
④
利用分区后的计算并获得指引关键点区域与待索引关键点区域之间的三个相关系数矩阵，相关系数矩阵代表指引关键点区域和待索引关键点区域之间的相关
性，三个相关系数矩阵分别为性，三个相关系数矩阵分别为
[0020]
⑤
因为三个区域的准确率依次下降，三个相关矩阵系数对总相关系数矩阵的影响也不同，所以给三个相关矩阵系数赋予不同的比例系数再相加，进而获得总相关系数矩阵cm：
[0021][0022]
⑥
使用相关系统矩阵cm对待索引关键点区域进行矩阵相乘计算，得到索引区域f，将索引区域f通过线性变换映射进行重构排列得到此处的重构排列是步骤
②
中重构排列结构的逆过程，表示由相关系数矩阵cm激活的姿态特征图像，k2＝4；
[0023]
⑦
将姿态特征图像与第二部分的伪热力图进行逐像素相加操作，获得已索引关键点区域
[0024]
⑧
将第一部分的伪热力图p1和已索引关键点区域进行合并，最终得到预测热力图
[0025]
⑨
利用预测热力图以及训练集中相应存储的实际热力图并建立损失函数loss，获得相应的损失函数值，其中，得相应的损失函数值，其中，代表得到的预测热力图，代表图像的实际热力图，l是评价系数，k为关键点个数；
[0026]
⑩
重复步骤
①
至步骤
⑨
，利用训练集对基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络进行端到端训练，在达到指定训练次数后，取损失函数值最小的损失函数作为矫正器在该传统人体姿态估计网络的损失函数,基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络训练完成；
[0027]
步骤三、利用训练完成后的基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络实时进行人体姿态识别。
[0028]
通过上述设计方案，本发明可以带来如下有益效果：
[0029]
本发明公开了一个可插拔式基于关键点互联的被遮挡人体姿态估计矫正器，该矫正器直接连接在传统人体姿态估计网络的末端对传统网络估计得到的热力图进行矫正，得到更加准确的真实热力图从而进一步确保输出的人体姿态估计结果的准确。矫正器中利用不同关键点之间的相互联系建立相关的数学模型，将神经网络和关键点内在的联系综合考虑，合理的搭建隐式关键点互联网络，由效果较好的关键点去推断效果较差的关键点区域，矫正传统姿态神经网络中所生成热力图可能存在的错误预测，尤其对于一些被遮挡的人体部位本发明具有良好的效果。
附图说明
[0030]
以下结合附图和具体实施方式对本发明作进一步的说明：
[0031]
图1为本发明基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法的流程图；
[0032]
图2为本发明基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法中的线性变换映射图。
具体实施方式
[0033]
基于关键点互联的被遮挡人体姿态估计矫正器，包括输入端插口、输出端插头以及中央处理模块；所述输入端插口与传统人体姿态估计网络的热力图输出端插头插接；所述输出端插头与传统人体姿态估计网络的热力图输入端插口插接；所述中央处理模块包括存储模块、人体姿态估计矫正处理模块以及矫正后热力图输出模块；所述存储模块存储训练集以及人体姿态估计矫正处理模块中获得的数据；所述矫正后热力图输出模块用于输出矫正后热力图。
[0034]
基于关键点互联的被遮挡人体姿态估计矫正方法，利用所述的基于关键点互联的被遮挡人体姿态估计矫正器，包括以下步骤，并且以下步骤顺次进行：
[0035]
步骤一、从现有的数据集中选取9000张存在人体的图像作为数据集ⅰ，并将数据集ⅰ中随机取1000张图像的人体并随机的对识别关键点部位进行遮挡，形成新的图像后再存入数据集ⅰ中形成数据集ⅱ，所述识别关键点的数量为16个，该数据集ⅱ中包含正常的人体图像和存在遮挡的人体图像一共10000张，将数据集ⅱ的图像分辨率统一到同一个分辨率，根据所述正常的人体图像中的人体识别关键点分别对应生成具有高斯分布的热力图，将其作为实际热力图记为将所有实际热力图和数据集ⅱ合并形成训练集；
[0036]
步骤二、将训练集存储至传统人体姿态估计网络中，将基于关键点互联的被遮挡人体姿态估计矫正器的输入端插头与传统人体姿态估计网络的热力图输出端插口插接，将基于关键点互联的被遮挡人体姿态估计矫正器的输出端插头接入传统人体姿态估计网络的热力图输入端插口插接，并利用训练集对所述矫正器进行训练；
[0037]
①
利用传统人体姿态估计网络对数据集ⅱ中的图像进行人体姿态估计，获取人体姿态估计热力图并进行重新排序，排序规则为：将每个识别关键点的估计准确率由高至低排序，形成伪热力图，记为p＝h
×w×
k，h是伪热力图的高，w是伪热力图的宽，k是热力图的长，也是网络关键点个数，k＝16；
[0038]
②
将伪热力图p分为两部分，表示为p＝{p1，p2}，其中，第一部分的伪热力图p1＝h
×w×
k1，k1＝12，第二部分的伪热力图p2＝h
×w×
k2，k2＝4，进行重构排列；
[0039]
重构排列实质是线性变换映射如图2所示，即n个元素a1～an到n个元素x1～xn的映射过程，该映射过程中的映射参数w
1n
～w
nn
由网络训练而来，展开成为一个二维图像，记为将二维图像所在区域分为和两个区域，其中，为指引关键点区域，为待索引关键点区域，并且k1＝12，k2＝4；
[0040]
③
为了矩阵乘法计算，将从上到下均匀分为三个区域，记为gⅰ、gⅱ、gⅲ，而这三个
区域因为准确率的不同，所代表的相关性也不同，其中gⅰ＝hw
×k1ⅰ、gⅱ＝hw
×k1ⅱ、其中k
1ⅰ＝{1≤k≤4}、＝{1≤k≤4}、
[0041]
④
利用分区后的计算并获得指引关键点区域与待索引关键点区域之间的三个相关系数矩阵，相关系数矩阵代表指引关键点区域和待索引关键点区域之间的相关性，三个相关系数矩阵分别为性，三个相关系数矩阵分别为
[0042]
⑤
因为三个区域的准确率依次下降，三个相关矩阵系数对总相关系数矩阵的影响也不同，所以给三个相关矩阵系数赋予不同的比例系数再相加，进而获得总相关系数矩阵cm：
[0043][0044]
⑥
使用相关系统矩阵cm对待索引关键点区域进行矩阵相乘计算，得到索引区域f，将索引区域f通过线性变换映射进行重构排列得到此处的重构排列是步骤
②
中重构排列结构的逆过程，表示由相关系数矩阵cm激活的姿态特征图像，k2＝4；
[0045]
⑦
将姿态特征图像与第二部分的伪热力图进行逐像素相加操作，获得已索引关键点区域
[0046]
⑧
将第一部分的伪热力图p1和已索引关键点区域进行合并，最终得到预测热力图
[0047]
⑨
利用预测热力图以及训练集中相应存储的实际热力图并建立损失函数loss，获得相应的损失函数值，其中，得相应的损失函数值，其中，代表得到的预测热力图，代表图像的实际热力图，l是评价系数，k为关键点个数；
[0048]
⑩
重复步骤
①
至步骤
⑨
，利用训练集对基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络进行端到端训练，在达到指定训练次数后，取损失函数值最小的损失函数作为矫正器在该传统人体姿态估计网络的损失函数,基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络训练完成；
[0049]
步骤三、利用训练完成后的基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络实时进行人体姿态识别。
[0050]
实施例：
[0051]
将未改动的传统人体姿态估计网络和加上矫正器的传统人体姿态估计网络在同一个coco2017人体姿态检测训练集中进行训练，训练集等训练条件一致。训练完成后，在coco2017人体姿态检测测试集进行结果对比，对比结果如下表所示，表中ap代表平均精度，ap
0.5
代表阈值为0.5的平均精度，ap
0.75
代表阈值为0.75的平均精度。下面表格中hrnet为高
分辨率人体姿态网络(high-resolution net)，sbl为简单基线人体姿态网络(simple baselines)，udp为无偏数据处理人体姿态网络(unbiased data processing)，以上三个网络均为常见的人体姿态估计传统网络，并且在人体姿态估计领域中表现突出。
[0052]
将矫正器应用到这三个网络，进行结果对比。
[0053][0054]
表中在传统人体姿态网络上增加设计的人体姿态矫正器，矫正器的增加有助于传统姿态网络对人体姿态估计关键点识别，对比传统姿态网络，整体平均精度都有较高的提升，因此可以得出如下结果：本发明设计的基于人体关键点互联的姿态矫正器能够极大得提高传统人体姿态估计网络的性能，关键点的相互依赖关系矫正了姿态估计网络潜在特征提取错误。在相同条件下，只在原有的传统人体姿态估计网络加上设计的矫正器，人体姿态估计精确度有所提升，证明了基于关键点互联的被遮挡人体姿态估计矫正器能够加强人体关键点之间的互相联系，优化人体姿态估计网络性能。

技术特征：
1.基于关键点互联的被遮挡人体姿态估计矫正器，其特征是：包括输入端插口、输出端插头以及中央处理模块；所述输入端插口与传统人体姿态估计网络的热力图输出端插头插接；所述输出端插头与传统人体姿态估计网络的热力图输入端插口插接；所述中央处理模块包括存储模块、人体姿态估计矫正处理模块以及矫正后热力图输出模块；所述存储模块存储训练集以及人体姿态估计矫正处理模块中获得的数据；所述矫正后热力图输出模块用于输出矫正后热力图。2.基于关键点互联的被遮挡人体姿态估计矫正方法，利用权利要求1所述的基于关键点互联的被遮挡人体姿态估计矫正器，其特征是：包括以下步骤，并且以下步骤顺次进行：步骤一、从现有的数据集中选取9000张存在人体的图像作为数据集ⅰ，并将数据集ⅰ中随机取1000张图像的人体并随机的对识别关键点部位进行遮挡，形成新的图像后再存入数据集ⅰ中形成数据集ⅱ，所述识别关键点的数量为16个，该数据集ⅱ中包含正常的人体图像和存在遮挡的人体图像一共10000张，将数据集ⅱ的图像分辨率统一到同一个分辨率，根据所述正常的人体图像中的人体识别关键点分别对应生成具有高斯分布的热力图，将其作为实际热力图记为将所有实际热力图和数据集ⅱ合并形成训练集；步骤二、将训练集存储至传统人体姿态估计网络中，将基于关键点互联的被遮挡人体姿态估计矫正器的输入端插头与传统人体姿态估计网络的热力图输出端插口插接，将基于关键点互联的被遮挡人体姿态估计矫正器的输出端插头接入传统人体姿态估计网络的热力图输入端插口插接，并利用训练集对所述矫正器进行训练；
①
利用传统人体姿态估计网络对数据集ⅱ中的图像进行人体姿态估计，获取人体姿态估计热力图并进行重新排序，排序规则为：将每个识别关键点的估计准确率由高至低排序，形成伪热力图，记为p＝h
×
w
×
k，h是伪热力图的高，w是伪热力图的宽，k是热力图的长，也是网络关键点个数，k＝16；
②
将伪热力图p分为两部分，表示为p＝{p1，p2}，其中，第一部分的伪热力图p1＝h
×
w
×
k1，k1＝12，第二部分的伪热力图p2＝h
×
w
×
k2，k2＝4，进行重构排列；重构排列是线性变换映射，展开成为一个二维图像，记为重构排列是线性变换映射，展开成为一个二维图像，记为重构排列是线性变换映射，展开成为一个二维图像，记为将二维图像所在区域分为和两个区域，其中，为指引关键点区域，为待索引关键点区域，并且k1＝12，k2＝4；
③
为了矩阵乘法计算，将从上到下均匀分为三个区域，记为gⅰ、gⅱ、gⅲ，而这三个区域因为准确率的不同，所代表的相关性也不同，其中gⅰ＝hw
×
k
1ⅰ、其中k
1ⅰ＝{1≤k≤4}、＝{1≤k≤4}、
④
利用分区后的计算并获得指引关键点区域与待索引关键点区域之间的三个相关系数矩阵，相关系数矩阵代表指引关键点区域和待索引关键点区域之间的相关性，三个相关系数矩阵分别为
⑤
因为三个区域的准确率依次下降，三个相关矩阵系数对总相关系数矩阵的影响也不同，所以给三个相关矩阵系数赋予不同的比例系数再相加，进而获得总相关系数矩阵c
m
：
⑥
使用相关系统矩阵c
m
对待索引关键点区域进行矩阵相乘计算，得到索引区域f，将索引区域f通过线性变换映射进行重构排列得到此处的重构排列是步骤
②
中重构排列结构的逆过程，表示由相关系数矩阵c
m
激活的姿态特征图像，k2＝4；
⑦
将姿态特征图像与第二部分的伪热力图进行逐像素相加操作，获得已索引关键点区域
⑧
将第一部分的伪热力图p1和已索引关键点区域进行合并，最终得到预测热力图
⑨
利用预测热力图以及训练集中相应存储的实际热力图并建立损失函数loss，获得相应的损失函数值，其中，应的损失函数值，其中，代表得到的预测热力图，代表图像的实际热力图，l是评价系数，k为关键点个数；
⑩
重复步骤
①
至步骤
⑨
，利用训练集对基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络进行端到端训练，在达到指定训练次数后，取损失函数值最小的损失函数作为矫正器在该传统人体姿态估计网络的损失函数,基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络训练完成；步骤三、利用训练完成后的基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络实时进行人体姿态识别。

技术总结
基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法属于人体姿态估计计算机视觉识别技术领域。本发明公开了一个可插拔式基于关键点互联的被遮挡人体姿态估计矫正器，该矫正器直接连接在传统人体姿态估计网络的末端对传统网络估计得到的热力图进行矫正，得到更加准确的真实热力图从而进一步确保输出的人体姿态估计结果的准确。矫正器中利用不同关键点之间的相互联系建立相关的数学模型，将神经网络和关键点内在的联系综合考虑，合理的搭建隐式关键点互联网络，由效果较好的关键点去推断效果较差的关键点区域，矫正传统姿态神经网络中所生成热力图可能存在的错误预测，尤其对于一些被遮挡的人体部位本发明具有良好的效果。果。果。


技术研发人员：才华 朱瑞昆 付强 马智勇 王伟刚 刘广文
受保护的技术使用者：长春理工大学
技术研发日：2023.03.20
技术公布日：2023/7/11