一种基于多分辨率特征融合的多方位身体姿态评估方法

1.本发明涉及智慧医疗领域，尤其涉及一种基于多分辨率特征融合的多方位身体姿态评估方法。


背景技术：

2.身体姿态是全身骨骼有序排列和肌肉组织正常工作的体现，更是健康的保证。受生活环境和不良行为习惯影响，我国各年龄阶段尤其是儿童青少年的身体姿态异常问题愈发突显。身体姿态异常早期症状不明显，随发育而加重，后期引发严重脊柱畸变或骨骼肌肉系统疾病风险大，甚至危害生命。身体姿态普遍基于身体关键点检测的方法进行评估，2022年2月国家体育总局发布《儿童青少年身体姿态测试指标与方法》，正式提出“利用身体关键点的相对位置关系，评估身体姿态异常问题”。现有检测方法为通过手工测量或是拍摄身体姿态图像后由医生手动标注身体关键点，这些方法对医疗设备和专业人员依赖性强、成本高、耗时长，难以满足大规模筛查的需求。
3.近年来，深度学习技术在视觉任务中取得了令人瞩目的进展，通过卷积神经网络对身体关键点特征进行提取，之后再将提取的特征图转换为坐标信息映射回原图像上，而后自动计算关键点之间的距离与角度关系得出体态数据。这种方法能够快速、精准的检测身体关键点，为身体姿态异常问题的大规模筛查评估提供了可能性。
4.虽然国内外针对身体姿态评估技术研究取得了一些不错的成果，但是仍存在以下两点问题：第一、目前的研究主要以人体正面骨骼关键点为主，但可用于训练的图像数据集的身体关键点数量较少且位置固定、不支持定制，不适用于身体姿态评估中的多角度下身体关键点的检测需求，对于多方位身体姿态评估的数据集仍处于空白阶段；第二、为满足身体姿态评估需求，对卷积神经网络的身体关键点检测精准度和多分辨率下的检测鲁棒性均提出了更高要求。
5.在上述背景下，本发明针对身体姿态评估中的关键点定制化检测与检测精准度的需求，构建了丰富、具有代表性的身体姿态图像数据集与具有多分辨率特征融合的多方位身体姿态评估算法，实现身体关键点的快速检测与身体姿态的准确评估。


技术实现要素：

6.本发明主要解决的技术问题是在进行基于身体关键点的身体姿态评估时，人工测量方法易受主观因素影响、放射仪器方法成本高、现有卷积神经网络方法定位不够精准、识别角度单一等问题。
7.针对以上技术问题，本发明提出了一种基于多分辨率特征融合的多方位身体姿态评估方法。包含以下步骤：
8.步骤1：构建多方位身体姿态图像数据集；
9.深度学习领域中数据集的质量对模型性能至关重要，搜集并拍摄大量、丰富、具代表性的身体姿态图像，定制化构建正面、左面、右面、背面四个人体方位的跨年龄段的身体
姿态图像数据集，满足身体姿态评估任务中的身体姿态关键点数量与位置需求。保证所构建的身体姿态图像数据集既具有泛化性又具有针对性。最后采用数据标注软件对身体姿态图像数据集中像进行标注，依据《儿童青少年身体姿态测试指标与方法》得到针对7种常见的异常姿态问题共27个身体关键点的坐标值，用于多分辨率特征融合的多方位身体姿态评估模型的训练。并对训练数据集中的数据进行预处理，具体方法为：对训练集中的图片进行归一化处理；对训练图片进行数据增强(包括随机伽马变换、旋转、模糊、加噪等)。
10.步骤2：构建多分辨率特征融合的多方位身体姿态评估模型；
11.设计具有多尺度融合结构的多方位身体姿态评估模型，模型主要由骨干网络与预测评估两个部分组成。
12.骨干网络构建了多分辨率特征融合的多分支并行的特征提取结构，其中全程保留了空间信息精准的高分辨率特征分支，利用特征融合的方式综合利用高分辨率特征和低分辨率特征，得到丰富语义信息与精准空间信息的预测特征图。在第一个阶段进行前期的特征提取工作，对输入的高分辨特征进行卷积，扩增输入特征的通道数；从第二阶段到第四阶段，先进行下采样生成并行连接的子分辨率分支，在始终保持高分辨的特征的条件下，为了使模型能够更好结合高分辨率特征中的空间信息与低分辨率特征的语义信息，在特征提取过程中将不同分辨率的并行子网络特征相互融合，将高分辨率的特征经过下采样降低分辨率提高维度，低分辨率特征经过上采样操作提高分辨率并降低维度，利用特征融合来补充高分辨特征缺少的语义信息。经过持续不断将各个特征进行融合使得不同分辨率特征图中都包含其他分辨率特征的信息，用以获得包含精准语义特征与丰富空间特征。四个阶段中的每个卷积单元都是由4个残差模块连接组成，通过跳跃连接的结构改变网络的学习目标，避免由于网络层数增加、损失函数变化量小而造成的梯度消失问题。
13.模型的预测评估部分，将四个阶段下产生的4条并行子网络分辨率分支的特征图进行融合相加形成网络预测头(head)，并采用热图回归预测的方式生成二维的高斯热图，利用二维的热图空间泛化能力强、精度较高的优势，进一步加持关键点的预测准确度。并利用得到的关键点坐标，根据国家体育总局发布《儿童青少年身体姿态测试指标与方法》计算关键点间相对位置关系，得到身体姿态测量数据，进行身体异常体态的量化评估。
14.步骤3：训练多分辨率特征融合的多方位身体姿态评估模型；
15.在训练网络模型时，选用二值交叉熵作为损失函数，优化器为adam，设置网络训练的batch_size，epoch，输入尺寸，初始学习率，利用自适应学习率在训练速度和精度之间找到平衡，并引入早停机制，当连续迭代100次验证损失没有减少时就停止训练。
16.步骤4：将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型进行身体姿态评估。
17.本发明与现有技术相比具有以下优点：
18.1.针对多方位身体姿态评估制定了大规模且具有规范性、代表性的数据集，解决了现有数据集身体关键点数量不充分与检测位置不精准的问题，为多分辨率特征融合的多方位身体姿态评估模型提供训练数据。
19.2.采用多分辨率融合的并行子网络结构构建特征提取网络，提升了网络的特征提取能力，全程保留了空间信息精准的高分辨率特征分支，利用特征融合的方式得到丰富语义信息与精准空间信息的预测特征图。提高了关键点位置在空间上的检测精度，提供更加
准确的姿态数据进行身体姿态评估。
附图说明
20.图1是本发明中基于多分辨率特征融合的多方位身体姿态评估方法的流程示意图。
21.图2是本发明中多分辨率特征融合的多方位身体姿态评估模型的构造图。
22.图3是本发明中多分辨率特征融合的多方位身体姿态评估模型的bottleneck模块的结构图。
23.图4是本发明中多分辨率特征融合的多方位身体姿态评估模型的baisc block模块构造图。
24.图5是本发明的多分辨率特征融合的多方位身体姿态评估模型的注意力机制模块示意图。a)注意力机制模块整体结构；b)通道注意力机制模块结构；c)空间注意力机制模块结构。
具体实施方式
25.本发明主要实现了一种基于多分辨率特征融合的多方位身体姿态评估方法，下面将结合附图详细介绍本发明采用的具体方法。
26.具体而言，基于多分辨率特征融合的多方位身体姿态评估方法的流程示意图如附录图1所示，包括以下步骤。s1:构建多方位身体姿态图像数据集。s2：构建多分辨率特征融合的多方位身体姿态评估模型。s3：训练多分辨率特征融合的多方位身体姿态评估模型。s4：将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型进行身体姿态评估。
27.(1)对于s1:构建多方位身体姿态图像数据集；
28.深度学习中数据集的质量对模型性能至关重要，针对国内各年龄段受试者的身体姿态图像数据，采集正面、背面、左侧、右侧四个人体方位的身体姿态图像数据，包含不同年龄、不同着装、不同分辨率，且样本数据分布均匀。在医学专家的指导下利用labelme标注软件中的像素打点工具精细化地标注27个身体关键点，以满足对于7种常见的身体姿态问题的检测，包括高低肩、颈部前倾、骨盆前倾、骨盆侧倾、脊柱侧弯、身体前倾、长短腿；最后以标注数据为基础，采用统一尺寸、数据增强和归一化等图像预处理操作，降低噪声干扰、提高数据质量，为多分辨率特征融合的多方位身体姿态评估模型的可靠性、泛化性提供支撑。
29.(2)对于s2：构建多分辨率特征融合的多方位身体姿态评估模型；
30.多分辨率特征融合的多方位身体姿态评估模型的输入是正面、左面、右面、背面四个方位的人体图像，主要由骨干网络和预测判别两部分组成，其中骨干网络中包含了四个阶段，在第一个阶段只进行特征提取，而在后三个阶段中包括特征提取、新分辨率分支生成与特征融合三个部分。如图2所示。骨干网络负责将输送到网络的四个方位的人体图像的关键点特征进行精准提取，具体步骤如下：在第一阶段，原输入512
×
512
×
3的图像先通过两层2d卷积层，每层尺度分别压缩为原本的1/2，维度从3扩充到64，并经过四个串联的bottleneck模块，不改变尺度大小但调整特征的通道个数为256，升高特征维度以减少参数的数量，从而减少计算量，更加有效、直观地进行数据的训练和特征提取。以得到初步提取
的128
×
128
×
256特征图。其中bottleneck模块，如图3所示，采用残差结构对特征图进行两个分支不同程度的维度变化与特征提取，并将两个分支的输出直接相加，减少了网络过深引起的梯度消失现象；第一个分支采用一个1
×
1的卷积层进行处理，保留了输入特征图的部分信息，另一个分支使用了三个，分别为1
×
1，3
×
3，1
×
1的卷积层获取深层的特征信息；
31.在第二阶段中，构建了特征融合的并行多分辨率分支结构，对通过下采样生成的低分辨率分支与原分辨率分支分别进行特征提取并进行特征融合。其中的原本128
×
128
×
256的高分辨率分支特征先经过2d卷积层提取特征，尺度压缩不变，维度压缩到32，以保持高分辨率图像上丰富的空间信息；而低分辨率分支首先通过2d卷积层将输入特征图的尺度降低为原本的1/2，维度压缩到64，得到新的64
×
64
×
64的低分辨率特征。而后两个分支分别经过4个basic block块和cbam注意力机制模块组成的结构进行特征的细致化提取，最后两个分支提取的特征图进行特征融合，将高分辨率特征融入低分辨率分支中，利用下采样操作，压缩高分辨特征尺度为1/2，维度扩大为二倍和低分辨率分支特征融合成新的低分辨率特征；同理，利用上采样操作，将低分辨率特征也融入到高分辨率特征中。其中basic block模块，如图所示4，是与bottleneck模块类似的残差结构，第一个分支采用一个1
×
1的卷积层进行处理，保留了输入特征图的部分信息，另一个分支使用了两个3
×
3的卷积层获取深层的特征信息，最后将两个分支的输出直接相加完成特征提取；cbam注意力机制模块结构如图5a)所示，具体流程为：首先经过通道注意模块，通道注意力机制模块结构如图5b)所示。对于输入的特征为f，首先分别经过平均、最大池化层进行池化，输出的一维向量再输入mlp神经网络得到两个中间变量，随后将输出特征进行卷积、加和操作，通过激活函数sigmoid得到权重mc，将权重和特征f相乘得到了通道注意模块的输出f’。然后将特征f’送入空间注意模块，空间注意力机制模块结构如图5c)所示。特征f’经过平均、最大池化，得到两个特征图后进行通道拼接后再送入卷积层，然后将得到的中间变量经过激活函数激活得到权重系数ms，将ms与特征f相乘得到最终特征。
32.在阶段三和阶段四中，特征图经过与阶段二结构相似的结合特征融合的多分辨率并行特征提取结构，最终生成四个不同分辨率的特征图，分别为128
×
128
×
32，64
×
64
×
64，32
×
32
×
128，16
×
16
×
256。在分别经过4个basic block模块进行特征提取后，将其中较低分辨率的三个特征图进行上采样并和高分辨特征图相融合最终得到128
×
128
×
32的特征图。
33.在模型的预测分析部分中，输出特征图经过一个1
×
1的卷积层，得到关键点的预测热图。在热图区域中心高斯值接近1，远离中心位置的高斯值逐渐降低，在边缘区域接近0。热图中的高斯数值代表了图像中每个像素成为关键点的置信度，高斯值越高表述该位置成为目标关键点的置信度越高。得到关键点热图后通过argmax函数找出置信度最大值对应的像素索引即为关键点坐标值。并参考《儿童青少年身体姿态测试指标与方法》中所述身体姿态测量公式，利用关键点坐标间的角度和距离关系对于正面，左面、右面、背面共四个人体方位图像的7种常见的身体姿态问题进行评估，包括高低肩、颈部前倾、骨盆前倾、骨盆侧倾、脊柱侧弯、身体前倾、长短腿。
34.(3)对于s3：训练多分辨率特征融合的多方位身体姿态评估模型。
35.将经过预处理的数据输入到通过步骤s2建立的多分辨率特征融合的多方位身体姿态评估模型中进行训练，选用交叉熵函数作为损失函数，优化器为adam，设置迭代次数为
100000，批处理量为32，初始学习率为0.01，利用自适应学习率在训练速度和精度之间找到平衡，引入了早停机制，当连续迭代100次验证损失没有减少时就停止训练。
36.(4)对于s4:将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型进行身体姿态评估。
37.将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型，在网络中进行特征提取、融合与预测评估等操作。得到身体姿态评估结果。
38.以上具体实施方式仅用于说明本发明的技术方案，而非对其限制。本领域的技术人员应当理解：上述实施方式并不以任何形式限制本发明，凡采用等同替换或等效变换等方式所取得的相似技术方案，均属于本发明的保护范围。

技术特征：
1.一种基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，包括以下步骤：s1：构建多方位身体姿态图像数据集；s2：构建多分辨率特征融合的多方位身体姿态评估模型；s3：训练多分辨率特征融合的多方位身体姿态评估模型；s4：将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型进行身体姿态评估。2.根据权利要求1所述的基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，构建多分辨率特征融合的多方位身体姿态评估模型中，多分辨率特征融合的多方位身体姿态评估模型的输入是正面、左面、右面、背面四个方位的人体图像；多分辨率特征融合的多方位身体姿态评估模型由骨干网络和预测判别两部分组成，其中骨干网络中包含了四个阶段，在第一个阶段只进行特征提取，而在后三个阶段中包括特征提取、新分辨率分支生成与特征融合三个部分；骨干网络将输送到四个方位的人体图像的关键点特征进行精准提取。3.根据权利要求2所述的基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，所述人体图像的关键点特征进行精准提取具体步骤如下：第一阶段，原输入512
×
512
×
3的图像先通过两层2d卷积层，每层尺度分别压缩为原本的1/2，维度从3扩充到64，并经过四个串联的bottleneck模块，不改变尺度大小但调整特征的通道个数为256；得到初步提取的128
×
128
×
256特征图；bottleneck模块采用残差结构对特征图进行两个分支不同程度的维度变化与特征提取，并将两个分支的输出直接相加；第一个分支采用一个1
×
1的卷积层进行处理，保留输入特征图的部分信息，另一个分支使用了三个，分别为1
×
1，3
×
3，1
×
1的卷积层获取深层的特征信息；第二阶段，构建特征融合的并行多分辨率分支结构，对通过下采样生成的低分辨率分支与原分辨率分支分别进行特征提取并进行特征融合；初步提取的128
×
128
×
256的高分辨率分支特征先经过2d卷积层提取特征，尺度压缩不变，维度压缩到32，保持高分辨率图像上的空间信息；低分辨率分支首先通过2d卷积层将输入特征图的尺度降低为原本的1/2，维度压缩到64，得到新的64
×
64
×
64的低分辨率特征；而后两个分支分别经过4个basicblock块和cbam注意力机制模块组成的结构进行特征的细致化提取，最后两个分支提取的特征图进行特征融合，将高分辨率特征融入低分辨率分支中，利用下采样操作，压缩高分辨特征尺度为1/2，维度扩大为二倍和低分辨率分支特征融合成新的低分辨率特征；同理，利用上采样操作，将低分辨率特征也融入到高分辨率特征中；第三阶段和第四阶段中，特征图经过与阶段二结构相似的结合特征融合的多分辨率并行特征提取结构，最终生成四个不同分辨率的特征图，分别为128
×
128
×
32，64
×
64
×
64，32
×
32
×
128，16
×
16
×
256；在分别经过4个basicblock模块进行特征提取后，将其中较低分辨率的三个特征图进行上采样并和高分辨特征图相融合最终得到128
×
128
×
32的特征图。4.根据权利要求3所述的基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，basicblock模块是残差结构，第一个分支采用一个1
×
1的卷积层进行处理，保留了输入特征图的部分信息，另一个分支使用了两个3
×
3的卷积层获取深层的特征信息，最后将
两个分支的输出直接相加完成特征提取；cbam注意力机制模块结构具体流程为：首先经过通道注意模块；对于输入的特征为f，首先分别经过平均、最大池化层进行池化，输出的一维向量再输入mlp神经网络得到两个中间变量，随后将输出特征进行卷积、加和操作，通过激活函数sigmoid得到权重mc，将权重和特征f相乘得到通道注意模块的输出f’；然后将特征f’送入空间注意模块；特征f’经过平均、最大池化，得到两个特征图后进行通道拼接后再送入卷积层，然后将得到的中间变量经过激活函数激活得到权重系数ms，将ms与特征f相乘得到最终特征。5.根据权利要求2所述的基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，在预测判别中，输出特征图经过一个1
×
1的卷积层，得到关键点的预测热图；在热图区域中心高斯值接近1，远离中心位置的高斯值逐渐降低，在边缘区域接近0；热图中的高斯数值代表了图像中每个像素成为关键点的置信度，高斯值越高表述该位置成为目标关键点的置信度越高；得到关键点热图后通过argmax函数找出置信度最大值对应的像素索引即为关键点坐标值；根据身体姿态测量公式，利用关键点坐标间的角度和距离关系对于正面，左面、右面、背面共四个人体方位图像的7种身体姿态问题进行评估。6.根据权利要求1所述的基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，训练多分辨率特征融合的多方位身体姿态评估模型中，将经过预处理的数据输入到通过步骤s2建立的多分辨率特征融合的多方位身体姿态评估模型中进行训练，选用交叉熵函数作为损失函数，优化器为adam，设置迭代次数为100000，批处理量为32，初始学习率为0.01，利用自适应学习率在训练速度和精度之间找到平衡，引入早停机制，当连续迭代100次验证损失没有减少时就停止训练。7.根据权利要求1所述的基于多分辨率特征融合的多方位身体姿态评估方法，其特征在于，s4中，将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型，进行特征提取、融合与预测评估得到身体姿态评估结果。

技术总结
本发明公开了一种基于多分辨率特征融合的多方位身体姿态评估方法，包含以下步骤：构建多方位身体姿态图像数据集；构建多分辨率特征融合的多方位身体姿态评估模型；训练多分辨率特征融合的多方位身体姿态评估模型；将待评估的身体姿态图像输入到训练后的多分辨率特征融合的多方位身体姿态评估模型进行身体姿态评估。本发明针对基于视觉的身体姿态评估技术中身体关键点数量不充分与检测位置不精准的问题，为多分辨率特征融合的多方位身体姿态评估模型提供训练数据；融合CBAM注意力机制模块，采用多分辨率特征融合的思想设计了支持多方位的身体姿态评估模型，提高特征提取精度，实现定制化的身体姿态关键点的快速检测与身体姿态的准确评估。体姿态的准确评估。体姿态的准确评估。


技术研发人员：刘鹏宇 王潇 赵鹏 阿尖措 袁静
受保护的技术使用者：北京工业大学
技术研发日：2023.03.15
技术公布日：2023/7/26