一种基于骨骼关键点识别的人体身高检测方法

：
1.本发明属于人体身高检测技术领域，具体涉及一种基于骨骼关键点识别的人体身高检测方法。


背景技术：

2.在日常生活当中，身高备受关注。但通过肉眼对身高进行判断总是不规范的，通过深度摄像头进行身高的判断不仅仅能提高准确性，还可以用计算机自动获取人的身高信息进行下一步的处理，近年来，随着深度学习和图像处理技术的发展，身高检测技术也在不断地发展和完善。目前的身高检测技术非常缺乏，通过神经网络进行身高检测的技术少之又少，存在的身高检测需要利用参照物进行对比，准确性和实用性有所欠缺。身高检测技术领域的发展趋势是不断地向着更加精确、多样化和个性化的方向发展。目前的身高检测放大多需要标定一个参照物，利用人与参照物的尺度比例进行换算得出人的身高，这样不仅参照物难以确定，而且算法的实现需要在固定的场景下，很不方便。
3.近日，加州大学圣迭戈分校和adobe的研究人员提出了一种基于单目视觉的测量方法，它可通过测量照片内目标的高度、相机的高度和视角朝向参数来恢复出场景及目标的绝对尺度，这项技术可以在非受限的环境中利用单目视觉精确实现。图1为其检测结果图，可以发现其检测原理是对比白色的板凳进行比例换算，所以当白色板凳的大小改变时，人体的高度便随之变化，当环境内无板凳的出现时，那么人体的高度便无从检测，而且当人体处于不同姿势时，检测的高度也会随之变化，并且实时性较差。专利cn115797432 a估计图像绝对深度的方法和装置中根据骨骼关键点计算得到目标的马氏躯干指数，然后根据马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到目标的绝对身高。
4.在三维重建、医疗、服装尺寸等领域，人体身高数据不可或缺。在大多数情况下，我们会要求被测试者站直，然后用仪表或其他工具测量高度，这将消耗大量的时间和人力。特别是在实际应用中，如果我们没有测量工具，或者被测量的人是儿童，或者受伤不能站直，那么测量高度就会非常困难。


技术实现要素：

5.本发明的目的在于寻求设计一种基于骨骼关键点识别的人体身高检测方法，解决了目前的身高测量技术需要参照物，且无法进行人体非站立姿势的身高测量的技术问题。其根据深度相机获取的待测目标图像获得待测目标身高结果，填补目前深度学习进行身高识别的技术空白。
6.为了实现上述目的，本发明涉及的一种基于骨骼关键点识别的人体身高检测方法，具体包括以下步骤：
7.(1)通过深度相机实时获取含有待测目标的图像，图像大小为m像素
×
n像素，当待测目标站立时，进行步骤(2)，当待测目标非站立时，进行步骤(3)；
8.(2)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标，包括鼻
子(x0,y0)和右脚踝(x4,y4)，或鼻子(x0,y0)和左脚踝(x7,y7)，
9.通过鼻子(x0,y0)和右脚踝(x4,y4)，或鼻子(x0,y0)和左脚踝(x7,y7)，计算图像中鼻子到脚踝的相对高度y：
10.或
11.(3)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标，包括鼻子(x0,y0)、脖子(x1,y1)、右臀部(x2,y2)和右膝盖(x3,y3)、右脚踝(x4,y4)，或鼻子(x0,y0)、脖子(x1,y1)、左臀部(x5,y5)、左膝盖(x6,y6)和左脚踝(x7,y7)，
12.计算图像中脖子到臀部的相对距离a，
13.或
14.计算图像中臀部到膝盖之间的相对距离b，
15.或
16.计算图像中膝盖到脚踝的相对距离c,
17.或
18.则：图像中鼻子到脚踝的相对高度y：
19.y＝y
1-y0+a+b+c；
20.(4)将步骤(2)或(3)中任一骨骼关键点的像素坐标带入深度相机中，计算该骨骼关键点与深度相机之间的距离z，再根据以下公式计算深度相机可见的纵向距离h，
[0021][0022]
其中，z是待测目标与摄像头之间的距离，θ是深度相机拍摄图像的纵向角度；
[0023]
(5)最后根据以下公式计算得出待测目标的真实身高s：
[0024][0025]
其中，l为鼻子到脚踝真实高度，μ为待测目标的真实身高s和鼻子到脚踝高度l之间的比例常数。
[0026]
具体地，深度相机为realsense，人体骨骼检测器为openpose。
[0027]
具体地，根据深度相机realsense中的函数aligned_depth_frame.get_distance(x,y)，计算待测目标与摄像头之间的实际距离z。
[0028]
与现有技术相比，本发明准确的利用深度摄像头配合骨骼检测进行人体身高测量，并且当人处于非站立姿势时也可以进行身高检测。本发明只需要一个深度图像，然后输出可靠的结果，节省了大量的人力和时间。
附图说明：
[0029]
图1为现有技术中基于单目视觉的人体身高测量方法。
[0030]
图2为本发明基于骨骼关键点识别的人体身高检测方法流程图。
[0031]
图3为实施例1中涉及的realsense相机照片。
[0032]
图4为实施例1中涉及的openpose的网络结构图。
[0033]
图5为站立姿势时人体骨骼关键点坐标示意图。
[0034]
图6为非站立姿势时人体骨骼关键点坐标示意图。
[0035]
图7为站立姿势时realsense rgb图像尺寸图。
[0036]
图8为图7拍摄时目标与摄像机之间的尺寸图。
具体实施方式：
[0037]
下面通过实施例对本发明作进一步描述。
[0038]
实施例1：
[0039]
本实施例涉及的一种基于骨骼关键点识别的人体身高检测方法，以openpose作为人体骨骼检测器，并配合realsense深度摄头获取深度相机与人之间的距离，结合距离信息判断人体身高，具体流程如图2所示。
[0040]
本实施例通过深度相机获取的待测目标图像，图像中每个像素点的二维位置信息均可以通过像素坐标表示，深度相机还可以通过像素坐标获取每一个像素点与深度相机之间的距离，所述待测目标为人。本实施例采用的深度相机为realsense，厂家为英特尔。目前深度相机的实现原理主要分为三种：分别是结构光，tof，双目成像。realsense使用的是结构光的方案。图3为realsense相机，正面的四个摄像头，从左向右以次是左红外相机，红外点阵投射仪，右红外相机和rgb相机。。
[0041]
本实施例通过人体骨骼检测器检测待测目标图像中人体的关节点作为骨骼关键点，通过骨骼关键点描述人体骨骼信息。openpose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。可以称是世界上第一个基于深度学习的实时多人二维姿态估计，是人机交互上的一个里程碑，为机器理解人提供了一个高质量的信息维度。
[0042]
本实施例涉及的一种基于骨骼关键点识别的人体身高检测方法，具体包括以下步骤：
[0043]
(1)通过深度相机(realsense)实时获取含有待测目标的图像，图像大小为m像素
×
n像素，当待测目标站立时，进行步骤(2)，当待测目标非站立时，进行步骤(3)；
[0044]
本实施例中图像为realsense rgb图像，realsense rgb图像大小为m像素
×
n像素，规定图像右上角的像素坐标为(0，0)，图像左下角的像素坐标值为(m，n)；
[0045]
(2)采用人体骨骼检测器(如openpose)获取图像中待测目标的骨骼关键点的像素坐标，包括鼻子(x0,y0)和右脚踝(x4,y4)，或鼻子(x0,y0)和左脚踝(x7,y7)，
[0046]
通过鼻子(x0,y0)和右脚踝(x4,y4)，或鼻子(x0,y0)和左脚踝(x7,y7)，计算图像中鼻子到脚踝的相对高度y：
[0047]
或
[0048]
(3)采用人体骨骼检测器(如openpose)获取图像中待测目标的骨骼关键点的像素坐标，包括鼻子(x0,y0)、脖子(x1,y1)、右臀部(x2,y2)和右膝盖(x3,y3)、右脚踝(x4,y4)，或鼻子(x0,y0)、脖子(x1,y1)、左臀部(x5,y5)、左膝盖(x6,y6)和左脚踝(x7,y7)，
[0049]
计算图像中脖子到臀部的相对距离a，
[0050]
或
[0051]
计算图像中臀部到膝盖之间的相对距离b，
[0052]
或
[0053]
计算图像中膝盖到脚踝的相对距离c,
[0054]
或
[0055]
则：图像中鼻子到脚踝的相对高度y：
[0056]
y＝y
1-y0+a+b+c；
[0057]
(4)将步骤(2)或(3)中任一骨骼关键点的像素坐标带入深度相机中，计算该骨骼关键点与深度相机之间的距离z，再根据以下公式计算深度相机可见的纵向距离h，纵向距离h与待测目标图像中的n相对应：
[0058][0059]
其中，z是待测目标与摄像头之间的距离，θ是深度相机拍摄图像的纵向角度；
[0060]
由于拍摄时待测目标基本与深度相机平行，即任一骨骼关键点与深度相机之间的距离相同。
[0061]
本实施例中，根据深度相机realsense中的函数aligned_depth_frame.get_distance(x,y)，计算待测目标与摄像头之间的实际距离z，再根据以下公式计算realsense摄像头可见的纵向距离h：
[0062][0063]
其中，z是待测目标与摄像头之间的距离，θ是realsense摄像头拍摄realsense rgb图像的纵向角度；
[0064]
(5)最后根据以下公式计算得出待测目标的真实身高s：
[0065][0066]
其中，l为鼻子到脚踝真实高度，l与y相对应，μ为待测目标的真实身高s和鼻子到脚踝高度l之间的比例常数，基于大量实验数据验证μ＝1.07。

技术特征：
1.一种基于骨骼关键点识别的人体身高检测方法，其特征在于，具体包括以下步骤：(1)通过深度相机实时获取含有待测目标的图像，图像大小为m像素
×
n像素，当待测目标站立时，进行步骤(2)，当待测目标非站立时，进行步骤(3)；(2)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标，包括鼻子(x0,y0)和右脚踝(x4,y4)，或鼻子(x0,y0)和左脚踝(x7,y7)，通过鼻子(x0,y0)和右脚踝(x4,y4)，或鼻子(x0,y0)和左脚踝(x7,y7)，计算图像中鼻子到脚踝的相对高度y：或(3)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标，包括鼻子(x0,y0)、脖子(x1,y1)、右臀部(x2,y2)和右膝盖(x3,y3)、右脚踝(x4,y4)，或鼻子(x0,y0)、脖子(x1,y1)、左臀部(x5,y5)、左膝盖(x6,y6)和左脚踝(x7,y7)，计算图像中脖子到臀部的相对距离a，或计算图像中臀部到膝盖之间的相对距离b，或计算图像中膝盖到脚踝的相对距离c,或则：图像中鼻子到脚踝的相对高度y：y＝y
1-y0+a+b+c；(4)将步骤(2)或(3)中任一骨骼关键点的像素坐标带入深度相机中，计算该骨骼关键点与深度相机之间的距离z，再根据以下公式计算深度相机可见的纵向距离h，其中，z是待测目标与摄像头之间的距离，θ是深度相机拍摄图像的纵向角度；(5)最后根据以下公式计算得出待测目标的真实身高s：其中，l为鼻子到脚踝真实高度，μ为待测目标的真实身高s和鼻子到脚踝高度l之间的比例常数。2.根据权利要求1所述的基于骨骼关键点识别的人体身高检测方法，其特征在于，深度相机为realsense，人体骨骼检测器为openpose。3.根据权利要求1所述的基于骨骼关键点识别的人体身高检测方法，其特征在于，根据深度相机realsense中的函数aligned_depth_frame.get_distance(x,y)，计算待测目标与摄像头之间的实际距离z。

技术总结
本发明公开了一种基于骨骼关键点识别的人体身高检测方法，首先通过深度相机实时获取含有待测目标的图像，采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标，基于骨骼关键点的像素坐标计算图像中鼻子到脚踝的相对高度，再将任一骨骼关键点的像素坐标带入深度相机中，计算该骨骼关键点与深度相机之间的距离，然后再计算深度相机可见的纵向距离，最后计算得出待测目标的真实身高。其准确地利用深度摄像头配合骨骼检测进行人体身高测量，并且当人处于非站立姿势时也可以进行身高检测。本发明只需要一个深度图像，然后输出可靠的结果，节省了大量的人力和时间。节省了大量的人力和时间。节省了大量的人力和时间。


技术研发人员：郑煜涵 蒋婉玥 刘晓瑞 葛树志 刘银华 张中浩 张瑞
受保护的技术使用者：青岛大学
技术研发日：2023.05.12
技术公布日：2023/10/8