一种基于人体姿态估计的跌到检测方法及装置与流程

1.本发明涉及计算机视觉及模式识别技术领域，具体涉及一种基于人体姿态估计的跌到检测方法及装置。


背景技术：

2.基于姿态估计的人体跌倒动作检测是计算机视觉技术中一个重要的研究与应用领域。相比于直接使用rgb视频数据进行动作分类，姿态估计得到的人体关键点数据量小，不易受到光照、视角等因素干扰，冗余度低且易于长序列数据的存储与传输。因此，基于姿态估计的关键点数据进行人体跌倒动作检测技术也拥有更强的鲁棒性与应用价值。目前的人体跌倒动作检测方法主要有以下三种：
3.（1）基于传感器和人工特征的动作检测方法。该类方法从人体动作的规律性出发，利用可穿戴的速度传感器获得人体关键点的运动速度，人工设计相应的模式特征用于简单动作的分类。例如通过人体关节的速度与加速度区分行走，躺下，坐下，跌倒等动作，或通过结点的运动幅度分跳跃，跑步等运动。基于人工特征的动作识别方法原理简单，易于实现，但鲁棒性较差，易受噪声数据的干扰，也不适用于更复杂的动作分类。
4.（2）基于rgb视频和深度卷积神经网络（cnn）的动作检测方法。该类方法利用cnn从rgb视频帧中提取人体表观特征与运动特征，通过3d卷积或时序池化（pooling）操作融合时序信息，从而训练端到端的人体动作检测模型。该方法对于跌倒动作有着较高的精度，同时对于复杂的人体动作也具有较强的鲁棒性，但需要大规模的数据训练。另外，cnn处理长序列视频的计算成本较高，使得该方法不适用于在边缘终端大规模应用。
5.（3）基于高阶运动表示的多视觉模态融合动作检测算法。该类方法首先从rgb视频中提取光流、帧差等高阶表示，再融合多个深度神经网络模型综合处理多视觉模态数据。该类方法不易受到环境因素干扰，但其数据预处理的过程计算量大，融合多个模型的参数量大，无法做到实时人体跌倒监测。
6.上述三种方法均适用于检测多种人体动作，但对硬件设备的要求较高，例如需要额外的传感器，高性能的gpu或大规模的视频数据存储设备。因此，上述方法很难实际应用于低性能终端的人体跌倒检测。综上所述，开发一种针对跌到动作的轻量化人体动作检测方法具有十分重要的研究意义与应用价值。


技术实现要素：

7.本发明针对现有技术中存在的技术问题，提供一种基于人体姿态估计的跌到检测方法及装置。
8.本发明解决上述技术问题的技术方案如下：
9.第一方面，本发明提供一种基于人体姿态估计的跌到检测方法，包括：
10.s1，逐帧提取人体二维关键点；
11.s2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，
获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
12.s3，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
13.s4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
14.进一步的，所述步骤s1，包括：利用alphapose模型逐帧提取人体二维关键点，alphapose共输出17个人体关键点的二维坐标。
15.进一步的，所述步骤s2包括：
16.分别提取单帧的头部区域、腰部区域和脚部区域所包含的所有人体二维关键点；
17.对各区域所包含的人体二维关键点进行取平均处理，得到头部关键点、腰部关键点和脚部关键点。
18.进一步的，所述步骤s3还包括：组合单帧计算的、、三条连线相对于水平坐标轴的夹角、、，构成第一夹角特征向量，组合当前帧相对于上一帧的夹角变化量、、，构成第一夹角变化量特征向量。
19.进一步的，所述的步骤s4，包括：
20.将连续多帧对应的第一夹角特征向量拼接为第二夹角特征向量；
21.将连续多帧对应的第一夹角变化量特征向量拼接为第二夹角变化量特征向量；
22.将所述第二夹角特征向量和第二夹角变化量特征向量作为跌倒识别模型的输入，进行跌倒识别。
23.进一步的，所述跌倒识别模型采用多层感知机网络，其输出为跌倒分类得分，利用sigmoid函数得到人体跌倒的概率。
24.进一步的，所述、、三条连线相对于水平坐标轴的夹角取值范围为[0
°
，180
°
]。
[0025]
第二方面，本发明提供一种基于人体姿态估计的跌到检测装置，包括：
[0026]
关键点提取模块，逐帧提取人体二维关键点；
[0027]
简化处理模块，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
[0028]
计算模块，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
[0029]
特征构造及识别模块，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0030]
第三方面，本发明提供一种电子设备，包括：
[0031]
存储器，用于存储计算机软件程序；
[0032]
处理器，用于读取并执行所述计算机软件程序，进而实现本发明第一方面所述的
一种基于人体姿态估计的跌到检测方法。
[0033]
第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如本发明第一方面所述的一种基于人体姿态估计的跌到检测方法。
[0034]
本发明的有益效果是：（1）使用面广。新设计的人体姿态关键几何信息的提取方法和跌倒识别模型适用于复杂的视频数据，无需额外的传感器，对场景、光照、视角等因素要求低。对于质量较差的视频数据，若个别人体关键点的位置提取不准，丢失，本方法也具有一定的鲁棒性。符合实际应用的需求，应用面更广。
[0035]
（2）效率高。相比于传统的直接利用rgb视频的人体动作检测。基于人体姿态关键几何信息的人体跌倒检测所需的数据量更小，计算效率更高，可以做到在轻量级硬件设备上实时检测。
[0036]
（3）精度高。现有的基于rgb视频的人体动作检测模型依赖于大量训练数据，在实际使用中精度有限，且对场景有较多限制。本发明提出的基于人体姿态估计的跌到检测方法通过精细设计的与跌到相关的关键几何信息可以有效减少模型对于训练数据的依赖。在用少量数据训练多层感知机分类网络之后，就可以进行高精度地跌到检测。
[0037]
本发明解决了传统方法易受噪声干扰，精度有限，效率较低的问题。
附图说明
[0038]
图1为本发明实施例提供的一种基于人体姿态估计的跌到检测方法流程示意图；
[0039]
图2为本发明实施例提供的人体二维关键点简化处理方法示意图；
[0040]
图3为本发明实施例提供的一种基于人体姿态估计的跌到检测装置结构示意图；
[0041]
图4为本发明实施例提供的电子设备的实施例示意图；
[0042]
图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
[0043]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0044]
在本技术的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0045]
在本技术的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本技术中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是
与符合本技术所公开的原理和特征的最广范围相一致。
[0046]
如图1所示，本发明实施例提供一种基于人体姿态估计的跌到检测方法。其中，人体姿态是由姿态估计算法自动化地从rgb视频中提取的。由于原始的视频数据存在光照，视角等变化，人体存在遮挡，丢失等问题，因此人体姿态中含有大量噪声。因此本发明的第一步是从人体姿态中简化提炼出与跌到相关的关键几何信息。本发明的第二步是对关键几何信息进行高精度的跌倒动作识别。
[0047]
具体的，该方法包括：
[0048]
s1，逐帧提取人体二维关键点。
[0049]
本发明实施例使用alphapose模型自动化地从视频中逐帧提取人体姿态（即17个人体关键点位置）。
[0050]
s2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部（head）关键点、腰部（waist）关键点和脚部（foot）关键点。如图2所示。
[0051]
实际使用中，alphapose 模型逐帧提取人体二维关键点可能出现关键点提取不全或遮挡的情况。这里利用alphapose 默认输出的17个关键点在对应区域取均值，增强鲁棒性。
[0052]
具体的，分别提取单帧的头部区域、腰部区域和脚部区域所包含的所有人体二维关键点；对各区域所包含的人体二维关键点进行取平均处理，得到头部关键点、腰部关键点和脚部关键点。
[0053]
计算过程如下：
[0054]
；
[0055]
其中，表示关键点坐标，二维骨架节点包括(x,y)二维坐标。表示人体关键区域，即头部区域、腰部区域和脚部区域，表示p区域的关键点个数。
[0056]
s3，首先逐帧计算、、三条连线相对于水平坐标轴的夹角，计算方法如下：
[0057]
；
[0058]
其中，，p1、p2分别表示三条连线的首点和尾点。的取值范围为[0
°
，180
°
]。
[0059]
利用单帧计算的三条连线相对于水平坐标轴的夹角构造第一夹角特征向量。
[0060]
然后，计算当前帧相对于上一帧的夹角变化量，计算方法如下：
[0061]
；
[0062]
式中，t2表示当前帧，t1表示上一帧。
[0063]
利用当前帧相对于上一帧的夹角变化量构造第一夹角变化量特征向量。
[0064]
s4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0065]
具体的，该步骤包括：
[0066]
1）将连续多帧对应的第一夹角特征向量拼接为第二夹角特征向量；
[0067]
2）将连续多帧对应的第一夹角变化量特征向量拼接为第二夹角变化量特征向量；
[0068]
经过1）和2）两个步骤处理后，复杂的rgb视频数据被简化为与人体跌倒相关的人体姿态关键几何数据。在单人情况下，百万像素的rgb数据简化后只有两个三维的特征向量，即夹角向量与夹角时序变化向量。这两个特征向量能够很好地表示人体跌倒的姿态信息，为高精度的跌到检测提供依据。同时，简化的特征向量对环境干扰具有很强的鲁棒性。
[0069]
3）将所述第二夹角特征向量和第二夹角变化量特征向量作为跌倒识别模型的输入，进行跌倒识别。
[0070]
所述跌倒识别模型采用多层感知机网络，其输出为跌倒分类得分，利用sigmoid函数得到人体跌倒的概率。即：
[0071]
；
[0072]
其中s为人体跌倒的概率，表示多层感知机。
[0073]
头部关键点、腰部关键点和脚部关键点，、、三条连线相对于水平坐标轴的夹角作为输入神经网络的特征。这里不需要人为设置判断区间，而是让神经网络自动处理特征。输出为跌倒分类得分，利用sigmoid 函数得到人体跌倒的概率，若score》0.5则判断为跌倒。
[0074]
在上述实施例的基础上，本发明实施例还提供一种基于人体姿态估计的跌到检测装置，如图3所示，包括：
[0075]
关键点提取模块，逐帧提取人体二维关键点；
[0076]
简化处理模块，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
[0077]
计算模块，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
[0078]
特征构造及识别模块，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0079]
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：
[0080]
s1，逐帧提取人体二维关键点；
[0081]
s2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
[0082]
s3，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
[0083]
s4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0084]
请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：
[0085]
s1，逐帧提取人体二维关键点；
[0086]
s2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
[0087]
s3，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
[0088]
s4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0089]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0094]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0095]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

技术特征：
1.一种基于人体姿态估计的跌到检测方法，其特征在于，包括：s1，逐帧提取人体二维关键点；s2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；s3，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；s4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。2.根据权利要求1所述的方法，其特征在于，所述步骤s1，包括：利用alphapose模型逐帧提取人体二维关键点，alphapose共输出17个人体关键点的二维坐标。3.根据权利要求1所述的方法，其特征在于，所述步骤s2包括：分别提取单帧的头部区域、腰部区域和脚部区域所包含的所有人体二维关键点；对各区域所包含的人体二维关键点进行取平均处理，得到头部关键点、腰部关键点和脚部关键点。4.根据权利要求1所述的方法，其特征在于，所述步骤s3还包括：组合单帧计算的、、三条连线相对于水平坐标轴的夹角、、，构成第一夹角特征向量，组合当前帧相对于上一帧的夹角变化量、、，构成第一夹角变化量特征向量。5.根据权利要求4所述的方法，其特征在于，所述的步骤s4，包括：将连续多帧对应的第一夹角特征向量拼接为第二夹角特征向量；将连续多帧对应的第一夹角变化量特征向量拼接为第二夹角变化量特征向量；将所述第二夹角特征向量和第二夹角变化量特征向量作为跌倒识别模型的输入，进行跌倒识别。6.根据权利要求1或5所述的方法，其特征在于，所述跌倒识别模型采用多层感知机网络，其输出为跌倒分类得分，利用sigmoid函数得到人体跌倒的概率。7.根据权利要求1所述的方法，其特征在于，所述、、三条连线相对于水平坐标轴的夹角取值范围为[0
°
，180
°
]。8.一种基于人体姿态估计的跌到检测装置，其特征在于，包括：关键点提取模块，逐帧提取人体二维关键点；简化处理模块，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；计算模块，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；特征构造及识别模块，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌
倒识别模型的输入，进行跌倒识别。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机软件程序；处理器，用于读取并执行所述计算机软件程序，进而实现权利要求1-7任一项所述的一种基于人体姿态估计的跌到检测方法。10.一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如权利要求1-7任一项所述的一种基于人体姿态估计的跌到检测方法。

技术总结
本发明涉及一种基于人体姿态估计的跌到检测方法及装置。本发明首先逐帧提取人体二维关键点；其次，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；然后，逐帧计算头-腰，腰-脚，头-脚三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；最后，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。本发明解决了传统方法易受噪声干扰，精度有限，效率较低的问题。效率较低的问题。效率较低的问题。


技术研发人员：谢兴 张嘉旭 高梓涛
受保护的技术使用者：苏州青宸科技有限公司
技术研发日：2023.04.24
技术公布日：2023/8/24