一种实时检测行人摔倒的预警系统的制作方法

1.本发明涉及智能监控技术领域，特别是一种实时检测行人摔倒的预警系统。


背景技术：

2.随着医疗条件越来越好、生活条件的改善，老年人预期寿命的增长，老年人的数量越来越大。老年人除了生病等因素引起的死亡以外，跌倒已经成为了老年人意外死亡的第二大原因。国内研究表明，在社区老年人发生跌倒的比例约占1/3，大部分老人跌倒后因为身体状况不佳可能会受到不同程度的伤害，65岁及以上老年人中跌倒导致的死亡占该年龄段人群全部伤害致死原因的34.83％，是该年龄段的首位伤害死因。
3.1，为了减少老年人因跌倒等造成死亡等事故的发生，现有技术中，出现了在老人身上安装各种包括跌倒传感器的技术，其中最常用的是可穿戴设备，通过佩戴在人体身上，实际应用中通过传感器检测出人体的运动信息，进而在跌倒时提示附近人员施救，其虽然一定程度上减少了老年人受伤、甚至死亡的几率，但是该种技术由于需要在人身上安装传感器节点，会对人的正常生活造成一定不便，且存在检测范围较小的缺点(一套设备只能监测一位老人)只能局限于实验室或者封闭场景(比如家中等)使用。随着计算机和监控系统技术的发展，依赖于摄像头检测行人跌倒的技术也层出不穷，但只使用一种根据体态判断跌倒的检测方式，往往也会带来过拟合以及过依赖场景的风险(现有技术使用行人检测框的宽高长度来判断行人是否摔倒，当高大于宽时说明行人属于正常姿势，当宽大于高时，说明行人属于卧倒姿势，此时会判定为摔倒。具体判断中，使用单张的行人检测关键点之间的相对位置关系进行判定，该方法依赖于摄像头，既需要监控视角和行人保持一定的平行角度，又要方便对行人进行关键点检测，因此当监控视角偏高或者存在一定的角度时，则无法实现对关键点的检测，且只检测一张的图片存在很大的误报风险。例如行人存在躺卧姿态时，就会产生误报)，在不同的场景下，相同的方法并不能保证监测的数据能真实反映出是否存在人员跌倒状况。综上，提供一种不需要随身佩戴，能应用于公共场所，一套设备就能对更多的人员是否跌倒等起到监测作用，且能达到好的监控效果的系统显得尤为必要。


技术实现要素：

4.为了克服现有监测老人是否发生跌倒的系统，因技术所限存在如背景所述弊端，本发明提供了不需要老人随身佩戴，能应用于公共场所对更多行人进行监控，应用中基于位于高处的摄像头采集的图像数据作为基础，在相关软件单元作用下，能截取实时照片，再通过行人摔倒检测算法检测出人体17个关键点的位置关系来判断行人是否摔倒，由此达到不会对受监控人员正常生活带来影响，扩大了监测范围，具有好的实时响应性，降低了外界因素对监测结果带来的不利影响，使得监控的数据更为有效、减少了出现误判几率的一种实时检测行人摔倒的预警系统。
5.本发明解决其技术问题所采用的技术方案是：
6.一种实时检测行人摔倒的预警系统，包括安装在监测区域高处的摄像头，其特征
在于还具有终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块；所述终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块是安装在上位机内的应用软件；所述行人检测模块采用行人检测算法实现对行人体态进行判别，摔倒判定模块采用行人摔倒算法对行人是否摔倒进行判别；所述终端输入模块功能是通过摄像头采集监控区域的人员行走视频流数据，并将这些数据初步处理后传递给数据分析模块；所述数据分析模块功能是接收终端输入模块传递的摄像头采集的视频流数据，对这些数据进行解码，解码过后得到视频帧数据；所述数据存储模块功能是获取数据分析模块传送过来的视频帧数据，用行人检测模块需要的数据格式进行存储，方便于行人检测算法提取数据；所述行人检测模块功能是读取数据存储模块储存的视频帧数据，并使用行人检测算法对其数据进行批量检测，然后把检测结果，也就是图片中所有的行人的数量和其对应的位置信息传递给摔倒判定模块及预警上报模块；所述摔倒判定模块，功能是基于行人检测模块输入的数据，通过检测人体17个关键点的位置关系，经行人摔倒算法判断人员是否有摔倒的行为出现，在出现有行人摔倒情况时，把结果传递给预警上报模块；所述预警上报模块，功能是接收区域判定模块的判定结果。
7.进一步地，所述摔倒判定模块把判定结果传递给预警上报模块，预警上报模块根据判定结果来判定是否发生报警，如果发生了人员摔倒，则立刻报警给管理员，将摔倒人员位置信息、预警上报时间、预警上报图片传至平台、既很好的实现了实时性，又给足了管理员摔倒人员的信息，使之对当前的情况作出正确的判断和反映，降低了误判带来的人力资源的浪费；反之判断为不是摔倒则不上报。
8.进一步地，所述行人检测模块，使用的行人检测算法公式如下，式中，c
x
,cy表示人工框选的区域位置左上角坐标，t
x
,ty,tw,th表示预测框坐标和宽高的偏移量，x
center
,y
center
表示模型预测框的中心坐标，w,h分别表示模型预测框的宽高；通过上述公式可计算出预测框位置和真实框的相对位置关系，用以保证模型在训练时，能学习更多有用的特征。
9.进一步地，所述行人检测模块应用中，为了使得损失最小，模型在训练时使用如下的损失函数：式中，l
cls
,l
reg
,l
obj
分别表示分类损失、定位损失、对象损失，λ表示定位损失的平衡系数，n
pos
表示正样本的预测框数量，loss(损失函数)越小，模型所学习到的特征就会越多，模型的检测准确率就会越高。
10.进一步地，所述摔倒判定模块，使用的行人摔倒算法公式如下，该公式能通过前置模块提供的行人检测框对人体17个关键点进行归一化操作，从而得到归一化的姿态矢量n(yi；b)，其中，bw,bh,bc分别表示检测框的宽高和中心，yi表示第i个人体关键点，该操作可为后续人体姿态的预测提供数据；
其中，表示对图像x进行归一化操作，获得人体姿态向量，y
*
表示当前图像x中的人体姿态预测信息，该数据能为后续操作提供判断依据，用于评价人体姿态模型预测的准确性；d
x,y
＝(n(x),n(y))|(x,y)∈d，该公式用于归一化训练集中的数据信息，保持模型训练的数据统一性；然后使用l2进行损失，公式如下，该公式表示的是求取预测的关键点坐标和真实的关键点坐标之间的l2距离，该距离越小说明模型的预测能力越强，为后置预警上报模块提供判断依据。
11.进一步地，所述摔倒判定模块通过前置的算法，可以得到行人当前的17个人体姿态关键点，摔倒判定模块会通过计算人体的左胯、右胯、左膝、右膝、左踝、右踝与右肩、左肘、右肘、左腕、右腕之间的综合相对位置关系，来判定当前行人是否存在摔倒状态，若前后位置由垂直关系转换为水平关系，则视为摔倒，反之判断为非摔倒。
12.本发明有益效果是：本发明采用摄像头采集的行人数据作为基础，摄像头安装在道路或者广场等公共区域，能对更多经过人员进行监测，在相关软件单元共同作用下，能截取实时照片，再通过行人摔倒检测算法检测出人体17个关键点的位置关系来判断行人是否摔倒，由此达到不会对受监控人员正常生活带来影响，扩大了监测范围，具有好的实时响应性，降低了外界因素对监测结果带来的不利影响，使得监控的数据更为有效、减少了出现误判几率，并使得摔倒的人员能及时得到救助，减少了救助过晚带来的不利影响。综上，本发明具有好的应用前景。
附图说明
13.图1是本发明架构框图示意。
具体实施方式
14.图1所示，一种实时检测行人摔倒的预警系统，包括安装在监测区域高处的摄像头，还具有终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块；所述终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块是安装在上位机内的应用软件；所述行人检测模块采用行人检测算法实现对行人体态进行判别，摔倒判定模块采用行人摔倒算法对行人是否摔倒进行判别，由于采用了行人检测算法和行为判定算法，增大了判定结果的准确性，行人检测算法经过模型的不断训练，能在外部条件劣势明显的情况下依旧能大范围的确定行人的位置信息，为行为判定算法提供每个行人的位置信息；行人摔倒算法能通过检测人体17个关键点的位置关系，判断人员是否有摔倒的行为出现。
15.图1所示，一种实时检测行人摔倒的预警系统应用流程如下。(1)：终端输入模块通过摄像头采集监控区域的经过人员视频流数据，并将这些数据初步处理后传递给数据分析模块，本发明采用摄像头作为终端，获取视频流数据后并经相关单元模块处理后判断是否有行人摔倒，这样，由于实时从街道监控摄像头中获取视频，能更大程度的提高实时性，达到相关管理方能及时处理人员摔倒情况的目的。(2)：数据分析模块接收终端输入模块传递的摄像头采集的视频流数据，对这些数据进行解码，解码过后得到视频帧数据；数据存储模
块获取数据分析模块传送过来的视频帧数据，用行人检测模块需要的数据格式(模块会使用视频软解码的方式，把存储在内存中的图片二进制数据转化成rgb格式的jpg图片，存储在本地，方便后续模块进行调用分析)进行存储，方便于行人检测算法提取数据。(3)：行人检测模块读取数据存储模块储存的视频帧数据，并使用行人检测算法对其数据进行批量检测，然后把检测结果，也就是图片中所有的行人的数量和其对应的位置信息传递给摔倒判定模块和预警上报模块；具体的，行人检测模块使用的行人检测算法公式如下，式中，c
x
,cy表示人工框选(表示行人识别模型在进行模型训练之前，通过数据标注工具在训练数据集中绘制的矩形框，该矩形框框选表示的是数据集中的行人所在的区域位置)的区域位置左上角坐标，t
x
,ty,tw,th表示预测框(表示模型在进行训练时，自行预测图片中行人的位置信息所绘制的矩形框)坐标和宽高的偏移量，x
center
,y
center
表示模型预测框的中心坐标，w,h分别表示模型预测框的宽高；通过上述公式可计算出预测框位置和真实框(就是前述人工在数据集中绘制的矩形框，该框是判断预测框是否正确的依据)的相对位置关系，用以保证模型(行人识别模型)在训练时，能学习(能学习到数据集中更多的行人特征，使得行人识别模型更加的具有鲁棒性)更多有用的特征；行人检测模块应用中，为了使得损失最小，模型(什么模型)在训练时使用如下的损失函数：
16.式中，l
cls
,l
reg
,l
obj
分别表示分类损失、定位损失、对象损失，λ表示定位损失的平衡系数，n
pos
表示正样本的预测框数量，loss(损失函数)越小，模型所学习到的特征就会越多，模型的检测准确率就会越高。
17.图1所示，一种实时检测行人摔倒的预警系统应用流程，(4)：摔倒判定模块基于行人检测模块输入的数据，通过检测人体17个关键点的位置关系，经行人摔倒算法判断人员是否有摔倒的行为出现，在出现有行人摔倒情况时，并把结果传递给预警上报模块。摔倒判定模块使用的行人摔倒算法公式如下，该公式能通过前置模块提供的行人检测框(模型自己预测画面中行人位置得到矩形框)对人体17个关键点进行归一化操作，从而得到归一化的姿态矢量n(yi；b)，其中，bw,bh,bc分别表示检测框的宽高和中心，yi表示第i个人体关键点，该操作可为后续人体姿态的预测提供数据；其中，表示对图像x进行归一化操作，获得人体姿态向量，y
*
表示当前图像x中的人体姿态预测信息，该数据能为后续操作提供判断依据，用于评价人体姿态模型预测的准确性；d
x,y
＝(n(x),n(y))|(x,y)∈d，n(x)和n(y)表示通过前述公式得到的归一化姿态矢量，d
x,y
表示由x和y组成的姿态点集合，该公式用于归一化训练集中的数据信息，保持模型训练的数据统一性；然后使用l2进行损失，公式如下，表示对图像x进行归一化操作，获得人体姿态向
量,yi表示第i个人为手动标记的标准人体姿态点位信息。
18.该公式表示的是求取预测的关键点坐标(人体关键点模型通过学习人为标记的人体关键点所得到的人体关键点位置信息，然后对新测试数据进行预测的人体关键点坐标)和真实的关键点坐标(人为在训练数据集中手动标记的17个人体姿态坐标，用于判断预测坐标的正确性)之间的l2距离，该距离越小说明模型的预测能力越强。为后置预警上报模块提供判断依据。摔倒判定模块通过前置的算法，可以得到行人当前的17个人体姿态关键点(鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝)，摔倒判定模块会通过计算人体的左胯、右胯、左膝、右膝、左踝、右踝与右肩、左肘、右肘、左腕、右腕之间的综合相对位置关系，来判定当前行人是否存在摔倒状态，若前后位置由垂直关系转换为水平关系，则视为摔倒，反之判断为非摔倒。
19.图1所示，一种实时检测行人摔倒的预警系统应用流程，(5)：摔倒判定模块把判定结果传递给预警上报模块，预警上报模块根据判定结果来判定是否发生报警，如果发生了人员摔倒，则立刻报警给管理员，将摔倒人员位置信息、预警上报时间、预警上报图片传至平台、既很好的实现了实时性，又给足了管理员摔倒人员的信息，使之对当前的情况作出正确的判断和反映，降低了误判带来的人力资源的浪费；反之判断为不是摔倒则不上报。
20.本发明采用摄像头采集的行人数据作为基础，摄像头安装在道路或者广场等公共区域，能对更多经过人员进行监测，在相关软件单元共同作用下，能截取实时照片，再通过行人摔倒检测算法检测出人体17个关键点的位置关系来判断行人是否摔倒，由此达到不会对受监控人员正常生活带来影响，扩大了监测范围，具有好的实时响应性，降低了外界因素对监测结果带来的不利影响，使得监控的数据更为有效、减少了出现误判几率，并使得摔倒的人员能及时得到救助，减少了救助过晚带来的不利影响。
21.以上仅为本发明的优选实施方案，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种实时检测行人摔倒的预警系统，包括安装在监测区域高处的摄像头，其特征在于，还具有终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块；所述终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块是安装在上位机内的应用软件；所述行人检测模块采用行人检测算法实现对行人体态进行判别，摔倒判定模块采用行人摔倒算法对行人是否摔倒进行判别；所述终端输入模块功能是通过摄像头采集监控区域的人员行走视频流数据，并将这些数据初步处理后传递给数据分析模块；所述数据分析模块功能是接收终端输入模块传递的摄像头采集的视频流数据，对这些数据进行解码，解码过后得到视频帧数据；所述数据存储模块功能是获取数据分析模块传送过来的视频帧数据，用行人检测模块需要的数据格式进行存储，方便于行人检测算法提取数据；所述行人检测模块功能是读取数据存储模块储存的视频帧数据，并使用行人检测算法对其数据进行批量检测，然后把检测结果，也就是图片中所有的行人的数量和其对应的位置信息传递给摔倒判定模块及预警上报模块；所述摔倒判定模块，功能是基于行人检测模块输入的数据，通过检测人体17个关键点的位置关系，经行人摔倒算法判断人员是否有摔倒的行为出现，在出现有行人摔倒情况时，把结果传递给预警上报模块；所述预警上报模块，功能是接收区域判定模块的判定结果。2.根据权利要求1所述的一种实时检测行人摔倒的预警系统，其特征在于，摔倒判定模块把判定结果传递给预警上报模块，预警上报模块根据判定结果来判定是否发生报警，如果发生了人员摔倒，则立刻报警给管理员，将摔倒人员位置信息、预警上报时间、预警上报图片传至平台、既很好的实现了实时性，又给足了管理员摔倒人员的信息，使之对当前的情况作出正确的判断和反映，降低了误判带来的人力资源的浪费；反之判断为不是摔倒则不上报。3.根据权利要求1所述的一种实时检测行人摔倒的预警系统，其特征在于，行人检测模块，使用的行人检测算法公式如下，式中，c
x
,c
y
表示人工框选的区域位置左上角坐标，t
x
,t
y
,t
w
,t
h
表示预测框坐标和宽高的偏移量，x
center
,y
center
表示模型预测框的中心坐标，w,h分别表示模型预测框的宽高；通过上述公式可计算出预测框位置和真实框的相对位置关系，用以保证模型在训练时，能学习更多有用的特征。4.根据权利要求1所述的一种实时检测行人摔倒的预警系统，其特征在于，行人检测模块应用中，为了使得损失最小，模型在训练时使用如下的损失函数：式中，l
cls
,l
reg
,l
obj
分别表示分类损失、定位损失、对象损失，λ表示定位损失的平衡系数，n
pos
表示正样本的预测框数量，loss(损失函数)越小，模型所学习到的特征就会越多，模型的检测准确率就会越高。5.根据权利要求1所述的一种实时检测行人摔倒的预警系统，其特征在于，摔倒判定模
块，使用的行人摔倒算法公式如下，该公式能通过前置模块提供的行人检测框对人体17个关键点进行归一化操作，从而得到归一化的姿态矢量n(y
i
；b)，其中，b
w
,b
h
,b
c
分别表示检测框的宽高和中心，y
i
表示第i个人体关键点，该操作可为后续人体姿态的预测提供数据；其中，表示对图像x进行归一化操作，获得人体姿态向量，y
*
表示当前图像x中的人体姿态预测信息，该数据能为后续操作提供判断依据，用于评价人体姿态模型预测的准确性；d
x,y
＝(n(x),n(y))|(x,y)∈d，该公式用于归一化训练集中的数据信息，保持模型训练的数据统一性；然后使用l2进行损失，公式如下，该公式表示的是求取预测的关键点坐标和真实的关键点坐标之间的l2距离，该距离越小说明模型的预测能力越强，为后置预警上报模块提供判断依据。6.根据权利要求1所述的一种实时检测行人摔倒的预警系统，其特征在于，摔倒判定模块通过前置的算法，可以得到行人当前的17个人体姿态关键点，摔倒判定模块会通过计算人体的左胯、右胯、左膝、右膝、左踝、右踝与右肩、左肘、右肘、左腕、右腕之间的综合相对位置关系，来判定当前行人是否存在摔倒状态，若前后位置由垂直关系转换为水平关系，则视为摔倒，反之判断为非摔倒。

技术总结
一种实时检测行人摔倒的预警系统，包括安装在监测区域高处的摄像头，还具有终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块；所述终端输入模块、数据分析模块、数据存储模块、行人检测模块、摔倒判定模块和预警上报模块是安装在上位机内的软件。本发明采用摄像头采集的行人数据作为基础，能截取实时照片，再通过行人摔倒检测算法检测出人体17个关键点的位置关系来判断行人是否摔倒，不会对受监控人员正常生活带来影响，扩大了监测范围，具有好的实时响应性，降低了外界因素对监测结果带来的不利影响，使得监控数据更为有效、减少了出现误判几率，并使得摔倒人员能及时被救助，减少了救助过晚带来的影响。过晚带来的影响。过晚带来的影响。


技术研发人员：王贵清 张德祥 黄文
受保护的技术使用者：成都数字家园科技有限公司
技术研发日：2022.12.21
技术公布日：2023/7/6