康养老人多源智能跌倒检测系统

1.本发明涉及跌倒检测系统技术领域，具体涉及康养老人多源智能跌倒检测系统。


背景技术：

2.上世纪90年代社会老龄化问题不断凸显，越来越多的国家都开始重视老年人的生活品质；对于人体跌倒检测的研究，根据对跌倒特征检测方式的差异，可以将其划分基于可穿戴式、视觉式和环境式的跌倒检测；人体跌倒检测一直是国内外的研究热点，目前现有的跌倒检测设计大多为单一源的跌倒检测；
3.基于可穿戴式的跌倒检测系统由人体穿戴在身上进行检测，是目前跌倒检测研究的主要趋势。其优点在于：制作简单、成本低廉，灵活方便、设置和操作简单，适用区域广泛，计算量小，不会暴露用户隐私。缺点在于：需要用户长期穿戴，会对人体活动造成一定影响，准确度一般。其受限于算法稳定性和识别准确率，系统灵敏度和特异性难以同时得到保证；
4.基于视觉式的跌倒检测系统优点在于：视觉式通常采集2d或3d图像信息，准确性高，无需穿戴，能同时检测多个跌倒事件的发生，在无干扰的场景下检测较为有效。缺点在于：计算量大，成本较高，只能在一定区域内进行检测，容易暴露用户的个人隐私。其易受环境变化影响，如背景光线变化、人遮挡等；
5.基于环境式的跌倒检测优点在于：检测装置不会介入人的日常活动，不涉及用户隐私，且能在黑暗环境中工作。其缺点在于检测范围的局限性，即只能对固定区域的活动进行监测，且易受其他用户和环境变化的影响。另外，其安装系统的成本较高且实现复杂，存在漏检和误报，一般用作其他跌倒检测方式的辅助方法；
6.上述检测方式均存在一定弊端，因此，需要康养老人多源智能跌倒检测系统，可采用多源方式进行检测。


技术实现要素：

7.为了解决上述问题，本发明提供了康养老人多源智能跌倒检测系统，实现了解决背景技术中所提出问题的目的。
8.本发明为了实现上述目的，具体采用以下技术方案：康养老人多源智能跌倒检测系统，包括：用于采集老人的动作信息的视觉检测模块；用于采集老人的动力数据和生理数据的手环检测模块；用于接收老人动作信息、动力数据和生理数据的云平台模块；用于采集老人的压力信息的压力检测模块。
9.作为上述技术方案的进一步说明：
10.所述视觉检测模块包括用于采集动作信息并上传至云平台模块的rtmp推流摄像头。
11.所述手环检测模块由stm32单片机、mpu6050六轴传感器、计步模块adxl345倾角传感器、max30100心率血氧检测模块、ds18b20测温模块、gps定位模块、esp8266wifi模块以及oled显示屏组成。
12.所述生理数据包括心率血氧数据、体温数据；所述max30100心率血氧检测模块用于采集心率血氧数据，所述ds18b20测温模块用于采集体温数据。
13.所述云平台模块与esp8266wifi模块通过mqtt协议进行通讯连接。
14.所述压力检测模块为微型压力传感器，微型压力传感器分别设置在鞋垫内和背心内，微型压力传感器与esp8266wifi模块通过mqtt协议进行通讯连接。
15.本发明的有益效果为：
16.本发明通过多源全方位地、系统地对老人进行跌倒检测；对比单一的传感源，多源方式可以降低误报警率，增加报警准确度；压力检测模块为微型压力传感器，微型压力传感器分别设置在鞋垫内和背心内，老人穿戴装有微型压力传感器的鞋子和背心后，因意外跌倒后压力传感器的参数会发生变化，从而发出报警，进一步增加老人跌倒的报警手段。能有效地缩短发现老人跌倒的时间，最大程度降低跌倒对老人的伤害。
附图说明
17.图1为本发明视觉检测模块和手环检测模块动作时的流程框图；
18.图2为本发明手环的组成模块图；
19.图3为本发明云平台工作流程框图。
具体实施方式
20.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
21.参见图1至图3，本发明公开了康养老人多源智能跌倒检测系统，包括：用于采集老人的动作信息的视觉检测模块；用于采集老人的动力数据和生理数据的手环检测模块；用于接收老人动作信息、动力数据和生理数据的云平台模块；
22.云平台模块还可连接移动端，移动端可采用手机app或微信小程序等方式查看，监护人可以使用移动端查看监控视频和老人的生理数据，随时随地掌握老人的实时状态；
23.视频能实时检测老人的动作信息，手环能实时检测到老人的动力数据、生理数据；通过老人的实时动作信息、动力数据、生理数据来判断老人的状态，提高了场景报警安全度；
24.本发明通过视觉检测模块和手环检测模块结合的多源方式检测跌倒；将动作信息、动力数据和生理数据分别传输到云平台模块，云平台模块进行分析后，通过加权信息融合判断老人是否跌倒；手环检测模块采集生理数据与日常生活模型对比，如果发生数据异动，就判为跌倒；当老人按下手环上的报警按键后，即可发送报警短信并拨打紧急联系人电话，主动发出报警信息；
25.本发明通过多源全方位地、系统地对老人进行跌倒检测；对比单一的传感源，多源方式可以降低误报警率，增加报警准确度。能有效地缩短发现老人跌倒的时间，最大程度降低跌倒对老人的伤害。
26.压力检测模块为微型压力传感器，微型压力传感器分别设置在鞋垫内和背心内，老人穿戴装有微型压力传感器的鞋子和背心后，因意外跌倒后，鞋子内的压力传感器的参数会发生变化，同时人体前仰倒地或后倒倒地时时会触碰背心内的压力传感器，背心内被
挤压的压力传感器的参数会发生变化，从而发出报警，进一步增加老人跌倒的报警手段。
27.视觉检测模块包括用于采集动作信息并上传至云平台模块的rtmp推流摄像头；本发明选用slowfast网络进行改进，也可以采用yolo等算法改进；
28.基于视觉的跌倒行为检测采用的基础模型是slowfast网络，slowfast网络使用slow路径(慢速高分辨率cnn)提取视频中的环境静态特征，fast路径(快速低分辨率cnn)提取视频中的动作动态特征。slow路径以低帧速率和较慢的刷新速度运行，帧数少而特征多，能够捕获空间语义；因每帧时间跨度大，能检测老人的整体状态；fast路径以高帧速率运行，帧数多而特征少，能以精细的时间分辨率捕获运动，分析老人姿态；其速率高且信息量小，更容易进行计算和响应快速变化；slow路径和fast路径互不干扰。
29.为了提升跌倒检测的准确率，本发明做了如下改进：
30.1、跌倒检测是一个二分类问题，我们将原模型中softmax层的神经元数目修改为2。
31.2、收集跌倒视频，构建跌倒数据集
32.3、以原有模型参数作为初始值，在新数据集中进行迁移训练
33.4、在训练时，采用以下数据增强方法：水平镜像，随机裁剪，缩放和亮度变换。
34.手环检测模块由stm32单片机、mpu6050六轴传感器、计步模块adxl345倾角传感器、max30100心率血氧检测模块、ds18b20测温模块、gps定位模块、esp8266wifi模块以及oled显示屏组成。
35.生理数据包括心率血氧数据、体温数据；mpu6050六轴传感器用于采集动力数据；
36.max30100心率血氧检测模块用于采集心率血氧数据，ds18b20测温模块用于采集体温数据；
37.1.检测动力数据：
38.通过手环检测模块中的mpu6050六轴传感器(包括三轴加速度计和三轴陀螺仪)二十四小时不间断地检测动力特征数据变化；在使用手环时，老人的各项动力数据会被采集并上传至云平台模块进行阈值分析；
39.手环检测模块的阈值分析方法采用基于加速度阈值和角速度阈值的跌倒检测算法，以获得较高的检测灵敏度和特异度；
40.其中，通过设置合加速度阈值来识别跌倒行为，计算公式如下：
[0041][0042]
(acc_x、acc_y、acc_z是三轴加速度计在x、y、z轴三个轴向的输出信号)；
[0043]
陀螺仪输出信号的合成结果可以用来检测跌倒的姿态，计算公式如下：
[0044][0045]
(gyr_x、gyr_y、gyr_z是三轴陀螺仪在x、y、z轴三个轴向的输出信号)；
[0046]
当合加速度超过阈值25m/s/s及角速度大于阈值2rad/s时，即可视为出现跌倒行为，云平台会迅速发送报警信息给监护人；
[0047]
2.检测生理数据：
[0048]
在使用手环之前，先为老人建立一个日常生活模型。手环可以通过相应的检测模块实时采集老人的心率、血氧、体温等生理数据，并上传至云平台。监护人可以通过移动端
查看老人的生理数据；
[0049]
①
心率、血氧检测：检测模块依据的原理是心率、血氧检测方案中采用的光电容积脉搏波描记法ppg；ppg是借光电手段在活体组织中检测血液容积变化的一种无创检测方法；当一定波长的光束照射到指端皮肤表面时，光束将通过透射或反射方式传送到光电接收器；在此过程中，由于受到指端皮肤肌肉组织和血液的吸收衰减作用，光电接收器检测到的光强度会减弱。其中皮肤、肌肉组织等对光的吸收在整个血液循环中是保持恒定不变的，而皮肤内的血液容积在心脏收缩、舒张作用下呈搏动性变化；当心脏收缩时外周血管血容量最多，光吸收量最大，光强度最小；而心脏舒张时，外周血管血容量最少，光强度最大，即光电接收器检测到的光强度呈脉动性变化。再将光强度变化信号转换成电信号，将此电信号经放大器后便可获得容积脉搏血流的变化；本发明采用的max30100心率血氧检测模块是一款集成有脉搏血氧仪和心率监测传感器的模块；该器件集成有两个led、一个光电探测器,经过优化的光学器件和低噪声模拟信号处理器，可检测脉搏血氧及心率信号；max30100采用1.8v和3.3v的电源电压；可通过软件来关断电源，待机模式下的电流消耗量可忽略不计，因而可以始终保持电源连接；max30100心率血氧检测模块采用iic通信；
[0050]
②
体温检测：本发明采用ds18b20传感器进行温度测量，其供电电压为3v～5.5v，可测量-55～+125c之间的温度值，具有9～12位可编程的分辨率，该模块由温度传感器、64位只存储器、寄存器组成，其中高温触发器为th，低温触发器为tl；th值与tl值可自行设定；当温度传感器接收到指令后，开始进行温度测量，测得的数据以十六位二进制补码的形式保存在寄存器中；
[0051]
③
步数记录：本发明采用计步模块adxl345倾角传感器进行步数统计，计步模块adxl345倾角传感器为3加速度传感器，采用5v电压进行供电，具有分班率高、测量范围可变等特点，可测量出x、y、z三轴的加速度值，其中x、y、z三轴的方向由芯片放置位置所定，adxl345支持spi和iic两种通信方式；人体在运动时，三轴加速度中有一轴的加速度最为活跃，当adxl345沿检测轴正向加速时，它对正加速度进行检测；在运动时y轴加速度峰值较为明显，将adxl345测量出的加速度值与实验所得加速度阈值进行比较，若加速度值大于阈值且手环倾斜，则为运动状态；
[0052]
3.gps定位模块：gps模块是集成了rf射频芯片、基带芯片和核心cpu，并加上相关外围电路而组成的一个集成电路；本发明采用neo-6m模块获取位置信息；数据的传输通过串口进行，9600为设定的波特率，供电电压3.3v～5v；gps模块检测到位置信息时，单片机通过ubx协议控制gps模块，向模块写入指令，反之，gps模块向单片机发送数据，遵循nmea-0183协议；数据以帧格式发送，$为命令起始位，cr是结束位；gps模块将所解码后的位置信息存储于寄存器中，通过上述协议将信息传送给单片机，单片机将获取的经纬度位置信息通过串口显示；
[0053]
4.数据传递模块：本发明采用esp8266wifi模块，esp8266模块供电电压在3～3.6v之间，具有较大的工作温度区间，可以使其所具有的性能得到稳定的维护，并与各种环境相适应；esp8266支持softap模式，station模式，softap+station共存模式三种，其中sta client透传模式可以实现数据上传。利用esp8266可以实现十分灵活的组网方式和网络拓扑；在手环与老人家中局域网通过wifi建立连接后，即可实现数据传递；
[0054]
5.sos按键报警：本发明设计手环具有sos按键报警功能；当老人按下报警按键后，
即可发送报警短信并拨打紧急联系人电话，主动发出报警信息。
[0055]
云平台模块与esp8266wifi模块通过mqtt协议进行通讯连接；云平台模块主要承担数据存储和处理功能；rtmp推流摄像头可直接将摄像机采集到的视频流即时编码并推流到云平台；连接wifi的手环通过mqtt协议将数据通过wifi传到无线路由器连入云端，或通过直连路由器的传感器直接入网；摄像头和手环将收集的数据发送到云端，云平台进行数据存储；云平台用特定的算法处理原始数据，最后将处理后的数据保留在服务器中。云平台还向监护人提供了数据展示功能，监护人可以使用移动端查看监控视频和老人的生理信息，随时随地掌握老人的实时状态。
[0056]
本发明在实际使用时，在老人家中安装摄像头，并让老人佩戴手环；在家中生活时，本发明通过视觉检测模块、手环检测模块的动力特征检测模块(mpu6050六轴传感器)和生理特征检测模块(max30100心率血氧检测模块、ds18b20测温模块、adxl345计步模块倾角传感器)对老人的动作信息以及相关的动力、生理数据进行检测、收集并上传云平台进行分析：将视觉源视频数据、手环源动力、生理数据分别传输到云平台，在云平台内进行分析后，通过如下图方式老人是否跌倒；手环源生理数据与日常生活模型对比，如果发生数据异动，就认为生理数据异常；当老人按下手环上的报警按键后，即可发送报警短信并拨打紧急联系人电话，主动发出报警信息。通过以上方式全方位地判断老人是否跌倒。
[0057]
本发明将手环源动力、生理数据和视觉源行为数据进行联合判断，提高报警准确性的途径为：避免单独使用手环穿戴设备时误判姿态，如运动和跌倒、缓慢下跌和弯腰、睡觉等姿态；避免单独使用视觉源时误判姿态，如老人处于坐或躺等日常行为却长时间静止等姿态；克服单独使用视觉源时在室内敏感区域的盲区，更好地保护隐私；克服老人活动范围广、视觉源无法全方位覆盖的问题；避免视觉源单独检测老人行为时易受家具遮挡、光线条件等环境的不良影响。
[0058]
本发明视觉检测模块通过行为识别检测到老人跌倒时，会对监护人发送报警信息；能及时地通过实时监控查看老人的状态。
[0059]
本发明手环生理检测模块检测的生理数据若出现异常会及时报警，例如：检测到心率过高或非活跃状态下连续十分钟内心率超过120次每分钟或者低于40次每分钟则对监护人发送报警信息。本发明不仅可以检测老年人身体健康，还能通过分析生理数据显示老年人的健康状态，对老人日常生活进行健康监测；监护人可以实时查看老人生理状态。
[0060]
本发明云平台模块可以实现随时随地计算设备采集的数据，快速对老人状态做出综合判断，解决设备太小、算力不足的问题，提高了设备的续航能力。
[0061]
作为本发明的进一步说明：可以通过更改算法或训练不同模型，对不同年龄段人的其他行为例如：打架斗殴、吸烟、躺地不起等异常行为进行实时识别和监控，结合手环源动力特征和生理特征得到更为准确的行为结果和人体生理数据；能用在养老院、病房、医疗机构等需要实时监控或监护的场景中；在马拉松运动中，人体长时间处于生理极限状态，如果出现意外情况，会给运动员带来严重危害，甚至危及生命；本发明应用于马拉松领域，能及时发现运动员的异常情况；通过采取及时的救助措施，为运动员的生命安全多一份保障；在更换手环源为项圈等动物能够佩戴的物件后，能实时监控和识别动物行为，判断其生理特征是否异常；能用在珍稀动物监测、宠物实时状态监控等领域。
[0062]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域
技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

技术特征：
1.康养老人多源智能跌倒检测系统，其特征在于，包括：用于采集老人的动作信息的视觉检测模块；用于采集老人的动力数据和生理数据的手环检测模块；用于接收老人动作信息、动力数据和生理数据的云平台模块；用于采集老人的压力信息的压力检测模块。2.根据权利要求1所述的康养老人多源智能跌倒检测系统，其特征在于，所述视觉检测模块包括用于采集动作信息并上传至云平台模块的rtmp推流摄像头。3.根据权利要求1所述的康养老人多源智能跌倒检测系统，其特征在于，所述手环检测模块由stm32单片机、mpu6050六轴传感器、计步模块adxl345倾角传感器、max30100心率血氧检测模块、ds18b20测温模块、gps定位模块、esp8266wifi模块以及oled显示屏组成。4.根据权利要求3所述的康养老人多源智能跌倒检测系统，其特征在于，所述生理数据包括心率血氧数据、体温数据；所述max30100心率血氧检测模块用于采集心率血氧数据，所述ds18b20测温模块用于采集体温数据。5.根据权利要求3所述的康养老人多源智能跌倒检测系统，其特征在于，所述云平台模块与esp8266wifi模块通过mqtt协议进行通讯连接。6.根据权利要求1所述的康养老人多源智能跌倒检测系统，其特征在于，所述压力检测模块为微型压力传感器，微型压力传感器分别设置在鞋垫内和背心内，微型压力传感器与esp8266wifi模块通过mqtt协议进行通讯连接。

技术总结
本发明涉及跌倒检测系统技术领域，具体涉及康养老人多源智能跌倒检测系统，包括用于采集老人的动作信息的视觉检测模块；用于采集老人的动力数据和生理数据的手环检测模块；用于接收老人动作信息、动力数据和生理数据的云平台模块。本发明的有益效果为：本发明通过多源全方位地、系统地对老人进行跌倒检测；压力检测模块为微型压力传感器，微型压力传感器分别设置在鞋垫内和背心内，老人穿戴装有微型压力传感器的鞋子和背心后，因意外跌倒后压力传感器的参数会发生变化，发出报警，进一步增加老人跌倒的报警手段；对比单一的传感源，多源方式可以降低误报警率，增加报警准确度；能有效地缩短发现老人跌倒的时间，最大程度降低跌倒对老人的伤害。对老人的伤害。对老人的伤害。


技术研发人员：伍博 曲怡华 王燕 袁秋林 杨豪强 王芳
受保护的技术使用者：河南师范大学
技术研发日：2023.04.17
技术公布日：2023/7/28