老人异常行为实时检测方法、装置、设备及存储介质与流程

1.本发明涉及老人异常行为实时检测技术领域，尤其涉及一种老人异常行为实时检测方法、装置、设备及存储介质。


背景技术：

2.随着全球人口老龄化的趋势不断增强，如何提供优质、有效的老年人照护服务，尤其是在他们的日常生活中及时检测并处理各种异常行为，已经成为社会关注的重要问题。近年来，智能化技术的快速发展，特别是人工智能、机器学习、物联网等技术的应用，为老人异常行为的实时检测提供了新的可能。通过利用这些技术，可以提高检测的准确性和实时性，从而更好地保障老人的生活安全。然而，如何设计并实现一种有效、准确的老人异常行为实时检测方法，仍然是一个重要的研究课题。传统的老人异常行为检测主要依赖于人工观察或者一些简单的传感器设备，例如压力传感器、红外传感器等。这些方法存在明显的局限性。首先，人工观察需要大量的人力物力，而且无法做到24小时不间断的监控。其次，老年人可能因为认知功能下降而注意力不集中，出现异常徘徊行为，忘记自己的目的地或迷失方向，例如认知障碍：老年痴呆症等认知障碍疾病可能导致老人迷路和徘徊，因为他们难以记住环境和方向；抑郁或焦虑：情绪问题可能导致老人有意无意地徘徊，以寻求舒适或缓解情绪；生活环境改变：老年人可能因为住所改变或身边亲人的减少而迷茫和徘徊；老年人也可能由于骨骼疾病(如骨折)、肌肉萎缩或关节炎等问题而无法站立；中风、帕金森病等神经系统疾病可能影响老人的平衡和站立能力；其中，帕金森病的主要症状之一就是手部颤抖，可能导致老人难以控制手部动作。简单的传感器设备虽然可以全天候监测，但是只能提供有限的信息，难以准确判断上述老人的异常行为状态。
3.现有中国专利cn116189232a公开了一种基于机器视觉的养老院老人异常行为检测方法及系统，所述方法包括：获取摄像机拍摄的视频数据；对含有目标对象的视频数据分别基于不同的异常行为识别模型进行异常行为检测；其中，所述异常行为识别模型中包括主动举手求救识别模型、跌倒行为识别模型和久驻不动行为识别模型；针对举手主动求救这一异常行为采用主动举手求救识别模型进行检测，主动举手求救识别模型为基于yolov5的目标检测算法；跌倒行为识别模型采用上述的yolov5-cbam检测模型进行目标对象的检测，对于人体的跌倒和直立状态，其外接矩形框的形状会有明显不同，所以可以采用对人体检测外接框的高宽比进行判断从而确定检测目标是否跌倒；针对久驻不动这一异常行为采用久驻不动行为识别模型进行检测，基于上述yolov5-cbam检测模型检测结果，结合deepsort目标跟踪模型对现有目标进行跟踪、对新目标新建对象、对过久时间未匹配到目标进行删除。上述方法仅仅使用yolov5的目标检测算法进行异常行为检测，目标检测算法的性能和准确性可能会受到一些因素的影响，例如目标遮挡、光照变化或者目标尺度变化，这可能导致目标检测的不准确性，进而影响异常行为检测的结果。
4.为此，如何准确地对老人异常行为进行实时检测，提升用户的老人看护体验是亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种老人异常行为实时检测方法、装置、设备及存储介质，用以解决现有技术中无法准确地对老人异常行为进行实时检测，用户的老人看护体验差的问题。
6.本发明采用的技术方案是：
7.第一方面，本发明提供了一种老人异常行为实时检测方法，其特征在于，所述方法包括：
8.s1：获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；
9.s2：对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；
10.s3：对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；
11.s4：依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；
12.s5：依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。
13.优选地，所述s2包括：
14.s21：依据目标检测算法，对各所述图像进行检测，输出人体的上半身位置信息；
15.s22：依据所述上半身位置信息，利用目标分类网络对人体的上半身区域进行特征提取，输出人体的上半身特征信息；
16.s23：将所述上半身特征信息输入预训练的分类器中，输出分类结果；
17.s24：依据所述分类结果，当各所述实时图像中被分类为老人的图像帧数大于预设的图像帧数时，获取所述目标图像。
18.优选地，所述s3包括：
19.s31：利用目标匹配算法，对所述目标图像中的老人进行跟踪；
20.s32：将所述目标图像输入预训练的目标检测模型中，输出老人预设部位图像，其中，预设部位图像包括手部和躯干部图像；
21.s33：对所述躯干部图像和手部图像进行光流场计算，输出躯干部图像的平均光流场和手部图像的中心光流场作为所述运动特征信息。
22.优选地，所述s4包括：
23.s41：获取预设的老人异常行为，其中，所述老人异常行为至少包括以下行为之一：老人异常徘徊、老人无法站立和老人手部颤抖；
24.s42：获取预设的时间间隔，依据所述时间间隔内所述平均光流场的方差，当判断老人躯干部存在反复运动时，识别为所述老人异常徘徊行为；
25.s43：依据所述时间间隔内所述平均光流场的第一平均值和所述中心光流场的第二平均值，识别所述老人无法站立行为；
26.s44：依据所述时间间隔内所述中心光流场，当判断老人手部存在微弱运动时，识别为所述老人手部颤抖行为。
27.优选地，所述s42包括：
28.s421：获取所述时间间隔和预设的第一光流场阈值；
29.s422：对所述时间间隔内的所述平均光流场进行计算，输出所述平均光流场的方差；
30.s423：当所述方差大于所述第一光流场阈值时，识别为所述老人异常徘徊行为。
31.优选地，所述s43包括：
32.s431：获取预设的第二光流场阈值和第三光流场阈值；
33.s432：对所述时间间隔内的所述平均光流场和中心光流场进行计算，输出所述第一平均值和第二平均值；
34.s433：当所述第一平均值小于所述第二光流场阈值且所述第二平均值大于所述第三光流场阈值时，识别为所述老人无法站立行为。
35.优选地，所述s44包括：
36.s441：获取预设的第四光流场阈值；
37.s442：对所述时间间隔内的所述中心光流场进行傅里叶变换，输出中心光流场对应的频率分量；
38.s443：对各所述频率分量进行比较，当频率分量的最大值大于所述第四光流场阈值时，识别为所述手部颤抖行为。
39.第二方面，本发明提供了一种老人异常行为实时检测装置，所述装置包括：
40.实时图像获取模块，用于获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；
41.老人识别模块，用于对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；
42.运动特征提取模块，用于对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；
43.老人异常行为检测模块，用于依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；
44.安全提醒模块，用于依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。
45.第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
46.第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
47.综上所述，本发明的有益效果如下：
48.本发明提供的老人异常行为实时检测方法、装置、设备及存储介质，所述方法包括：获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。本发明通过对实时视频流进行分析和异常行为检测，分析老人的运动特征信息和异常行为，获取对老人个体化的了解，从而准确地检测出老人的异常行为，一旦检测到老人的异常行为，系统可以向用户发送安全提醒，及时的安全提醒和干预措施有助于减少事故和突发情况对老人健康和安全的威胁，提升用户的老人看护体验。
附图说明
49.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
50.图1为本发明实施例1中老人异常行为实时检测方法的整体工作的流程示意图；
51.图2为本发明实施例1中获取包含老人的目标图像的流程示意图；
52.图3为本发明实施例1中对目标图像进行运动分析的流程示意图；
53.图4为本发明实施例1中识别老人异常行为的流程示意图；
54.图5为本发明实施例1中识别老人异常徘徊行为的流程示意图；
55.图6为本发明实施例1中识别老人无法站立行为的流程示意图；
56.图7为本发明实施例1中识别老人手部颤抖行为的流程示意图；
57.图8为本发明实施例2中老人异常行为实时检测装置的结构框图；
58.图9为本发明实施例3中电子设备的结构示意图。
具体实施方式
59.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
60.实施例1
61.请参见图1，本发明实施例1公开了一种老人异常行为实时检测方法，所述方法包括：
62.s1：获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；
63.具体地，获取老人看护场景下的实时视频流，所述实时视频流是指倾斜视角下安装的摄像头拍摄的彩色视频流，将所述实时视频流分解为n帧实时图像；倾斜视角下的摄像头提供了多角度更加全面的视频信息，可以实时监控老人的状态和行为，同时，通过将实时视频流分解为多帧实时图像，监护人员可以远程关注老人的情况。这样可以及时发现潜在的问题、提供帮助和进行远程指导，增加老人的安全感和照护质量。
64.s2：对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人
的目标图像；
65.具体地，对各所述实时图像进行特征提取，可以通过图像处理和计算机视觉技术从图像中提取出有用的人体特征信息。依据提取出的人体特征信息，可以获取包含老人的目标图像，即将图像中与老人相关的部分提取出来。，其中，在特征提取阶段，利用图像处理和计算机视觉技术，对每个实时图像进行分析和处理，提取出具有区分性的人体特征信息。所述人体特征信息至少包括人体的轮廓、关键点、姿态、运动轨迹、表情等，通过分析所述人体特征信息，识别和提取出包含老人的目标图像。通过特征提取，将注意力集中在图像中与老人相关的部分，减少不必要的背景干扰，提高目标定位的准确性和精度，从而更好地捕捉老人的动作、行为和状态变化；提取的人体特征信息用于老人异常行为的检测，通过分析老人的姿态、运动轨迹等特征，可以检测跌倒、徘徊、突然离开等异常行为，这有助于及时发现老人的紧急情况，并采取适当的安全措施。同时，通过提取人体特征信息，可以减少需要处理的图像数据量，从而提高图像处理和分析的效率，只关注与老人相关的部分，可以减少计算资源和时间的消耗，使系统能够更快速地响应和处理实时视频流。
66.在一实施例中，请参见图2，所述s2包括：
67.s21：依据目标检测算法，对各所述图像进行检测，输出人体的上半身位置信息；
68.具体地，下载并准备yolov8s模型及其相应的权重文件，所述文件包含了预训练的权重参数，用于目标检测任务；使用适当的深度学习框架(如pytorch、tensorflow)加载yolov8s模型及其权重；对于分解得出的n帧图像，依次处理每一帧：对每一帧图像进行预处理操作，如图像缩放、归一化、通道调整等，以适应yolov8s模型的输入要求，将经过预处理的图像输入到yolov8s模型中，进行目标检测操作。模型将输出图像中检测到的行人目标及其边界框的位置信息，根据行人目标的边界框位置信息，提取出对应的上半身区域，其中，可以根据需求定义上半身的具体区域范围，如从头部到腰部，将提取的上半身图像保存下来，以备后续使用或展示，重复处理下一帧图像，直到遍历完所有的n帧图像。
69.s22：依据所述上半身位置信息，利用目标分类网络对人体的上半身区域进行特征提取，输出人体的上半身特征信息；
70.具体地，下载并准备适用于行人特征提取的resnet模型及其相应的权重文件，这些文件包含了预训练的权重参数，用于特征提取任务，使用适当的深度学习框架(如pytorch、tensorflow)加载resnet模型及其权重，遍历上一步中得到的行人上半身图像：对于每帧上半身图像，依次进行下面的处理。对每个上半身图像进行预处理操作，如图像缩放、归一化、通道调整等，以适应resnet模型的输入要求。将经过预处理的上半身图像输入到resnet模型中，进行特征提取操作，resnet模型将输出行人上半身图像对应的特征向量，将提取的行人上半身特征向量保存下来，可以以矩阵或向量的形式进行存储，用于后续的行人分析、异常检测等任务，重复处理下一帧上半身图像，直到遍历完所有的行人上半身图像，通过以上步骤，可以利用resnet网络对行人上半身图像进行特征提取，得到具有判别性的特征向量。这些特征向量可以用于进一步的行人识别、行为分析、异常检测等任务，从而提高对老人看护场景下的行人行为的理解和判断能力。
71.s23：将所述上半身特征信息输入预训练的分类器中，输出分类结果；
72.具体地，获取已经训练好了的用于老人分类的svm分类器，并保存其相关参数和权重，使用机器学习库(如scikit-learn)加载已经训练好的svm分类器模型及其权重，将提取
的行人上半身特征向量作为输入数据，准备用于分类的特征向量，根据svm分类器的要求，对特征向量进行必要的预处理，例如归一化、标准化或其他转换操作，将预处理后的特征向量输入到svm分类器中，进行分类操作，svm将输出对应于每个特征向量的分类标签，表示行人上半身是否属于老人，对于每个图像中的行人上半身，根据svm的分类结果判断其是否属于老人。可以根据分类标签的置信度或概率进行进一步的决策，根据分类结果，可以将每个图像中行人上半身是否属于老人的判断结果输出，例如以二进制形式(老人/非老人)或概率值的形式。通过利用已训练好的svm分类器对提取的行人上半身特征进行分类，判断其是否属于老人。这样可以实现对老人的识别和分类，为后续的老人行为分析、异常检测等提供基础。
73.s24：依据所述分类结果，当各所述实时图像中被分类为老人的图像帧数大于预设的图像帧数时，获取所述目标图像。
74.具体地，对于每帧图像，记录svm分类器的分类结果，标记为老人或非老人，计算所有图像帧中被判断为老人的次数，即判断为老人的图像帧数量，根据总帧数n，计算超过2/3以上的图像帧的阈值，即n乘以2/3，比较老人判断次数与阈值的关系。如果老人判断次数大于阈值，即超过2/3以上的图像帧判断为老人，则认为该行人目标框为老人，获取对应的目标图像，将行人目标框是否为老人的判断结果输出，可以以二进制形式(老人/非老人)或其他形式表示。通过对n帧图像的分类结果进行综合分析，根据超过2/3以上的图像帧判断为老人的条件来确定行人目标框是否为老人，可以提高判断的准确性和稳定性，确保对老人目标的准确识别。
75.s3：对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；
76.具体地，对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；通过对目标图像中老人预设部位的运动进行分析，提取相关的运动特征信息。这些特征信息可以帮助理解老人的行为模式、监测异常行为，从而实现对老人的行为监控和健康状况评估。
77.在一实施例中，请参见图3，所述s3包括：
78.s31：利用目标匹配算法，对所述目标图像中的老人进行跟踪；
79.具体地，通过目标检测算法(如yolo、ssd等)检测出当前帧中的老人目标，并获取其边界框(bounding box)位置信息。将当前帧中的边界框与前一帧中的边界框进行iou计算，衡量它们的重叠程度，根据iou计算结果，进行目标匹配，采用最大iou匹配策略，即将当前帧中的边界框与前一帧中具有最大iou的边界框进行匹配，根据目标匹配的结果，更新老人目标的跟踪信息，包括边界框位置、速度、运动状态等，使用卡尔曼滤波、kalman-iou等方法进行跟踪的状态估计和更新，重复对后续帧中的老人目标进行检测、iou计算、目标匹配，从而实现对所述目标图像中的老人目标的跟踪更新。采用iou匹配进行老人目标跟踪具有简单、实时性好、鲁棒性高、连续性跟踪和目标关联性等优势，适用于老人监护、行为分析和安全监控等场景。
80.s32：将所述目标图像输入预训练的目标检测模型中，输出老人预设部位图像，其中，预设部位图像包括手部和躯干部图像；
81.具体地，使用yolov8s目标检测算法对图像进行处理，以检测老人的手部和躯干部，其中，所述手部指手掌，躯干部指身体和四肢(除手掌之外)，根据目标检测的结果，从图
像中提取出老人的头部、手部和身体躯干区域，通过使用目标的边界框信息来截取相应的图像区域，输出老人预设部位图像，其中，预设部位图像包括手部和躯干部图像；yolov8s算法具有较高的定位和识别准确性，能够准确地检测出老人的头部、手部和身体躯干，提供可靠的目标位置信息，同时，yolov8s算法具有较快的处理速度和较高的计算效率，适用于实时应用场景，可以在实时视频流中快速检测老人的不同身体部位。通过检测头部、手部和身体躯干，可以获取老人不同身体部位的特征信息，从而提供更全面和多样化的分析依据。
82.s33：对所述躯干部图像和手部图像进行光流场计算，输出躯干部图像的平均光流场和手部图像的中心光流场作为所述运动特征信息。
83.具体地，使用光流算法(例如lucas-kanade算法、farneback算法等)计算躯干部图像中各个像素点的光流向量，光流向量表示了相邻帧之间像素点的运动方向和速度，对躯干部图像中的所有像素点的光流向量进行求平均操作，得到躯干部图像的平均光流向量值。这可以通过将所有光流向量的x和y分量进行累加，再除以像素点数量来实现；根据手部图像中心点区域的位置，提取该区域的光流向量。可以选择手部中心点为中心，以一定的区域范围为半径提取该区域内的光流向量。通过计算躯干部图像的平均光流向量值，可以获得整体躯干部位的运动信息。这有助于判断老人的整体运动状态和运动模式，例如是否出现异常运动或徘徊行为。老年人通常因为身体的衰老和机能减退而运动比较缓慢，由于光流法是一种基于像素位移计算的方法，它对于缓慢运动非常敏感，即使老人的动作较为缓慢，光流法也能有效地捕捉到这些微小的位移，从而实现对其运动特征的提取；老年人的运动往往较为缓慢，而且很多情况下需要实时监测，以防止潜在的意外发生，光流法具有实时处理图像的能力，能够在视频流中实时提取运动特征，及时反馈老人的动作状态，以便及早采取必要的措施。尽管老人的运动较为缓慢，但光流法的位移计算精度较高，能够准确地捕捉像素之间的微小位移，这种精准度使得光流法在跟踪老人的运动轨迹和动作变化方面表现出色，有助于提供更准确的行为监测和分析结果，光流法是一种基于图像处理的技术，不需要对老人进行额外的传感器佩戴或干预，这种非侵入性使得光流法在老人的行为监测中更容易被接受和应用，不会给老人带来不适或困扰；通过计算手部图像中心点区域的光流速度场，可以获得手部运动的具体特征。手部四肢运动可能与手部区域的运动不一致，因此通过分析手部中心点区域的光流速度场，可以更准确地捕捉手部的运动信息。
84.s4：依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；
85.具体地，依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；通过对预设的老人异常行为进行检测，可以提前发现可能存在的问题或紧急情况。及时的预警可以促使相关人员采取适当的措施，以确保老人的安全和健康。
86.在一实施例中，请参见图4，所述s4包括：
87.s41：获取预设的老人异常行为，其中，所述老人异常行为至少包括以下行为之一：老人异常徘徊、老人无法站立和老人手部颤抖；
88.具体地，老年人可能因为认知功能下降而注意力不集中，出现异常徘徊行为，忘记自己的目的地或迷失方向，例如认知障碍：老年痴呆症等认知障碍疾病可能导致老人迷路和徘徊，因为他们难以记住环境和方向；抑郁或焦虑：情绪问题可能导致老人有意无意地徘徊，以寻求舒适或缓解情绪；生活环境改变：老年人可能因为住所改变或身边亲人的减少而迷茫和徘徊；老年人也可能由于骨骼疾病(如骨折)、肌肉萎缩或关节炎等问题而无法站立；
中风、帕金森病等神经系统疾病可能影响老人的平衡和站立能力；其中，帕金森病的主要症状之一就是手部颤抖，可能导致老人难以控制手部动作。首先，根据具体应用需求和关注的老人异常行为，预设一组老人异常行为的定义和规则，例如针对上述问题设置老人异常徘徊、老人无法站立和老人手部颤抖；具体地，根据实际需求，也可以灵活定义和调整预设的老人异常行为，根据特定场景和老人群体的特点进行定制，提高检测的准确性和适应性。
89.s42：获取预设的时间间隔，依据所述时间间隔内所述平均光流场的方差，当判断老人躯干部存在反复运动时，识别为所述老人异常徘徊行为；
90.在一实施例中，请参见图5，所述s42包括：
91.s421：获取所述时间间隔和预设的第一光流场阈值；
92.s422：对所述时间间隔内的所述平均光流场进行计算，输出所述平均光流场的方差；
93.s423：当所述方差大于所述第一光流场阈值时，识别为所述老人异常徘徊行为。
94.具体地，利用光流场l1代表预设时间间隔内躯干部图像的平均光流场，身体躯干部位包含了大部分的核心和平衡支持区域，在老年人的异常行为监测中，关注身体躯干的运动特征对于预防摔倒和评估姿势的稳定性至关重要，身体躯干部位的运动更加整体化，平均光流场能够捕捉到整体运动趋势和方向，帮助判断老人的行动是否在一个方向上稳定。如果在一个时间窗口内l1的方差超过设定阈值，那么我们可以认为可能存在徘徊行为：定义身体躯干部分在时间t到t+δt内的光流场为l1(t,t+δt)，设定一个第一光流场阈值th1，若var[l1(t,t+δt)]》th1，则判断存在老人异常徘徊行为；其中，var[]表示方差，t代表当前时间，δt代表设定的时间窗口，具体取决于实验来决定，th1是设定的第一光流场阈值，如果在δt时间内身体的位置变化超过这个阈值，那么就认为存在老人异常徘徊行为；光流场的方差是基于实时视频流计算得出的，可以实时监测老人的行为，通过连续地计算光流场的方差，可以对老人的行为进行持续跟踪和监测，及时发现异常徘徊行为，同时，通过设定合适的第一光流场阈值，可以根据光流场的方差来判断身体位置变化的程度，当方差超过阈值时，可以较准确地识别出老人的异常徘徊行为，提高了检测的精准性和灵敏性，具体设定第一光流场阈值和时间窗口的大小可以根据实际情况进行调整，不同老人、不同环境和不同需求可能有不同的阈值和时间窗口设置，这样可以提高算法的适应性和可调性。
[0095]
s43：依据所述时间间隔内所述平均光流场的第一平均值和所述中心光流场的第二平均值，识别所述老人无法站立行为；
[0096]
在一实施例中，请参见图6，所述s43包括：
[0097]
s431：获取预设的第二光流场阈值和第三光流场阈值；
[0098]
s432：对所述时间间隔内的所述平均光流场和中心光流场进行计算，输出所述第一平均值和第二平均值；
[0099]
s433：当所述第一平均值小于所述第二光流场阈值且所述第二平均值大于所述第三光流场阈值时，识别为所述老人无法站立行为。
[0100]
具体地，利用光流场l2代表手部图像的中心光流场，手部是人体最灵活和精细的部位之一，它在老人日常生活中进行各种细微的动作，如捏取、握紧、书写等，使用中心光流场可以更加敏感地检测到手部中心点周围像素的细微运动，帮助捕捉手部的精细动作特
征；在老人的行为监测中，可能会有整体的摄像头或图像运动，如镜头的移动或相机的抖动，使用中心光流场可以部分去除这些整体运动的影响，将重点放在手部图像本身的细微运动上，减少不必要的干扰。老人无法站起指的是他的身体躯干应该会保持相对小范围运动，即l1会很小，同时，他可能会试图用手来支撑，所以l2会变大，当mean[l1(t，t+δt)]《th2且mean[l2(t,t+δt)]》th3时，判断为老人无法站立行为，其中，mean表示求平均值，t是当前时间，δt是设定的时间窗口，th2和th3是设定的第二光流场阈值和第三光流场阈值。利用光流场来分析手部图像的运动特征，可以更加准确地识别老人无法站立的行为，将其与其他异常行为进行区分，提高检测的准确性和可靠性；通过综合考虑光流场的两个方向(l1和l2)，可以更好地捕捉到老人无法站立行为的特征，避免仅仅依赖单一特征造成的误判。通过设定合适的第二光流场阈值和第三光流场阈值，可以根据实际情况对行为进行灵活调整，提高算法的适应性和可调性。
[0101]
s44：依据所述时间间隔内所述中心光流场，当判断老人手部存在微弱运动时，识别为所述老人手部颤抖行为。
[0102]
在一实施例中，请参见图7，所述s44包括：
[0103]
s441：获取预设的第四光流场阈值；
[0104]
s442：对所述时间间隔内的所述中心光流场进行傅里叶变换，输出中心光流场对应的频率分量；
[0105]
s443：对各所述频率分量进行比较，当频率分量的最大值大于所述第四光流场阈值时，识别为所述手部颤抖行为。
[0106]
具体地，老人手部颤抖指的是老人手部发生异常，其手不自觉地颤抖，其行为可能会导致l2频繁地在一个较小的范围内变化：设定一个时间区间，统计这段时间内手部的光流场；计算手部光流的快速傅里叶变换；当max[freq(l2(t,t+δt))]》th4时，判断为可能的手抖行为；其中，freq表示快速傅里叶变换后的频率分量，t是当前时间，δt是设定的时间窗口，th4是设定的第四光流场阈值，max表示最大值。利用光流场和频率分量的变化来判断手部颤抖行为，可以准确识别老人手部异常情况，及时发现可能存在的健康问题；通过进行快速傅里叶变换，可以提取手部光流场中的频率信息，将手部颤抖行为与其他运动行为进行区分，提高检测的准确性和可靠性；设定适当的第四光流场阈值th4，可以根据实际情况对手部颤抖行为进行判断，避免误判或漏判的情况发生。
[0107]
s5：依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。
[0108]
具体地，当识别到老人的异常行为时，系统可以通过合适的方式向用户发出安全提醒。例如，通过移动应用程序、短信、电话或警报系统等方式向用户发送通知，提醒他们关注老人的情况，通过实时监测老人的行为，并在识别到异常行为时立即发出安全提醒，确保能够及时采取措施处理可能的紧急情况；通过向用户发送安全提醒，可以增强老人看护的安全性，帮助用户及时关注老人的健康和安全状况，避免潜在风险和事故的发生。
[0109]
实施例2
[0110]
请参见图8，本发明实施例2还提供了一种老人异常行为实时检测装置，所述装置包括：
[0111]
实时图像获取模块，用于获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；
[0112]
老人识别模块，用于对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；
[0113]
在一实施例中，所述老人识别模块包括：
[0114]
上半身位置获取单元，用于依据目标检测算法，对各所述图像进行检测，输出人体的上半身位置信息；
[0115]
上半身特征提取单元，用于依据所述上半身位置信息，利用目标分类网络对人体的上半身区域进行特征提取，输出人体的上半身特征信息；
[0116]
上半身特征分类单元，用于将所述上半身特征信息输入预训练的分类器中，输出分类结果；
[0117]
目标图像获取单元，用于依据所述分类结果，当各所述实时图像中被分类为老人的图像帧数大于预设的图像帧数时，获取所述目标图像。
[0118]
运动特征提取模块，用于对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；
[0119]
在一实施例中，所述运动特征提取模块包括：
[0120]
老人跟踪单元，用于利用目标匹配算法，对所述目标图像中的老人进行跟踪；
[0121]
老人预设部位图像获取单元，用于将所述目标图像输入预训练的目标检测模型中，输出老人预设部位图像，其中，预设部位图像包括手部和躯干部图像；
[0122]
光流场计算单元，用于对所述躯干部图像和手部图像进行光流场计算，输出躯干部图像的平均光流场和手部图像的中心光流场作为所述运动特征信息。
[0123]
老人异常行为检测模块，用于依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；
[0124]
在一实施例中，所述老人异常行为检测模块包括：
[0125]
老人异常行为获取单元，用于获取预设的老人异常行为，其中，所述老人异常行为至少包括以下行为之一：老人异常徘徊、老人无法站立和老人手部颤抖；
[0126]
老人异常徘徊识别单元，用于获取预设的时间间隔，依据所述时间间隔内所述平均光流场的方差，当判断老人躯干部存在反复运动时，识别为所述老人异常徘徊行为；
[0127]
第一光流场阈值获取子单元，用于获取所述时间间隔和预设的第一光流场阈值；
[0128]
方差计算子单元，用于对所述时间间隔内的所述平均光流场进行计算，输出所述平均光流场的方差；
[0129]
老人异常徘徊检测子单元，用于当所述方差大于所述第一光流场阈值时，识别为所述老人异常徘徊行为。
[0130]
老人无法站立识别单元，用于依据所述时间间隔内所述平均光流场的第一平均值和所述中心光流场的第二平均值，识别所述老人无法站立行为；
[0131]
在一实施例中，所述老人无法站立识别单元包括：
[0132]
第二光流场阈值和第三光流场阈值获取子单元，用于获取预设的第二光流场阈值和第三光流场阈值；
[0133]
第一平均值和第二平均值计算子单元，用于对所述时间间隔内的所述平均光流场和中心光流场进行计算，输出所述第一平均值和第二平均值；
[0134]
老人无法站立行为检测子单元，用于当所述第一平均值小于所述第二光流场阈值
且所述第二平均值大于所述第三光流场阈值时，识别为所述老人无法站立行为。
[0135]
老人手部颤抖识别单元，用于依据所述时间间隔内所述中心光流场，当判断老人手部存在微弱运动时，识别为所述老人手部颤抖行为。
[0136]
在一实施例中，所述老人手部颤抖识别单元包括：
[0137]
第四光流场阈值获取子单元，用于获取预设的第四光流场阈值；
[0138]
频率分量计算子单元，用于对所述时间间隔内的所述中心光流场进行傅里叶变换，输出中心光流场对应的频率分量；
[0139]
手部颤抖行为检测子单元，用于对各所述频率分量进行比较，当频率分量的最大值大于所述第四光流场阈值时，识别为所述手部颤抖行为。
[0140]
安全提醒模块，用于依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。
[0141]
具体地，本发明实施例2提供的老人异常行为实时检测装置，所述装置包括：实时图像获取模块，用于获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；老人识别模块，用于对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；运动特征提取模块，用于对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；老人异常行为检测模块，用于依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；安全提醒模块，用于依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。本装置通过对实时视频流进行分析和异常行为检测，分析老人的运动特征信息和异常行为，获取对老人个体化的了解，从而准确地检测出老人的异常行为，一旦检测到老人的异常行为，系统可以向用户发送安全提醒，及时的安全提醒和干预措施有助于减少事故和突发情况对老人健康和安全的威胁，提升用户的老人看护体验。
[0142]
实施例3
[0143]
另外，结合图1描述的本发明实施例1的老人异常行为实时检测方法可以由电子设备来实现。图9示出了本发明实施例3提供的电子设备的硬件结构示意图。
[0144]
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
[0145]
具体地，上述处理器可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
[0146]
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
[0147]
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种老人异常行为实时检测方法。
[0148]
在一个示例中，电子设备还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
[0149]
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
[0150]
总线包括硬件、软件或两者，将所述设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
[0151]
实施例4
[0152]
另外，结合上述实施例1中的老人异常行为实时检测方法，本发明实施例4还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种老人异常行为实时检测方法。
[0153]
综上所述，本发明实施例提供了一种老人异常行为实时检测方法、装置、设备及存储介质。
[0154]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0155]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0156]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0157]
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

技术特征：
1.一种老人异常行为实时检测方法，其特征在于，所述方法包括：s1：获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；s2：对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；s3：对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；s4：依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；s5：依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。2.根据权利要求1所述的老人异常行为实时检测方法，其特征在于，所述s2包括：s21：依据目标检测算法，对各所述图像进行检测，输出人体的上半身位置信息；s22：依据所述上半身位置信息，利用目标分类网络对人体的上半身区域进行特征提取，输出人体的上半身特征信息；s23：将所述上半身特征信息输入预训练的分类器中，输出分类结果；s24：依据所述分类结果，当各所述实时图像中被分类为老人的图像帧数大于预设的图像帧数时，获取所述目标图像。3.根据权利要求1所述的老人异常行为实时检测方法，其特征在于，所述s3包括：s31：利用目标匹配算法，对所述目标图像中的老人进行跟踪；s32：将所述目标图像输入预训练的目标检测模型中，输出老人预设部位图像，其中，预设部位图像包括手部和躯干部图像；s33：对所述躯干部图像和手部图像进行光流场计算，输出躯干部图像的平均光流场和手部图像的中心光流场作为所述运动特征信息。4.根据权利要求3所述的老人异常行为实时检测方法，其特征在于，所述s4包括：s41：获取预设的老人异常行为，其中，所述老人异常行为至少包括以下行为之一：老人异常徘徊、老人无法站立和老人手部颤抖；s42：获取预设的时间间隔，依据所述时间间隔内所述平均光流场的方差，当判断老人躯干部存在反复运动时，识别为所述老人异常徘徊行为；s43：依据所述时间间隔内所述平均光流场的第一平均值和所述中心光流场的第二平均值，识别所述老人无法站立行为；s44：依据所述时间间隔内所述中心光流场，当判断老人手部存在微弱运动时，识别为所述老人手部颤抖行为。5.根据权利要求4所述的老人异常行为实时检测方法，其特征在于，所述s42包括：s421：获取所述时间间隔和预设的第一光流场阈值；s422：对所述时间间隔内的所述平均光流场进行计算，输出所述平均光流场的方差；s423：当所述方差大于所述第一光流场阈值时，识别为所述老人异常徘徊行为。6.根据权利要求4所述的老人异常行为实时检测方法，其特征在于，所述s43包括：s431：获取预设的第二光流场阈值和第三光流场阈值；s432：对所述时间间隔内的所述平均光流场和中心光流场进行计算，输出所述第一平均值和第二平均值；s433：当所述第一平均值小于所述第二光流场阈值且所述第二平均值大于所述第三光流场阈值时，识别为所述老人无法站立行为。
7.根据权利要求4所述的老人异常行为实时检测方法，其特征在于，所述s44包括：s441：获取预设的第四光流场阈值；s442：对所述时间间隔内的所述中心光流场进行傅里叶变换，输出中心光流场对应的频率分量；s443：对各所述频率分量进行比较，当频率分量的最大值大于所述第四光流场阈值时，识别为所述手部颤抖行为。8.一种老人异常行为实时检测装置，其特征在于，所述装置包括：实时图像获取模块，用于获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；老人识别模块，用于对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；运动特征提取模块，用于对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；老人异常行为检测模块，用于依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；安全提醒模块，用于依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本发明涉及老人异常行为实时检测技术领域，解决了现有技术中无法准确地对老人异常行为进行实时检测，用户的老人看护体验差的问题，提供了一种老人异常行为实时检测方法、装置、设备及存储介质。该方法包括：获取老人看护场景下的实时视频流，将所述实时视频流分解为多帧实时图像；对各所述实时图像进行特征提取，依据提取出的人体特征信息，获取包含老人的目标图像；对各所述目标图像进行运动分析，输出老人预设部位的运动特征信息；依据所述运动特征信息，对预设的老人异常行为进行检测，输出检测结果；依据所述检测结果，当识别为老人异常行为时，向用户发出安全提醒。本发明实现了对老人异常行为的实时准确的检测，提升了用户的老人看护体验。用户的老人看护体验。用户的老人看护体验。


技术研发人员：陈辉 熊章 张智 胡国湖 张青军 杜沛力
受保护的技术使用者：武汉星巡智能科技有限公司
技术研发日：2023.07.24
技术公布日：2023/10/15