基于跟踪算法的视频图像多人自适应跳绳智能计数方法

1.本发明涉及计算机视觉领域的一种视频图像运动计数方法，尤其涉及视频图像的基于跟踪算法的视频图像多人自适应跳绳智能计数方法。


背景技术：

2.跳绳是一种传统的体质锻炼与测试项目，目前，跳绳项目已经被纳入中小学体育测试的必考项目。因此，准确且方便的进行跳绳计数尤为重要。
3.目前，现有的跳绳测试与计数方法大致分为三类：1)人工计数，按秒表统计时间，通过肉眼观察跳绳次数；2)利用机械装置计数，例如跳绳计数器；3)识别人体骨骼关键点外加规则判断的跳绳计数方法。
4.传统人工跳绳计数方法，当跳绳速度较快、计数人员注意力不集中等很容易出现计数错误；另一方面一个跳绳者配一个计数员耗费大量的人力无力；
5.跳绳计数器普遍是采用齿轮转动机械计数原理，能自动记录跳绳次数。这种方法可以满足日常运动的计数需要，极大地减少了人力计数的不便，但是由于内部结构的不够精确，该种计数方式有时会出现一定的偏差；
6.使用识别人体骨骼关键点外加规则判断的跳绳计数方法虽然在使用方面比传统机械跳绳有优势。但目前更多的还是对单人跳绳计数；极少数多人的跳绳计数，例如申请号202110732141.2的专利，该方法在绑定跳绳测试者的位置，但在跳绳过程中位置肯定是会移动因此会造成一定的误差；另一方面不能动态的支持多人测试(人数一至多人以及先准备好的先测试分别计时计数)，与实际的使用场景有一定的出入；再者该方法在人脸识别方面未做限制，会识别画面中所有人员，测试人员容易被非干扰以及造成资源浪费。


技术实现要素：

7.为了解决背景技术中存在的问题，本发明提供了一种基于跟踪算法的视频图像多人自适应跳绳智能计数方法，以解决现有多人跳绳计数方法精度不高以及与实际使用不匹配的问题。
8.本发明方法通过跟踪算法实时追踪跳绳测试同学的位置；多人跳绳测试的信号分开触发，多人分别计数，该方法可以实现动态和静态的一至多人的同时跳绳测试。
9.本发明的目的是通过以下技术方案来实现的，包括如下步骤：
10.多人在跳绳前处于相机的视野中，通过相机实时拍摄多人跳绳的视频，在跳绳开始前跳绳测试的每个人作出举手动作，举手动作后再进行跳绳，对视频进行分析检测获得每个人的跳绳数：
11.(1)通过检测视频中的举手动作触发人脸识别算法，再通过人脸识别算法对举手动作的每个人作为测试者进行人脸识别获得身份；
12.(2)在人脸识别成功获得身份后，记录测试者的初始位置，在跳绳过程中跟踪算法实时动态追踪每位测试者的位置，但不绑定第一帧中测试者的位置；
13.(3)针对每个测试者，基于视频获取所有测试者的骨骼关键点，根据跟踪算法的位置信息区分骨骼关键点对应的测试者，再根据骨骼关键点进行波形分析得到实时的跳绳计数。
14.所述步骤(1)包括用nanodet算法将视频中作出举手动作的人检测出来并获得人框bbox，再送入到人脸识别模型中进行人脸识别，进而获得人的身份。
15.所述步骤(2)包括利用sort跟踪算法记录nanodet算法检测出的人框bbox在第一帧时的初始位置，同时用卡尔曼滤波对在第一帧时的所有人框bbox进行过滤得到更加准确的bbox，再利用匈牙利算法将相邻两帧的人框bbox的位置进行匹配跟踪。
16.通过卡尔曼滤波利用预测的值和测量得到的观测值进行数据融合，找到“最优”的估计值，解决了通过目标检测得到的bbox会不可避免的带有噪声、导致bbox的位置不够精确的问题。
17.所述步骤(3)包括如下子步骤：
18.本发明是通过nanodet算法将视频图像中所有的测试者检测出来，根据sort跟踪算法提供每个测试者的位置信息，过滤掉非测试人员。
19.从nanodet出来的bbox是无序的，根据sort跟踪算法提供每个测试者的位置信息，每个测试者匹配到自己的人框bbox，确定各个人框bbox属于哪个测试者。
20.3.1)把每个测试者的人框bbox截出来重建成统一的尺寸，送入到骨骼关键点模型检测获得骨骼关键点；
21.3.2)根据骨骼关键点获得关键点信息和阈值，以时间为横坐标、关键点信息为纵坐标绘制得到每位测试者的轨迹波形图；
22.所述关键点信息为双肩骨骼关键点坐标的平均值，所述的阈值为眼睛骨骼关键点到鼻子骨骼关键点的距离。
23.3.3)对每一位测试者的轨迹波形图中的波峰和波谷进行统计分析，每经历一个波峰和波谷，如果波峰到波谷的距离大于阈值则跳绳的个数加1，从而实现跳绳计数。
24.本发明的技术方案可以概括为：
25.1.本发明是一种人脸识别和跳绳计数相结合的方法，在跳绳测试前先人脸识别出测试者身份以便可以自动记录测试者分数。
26.2.本发明提出了一种触发开始测试信号的方式，通过检测出画面中举手动作的人员作为即将跳绳测试的人员，可以有效的过滤掉画面中的非测试人员；
27.3.本发明基于sort跟踪算法，实时动态的跟踪测试者的位置，采用先准备好先测试的原则。可以实现多人的跳绳计数，可以实现多人分别计时、计数。
28.4.本发明包括一种跳绳计数的数据处理方式，是基于测试者肩膀关键点的轨迹波形图中的波峰和波谷进行统计分析，能够快速准确地得到每位测试者的实时跳绳个数。
29.本发明的有益效果是：
30.本发明通过举手触发开始测试信号，可以有效过滤掉画面种非测试人员的干扰，大大提高测试的效率，同时保证高精度。
31.本发明首次提出了基于sort跟踪算法的多人跳绳计数方法，不必事先绑定测试的位置，可以实现同时多人的多人动态的跳绳计数，可以实现多人分别计时、计数，效果优于现有方法，且具有通用性强、使用简便等优点。
32.本发明能更好的适用于实际的复杂场景，能动态的支持同时多个测试者，能过滤非跳绳测试人员的干扰，使用方便且精度高。
附图说明
33.图1为本发明实施例提供的多人跳绳测试智能计数方法的流程示意图；
34.图2为本发明方案实施例开始跳绳时站位的示意图；
35.图3为人体关键点以及波形图图。
具体实施方式
36.下面结合附图和具体实施对本发明作进一步说明。
37.如图1所示，本发明方法的具体实施执行流程包括以下步骤：
38.多人在跳绳前处于相机的视野中，人完整出现在相机的视野，通过相机实时拍摄多人跳绳的视频，在跳绳开始前跳绳测试的每个人作出举手动作，举手动作后再进行跳绳，对视频进行分析检测获得每个人的跳绳数，如图2所示：
39.(1)通过检测视频中的举手动作触发人脸识别算法，再通过人脸识别算法对举手动作的每个人作为测试者进行人脸识别获得身份；
40.这样在跳绳开始前，跳绳测试的每个人通过举手动作触发人脸识别算法，识别跳绳测试的每个人的身份；这样只识别举手动作的人员。
41.举手动作表示进行跳绳，未举手动作表示不进行跳绳。
42.步骤(1)包括用nanodet算法将视频中作出举手动作的人检测出来并获得人框bbox(bounding box，简称bbox)，再送入到人脸识别模型中进行人脸识别，进而获得人的身份。
43.具体实施中，人脸识别采用resnet模型和arcface损失函数。nanodet以一定频率检测。
44.在人脸识别过程中通过搜索预设的人脸数据库，将摄像头采集到的人脸图片的向量与对比库中的人脸向量进行一一匹配，当匹配度高于某一设定阈值时，如高于85％时，表示匹配成功。若同时有多张人脸数据库中的人脸照片匹配成功时，则取匹配度最高的一张作为最终匹配结果，从而确定测试者身份。
45.若人脸识别失败，则重新检测人脸进行人脸识别，同一个人最多检测三次，检测三次后还是失败则提示该人不在人脸识别库中，则人工进行身份确认。
46.在跳绳测试开始之前，要确定每一位跳绳测试的身份，但是画面中肯定不光光只有待测试者，还会有其他人员。设置举手动作作为一个触发动作，出发用nanodet算法将举手动作的人检测出来，举手动作的人代表为即将进行跳绳测试的人员，后续只会检测触发举手动作的人员，可以很好地过滤非测试者。
47.(2)在人脸识别成功获得身份后，记录测试者的初始位置，在跳绳过程中跟踪算法实时动态追踪每位测试者的位置，但不绑定第一帧中测试者的位置；
48.步骤(2)包括利用sort跟踪算法记录nanodet算法检测出的人框bbox在第一帧时的初始位置，同时用卡尔曼滤波对在第一帧时的所有人框bbox进行过滤得到更加准确的bbox，再利用匈牙利算法将相邻两帧的人框bbox的位置进行匹配跟踪，即将t帧的人框bbox
与t-1帧的人框bbox两两匹配，这样跟踪完成下不需要绑定测试者第一帧的位置，可以动态地追踪到测试者。
49.在具体实施中，人脸识别成功后画面中显示321开始跳，通过本发明方法对每位测试者分开计时、计数，测试者数量只需要在画面中可以站的下即可。
50.每位测试者是分开计时、计数的，先准备好的先开始测试；并不要求所有测试者同时一起测试。这得益于测试者不要绑定第一帧的位置，而是相邻两帧的位置进行匹配跟踪，测试者的数量并不需要固定，可以支持多个测试者，只需要在画面中可以站的下即可。
51.(3)针对每个测试者，基于视频获取所有测试者的骨骼关键点，根据跟踪算法的位置信息区分骨骼关键点对应的测试者，再根据骨骼关键点进行波形分析得到实时的跳绳计数。
52.3.1)把每个测试者的人框bbox截出来重建成统一的尺寸，送入到骨骼关键点模型检测获得骨骼关键点；
53.具体实施中，把每个测试者的人框bbox截出来resize成统一的尺寸(256*256)，送入到movenet骨骼关键点模型中，把人体的17个关键点都检测出来，包括(nose,left_eye,right_eye,left_ear,right_ear,left_shoulder,right_shoulder,left_elbo w,right_elbow,left_wrist,right_wrist,left_ship,right_ship,left_knee,right_knee,left_an kle,right_ankle，如图3)；
54.3.2)根据骨骼关键点获得双肩骨骼关键点坐标的平均值作为关键点信息和眼睛骨骼关键点到鼻子骨骼关键点的距离作为阈值，以时间为横坐标、关键点信息为纵坐标绘制得到每位测试者的轨迹波形图，如图3；
55.3.3)对每一位测试者的轨迹波形图中的波峰和波谷进行统计分析，每经历一个波峰和波谷，如果波峰到波谷的距离大于阈值则跳绳的个数加1，从而实现跳绳计数。
56.对波形分析之前，还进行滤波过滤异常值，具体操作为：若当前帧与前一帧关键点y坐标值的之间差值小于某个值则跳过当前帧。开始测试时记录波谷的y坐标值bottom，后续计算起跳的高度diff_up为当前帧与波谷的距离；如果当前帧到波谷的距离小于前一帧，则前一帧为波峰up。后续同理得到波谷。每经历一个波峰和波谷，如果波峰到波谷的距离大于阈值则跳绳的个数加1。
57.本发明实施例在jetson nx边缘设备上运行，相机型号为海康威视3t87wda3-ls2.8mm，在以上设备上实现本发明的实施实列。
58.由此实施可见，本发明方法通过跟踪算法实时追踪跳绳测试同学的位置；多人跳绳测试的信号分开触发，多人分别计数，方法可以实现动态的一至多人的同时跳绳测试。

技术特征：
1.一种基于跟踪算法的视频图像多人自适应跳绳智能计数方法，其特征在于：多人在跳绳前处于相机的视野中，通过相机实时拍摄多人跳绳的视频，在跳绳开始前跳绳测试的每个人作出举手动作，举手动作后再进行跳绳，对视频进行分析检测获得每个人的跳绳数：(1)通过检测视频中的举手动作触发人脸识别算法，再通过人脸识别算法对举手动作的每个人作为测试者进行人脸识别获得身份；(2)在人脸识别成功获得身份后，记录测试者的初始位置，在跳绳过程中跟踪算法实时动态追踪每位测试者的位置，但不绑定第一帧中测试者的位置；(3)针对每个测试者，基于视频获取所有测试者的骨骼关键点，根据跟踪算法的位置信息区分骨骼关键点对应的测试者，再根据骨骼关键点进行波形分析得到实时的跳绳计数。2.根据权利要求1所述的一种基于跟踪算法的视频图像多人自适应跳绳智能计数方法，其特征在于：所述步骤(1)包括用nanodet算法将视频中作出举手动作的人检测出来并获得人框bbox，再送入到人脸识别模型中进行人脸识别，进而获得人的身份。3.根据权利要求1所述的一种基于跟踪算法的视频图像多人自适应跳绳智能计数方法，其特征在于：所述步骤(2)包括利用sort跟踪算法记录nanodet算法检测出的人框bbox在第一帧时的初始位置，同时用卡尔曼滤波对在第一帧时的所有人框bbox进行过滤得到更加准确的bbox，再利用匈牙利算法将相邻两帧的人框bbox的位置进行匹配跟踪。4.根据权利要求1所述的一种基于跟踪算法的视频图像多人自适应跳绳智能计数方法，其特征在于：所述步骤(3)包括如下子步骤：3.1)把每个测试者的人框bbox截出来重建成统一的尺寸，送入到骨骼关键点模型检测获得骨骼关键点；3.2)根据骨骼关键点获得关键点信息和阈值，以时间为横坐标、关键点信息为纵坐标绘制得到每位测试者的轨迹波形图；3.3)对每一位测试者的轨迹波形图中的波峰和波谷进行统计分析，每经历一个波峰和波谷，如果波峰到波谷的距离大于阈值则跳绳的个数加1，从而实现跳绳计数。

技术总结
本发明公开了一种基于跟踪算法的视频图像多人自适应跳绳智能计数方法。在相机的视野实时拍摄多人跳绳的视频，开始前测试者作出举手动作，举手动作后再进行跳绳，通过举手动作触发人脸识别算法人脸识别获得身份；记录初始位置在跳绳过程中跟踪算法实时动态追踪位置，基于视频获取所有测试者的骨骼关键点，根据跟踪算法的位置信息区分骨骼关键点对应的测试者，再进行波形分析得到实时的跳绳计数。本发明通过跟踪算法实时追踪跳绳测试同学的位置；多人跳绳测试的信号分开触发，多人分别计数，可实现动态和静态的一至多人的同时跳绳测试，能更好适用于实际复杂场景，能过滤非跳绳测试人员的干扰，使用方便且精度高。使用方便且精度高。使用方便且精度高。


技术研发人员：赵俊博 黄清仪 杨赛赛 袁静 陈刚
受保护的技术使用者：浙江大学计算机创新技术研究院
技术研发日：2023.01.06
技术公布日：2023/7/13