一种实现社交距离检测的嵌入式系统

1.本发明涉及目标检测系统领域，具体是一种实现社交距离检测的嵌入式系统。


背景技术：

2.疫情期间保持社交距离是有效防控传染病传播的手段，在公共安全、交通监管等领域社交距离的监测也有重要的应用价值。近年由于人工智能等技术的发展，已经有不少监测社交距离的智能方法，如公布号为cn115861407a的中国专利文献公开了基于深度学习的安全距离检测方法及系统，该系统用深度学习方法判断带电设备与工作人员的距离是否满足安全距离，以保障操作安全。但该方法用于检测人与物之间的距离，而且如果该方法在计算机服务器上实现的时候还需要高速无线通讯等条件等，使用受到限制。
3.为实现便携式系统，有很多基于树莓派等的嵌入式深度学习方法得到了广泛应用，如公布号为cn115617171a的中国专利文献公开了基于树莓派和深度学习的便携式情绪识别系统及方法，该发明可以对多模态便携式情绪识别系统进行行驶模式选择，通过将采集到的人脸图像和脑电信号对情绪进行检测，并进行情绪识别，具有可移动性、便携性等优点。但该方法并没有对社交距离进行监测的功能。


技术实现要素：

4.本发明提供了一种实现社交距离检测的嵌入式系统，以解决现有技术无法实现人与人之间社交距离检测功能的问题。
5.为了达到上述目的，本发明所采用的技术方案为：
6.一种实现社交距离检测的嵌入式系统，部署有目标检测模型yolov8以及多目标跟踪模型deepsort；所述目标检测模型yolov8中的主干网络backbone模块替换为mobilenet v3轻量级网络，所述多目标跟踪模型deepsort为在sort上优化后的跟踪器；由训练好的目标检测模型yolov8实现对输入图像的目标识别、目标跟踪及社交距离计算，并由训练好的多目标跟踪模型deepsort实现对输入图像的多目标跟踪和单目视觉测距。
7.进一步的，所述目标检测模型yolov8采用粒子群优化算法在训练时优化超参数。
8.进一步的，所述目标检测模型yolov8采用随机擦除操作在训练时对训练集中的图像进行处理。
9.进一步的，所述目标检测模型yolov8的损失函数如下所示：
[0010][0011]
λ
coord
为定位损失系数；:
[0012]
(2-wi×hi
)：权重系数，目标长宽越小定位损失越大，用以增强对小型目标定位精度
[0013]
xi，yi，wi，hi：目标坐标以及长宽系数
[0014]
目标检测器获得的位置坐标、长宽的估计值
[0015]
进一步的，所述多目标跟踪模型deepsort中采用基于欧几里得距离的匈牙利算法实现多目标跟踪。
[0016]
进一步的，所述多目标跟踪模型deepsort中的联级匹配之前嵌入有特征提取网络作为reid模块，通过特征提取网络提取每个id的表观特征。
[0017]
进一步的，所述特征提取网络为cnn网络。
[0018]
进一步的，所述目标检测模型yolov8以及多目标跟踪模型deepsort转化为onnx格式的程序指令部署于嵌入式系统中。
[0019]
本发明参考轻量级可分离卷积核和通道注意力的思想，构建了bneck模块的结构，是一个反向残差结构(inverted residual structure)，中间的特征图通道数量较小，两侧的特征图通道数量较大。yolov8的骨干结构中，将原本的特征提取模块c2f替换成bneck结构，如图3所示。bneck结构先对输入进行升维，目的是扩充通道数，然后利用深度可分离卷积即dw卷积层提取特征，再降维输出，如图6所示。
[0020]
经过最先的升维操作，反向残差结构中间的特征图通道数量较大，两侧的特征图通道数量较小。在处理深度可分离卷积的过程中，提高了网络的特征提取能力，同时还提高了计算速度。与现有技术相比，本发明优点为：
[0021]
本发明通过将轻量化yolov8与改进的deepsort相结合的模型部署于嵌入式系统，可实现实时检测视频中人员间的社交距离，既可以满足实时性的要求，也可以在较小的成本和功耗下运行，并且可以为以后执行有保密性要求的任务奠定安全性的基础，本发明系统可以研制成便携设备，在防控疫情、公共安全及交通监控等领域有很高的应用价值。
附图说明
[0022]
图1为本发明实施例检测方法框架流程图。
[0023]
图2为本发明实施例中最优化超参数流程图。
[0024]
图3为本发明实施例中yolov8轻量化改进主干结构后的流程图。
[0025]
图4为本发明实施例改进后的deepsort流程图。
[0026]
图5为本发明实施例的树莓派迁移流程。
[0027]
图6为本发明实施例的反向残差结构图。
具体实施方式
[0028]
下面结合附图和实施例对本发明进一步说明。
[0029]
如图1所示，本实施例公开了一种实现社交距离检测的嵌入式系统，以树莓派为例，树莓派包括处理器和存储器，存储器中存储有程序指令，程序指令包括目标检测模型yolov8以及多目标跟踪模型deepsort。
[0030]
本实施例中，目标检测模型yolov8用于实现对输入图像的目标识别、目标跟踪及社交距离计算。目标检测模型yolov8是在现有技术yolov8模型的基础上借鉴mobilenet v3轻量级网络结构的思想进行了轻量化削减改进，如图3所示，将现有技术yolov8模型的主干网络backbone模块替换为mobilenet v3轻量级网络结构。
[0031]
本实施例中，目标检测模型yolov8在训练时采用粒子群优化算法优化超参数，如图2所示，粒子群优化算法具体过程如下：首先，将目标函数设定为map最大，将学习率、每层
神经元个数、batchsize、epoch等常用超参数设为变量；然后，初始化每个粒子；每个粒子中包含需要调试的超参数；接着在训练过程中评估每个粒子并得到全局最优解，并通过迭代运算求得相对最优解。
[0032]
本实施例中，目标检测模型yolov8针对人物轨迹重叠、可能会导致目标丢失的问题，在训练时采取了随机擦除操作对训练集中的图像进行处理，随机选择一个矩形区域并用随机值替换像素。
[0033]
本实施例中，目标检测模型yolov8的损失函数修改为如下公式所示：
[0034]
本实施例中，多目标跟踪模型deepsort用于实现对输入图像的多目标跟踪和单目视觉测距，多目标跟踪模型deepsort是在sort上优化后的跟踪器。如图4所示，为避免deepsort中的联系匹配计算以及iou匹配失败的问题，本实施例的多目标跟踪模型deepsort进行了以下改进,：
[0035]
(1)在现有技术多目标跟踪模型deepsort的匈牙利算法中采用传统的欧几里得距离进行多目标跟踪，以增强行人跟踪的持久性，公式如下：
[0036]
d(i,j)＝ρ(x
j-xi,y
j-yi)
[0037]
其中：
[0038]
xi，yi：目标所在位置坐标
[0039]
xj，yj：目标轨迹预测位置
[0040]
在进行多目标跟踪时设置阈值dmax，当d(i,j)≤dmax时匹配；否则，删除预测值，将观察框作为新目标并创建新轨迹。
[0041]
(2)嵌入reid模型，选择已预训练的特征提取网络作为reid模型嵌入到联级匹配之前，用以提取每个id的表观特征，特征提取网络采用cnn网络，可提取128维表观特征。
[0042]
本实施例中，目标检测模型yolov8、多目标跟踪模型deepsort在部署于树莓派之前，首先上传至服务器中进行训练，由此部署于树莓派的目标检测模型yolov8、多目标跟踪模型deepsort均为训练好的模型。
[0043]
如图5所示，本实施例中目标检测模型yolov8以及多目标跟踪模型deepsort最终转化为onnx格式(open neural network exchange)的程序指令部署于树莓派的存储器中。树莓派还集成有4g/5g模块，树莓派通过4g/5g模块获取待检测视频数据，由树莓派的处理器从存储器中读取并运行目标检测模型yolov8、多目标跟踪模型deepsort，并由目标检测模型yolov8、多目标跟踪模型deepsort配合对待检测视频数据处理以完成社交距离检测。
[0044]
如图1所示，本实施例的社交距离检测方法如下：
[0045]
步骤1、将单摄像头采集的视频输入至树莓派中，由树莓派中部署的目标检测模型yolov8进行目标检测，并对检测识别的人进行编号；
[0046]
步骤2、通过树莓派中部署的多目标跟踪模型deepsort实现对编号目标的实时跟踪，并判断是否存在两个及以上的标号；
[0047]
当存在两个及以上的编号，则由多目标跟踪模型deepsort定位并计算不同编号目标间的距离；
[0048]
当不存在两个及以上的编号，由多目标跟踪模型deepsort判断是否存在目标重叠，若存在目标重叠，则调用reid模型判别目标id，然后再定位并计算不同编号目标间的距离。
[0049]
以上结合附图详细描述了本发明的优选实施方式，本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，这种组合只要其不违背本发明的思想，其同样应当视为本公开所公开的内容。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
[0050]
本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内以及不脱离本发明设计思想的前提下，本领域技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

技术特征：
1.一种实现社交距离检测的嵌入式系统，其特征在于，部署有目标检测模型yolov8以及多目标跟踪模型deepsort；所述目标检测模型yolov8中的主干网络backbone模块替换为mobilenet v3轻量级网络，所述多目标跟踪模型deepsort为在sort上优化后的跟踪器；由训练好的目标检测模型yolov8实现对输入图像的目标识别、目标跟踪及社交距离计算，并由训练好的多目标跟踪模型deepsort实现对输入图像的多目标跟踪和单目视觉测距。2.根据权利要求1所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述目标检测模型yolov8采用粒子群优化算法在训练时优化超参数。3.根据权利要求1所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述目标检测模型yolov8采用随机擦除操作在训练时对训练集中的图像进行处理。4.根据权利要求1所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述目标检测模型yolov8的损失函数如下所示：λ
coord
为定位损失系数；(2-w
i
×
h
i
)：权重系数，目标长宽越小定位损失越大，用以增强对小型目标定位精度；x
i
，y
i
，w
i
，h
i
：目标坐标以及长宽系数；目标检测器获得的位置坐标、长宽的估计值。5.根据权利要求1所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述多目标跟踪模型deepsort中采用基于欧几里得距离的匈牙利算法实现多目标跟踪。6.根据权利要求1所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述多目标跟踪模型deepsort中的联级匹配之前嵌入有特征提取网络作为reid模块，通过特征提取网络提取每个id的表观特征。7.根据权利要求6所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述特征提取网络为cnn网络。8.根据权利要求1所述的一种实现社交距离检测的嵌入式系统，其特征在于，所述目标检测模型yolov8以及多目标跟踪模型deepsort转化为onnx格式的程序指令部署于嵌入式系统中。

技术总结
本发明公开了一种实现社交距离检测的嵌入式系统，部署有目标检测模型YOLOv8以及多目标跟踪模型DeepSORT；目标检测模型YOLOv8中的主干网络为MobileNet v3轻量级网络，多目标跟踪模型DeepSORT为在SORT上优化后的跟踪器；由训练好的目标检测模型YOLOv8、多目标跟踪模型DeepSORT配合海鲜社交距离检测。本发明可实现实时检测视频中人员间的社交距离，既可以满足实时性的要求，也可以在较小的成本和功耗下运行，有很高的应用价值。有很高的应用价值。有很高的应用价值。


技术研发人员：林峰 李灵烽
受保护的技术使用者：浙江大学
技术研发日：2023.06.09
技术公布日：2023/9/12