一种基于YOLO-MobileNet的电动车入梯行为识别方法及设备

一种基于yolo-mobilenet的电动车入梯行为识别方法及设备
技术领域
1.本发明属于目标检测领域，具体涉及一种基于yolo-mobilenet的电动车入梯行为识别方法。


背景技术：

2.2017年消防《火灾报告表》中将火灾诱发原因分为9种，其中与电动车起火事故有关的电气火灾事故占总比的35％，电动车在晚上20点至翌日凌晨5点之间的火灾产生数约占总数的67％。目前，小区为防止电动车入户充电的现象，安排保安在小区内按时巡逻或在监控室实时监控，效率低下，占用资源多，为了降低楼宇内火灾发生风险，很有必要对电动车驶入电梯的行为进行实时检测并提出警告，现阶段对电动车入梯行为提出了基于cnn、rcnn等算法，但其模型较大，速度较慢，而yolo(you only look once)算法由于其单阶段的特性，在实时性要求高的情况下更为优秀。


技术实现要素：

3.为了解决现有技术中存在的问题，本发明提供一种基于yolo-mobilenet的电动车入梯行为识别方法，解决原始yolo算法参数量大、计算效率低的问题。
4.为了实现上述目的，本发明采用的技术方案是：一种基于yolo-mobilenet的电动车入梯行为识别方法，包括以下步骤：
5.加载最优模型对采集到的电梯内图片数据进行预测；
6.所述最优模型判断并获得各检测目标的类别、置信度和对应的目标框坐标信息，进而得到是否有电动车入梯行为；
7.所述最优模型以yolov5网络作为基础网络，使用mobilenetv3代替cpsdarknet作为主干网络，并使用更轻量级的ulsam注意力模块替换原有的se注意力模块，生成yolo-mobilenet网络，对yolo-mobilenet网络进行训练得到最优模型。
8.具体模型构建包括以下步骤：
9.(3)构建深度可分离卷积结构，通过深度可分离卷积将普通卷积分解为一个深度卷积和一个点卷积；
10.(4)在(1)的基础上构建倒残差结构和线性瓶颈结构；在倒残差结构中，先使用1
×
1卷积实现升维，再通过3
×
3的深度可分离卷积提取特征，最后使用1
×
1卷积实现降维，调换降维和升维的顺序，并将3
×
3的标准卷积换为深度可分离卷积，呈两头小、中间大的梭形结构，在最后一个卷积使用线性激活函数替换原残差结构的relu6激活函数；
11.在线性瓶颈残差结构中加入ulsam注意力模块，得到mobilenetv3的网络结构，改进后的mobilenetv3的网络结构替换yolov5主干特征提取网络cspdarknet53，从而构建出基于yolo-mobilenet的目标检测模型，对基于yolo-mobilenet的目标检测模型进行训练得到最优模型。
12.所述最优模型以下步骤训练得到：采集电梯内行人、电动车、自行车图像构建数据
集，对图像按照行人、电动车、婴儿车、轮椅和自行车进行分类和标注，得到带有类别标签的数据集；
13.引入ulsam注意力模块改进mobilenetv3网络模型；
14.基于改进mobilenetv3网络模型，构建yolo-mobilenet电动车入梯行为检测模型；
15.从带有类别标签的数据集中取出训练集、测试集和验证集；对yolo-mobilenet电动车入梯行为检测模型进行训练和测试，得到最优模型。
16.对yolo-mobilenet电动车入梯行为检测模型进行训练和测试包括以下步骤：
17.(1)从训练集中所有目标编号的文件中提取所需信息得到train.txt文件：
18.(2)从验证集中所有目标编号的文件中提取所需信息得到val.txt文件；
19.(3)使用model加载yolo-mobilenet预训练权重；
20.(4)设定输入网络的图片的宽m、高h和计数变量e并赋值；
21.(5)设置adam作为网络的优化函数和训练参数；
22.进行模型训练并更新网络模型的参数，得到最优检测模型。
23.所述yolo-mobilenet的目标检测模型中，设置二元交叉熵损失函数用作计算网络的置信度和分类损失函数，平方差损失函数作为网络的回归损失函数，三者相加得到网络的损失函数model_loss。
24.线性瓶颈残差结构中加入ulsam注意力模块时，将通道数为m的输入特征分为g组，每组包含g个特征映射图，在每个子空间中，首先通过深度可分离卷积处理输入特征，并仅采用1
×
1的逐点卷积进行处理，再通过softmax激活函数进行特征扩展，之后将输入特征进行逐点分配权重和残差处理，输出与输入一样的特征维度，最终将各个子空间输出的特征进行拼接，即为最终的输出特征。
25.检测时将采集到的图片处理为尺寸大小为640
×
640的rgb图像作为输入。
26.另外，还提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述基于yolo-mobilenet的电动车入梯行为识别方法的部分步骤或所有步骤。
27.同时提供一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于yolo-mobilenet的电动车入梯行为识别方法。
28.与现有技术相比，本发明至少具有以下有益效果：
29.本发明在yolov5算法的基础上对其主干特征提取网络引入mobilenetv3轻量化模块进行替换，参数量由702万下降到502万，模型复杂程度由15.8gflops下降到11.3gflops，提高了模型效率，满足实时检测的条件，又在此基础上采用轻量级子空间注意力模块ulsam(ultra-lightweight subspace attention module for compact convolutional neural networks)替代mobilenetv3中的se注意力模块，进一步降低开销，减少了网络的特征图中的空间和通道中的冗余，参数量下降到450万，且map50依旧变化不大。改进的算法可以在电梯环境下，不影响识别率的基础上，显著降低模型的参数量，很大程度上提高了模型效率。改进的算法适用于目标检测领域。
附图说明
30.图1为本发明的结构图。
31.图2为获取电动车入梯行为(electricbike)数据集流程图。
32.图3为搭建yolo-mobilenet网络模型流程图。
33.图4为使用electricbike数据集训练yolo-mobilenet网络模型流程图。
34.图5为加载最优模型用于真实场景下的电动车入梯行为检测的流程图。
35.图6为ulsam注意力模块结构图。
具体实施方式
36.在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
37.目标检测算法yolo，一次性在特征图上生成检测框和类别信息，实现端对端的目标检测，其最大特点是在速度上有了极大提升满足实时检测需求。由于yolo系列算法采用单阶段检测，相对于rcnn、fast r-cnn，检测速度更快。yolo系列中yolo v5在检测速度更快的同时还提高了检测精度，更适用于对电动车入梯行为的检测。
38.mobilenet与其他轻量级网络相比，它极大程度上减少参数量，又因为有网络自动搜索架构的优化，mobilenetv3轻量级网络模型的学习能力突出，参数合理，同时也具备良好的模型精度和效率。在mobilenet-v3中，se(squeeze-and-excitation)注意力模块是其一大亮点，能够使模型的注意力更容易集中于目标上，但因为se使用的使全连接层，增加网络的总参数量，并没有太符合mobilenet-v3轻量级的特性。超轻量级子空间注意力模块(ulsam)是一种用于紧凑型cnn的新型注意力块，采用ulsam轻量级注意力模块替代se解决该问题，并且能够在多尺度、多频率特征学习的同时实现跨信道信息的高效学习问题，作为轻量级注意力模块，能够减少网络模型中的参数量。
39.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述，参考图1，包括：
40.步骤1：构建电动车入梯行为数据集
41.采集电梯内行人、电动车、自行车等图像构建数据集。具体实施过程中，使用电梯内置摄像机实时拍摄，并保存拍到的图像，共获得3800张图片。对图像按照行人、电动车、婴儿车、轮椅和自行车进行分类和标注，得到带有类别标签的数据集，按照8：1：1的比例将数据集划分为训练集、测试集和验证集，参考图2；
42.步骤2：构建mobilenetv3网络模型
43.mobilenetv3是一个以深度可分离卷积核为基本结构的深度卷积神经网络，每一个深度可分离卷积核都由深度卷积核和点卷积核组成。mobilenetv3网络整体结构包括1个卷积核大小为3
×
3的卷积层、15个倒残差模块、3个卷积核大小为3
×
3的卷积层，具体构建步骤是：
44.(5)构建深度可分离卷积结构，通过深度可分离卷积将普通卷积分解为一个深度卷积和一个点卷积；
45.(6)在(1)的基础上构建倒残差结构和线性瓶颈结构；在倒残差结构中，先使用1
×
1卷积实现升维，再通过3
×
3的深度可分离卷积提取特征，最后使用1
×
1卷积实现降维。与传统残差结构相比，调换了降维和升维的顺序，并将3
×
3的标准卷积换为深度可分离卷积，呈两头小、中间大的梭形结构。此外，在最后一个卷积使用线性激活函数替换原残差结构的relu6激活函数，从而保证在低精度时也能保有很好的数值分辨率。
46.(7)在线性瓶颈残差结构中加入ulsam注意力模块。由图6所示，将通道数为m的输入特征分为g组，每组包含g个特征映射图。在每个子空间中，首先通过深度可分离卷积处理输入特征，并仅采用一个1
×
1的逐点卷积进行处理，再通过softmax激活函数进行特征扩展，之后将输入特征进行逐点分配权重和残差处理，输出与输入一样的特征维度，最终将各个子空间输出的特征进行拼接，即为最终的输出特征，参考图3；
47.步骤3：构建yolo-mobilenet电动车入梯行为检测模型：
48.(1)将改进后的mobilenetv3的网络结构替换yolov5主干特征提取网络cspdarknet53，从而构建出基于yolo-mobilenet的目标检测模型；
49.(2)设置二元交叉熵损失函数用作计算网络的置信度和分类损失函数，平方差损失函数作为网络的回归损失函数，三者相加得到网络的损失函数model_loss。
50.步骤4：网络模型训练和测试，参考图4，
51.(6)从训练集中所有目标编号的文件中提取所需信息得到train.txt文件：
52.(7)从验证集中所有目标编号的文件中提取所需信息得到val.txt文件；
53.(8)使用model加载yolo-mobilenet预训练权重；
54.(9)定义输入网络的图片的宽m、高h和计数变量e并赋值；
55.(10)设置adam作为网络的优化函数，训练次数epoch为300，初始学习率lr为0.011，批大小batch-size为8；
56.(11)进行模型训练并更新网络模型的参数；
57.(12)训练300次后，保存模型权重，模型训练结束。
58.参考图5，步骤5：保存最优模型用于真实场景下的电动车入梯行为检测具体步骤如下：
59.(1)采集并处理原始数据使其符合模型的要求，输入尺寸大小为640
×
640的rgb图像；
60.(2)加载最优模型对输入网络中的图片进行预测；
61.(3)判断并获得各检测目标的类别、置信度和对应的目标框坐标信息。
62.综上所述：本发明公开一种基于mobilenetv3的轻量化电动车入梯行为检测方法，加载最优模型对采集到的电梯内图片数据进行预测；判断并获得各检测目标的类别、置信度和对应的目标框坐标信息，进而得到是否有电动车入梯行为；最优模型以yolov5网络作为基础网络，使用mobilenetv3代替cpsdarknet作为主干网络，并使用更轻量级的ulsam注意力模块替换原有的se注意力模块，生成yolo-mobilenet网络，对yolo-mobilenet网络进行训练得到最优模型；较初始的yolov5网络，参数数量由7023610下降到4584397，下降了34.8％，模型复杂度由15.8gflops下降到10.9gflops，下降了约32％。本发明在检测精度基本不变的情况下，极大的降低了网络的模型大小和参数量，为真实场景下的电动车入梯行为检测提供了良好的解决方案。
63.当有物体进入电梯时，通过电梯内置摄像头采集并处理原始数据，使其符合输入
要求，随后加载最优模型对输入网络中的图片进行预测，判断其是否为电动车，并获得各检测目标的类别、置信度和对应的目标框坐标信息。
64.本发明还提供一种计算机设备，包括但不限于一个或多个处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述基于yolo-mobilenet的电动车入梯行为识别方法的部分步骤或所有步骤。
65.一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于yolo-mobilenet的电动车入梯行为识别方法。
66.所述计算机设备可以采用笔记本电脑、平板电脑、桌面型计算机、手机或工作站。处理器可以是中央处理器(cpu)、数字信号处理器(dsp)、专用集成电路(asic)或现成可编程门阵列(fpga)。
67.对于本发明所述存储器，可以是笔记本电脑、平板电脑、桌面型计算机、手机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。

技术特征：
1.一种基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，包括以下步骤：加载最优模型对采集到的电梯内图片数据进行预测；所述最优模型判断并获得各检测目标的类别、置信度和对应的目标框坐标信息，进而得到是否有电动车入梯行为；所述最优模型以yolov5网络作为基础网络，使用mobilenetv3代替cpsdarknet作为主干网络，并使用轻量级的ulsam注意力模块替换原有的se注意力模块，生成yolo-mobilenet网络，对yolo-mobilenet网络进行训练得到最优模型。2.根据权利要求1所述的基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，具体模型构建包括以下步骤：(1)构建深度可分离卷积结构，通过深度可分离卷积将普通卷积分解为一个深度卷积和一个点卷积；(2)在(1)的基础上构建倒残差结构和线性瓶颈结构；在倒残差结构中，先使用1
×
1卷积实现升维，再通过3
×
3的深度可分离卷积提取特征，最后使用1
×
1卷积实现降维，调换降维和升维的顺序，并将3
×
3的标准卷积换为深度可分离卷积，呈两头小、中间大的梭形结构，在最后一个卷积使用线性激活函数替换原残差结构的relu6激活函数；在线性瓶颈残差结构中加入ulsam注意力模块，得到mobilenetv3的网络结构，改进后的mobilenetv3的网络结构替换yolov5主干特征提取网络cspdarknet53，从而构建出基于yolo-mobilenet的目标检测模型，对基于yolo-mobilenet的目标检测模型进行训练得到最优模型。3.根据权利要求1所述的基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，所述最优模型以下步骤训练得到：采集电梯内行人、电动车、自行车图像构建数据集，对图像按照行人、电动车、婴儿车、轮椅和自行车进行分类和标注，得到带有类别标签的数据集；引入ulsam注意力模块改进mobilenetv3网络模型；基于改进mobilenetv3网络模型，构建yolo-mobilenet电动车入梯行为检测模型；从带有类别标签的数据集中取出训练集、测试集和验证集；对yolo-mobilenet电动车入梯行为检测模型进行训练和测试，得到最优模型。4.根据权利要求3所述的基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，对yolo-mobilenet电动车入梯行为检测模型进行训练和测试包括以下步骤：(1)从训练集中所有目标编号的文件中提取所需信息得到train.txt文件：(2)从验证集中所有目标编号的文件中提取所需信息得到val.txt文件；(3)使用model加载yolo-mobilenet预训练权重；(4)设定输入网络的图片的宽m、高h和计数变量e并赋值；(5)设置adam作为网络的优化函数和训练参数；进行模型训练并更新网络模型的参数，得到最优检测模型。5.根据权利要求1所述的基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，所述yolo-mobilenet的目标检测模型中，设置二元交叉熵损失函数用作计算网络的置信度和分类损失函数，平方差损失函数作为网络的回归损失函数，三者相加得到网络的损失函数model_loss。
6.根据权利要求1所述的基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，线性瓶颈残差结构中加入ulsam注意力模块时，将通道数为m的输入特征分为g组，每组包含g个特征映射图，在每个子空间中，首先通过深度可分离卷积处理输入特征，并仅采用1
×
1的逐点卷积进行处理，再通过softmax激活函数进行特征扩展，之后将输入特征进行逐点分配权重和残差处理，输出与输入一样的特征维度，最终将各个子空间输出的特征进行拼接，即为最终的输出特征。7.根据权利要求1所述的基于yolo-mobilenet的电动车入梯行为识别方法，其特征在于，检测时将采集到的图片处理为尺寸大小为640
×
640的rgb图像作为输入。8.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现权利要求1-7任一项所述基于yolo-mobilenet的电动车入梯行为识别方法的部分步骤或所有步骤。9.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现权利要求1-7任一项所述的基于yolo-mobilenet的电动车入梯行为识别方法。

技术总结
本发明公开一种基于MobileNetv3的轻量化电动车入梯行为检测方法及设备，方法具体为：加载最优模型对采集到的电梯内图片数据进行预测；所述最优模型判断并获得各检测目标的类别、置信度和对应的目标框坐标信息，进而得到是否有电动车入梯行为；所述最优模型以YOLOv5网络作为基础网络，使用MobileNetv3代替CPSDarknet作为主干网络，并使用更轻量级的ULSAM注意力模块替换原有的SE注意力模块，生成YOLO-MobileNet网络，对YOLO-MobileNet网络进行训练得到最优模型；较初始的YOLOv5网络，参数数量下降了34.8％，模型复杂度下降了约32％。本发明在检测精度基本不变的情况下，极大的降低了网络的模型大小和参数量，为真实场景下的电动车入梯行为检测提供了良好的解决方案。方案。方案。


技术研发人员：石明翰 高晓 马宗方 贾露枭
受保护的技术使用者：西安建筑科技大学
技术研发日：2023.06.09
技术公布日：2023/9/9