一种基于轻量化网络的违规停车识别方法与流程

1.本发明涉及计算机视觉处理技术领域，具体为一种基于轻量化网络的违规停车识别方法。


背景技术：

2.违规占用车道停车长期以来给道路交通管理带来了巨大的压力。大量的违规停车增加了道路拥堵，降低了出行效率，带来了大量安全隐患。
3.现有技术中，不少城市开始使用视频抓拍工具对违章停车行为进行抓拍，但目前部署的摄像头以记录监控为主，并不能做到实时识别违规现象并做出提醒，这方案虽然提供了较为广泛的覆盖范围和长时间不间断的检测。
4.但是，大量的数据获取依赖于大量的抓拍工具，这对硬件要求提出了巨大的挑战；监控设备的分布区域有限，无监控设备的区域的违停检测主要靠交警、安保工作人员的人工巡检。


技术实现要素：

5.本发明的目的在于提供一种基于轻量化网络的违规停车识别方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于轻量化网络的违规停车识别方法，所述违规停车识别方法包括以下步骤：
7.s1、构建车辆违规停放数据集；
8.s2、搭建轻量级车辆违停识别网络；
9.s3、基于数据集对模型进行训练，得到收敛模型；
10.s4、模型量化，移动端部署；
11.s5、测试图像输入，输出分类结果。
12.优选的，在步骤s1中，收集各种场景下的车辆违规停放数据，场景范围包括但不限于：工业园区、居民小区、交通道路；场景范围包括白天及夜间的数据和图像，对于夜间的车辆和图像；车辆类别包括但不限于小汽车、公交车、自行车、电动车、卡车。
13.优选的，构建车辆违规停放数据集时，使用labelimg标注工具对数据集进行标注，得到标注数据集；对数据集进行数据扩充，方式包括但不限于：随机旋转、水平平移、垂直平移、缩放、水平反转；对扩充后的数据集进行训练集、验证集划分，划分比例8：2。
14.优选的，在步骤s2中，轻量级车辆违停识别算法模型mobilevit-dfc，包括cnn特征提取模块和transformer编码解码模块；主干网络backbone以mobilevit网络作为主干特征提取网络，transformer编码器是检测器中的neck，对backbone提取的特征做增强。
15.优选的，所述mobilevit-dfc网络包括conv 3
×
3模块，及相互堆叠mobilenetv3模块和mobilevit模块；mobilenetv3模块基于轻量化mobilenetv3网络进行构建，使用一个conv+bn+h_swish及n个benck结构提取特征；benck结构使用cbam注意力机制模块，对输入
进来的特征层分别进行通道注意力模块和空间注意力模块的处理。
16.优选的，使用h-swish激活函数，公式为：h-swish[x]＝x*relu6(x+3)/6；x表示输入值，relu6表示激活函数；mobilevit模块依次包括：1个dwconv3
×
3模块，1个conv 1
×
1模块，n个transformer模块,1个conv 1
×
1模块,1个conv 1
×
1模块；深度可分离卷积网络用于进行局部特征提取；transformer模块用于进行全局特征提取；深度可分离卷积网络分为两个过程，逐通道卷积depthwise convolution，dwconv和逐点卷积；提取的局部特征与提取的全局特征进行第一次融合，conv 1
×
1模块用于将第一次融合特征的通道数调整到与输入通道数相同，并与输入特征进行第二次融合，输出最终融合特征；所述全局特征在整个图像中共享信息；transformer部分包括编码器和解码器；核心为模块中的编码器-解码器注意力机制，解码器当前时刻的向量与所有编码器向量注意力加权后的结果进行拼接，并通过一个全连接层处理，得到最终输出向量。
[0017]
优选的，在步骤s2中，对cnn提取的特征进行图像序列化处理，以此作为transformer模块的输入，具体地将输入图像裁剪为固定尺寸的图像块，进行线性映射，得到多个一维向量，并给每一个向量添加一个位置编码。
[0018]
优选的，在步骤s4中，违章信息采集终端采用移动终端，如手机、平板电脑。
[0019]
与现有技术相比，本发明的有益效果是：
[0020]
本发明提出的基于轻量化网络的违规停车识别方法，构建数据集，完成数据标注、扩充及划分；搭建轻量级车辆违停识别网络；利用训练数据集对模型进行训练；模型量化处理，移动端部署测试，输出分类结果。本发明融合了卷积神经网络和vision transformer，解耦全连接注意力机制，有效提取融合图像局部信息和全局信息；模型量化处理降低模型参数，可部署到便携的移动终端实现对违规停车地实时检测和通报。
附图说明
[0021]
图1是本发明的基于轻量化网络的违规停车识别方法流程图
[0022]
图2是本发明的mobilevit-dfc网络结构示意图
[0023]
图3是本发明的mobilenetv3模块结构示意图
[0024]
图4是本发明的mobilevit模块结构示意图
[0025]
图5是本发明的dfc模块结构示意图。
具体实施方式
[0026]
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0027]
实施例一
[0028]
请参阅图1至图5，本发明提供一种技术方案：一种基于轻量化网络的违规停车识别方法，所述违规停车识别方法包括以下步骤：
[0029]
s1、构建车辆违规停放数据集；
[0030]
s2、搭建轻量级车辆违停识别网络；
[0031]
s3、基于数据集对模型进行训练，得到收敛模型；
[0032]
s4、模型量化，移动端部署；
[0033]
s5、测试图像输入，输出分类结果；
[0034]
在步骤s1中，收集各种场景下的车辆违规停放数据，场景范围包括但不限于：工业园区、居民小区、交通道路等；场景范围包括白天及夜间的数据和图像，对于夜间的车辆和图像；车辆类别包括但不限于小汽车、公交车、自行车、电动车、卡车等；
[0035]
以办公园区为例：违规停车情况包括禁停路段、交叉路口、人行横道、应急车道等；
[0036]
使用labelimg标注工具对所述数据集进行标注，得到标注数据集；
[0037]
对所述数据集进行数据扩充，方式包括但不限于：随机旋转、水平平移、垂直平移、缩放、水平反转等。
[0038]
对扩充后的数据集进行训练集、验证集划分，划分比例8：2；
[0039]
在步骤s2中，所述轻量级车辆违停识别算法模型mobilevit-dfc，主要包括cnn特征提取模块和transformer编码解码模块；主干网络backbone以mobilevit网络作为主干特征提取网络，transformer编码器可以看作是检测器中的neck，用来对backbone提取的特征做增强。
[0040]
所述mobilevit-dfc网络包括conv 3
×
3模块，及相互堆叠mobilenetv3(mv3)模块和mobilevit模块；
[0041]
所述mobilenetv3模块，基于轻量化mobilenetv3网络进行构建，使用一个cbh(conv+bn+h_swish)及n个benck结构提取特征；benck结构使用cbam注意力机制模块，对输入进来的特征层分别进行通道注意力模块和空间注意力模块的处理。
[0042]
为了便于在移动设备上应用降低计算开销，使用h-swish激活函数，公式为：h-swish[x]＝x*relu6(x+3)/6；x表示输入值，relu6表示激活函数；
[0043]
所述mobilevit模块依次包括：1个dwconv 3
×
3模块，1个conv 1
×
1模块，n个transformer模块,1个conv 1
×
1模块,1个conv 1
×
1模块。
[0044]
深度可分离卷积网络用于进行局部特征提取；transformer模块用于进行全局特征提取；深度可分离卷积网络分为两个过程，逐通道卷积(depthwise convolution，dwconv)和逐点卷积。图中表示为1个dwconv 3
×
3模块，1个conv 1
×
1模块；
[0045]
提取的局部特征与提取的全局特征进行第一次融合，conv 1
×
1模块用于将第一次融合特征的通道数调整到与输入通道数相同，并与输入特征进行第二次融合，输出最终融合特征；所述全局特征在整个图像中共享信息，
[0046]
所述transformer部分包括编码器和解码器；核心为模块中的编码器-解码器注意力机制，解码器当前时刻的向量与所有编码器向量注意力加权后的结果进行拼接，并通过一个全连接层处理，得到最终输出向量。
[0047]
所述全连接层(full-connection，fc)部分，基于解耦全连接注意力机制(decoupled fully connected,dfc)，
[0048]
具体地，将一个fc层分解为水平fc和垂直fc，分别沿水平和垂直方向聚集不同位置的像素，获得更大的感受野。在水平和垂直方向上向下取样来减小特征的大小，特征的宽度和高度被缩放为原始长度的一半，减少dfc计算参数；
[0049]
dfc的输出结果经激活函数sigmoid处理，目的是将注意力矩阵的输出结果标准化到0-1之间.
[0050]
在步骤s2中，对cnn提取的特征进行图像序列化处理，以此作为transformer模块的输入，具体地将输入图像裁剪为固定尺寸的图像块，进行线性映射，得到多个一维向量，并给每一个向量添加一个位置编码；
[0051]
具体地，使用滑动窗口来生成像素重叠的图像块。设窗口滑动步长为s，图像块大小为p，则两相邻图像块重叠的区域为(p-s)
×
p。尺寸为h
×w×
c的输入图像被分割为n个图像块：
[0052]
将所有的位置编码过的图像块按照一定规则进行打乱，然后再进行分组。使每个组中包含来自图片不同区域的图像块，近似等效于每个组都有比较全局的感受野。
[0053]
在步骤s4中，违章信息采集终端采用移动终端，如手机、平板电脑等。
[0054]
为了降低部署难度，对算法模型进行量化处理，具体包括网络层的张量融合及整型量化：将参数相同的conv层、bn层和h_swish层组合成一个更宽的cbh层；模型部署推理过程中，张量精度使用int8精度。
[0055]
实施例二
[0056]
在实施例一的基础上，以工厂区域为例，收集厂区车牌信息并存储在服务器的数据库中；具体地，数据库信息包括，车主姓名，车牌号，车主电话等；现有识别车辆类别，均挂有车牌。
[0057]
针对无监控设备的区域的违规停车行为，厂区巡检人员携带移动端检测设备，拍照识别违规车辆、具体地包括，远距离拍摄车辆及周围场景，近距离拍摄车牌信息，根据数据库中已有的车牌信息查询出违规车辆的车主信息；将违规信息通过短信方式推送给车主，提示车辆当前停车地点为违规停车区域，警告车主及时进行挪车。违规信息短信通知：xx车主，您的车牌为xx的xx车辆(此处输出车辆类别：汽车、公交车等)，违规停在了xx区域，请尽快移走车辆。
[0058]
本发明提出的轻量化模型可以有效地在资源有限的移动端设备上成功部署并投入到交通监管系统中使用，减少了车辆违章事故的同时保证了道路畅通，缓解交管人员工作压力。
[0059]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于轻量化网络的违规停车识别方法，其特征在于：所述违规停车识别方法包括以下步骤：s1、构建车辆违规停放数据集；s2、搭建轻量级车辆违停识别网络；s3、基于数据集对模型进行训练，得到收敛模型；s4、模型量化，移动端部署；s5、测试图像输入，输出分类结果。2.根据权利要求1所述的一种基于轻量化网络的违规停车识别方法，其特征在于：在步骤s1中，收集各种场景下的车辆违规停放数据，场景范围包括但不限于：工业园区、居民小区、交通道路；场景范围包括白天及夜间的数据和图像，对于夜间的车辆和图像；车辆类别包括但不限于小汽车、公交车、自行车、电动车、卡车。3.根据权利要求2所述的一种基于轻量化网络的违规停车识别方法，其特征在于：构建车辆违规停放数据集时，使用labelimg标注工具对数据集进行标注，得到标注数据集；对数据集进行数据扩充，方式包括但不限于：随机旋转、水平平移、垂直平移、缩放、水平反转；对扩充后的数据集进行训练集、验证集划分，划分比例8：2。4.根据权利要求1所述的一种基于轻量化网络的违规停车识别方法，其特征在于：在步骤s2中，轻量级车辆违停识别算法模型mobilevit-dfc，包括cnn特征提取模块和transformer编码解码模块；主干网络backbone以mobilevit网络作为主干特征提取网络，transformer编码器是检测器中的neck，对backbone提取的特征做增强。5.根据权利要求4所述的一种基于轻量化网络的违规停车识别方法，其特征在于：所述mobilevit-dfc网络包括conv 3
×
3模块，及相互堆叠mobilenetv3模块和mobilevit模块；mobilenetv3模块基于轻量化mobilenetv3网络进行构建，使用一个conv+bn+h_swish及n个benck结构提取特征；benck结构使用cbam注意力机制模块，对输入进来的特征层分别进行通道注意力模块和空间注意力模块的处理。6.根据权利要求5所述的一种基于轻量化网络的违规停车识别方法，其特征在于：使用h-swish激活函数，公式为：h-swish[x]＝x*relu6(x+3)/6；x表示输入值，relu6表示激活函数；mobilevit模块依次包括：1个dwconv3
×
3模块，1个conv 1
×
1模块，n个transformer模块,1个conv 1
×
1模块,1个conv 1
×
1模块；深度可分离卷积网络用于进行局部特征提取；transformer模块用于进行全局特征提取；深度可分离卷积网络分为两个过程，逐通道卷积depthwise convolution，dwconv和逐点卷积；提取的局部特征与提取的全局特征进行第一次融合，conv 1
×
1模块用于将第一次融合特征的通道数调整到与输入通道数相同，并与输入特征进行第二次融合，输出最终融合特征；所述全局特征在整个图像中共享信息；transformer部分包括编码器和解码器；核心为模块中的编码器-解码器注意力机制，解码器当前时刻的向量与所有编码器向量注意力加权后的结果进行拼接，并通过一个全连接层处理，得到最终输出向量。7.根据权利要求6所述的一种基于轻量化网络的违规停车识别方法，其特征在于：在步骤s2中，对cnn提取的特征进行图像序列化处理，以此作为transformer模块的输入，具体地将输入图像裁剪为固定尺寸的图像块，进行线性映射，得到多个一维向量，并给每一个向量添加一个位置编码。
8.根据权利要求1所述的一种基于轻量化网络的违规停车识别方法，其特征在于：在步骤s4中，违章信息采集终端采用移动终端，如手机、平板电脑。

技术总结
本发明涉及计算机视觉处理技术领域，具体为一种基于轻量化网络的违规停车识别方法，包括以下步骤：S1、构建车辆违规停放数据集；S2、搭建轻量级车辆违停识别网络；S3、基于数据集对模型进行训练，得到收敛模型；S4、模型量化，移动端部署；S5、测试图像输入，输出分类结果；有益效果为：本发明提出的基于轻量化网络的违规停车识别方法，构建数据集，完成数据标注、扩充及划分；搭建轻量级车辆违停识别网络；利用训练数据集对模型进行训练；模型量化处理，移动端部署测试，输出分类结果。本发明融合了卷积神经网络和vision transformer，解耦全连接注意力机制，有效提取融合图像局部信息和全局信息。信息。信息。


技术研发人员：杨彤 李雪 段强 姜凯
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2023.05.17
技术公布日：2023/8/23