一种基于计算机视觉技术的车辆轴重分布识别方法

1.本发明属于车辆载荷识别技术领域，具体涉及一种基于计算机视觉技术的车辆轴重分布识别方法。


背景技术：

2.桥梁动态称重(bridge weigh-in-motion，bwim)技术是一种通过安装在线路桥梁上的传感器测量车辆荷载作用下的桥梁响应，然后基于桥梁响应进行计算，从而获取车辆重量以及车轴信息的车辆荷载识别技术。通过获取实时的桥梁响应，结合结构影响线理论，利用桥梁结构在交通荷载作用下的响应推算桥上的车辆荷载。桥梁动态称重在实际的桥梁运营管理中有广泛的应用前景，获取桥梁上的实际通行车辆荷载，对于交通数据的统计以及服役桥梁的安全评估具有重要意义。
3.目前市面上的bwim系统主要是基于moses算法的技术，其通过优化测量的桥梁响应和预测的桥梁响应之间的差异来获取车辆重量信息，优点是不需要较多的系统参数、实现简单、成本低廉等，也使之成为市面上多数bwim系统的首选。但仅仅拥有高效率和低成本的算法是远远不够的，众多的研究和实践表面，该技术还存在以下的局限性：一是bwim系统的传感器安装在桥梁结构上，无直接与车辆接触的情况，利用常规传感器能获取到的交通信息较少，仅仅能够获取实时的结构响应，对于车辆轴数、速度以及行进轨迹是没有办法直接探测到的，而这些信息对于车辆荷载识别是至关重要的；其次，就算能够获取车辆的轴数、速度以及行进路径等信息，也难以对单个对象的某个车轴重量进行预测，识别的误差较大。


技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于计算机视觉技术的车辆轴重分布识别方法。
5.为了达到上述目的，本发明采用以下技术方案：
6.一种基于计算机视觉技术的车辆轴重分布识别方法，包括以下步骤：
7.s1、采用yolov4模型构建视觉识别器，并对用yolov4模型进行优化；
8.s2、构建基于生成对抗网络的车辆轴重分布预测模型；
9.s3、构建视觉识别器的训练集，对视觉识别器进行训练并测试其性能；
10.s4、构建数据集，对车辆轴重分布预测模型进行训练，得到最佳的模型参数；
11.s5、将训练完成的视觉识别器和车辆轴重分布预测模型用于实际场景的车辆轴重分布预测识别。
12.本发明与现有技术相比，具有如下优点和有益效果：
13.1、本发明利用计算机视觉技术，精准获实时行驶的车辆信息，通过基于深度学习的计算机视觉技术，即使在复杂交通情况下，仍然可以从交通监控视频中实时而准确地获取桥上车辆的轴数、速度、类型以及空间位置，将识别出的车轴时空轨迹与桥梁的应变数据
相融合，进而为基于影响线理论反问题的桥梁动态称重算法提供必要的已知条件，作为重要的输入端信息输入车辆轴重预测的网络中，最后求解出桥上车辆的轴重的概率分布与车辆总重；本发明方法能够在复杂交通情况下准确地识别车辆重量，解决既有桥梁动态称重技术在复杂交通情况下精度显著下降的问题。
14.2、本发明在预测实时的车辆轴重时，采用生成对抗网络gan，利用了其强大的学习能力，建立了车辆轴重、车辆位置与桥梁应变之间的映射关系，通过约束方程最小化损失函数，得到最佳的参数后的预测模型能够大大提高以往的车辆轴重识别精度。
15.3、本发明方法还可用于识别桥上车辆的数量、类型、轴数、实时位置、运动轨迹、行驶速度等多粒度交通信息和桥梁结构的影响面等结构状态参数。
附图说明
16.图1是本发明方法的流程图；
17.图2是yolov4模型的优化流程图；
18.图3是生成对抗网络数据流框架示意图；
19.图4是生成对抗网络框架示意图；
20.图5是实施例中缩尺实验示意图；
21.图6是模拟实验桥梁结构响应时程示意图；
22.图7是生成对抗网络模拟生成的桥梁响应时程示意图；
23.图8是实施例中的实验一车辆轴重预测分布图；
24.图9是实施例中的实验二车辆轴重预测分布图；
25.图10是实施例中的实验三车辆轴重预测分布图。
具体实施方式
26.下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
27.实施例
28.如图1所示，本发明，一种基于计算机视觉技术的车辆轴重分布识别方法，包括以下步骤：
29.s1、采用yolov4模型构建视觉识别器，并对用yolov4模型进行优化；
30.采用yolov4模型构建视觉识别器，具体由五个部分组成：输入端(input)、主干网络(backbone)、颈部网络、头部网络(neck)以及输出端；输入端包含mosaic数据增强、cmbn、sat自对抗训练处理数据集；主干网络采用具有csp的darknet53；颈部网络用于融合不同尺寸特征图的特征信息；头部网络采用损失函数ciou_loss训练；输出端输出目标检测识别结果；
31.yolov4模型采用spp(spatial pyramid pooling)加pan(path aggregation network)进行解析。
32.如图2所示，采用通道剪枝对yolov4模型进行优化，具体为：
33.使用安装剪枝的库torch_pruning，对主干网络的卷积层根据需求进行适量剪枝，操作过程中包括确定剪枝率和选取权重；运行剪枝完毕后应备份好原始权重，后续对比优
化权重和原始权重继续优化网络。
34.s2、构建基于生成对抗网络的车辆轴重分布预测模型；
35.车辆轴重分布预测模型的输入包括观测到的桥梁结构响应ε
p
和通过视觉识别器识别的车辆信息t(n，v，a)；
36.车辆轴重分布预测模型的输出为生成的桥梁结构响应数据εg和生成的车辆轴重分布预测数据pg；
37.其中，ε
p
作为真实的桥梁结构响应观测数据，用于训练判别器d，同时在判别器d不断训练迭代优化的过程中，训练生成器g，最终完成生成对抗网络的训练；t(n，v，a)包含车辆的车轴数n、车辆行进速率v以及所在车道标号a，t(n，v，a)在生成车辆轴重分布预测数据pg时输入生成器g，车辆信息作为标签优化生成器；εg作为生成pg的中间数据输入，用以观测其与真实结构响应数据ε
p
的差异以确保生成器的性能；pg是由生成对抗网络输出的最终数据，为估计的车辆轴重完整的概率分布；pg生成过程需要结合建立的约束方程，pg和εg从某种分布的变量z通过函数和f
θ
(z)映射。
38.如图3和图4所示，车辆轴重分布预测模型的构建包括构建生成器g和判别器d、建立约束方程、生成器训练以及判别器训练；
39.构建生成器g和判别器d采用前馈神经网络fnn(feedforward neural network)；
40.构造生成器g和判别器d的前馈神经网络fnn由输入层、n个隐藏层以及输出层构成，整个网络中无反馈，信号从输入层向输出层单向传播；隐藏层的数量n根据需要设定，在训练过程中，采用梯度下降来训练模型参数。
41.建立约束方程，具体为：
42.由影响线理论，使用如下公式进行建立车辆轴重与桥梁结构响应的关系：
[0043][0044]
其中，n为车辆轴数，ii为车辆的第i个车轴所在处的应变影响线，pi为第i个车轴重；
[0045]
建立车辆在时间段t内的方程：
[0046][0047]
其中，k为时间步数，i为影响线矩阵，p是车辆轴重的向量；
[0048]
建立生成类εg与pg的约束方程：
[0049]rconstrain
＝ε
g-i(t)pg[0050][0051]
在生成模型的训练过程中，需要最小化损失函数以此确保生成的pg与实际中的车辆轴重p有一致的结果；
[0052]
由于车辆轴重pg必须是大于0的数值，采用relu函数来消除生成的负数pg的影响：
[0053][0054]
最终得到基于以上两个约束方程的损失函数来训练生成模型：
[0055][0056][0057]
生成器训练具体为：
[0058]
为了训练生成器，采用最小化生成结构响应的分布p
θ
(t)和实测桥梁响应的分布q
θ
(t)之间的kl散度：
[0059][0060]
由贝叶斯准则，将其简化为：
[0061][0062]
结合以上建立的约束方程，得生成模型的约束方程为：
[0063][0064]
其中，α为可调整的系数，决定约束方程在生成器训练过程的影响程度。
[0065]
判别器训练具体为：
[0066]
通过最小化判别器的二元交叉熵建立损失函数，即：
[0067]
ld(γ)＝-e[log(d
γ
(t,f
θ
(z)))]-e[log(1-d
γ
(t,ε
p
))]
[0068]
最终，车辆轴重分布预测模型训练目标为：
[0069][0070][0071]
s3、构建视觉识别器的训练集，对视觉识别器进行训练并测试其性能，具体为：
[0072]
对于视觉识别器的训练样本，采用人工标识方式对采集到监控视频中的桥梁上实时通行车辆进行标识，标明其所在车道，测量其实际速度以及车辆的轴数，构成训练集；
[0073]
设定检测误差阈值，用标识完毕的训练集对视觉识别器进行训练，得到一组符合要求的网络系数，具体操作步骤为：
[0074]
准备yolov4模型和数据集，其中数据集包括已人工标识的图像和未标识的图像；确定训练轮次，根据所使用的设备配置情况来确定图片的数量和工作的核心数，输入预设的误差阈值，以上步骤完成以及参数确定后，开始训练，训练完毕后得到的权重文件导入yolov4模型中。
[0075]
进行视觉识别器的性能测试，使用训练完毕后的视觉识别器进行目标识别测试，具体步骤为：
[0076]
通过人工标识车辆运行信息来准备测试集，采用训练后的视觉识别器对测试集进行识别，对比识别结果和人工标识的信息误差，若在误差允许范围内完成识别即确定其性能可靠；车辆运行信息包括轴数、速度、类型以及空间位置。
[0077]
s4、构建数据集，对车辆轴重分布预测模型进行训练，得到最佳的模型参数，具体为：
[0078]
安排车辆在多种不同荷载状况下行驶，以此采集真实的桥梁应变，将其作为gan中判别器的训练集，最小化损失函数ld(γ)后获得最佳参数。本实施例中，采用如下表1所示的4种荷载状况进行训练。
[0079][0080]
表1
[0081]
s5、将训练完成的视觉识别器和车辆轴重分布预测模型用于实际场景的车辆轴重分布预测识别。
[0082]
为了对本实施例方法进行验证，首先进行了缩尺桥梁模型试验。缩尺实验的布置如图5所示。该缩尺桥梁模型参照某高速公路三跨钢筋混凝土大箱梁桥进行设计，相似比为1:20，模型跨度长为1m+1m+1m，顶板宽度0.6m，底板宽0.4m，梁高0.07m，有3块腹板。
[0083]
车辆模型选用遥控三轴仿真卡车，与真实卡车之间的相似比为1:14。卡车模型宽12cm，从前往后轴距依次为18cm与8cm，前轴轴质量为1.47kg，后两轴轴质量之和为1.17kg。
[0084]
设置3组不同速度实验组，在中间车道处依次通过，具体设置如下表2所示：
[0085]
实验编号车轴1(kg)车轴2(kg)速度(m/s)所在车道11.471.170.05221.471.170.06231.471.170.072
[0086]
表2
[0087]
在模型的跨中梁底部安装3个dh1205型传感器，采样频率为50hz，3个应变器传感器采集到的桥梁模型结构响应如图6所示，生成对抗网络模拟生成的桥梁响应时程如图7所示。经过预测计算得到车辆轴重概率分布如图8、图9以及图10所示。从预测的车辆轴重分布结果可见，实验1相对于实验2、3的预测结果方差较小，置信度较高，可见本实施例方法在较低行驶速度条件下预测结果更佳。
[0088]
还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0089]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，包括以下步骤：s1、采用yolov4模型构建视觉识别器，并对用yolov4模型进行优化；s2、构建基于生成对抗网络的车辆轴重分布预测模型；s3、构建视觉识别器的训练集，对视觉识别器进行训练并测试其性能；s4、构建数据集，对车辆轴重分布预测模型进行训练，得到最佳的模型参数；s5、将训练完成的视觉识别器和车辆轴重分布预测模型用于实际场景的车辆轴重分布预测识别。2.根据权利要求1所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，采用yolov4模型构建视觉识别器，具体由五个部分组成：输入端、主干网络、颈部网络、头部网络以及输出端；输入端包含mosaic数据增强、cmbn、sat自对抗训练处理数据集；主干网络采用具有csp的darknet53；颈部网络用于融合不同尺寸特征图的特征信息；头部网络采用损失函数ciou_loss训练；输出端输出目标检测识别结果；yolov4模型采用spp加pan进行解析。3.根据权利要求1所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，步骤s1中，采用通道剪枝对yolov4模型进行优化，具体为：使用安装剪枝的库torch_pruning，对主干网络的卷积层根据需求进行适量剪枝，操作过程中包括确定剪枝率和选取权重；运行剪枝完毕后应备份好原始权重，后续对比优化权重和原始权重继续优化网络。4.根据权利要求1所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，车辆轴重分布预测模型的输入包括观测到的桥梁结构响应ε
p
和通过视觉识别器识别的车辆信息t(n，v，a)；车辆轴重分布预测模型的输出为生成的桥梁结构响应数据ε
g
和生成的车辆轴重分布预测数据p
g
；其中，ε
p
作为真实的桥梁结构响应观测数据，用于训练判别器d，同时在判别器d不断训练迭代优化的过程中，训练生成器g，最终完成生成对抗网络的训练；t(n，v，a)包含车辆的车轴数n、车辆行进速率v以及所在车道标号a，t(n，v，a)在生成车辆轴重分布预测数据p
g
时输入生成器g，车辆信息作为标签优化生成器；ε
g
作为生成p
g
的中间数据输入，用以观测其与真实结构响应数据ε
p
的差异以确保生成器的性能；p
g
是由生成对抗网络输出的最终数据，为估计的车辆轴重完整的概率分布；p
g
生成过程需要结合建立的约束方程，p
g
和ε
g
从某种分布的变量z通过函数和f
θ
(z)映射。5.根据权利要求4所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，车辆轴重分布预测模型的构建包括构建生成器g和判别器d、建立约束方程、生成器训练以及判别器训练；构建生成器g和判别器d采用前馈神经网络fnn；构造生成器g和判别器d的前馈神经网络fnn由输入层、n个隐藏层以及输出层构成，整个网络中无反馈，信号从输入层向输出层单向传播；隐藏层的数量n根据需要设定，在训练过程中，采用梯度下降来训练模型参数。6.根据权利要求5所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征
在于，建立约束方程，具体为：由影响线理论，使用如下公式进行建立车辆轴重与桥梁结构响应的关系：其中，n为车辆轴数，i
i
为车辆的第i个车轴所在处的应变影响线，p
i
为第i个车轴重；建立车辆在时间段t内的方程：其中，k为时间步数，i为影响线矩阵，p是车辆轴重的向量；建立生成类ε
g
与p
g
的约束方程：r
constrain
＝ε
g-i(t)p
g
在生成模型的训练过程中，需要最小化损失函数以此确保生成的p
g
与实际中的车辆轴重p有一致的结果；由于车辆轴重p
g
必须是大于0的数值，采用relu函数来消除生成的负数p
g
的影响：最终得到基于以上两个约束方程的损失函数来训练生成模型：最终得到基于以上两个约束方程的损失函数来训练生成模型：7.根据权利要求6所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，生成器训练具体为：为了训练生成器，采用最小化生成结构响应的分布p
θ
(t)和实测桥梁响应的分布q
θ
(t)之间的kl散度：由贝叶斯准则，将其简化为：结合以上建立的约束方程，得生成模型的约束方程为：
其中，α为可调整的系数，决定约束方程在生成器训练过程的影响程度。8.根据权利要求6所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，判别器训练具体为：通过最小化判别器的二元交叉熵建立损失函数，即：l
d
(γ)＝-e[log(d
γ
(t，f
θ
(z)))]-e[log(1-d
γ
(t，ε
p
))]最终，车辆轴重分布预测模型训练目标为：最终，车辆轴重分布预测模型训练目标为：9.根据权利要求1所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，步骤s3具体为：对于视觉识别器的训练样本，采用人工标识方式对采集到监控视频中的桥梁上实时通行车辆进行标识，标明其所在车道，测量其实际速度以及车辆的轴数，构成训练集；设定检测误差阈值，用标识完毕的训练集对视觉识别器进行训练，得到一组符合要求的网络系数，具体操作步骤为：准备yolov4模型和数据集，其中数据集包括已人工标识的图像和未标识的图像；确定训练轮次，根据所使用的设备配置情况来确定图片的数量和工作的核心数，输入预设的误差阈值，以上步骤完成以及参数确定后，开始训练，训练完毕后得到的权重文件导入yolov4模型中；进行视觉识别器的性能测试，使用训练完毕后的视觉识别器进行目标识别测试，具体步骤为：通过人工标识车辆运行信息来准备测试集，采用训练后的视觉识别器对测试集进行识别，对比识别结果和人工标识的信息误差，若在误差允许范围内完成识别即确定其性能可靠；车辆运行信息包括轴数、速度、类型以及空间位置。10.根据权利要求8所述的一种基于计算机视觉技术的车辆轴重分布识别方法，其特征在于，步骤s4具体为：安排车辆在多种不同荷载状况下行驶，以此采集真实的桥梁应变，将其作为gan中判别器的训练集，最小化损失函数l
d
(γ)后获得最佳参数。

技术总结
本发明公开了一种基于计算机视觉技术的车辆轴重分布识别方法，包括以下步骤：S1、采用YOLOv4模型构建视觉识别器，并对用YOLOv4模型进行优化；S2、构建基于生成对抗网络的车辆轴重分布预测模型；S3、构建视觉识别器的训练集，对视觉识别器进行训练并测试其性能；S4、构建数据集，对车辆轴重分布预测模型进行训练，得到最佳的模型参数；S5、将训练完成的视觉识别器和车辆轴重分布预测模型用于实际场景的车辆轴重分布预测识别。本发明利用计算机视觉技术识别出车辆轴数等信息，通过桥梁传感器获取桥梁实时结构响应，并且通过生成对抗网络预测车辆的轴重概率分布。车辆的轴重概率分布。车辆的轴重概率分布。


技术研发人员：贾布裕 何颖丰 余晓琳 陈扬文 罗宇蕃
受保护的技术使用者：华南理工大学
技术研发日：2023.07.07
技术公布日：2023/9/20