一种基于图像识别的车辆胎压与重量联合预测方法及系统与流程

1.本发明涉及机器视觉技术领域，尤其涉及一种基于图像识别的车辆胎压与重量联合预测方法及系统。


背景技术：

2.近年来车辆超载现象频发，导致桥梁和道路的破坏严重。轮胎作为汽车与路面接触的唯一部件，其在荷载作用下的变形可以直观地反映车辆荷载，而荷载对轮胎的寿命、性能和安全性都有重要影响。荷载过重会加速轮胎磨损，缩短轮胎寿命；还会增加轮胎的制动距离，影响轮胎性能；甚至可能导致轮胎过热、爆胎、漏气和车辆失控等安全问题。在汽车行驶过程中，胎压会不同程度地影响车辆的安全驾驶。若胎压过高，容易降低轮胎的摩擦力和附着力，影响制动效果，也会使方向盘振动，从而导致车辆跑偏。若胎压过低，轮胎与路面的摩擦系数将增大，这会使轮胎和路面的摩擦成倍增加，胎面温度迅速升高，轮胎强度急剧下降，甚至会导致爆胎。因此准确获取行驶汽车的轮胎荷载与胎压信息是非常重要的。
3.一方面，现有的车辆称重方式有静态地磅称重、路面式动态称重系统和桥梁动态称重系统等。详述如下：静态地磅式称重系统：该系统虽然测量精度较高，但是测量时要求车辆停车，容易引发车辆堵塞，且该系统安装过程繁琐，使用寿命不长以及耐久性较差。
4.路面式动态称重系统：该系统不需要停车，但其安装过程较为繁琐，且测量的精度受路面环境影响较大，传感器直接承受车辆荷载，造成其耐久性较差、维护费用较高等问题。
5.桥梁动态称重系统：相对于地磅称重以及路面式动态称重设备，它具有损伤更少、耐久性更好和识别精度高等优点，但该系统需安装在桥梁上，受环境影响大，且该系统可应用的桥型有限。
6.另一方面，目前轮胎气压获取主要是通过传感器获取轮胎气压信息，包括直接式tpms系统、间接式tpms系统和其他技术系统。详述如下：直接式tpms系统：直接式tpms系统是利用安装在轮胎上的压力传感器来测量轮胎的气压和温度，利用无线发射器将压力信息从轮胎内部发送到中央接收器模块上的系统，然后对轮胎气压数据进行显示。当轮胎出现高压、低压或高温时，系统就会报警提示车主。并且车主可以根据车型，用车习惯，地理位置自行设定胎压报警值范围和温度报警值。
7.间接式tpms系统：间接式tpms系统需要通过汽车的abs防抱死系统的轮速传感器来比较轮胎之间的转速差别，以达到监测胎压的目的。abs通过轮速传感器来确定车轮是否抱死，从而决定是否启动防抱死系统。当轮胎压力降低时，车辆的重量会使轮胎直径变小，车速就会产生变化。车速变化就会触发报警系统，从而提醒车主注意轮胎胎压不足。
8.其他技术系统：利用麦克风获取轮胎与路面间的摩擦声音信号，对声音进行频谱分析获取声音信号的频率，建立频率-气压函数从而获取频率对应的轮胎气压。这种利用声音获取轮胎气压的方式，在声音收集阶段很容易受到噪音的干扰，对轮胎气压的识别准确
性不高。
9.前文的直接式tpms系统和间接式tpms系统均是需要通过传感器获取信息，但是在现实中很多车辆没有安装胎压传感器。此外，利用声音获取轮胎气压信息严重依赖声音的获取品质，不利于实际应用。
10.但现有技术却鲜少将荷载与胎压进行联合预测。cn114202572a虽然公开一种基于机器视觉的车辆荷载测量、运输线路规划方法及系统，其涉及胎压和荷载，但其胎压是直接通过字符识别的，其作用在于结合轮胎的形变求解整车的荷载，而无需对胎压进行预测。因此，如何对荷载与胎压进行联合预测并提高其预测可靠性并规避现有单系统的诸多缺点成为技术盲点，有待于攻克。


技术实现要素：

11.本发明目的在于公开一种基于图像识别的车辆胎压与重量联合预测方法及系统，以提高预测的便捷性和可靠性。
12.为达上述目的，本发明公开一种基于图像识别的车辆胎压与重量联合预测方法，包括：步骤s1、采集轮胎图像；步骤s2、通过语义分割网络将所采集的轮胎图像分割成轮胎、轮辋和背景三个区域，然后通过亚像素级边缘检测算法处理轮胎与背景交界处的轮廓图像，得到预处理图像；步骤s3、将所述预处理图像输入训练好的深度学习网络模型中，得到荷载和胎压所分别对应的预测值；其中，所述深度学习网络模型以经过上述步骤s1和步骤s2预处理后的图像进行训练，所对应的数据集中录入各图像所分别对应的荷载真实的标签值和胎压真实的标签值，且在训练的迭代过程中，将荷载标签和胎压标签对应的任务均设为回归任务，所述深度学习网络模型总的损失函数根据荷载回归损失函数和胎压回归损失函数所分别对应的权重进行融合计算。
13.为达上述目的，本发明还公开一种基于图像识别的车辆胎压与重量联合预测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
14.本发明具有以下有益效果：1、不依靠任何接触式设备，仅通过图像采集及相应处理就能实现轮胎荷载和胎压的非接触式双预测。
15.2、亚像素是比像素还小的单位，它将像素这个基本单位再进行细分，从而提高了图像分辨率。本发明将亚像素边缘检测算法用于轮胎与背景交界处的轮廓图像的处理，提高了训练模型的精度和预测结果的可靠性。
16.3、语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，“语义的可解释性”即分类类别在真实世界中是有意义的。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。与图像分类或目标检测相比，语义分割使我们对图像有更加细致的了解。因此，本发明将语义分割与深度学习网络模型结合，实现了对轮胎荷载和胎压预测精度的提升。
17.4、深度学习网络模型在训练和测试中，其总的损失函数根据荷载回归损失函数和胎压回归损失函数所分别对应的权重进行融合计算，符合荷载和胎压之间存在直接关联关系的事实逻辑，提高了本发明模型双输出结果的预测可靠性。
18.下面将参照附图，对本发明作进一步详细的说明。
附图说明
19.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是本发明实施例公开的基于图像识别的车辆胎压与重量联合预测方法流程示意图。
20.图2是本发明优选实施例的经语义分割处理前后的对比图像示意图，其中，图2（a）为处理前的对比图像，图2（b）为处理后的效果图。
21.图3是本发明优选实施例的基于zernike矩改进算法的斜坡-灰度边缘模型与传统两灰度边缘模型的对比示意图，其中，图3（a）对应传统的两灰度边缘模型，图3（b）为本实施例采用的斜坡-灰度边缘模型。
22.图4是本发明优选实施例的经亚像素级边缘检测处理前后的轮胎轮廓局部放大后对比示意图；其中，图4（a）为处理前的对比图像，图4（b）为处理后的效果图。
23.图5是本发明优选实施例的改进后的vgg16网络结构图。
具体实施方式
24.以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
25.实施例1本实施例公开一种基于图像识别的车辆胎压与重量联合预测方法，如图1所示，包括：步骤s1、采集轮胎图像。
26.该步骤可通过在道路或桥梁两侧架设数码相机，利用相机拍摄汽车轮胎图像。优选地，在采集过程中，可根据光照条件、拍摄角度、天气情况、距离和背景等多种因素进行合理的设备部署及图像数据的辅助处理。
27.其中，在构建模型训练数据集的过程中，在每次采集轮胎图像后，利用胎压计、便携式称重仪等仪器测量轮胎的荷载和胎压数据并记录，与采集到的轮胎图像进行一一对应，作为后续进行神经网络训练时轮胎轮廓图像的两个标签。
28.优选地，针对不同的车型，本实施例分别构建数据集并训练深度学习网络模型；且在后续将待预测的预处理图像输入对应的深度学习网络模型之前，先根据该预处理图像所识别的车型进行深度学习网络模型匹配。例如：相关车厢的划分可划分为：轿车、客车、轻型卡车和重型卡车共四种常见车型。
29.作为一种变形，本实施例也可针对轮胎外径和/或内径不同的区间范围，分别构建数据集并训练深度学习网络模型；且在将待预测的预处理图像输入对应的深度学习网络模型之前，先根据该预处理图像的轮胎轮廓的计算值进行深度学习网络模型匹配。其中，轮胎
轮廓的外径和/或内径的计算可参照cn114202572a专利申请，为现有技术，不做赘述。
30.此外，在具体地实施过程中，基于在不同距离下拍摄同一个轮胎，得到的轮胎图像也是不一样的，即轮胎的半径或者直径的像素点数量也不一样。针对距离带来的影响，可以对采集的轮胎图像进行归一化处理。例如，该归一化处理的具体做法为：若以距离为2米时所拍摄图像的轮胎半径/直径像素点数量作为标准，就假定是120个像素点，假如在其他距离时拍出来的像素点数量是150个，那就需要乘一个0.8的系数；再比如另一距离时拍出来的像素点数量是200个，那就乘以0.6系数，通过把距离和归一化系数联系起来，尽可能消除不同距离（具体值的测定可借助雷达或激光测距装置予以辅助）拍摄所带来的对轮胎轮廓图像的影响。其中，在像素数量归一化处理的过程中，可通过插值算法对图像的颜色分量进行相应处理，此为本领域技术人员熟知的现有技术，不做赘述。作为变通，本实施例在具体实施过程中，也可以通过限位标志使得所采集的图像像素点数量基本接近。
31.步骤s2、通过语义分割网络将所采集的轮胎图像分割成轮胎、轮辋和背景三个区域，然后通过亚像素级边缘检测算法处理轮胎与背景交界处的轮廓图像，得到预处理图像。
32.在该步骤中，语义分割的具体实现可采用下述方式：以u-net为主干网络，引入了迁移学习（transfer learning）、膨胀卷积（dilated convolution）和注意力机制（attention mechanism）三个模块构成语义分割网络（tire-net），如图2所示，以此将轮胎图像分为三个区域，即轮胎、轮辋和背景。
33.其中，u-net是一种经典的分割网络，它能够在上采样过程中保留大量的特征，并将上下文信息传播到更高分辨率的层，这有利于识别精细目标。此外，与其他网络相比，u-net具有网络结构简单、训练时间短等优点。因此，本实施例选择以u-net为主干网络，引入了迁移学习（transfer learning）、膨胀卷积（dilated convolution）和注意力机制（attention mechanism）三个模块的tire-net作为语义分割网络，从而实现对轮胎图像的分割。在模型训练过程中，若使用u-net从头进行训练，网络需要大量轮胎图像，这会导致训练时间长、识别精度低等问题。因此，引入迁移学习模块，将包含20000多个不同类别的1400多万幅图像的imagenet数据集预先训练的部分参数用于轮胎网络。迁移学习模块可以缩短网络训练时长，提高图像分割精度。
34.在图像特征提取过程中，由于轮胎和轮辋边缘在图像中所占比例很小，卷积层和池化层中的边缘特征容易丢失，这将导致轮胎区域分割不准确。因此，引入膨胀卷积模块来提供轮胎图像的多尺度感受野。膨胀卷积模块可以在不增加训练参数的情况下扩大感受野的范围，有利于轮胎图像多尺度特征的识别。
35.在轮胎网络下采样过程中引入了迁移学习和膨胀卷积模块，可以有效地提取轮胎图像的多尺度特征，但上采样过程中仍然存在噪声、背景干扰等冗杂信息。因此，引入注意力机制模块，通过调整图像特征的权重向量来消除这些冗杂信息。
36.在该步骤中，亚像素级边缘检测算法目前可归纳为三种类型，即矩方法、插值法和拟合法。传统的基于zernike矩的算法采用两灰度边缘模型，如图3（a）所示。但该模型忽略了边缘灰度值的逐渐变化，导致检测结果错误，影响检测精度。因此本实施例采用基于zernike矩改进算法的斜坡-灰度边缘模型，如图3（b）所示。
37.本实施例亚像素级边缘检测算法采用斜坡-灰度边缘模型，如图3（b）所示，其中是原点；是背景灰度值；是过渡灰度值；是目标灰度值；是理想边
缘；和是不同阶的zernike矩的边缘。具体包括：将二维图像的zernike矩由单位圆上的一组zernike全正交多项式定义，表示为：其中，是连续图像强度函数，和是图像中像素的行数和列数，是zernike多项式的复共轭，并且定义为：其中，为非负整数，为整数，且满足，等于偶数，是满足的整数，，，；由于zernike矩具有正交性和旋转不变性，当图像通过进行旋转时，旋转后的的zernike矩与原始的zernike矩之间的关系为：联立可算得各参数分别为：联立可算得各参数分别为：，，其中，和分别是的虚部和实部，是三阶一阶zernike矩；和为不同阶zernike矩的理想边缘和原点之间的距离，为理想边缘和原点之间的距离，考虑zernike矩的模板放大效应，得到亚像素坐标和原点之间的关系：其中，是zernike矩模板的大小。
38.如图4所示：图4(a)为像素级边缘提取结果，图4(b)为亚像素级边缘提取结果。结果表明，轮胎和轮辋在亚像素级的边缘比像素级的边缘更光滑、更接近实际边缘。
39.优选地，为进一步提高预测精度，还可以将亚像素级边缘检测算法延伸至处理轮胎与轮辋交界处的轮廓图像。此类变形属于本领域技术人员所能轻易想到的，皆属于本发明保护范畴。
40.步骤s3、将所述预处理图像输入训练好的深度学习网络模型中，得到荷载和胎压所分别对应的预测值。
41.本实施例中，所述深度学习网络模型以经过上述步骤s1和步骤s2预处理后的图像进行训练，所对应的数据集中录入各图像所分别对应的荷载真实的标签值和胎压真实的标签值，且在训练的迭代过程中，将荷载标签和胎压标签对应的任务均设为回归任务，所述深度学习网络模型总的损失函数根据荷载回归损失函数和胎压回归损失函数所分别对应的权重进行融合计算。
42.本实施例中，在获得经亚像素级边缘检测处理过的轮胎轮廓图像后，将其作为输入，图像所对应的荷载和胎压为标签，进行网络训练，从而获得荷载和胎压双输出深度学习网络模型。
43.在构建神经网络训练时，可以采用多种不同的神经网络，如alexnet、googlenet、vggnet、resnet等。本实施例构建的多输出深度神经网络模型采用的是vgg16网络结构，原始的vgg16网络共包含13个卷积层（convolutional layer），3个全连接层（fully connected layer），以及5个池化层（pooling layer）。其中，卷积层和全连接层具有权重系数，因此也被称为权重层。结合本实施例的具体应用场景，如图5所示，对vgg16网络结构做下述改进及优化：一、为完成对轮胎荷载和胎压的预测，将原始的vgg16分类模型更改为回归模型，并且更改输出通道数。即去掉vgg16最后一层softmax层，并在最后一层全连接层后加入三个隐藏层和一个输出层，其中，隐藏层的神经元数分别为256、64和16，最后的输出层单元数为2，对应于荷载和胎压。
44.二、为了加快训练速度，避免过拟合，可以在卷积层之前进行归一化，即在每个卷积层之前加入一个batch normalization（bn）层。由于深层神经网络在做非线性变换前的激活输入值随着网络加深或在训练过程中，其分布逐渐发生偏移或者变动，整体分布逐渐往非线性函数的取值区间的上下限两端靠近，这导致反向传播时低层神经网络的梯度消失，所以训练收敛速度较慢。而bn是通过规范化手段，把每层神经网络任意神经元的输入值的分布强行拉回到均值为0，方差为1的标准正态分布，使梯度变大，避免产生梯度消失问题，梯度变大也意味着学习收敛速度快，能大幅加快训练速度。
45.三、该网络模型的输入为轮胎轮廓图像，有两个标签，分别是对应的轮胎荷载和胎压。两个标签对应的任务均为回归任务，采用mseloss损失函数，其公式为：其中，为实际输出值，为期望输出值。
46.最终损失计算公式为：其中，为荷载回归任务计算的损失，为荷载回归任务损失的权重，为胎压回归任务计算的损失，为胎压回归任务损失的权重；为模型融合后总的损失函数；且与的计算同，下标仅用于区分不同的标签。在vgg16的训练过程，可结合经验及对比试验结果确定两个回归损失函数在训练中所占权重。
47.在模型训练过程中，改进后的vgg16网络模型输出的荷载和胎压两个结果与真实标签值通过mseloss损失函数计算误差，由二者加权获得总误差，根据误差反向传播算法更
新深度神经网络模型参数。
48.实施例2与上述实施例相对应的，本实施例公开一种基于图像识别的车辆胎压与重量联合预测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中方法相对应的系列步骤。
49.综上，本发明上述实施例所公开的方法及系统，其至少具有以下有益效果：1、不依靠任何接触式设备，仅通过图像采集及相应处理就能实现轮胎荷载和胎压的非接触式双预测。
50.2、亚像素是比像素还小的单位，它将像素这个基本单位再进行细分，从而提高了图像分辨率。本发明将亚像素边缘检测算法用于理轮胎与背景交界处的轮廓图像的处理，提高了训练模型的精度和预测结果的可靠性。
51.3、语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，“语义的可解释性”即分类类别在真实世界中是有意义的。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。与图像分类或目标检测相比，语义分割使我们对图像有更加细致的了解。因此，本发明将语义分割与深度学习网络模型结合，实现了对轮胎荷载和胎压预测精度的提升。
52.4、深度学习网络模型在训练和测试中，其总的损失函数根据荷载回归损失函数和胎压回归损失函数所分别对应的权重进行融合计算，符合荷载和胎压之间存在直接关联关系的事实逻辑，提高了本发明模型双输出结果的预测可靠性。
53.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于图像识别的车辆胎压与重量联合预测方法，其特征在于，包括：步骤s1、采集轮胎图像；步骤s2、通过语义分割网络将所采集的轮胎图像分割成轮胎、轮辋和背景三个区域，然后通过亚像素级边缘检测算法处理轮胎与背景交界处的轮廓图像，得到预处理图像；步骤s3、将所述预处理图像输入训练好的深度学习网络模型中，得到荷载和胎压所分别对应的预测值；其中，所述深度学习网络模型以经过上述步骤s1和步骤s2预处理后的图像进行训练，所对应的数据集中录入各图像所分别对应的荷载真实的标签值和胎压真实的标签值，且在训练的迭代过程中，将荷载标签和胎压标签对应的任务均设为回归任务，所述深度学习网络模型总的损失函数根据荷载回归损失函数和胎压回归损失函数所分别对应的权重进行融合计算。2.根据权利要求1所述的方法，其特征在于，还包括：针对轮胎外径和/或内径不同的区间范围，分别构建数据集并训练深度学习网络模型；且在将待预测的预处理图像输入对应的深度学习网络模型之前，先根据该预处理图像轮胎轮廓的计算值进行深度学习网络模型匹配。3.根据权利要求1所述的方法，其特征在于，还包括：针对不同的车型，分别构建数据集并训练深度学习网络模型；且在将待预测的预处理图像输入对应的深度学习网络模型之前，先根据该预处理图像所识别的车型进行深度学习网络模型匹配。4.根据权利要求1、2或3所述的方法，其特征在于，所述深度学习网络模型采用vgg16网络结构。5.根据权利要求4所述的方法，其特征在于，所述vgg16网络结构省略softmax层，并在最后一层全连接层加入三个隐藏层和一个输出层，隐藏层的神经元个数分别为256、64和16，输出层单元数为2，且在每一个卷积层之前加入一个batch normalization层。6.根据权利要求1、2或3所述的方法，其特征在于，所述亚像素级边缘检测算法采用斜坡-灰度边缘模型，具体包括：将二维图像的zernike矩由单位圆上的一组zernike全正交多项式定义，表示为：其中，是连续图像强度函数，和是图像中像素的行数和列数，是zernike多项式的复共轭，并且定义为：其中，为非负整数，为整数，且满足，等于偶数，是满足的整数，，，；
由于zernike矩具有正交性和旋转不变性，当图像通过进行旋转时，旋转后的的zernike矩与原始的zernike矩之间的关系为：联立可算得各参数分别为：联立可算得各参数分别为：，，其中，和分别是的虚部和实部，是三阶一阶zernike矩；和为不同阶zernike矩的理想边缘和原点之间的距离，为理想边缘和原点之间的距离，考虑zernike矩的模板放大效应，得到亚像素坐标和原点之间的关系：其中，是zernike矩模板的大小。7.一种基于图像识别的车辆胎压与重量联合预测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一所述的方法。

技术总结
本发明涉及机器视觉技术领域，公开一种基于图像识别的车辆胎压与重量联合预测方法及系统，以提高预测的便捷性和可靠性。方法包括：步骤S1、采集轮胎图像；步骤S2、通过语义分割网络将所采集的轮胎图像分割成轮胎、轮辋和背景三个区域，然后通过亚像素级边缘检测算法处理轮胎与背景交界处的轮廓图像，得到预处理图像；步骤S3、将预处理图像输入训练好的深度学习网络模型中，得到荷载和胎压所分别对应的预测值；其中，深度学习网络模型以经过上述步骤S1和步骤S2预处理后的图像进行训练，且在训练的迭代过程中，深度学习网络模型总的损失函数根据荷载回归损失函数和胎压回归损失函数所分别对应的权重进行融合计算。分别对应的权重进行融合计算。分别对应的权重进行融合计算。


技术研发人员：孔烜 黄启祥 张杰 邓露 戴剑军 吴欣 吴海军
受保护的技术使用者：湖南省交通科学研究院有限公司
技术研发日：2023.05.30
技术公布日：2023/10/6