基于图像数据的推土机部件质量检测方法与流程

1.本发明涉及图像数据处理技术领域，具体涉及一种基于图像数据的推土机部件质量检测方法。


背景技术：

2.在高硬度的土层岩石层等复杂地质情况下，通常使用松土器进行土层处理。齿体及齿套作为松土器直接与土层接触的关键零部件，它们的磨损松脱将直接影响基建工作效率，故对齿套进行定期的质量检测至关重要。传统的齿套检测一般是通过人工对齿套的磨损程度、开裂及移位等缺陷进行检查，不仅会造成工作人员的视觉疲劳，降低检测的效率，而且人工检测的主观性较强，易出现漏检、误检等状况，检测的准确率低。
3.由于人工检测的效率及准确率较低，现通常使用图像处理方法对齿套的使用状况进行检测，相对于传统的人工检测方法，大大提高了检测效率及准确率。但由于齿体及齿套部位表面光滑，所获取的图像像素值分布较为均匀，缺乏明显的纹理细节，可能会导致在图像利用算法匹配时，难以稳定准确获取特征点及特征描述，从而影响检测效率及准确率。


技术实现要素：

4.为了解决现有算法进行图像匹配时难以稳定准确检测到特征点并准确匹配的技术问题，本发明的目的在于提供一种基于图像数据的推土机部件质量检测方法，所采用的技术方案具体如下：本发明提出了一种基于图像数据的推土机部件质量检测方法，所述方法包括：获取推土机松土器的灰度图像；提取所述灰度图像的所有齿体区域，所述齿体区域包括齿套区域；获取所述齿体区域内的初始特征点；获取所述齿套区域内的螺栓边缘；获取所述螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率；根据所述邻域曲率筛选所述螺栓边缘上的新增特征点；获取每个所述新增特征点在所述齿体区域中的位置特征值；以每个所述新增特征点为窗口中心，按预设尺寸构建窗口，在所述窗口中对所述新增特征点进行梯度分析，获取每个所述新增特征点的方向强度指标；获取每个所述齿体区域的视角变化规律特征值；根据所述视角变化规律特征值、所述邻域曲率、所述方向强度指标及所述位置特征值获取每个所述齿体区域中所述新增特征点的特征元素；所述初始特征点的所述特征元素为预设数值；将所述初始特征点和所述新增特征点作为特征点；根据所述特征元素获取所述特征点的描述子；根据所述描述子对不同的所述齿体区域内的所述特征点对位匹配；根据匹配结果对推土机松土器进行检测。
5.进一步地，所述获取所述齿套区域内的螺栓边缘包括：获取齿套区域内的所有边缘；
判定所述边缘的闭合性，获取闭合边缘；计算所述闭合边缘的圆度，将大于预设圆度阈值的所述闭合边缘作为所述螺栓边缘。
6.进一步地，所述获取所述螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率包括：在每个边缘像素点的预设邻域范围内，获取所有相邻两个边缘像素点间的曲率；以所述曲率的均值作为每个边缘像素点的邻域曲率。
7.进一步地，所述获取所有相邻两个边缘像素点间的曲率包括：计算预设邻域范围内相邻两个边缘像素点的水平梯度幅值的完全平方差；计算预设邻域范围内相邻两个边缘像素点的竖直梯度幅值的完全平方差；将所述水平梯度幅值的完全平方差与所述竖直梯度幅值的完全平方差之和作为所述相邻两个边缘像素点间的曲率，计算所有相邻两个边缘像素点间的曲率。
8.进一步地，所述根据所述邻域曲率筛选所述螺栓边缘上的新增特征点包括：将所述螺栓边缘上每个边缘像素点的所述邻域曲率排序，所述邻域曲率在预设区间内的像素点为所述新增特征点。
9.进一步地，所述获取每个所述新增特征点在所述齿体区域中的位置特征值包括：通过四叉树分割算法获取每个所述新增特征点的编码值，将所述编码值作为所述位置特征值。
10.进一步地，所述获取每个所述新增特征点的方向强度指标包括：计算所述窗口内每个像素点的水平梯度幅值的和以及竖直梯度幅值的和；将所述竖直梯度幅值的和与所述水平梯度幅值的和的比值进行反正切运算，获取反正切值；将所述反正切值进行归一化，得到所述方向强度指标；改变所述窗口中心，获取每个所述新增特征点的方向强度指标。
11.进一步地，所述获取每个所述齿体区域视角变化规律特征值包括：在每个所述齿体区域中，计算所述螺栓边缘在水平方向上的两端点处的像素点的欧式距离，记为短轴；在每个所述齿体区域中，计算所述螺栓边缘在竖直方向上的两端点处的像素点的欧式距离，记为长轴；将每个所述齿体区域的所述短轴与所述长轴的比值作为对应所述齿体区域的所述视角变化规律特征值。
12.进一步地，所述获取所述新增特征点的特征元素包括：计算所述新增特征点的所述方向强度指标及所述位置特征值的乘积，将所述乘积与所述邻域曲率及调整参数之和的比值进行归一化获取归一化值；将所述归一化值与对应所述齿体区域的所述视角变化规律特征值的倒数相乘，获取每个所述齿体区域内所述新增特征点的所述特征元素；所述视角变化规律与所述归一化值成反比例关系。
13.进一步地，所述根据匹配结果对推土机松土器进行检测包括：获取匹配误差指数；根据所述匹配误差指数，获取不同所述齿体区域内的所述特征点的匹配成功的数
量；计算同一所述齿体区域内所述匹配成功的数量与所述特征点数量的比值，根据所述比值与预设阈值的比较关系评价推土机松土器的质量。
14.本发明具有如下有益效果：本发明考虑到现有算法进行图像匹配时难以稳定准确获取特征点及特征描述，从而影响推土机松土器部件质量的检测效率及准确率。为提高推土机相关部件的质量检测准确率及效率，本发明通过获取推土机松土器齿体的灰度图像并提取每个齿体部位为感兴趣区域；在齿体区域内获取原始特征点，并对齿套上螺栓边缘进行梯度分析，得到边缘像素点的邻域曲率信息并确定新增特征点，在图像匹配中，邻域曲率可以表征新增特征点局部边缘的弯曲程度，增加匹配的准确性；通过四叉树分割法确定新增特征点的位置信息，可以用于定位和对齐图像中的边缘，从而精确匹配；分析新增特征点的梯度方向获取方向强度指标，方向强度可以用于计算像素梯度变化的方向，进而用于匹配和对齐图像中具有相似方向的像素，尤其在视角变换的场景下可以提高匹配的鲁棒性；分析不同视角下图像在水平方向及竖直方向的变化，对其进行简单的标准角度还原，可以简单的消除视角不同对螺栓特征的影响；结合新增特征点的曲率、位置信息、方向强度及视角变换构建新增特征点的特征元素，将特征元素作为新的维度插入到原始描述子中，其中考虑到构建描述子时，原始特征点应与新增特征点保持相同维度，故将原始特征点的特征元素为预设数值，进而对图像进行匹配。相对于现有技术，本发明提高了对图像匹配的准确度，进而提高判定齿套的松脱情况的准确度。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1为本发明一个实施例所提供的一种基于图像数据的推土机部件质量检测方法流程图；图2为本发明一个实施例所提供的一种标准视角及拍摄视角的螺栓形状及曲率分布对比示意图；图3为本发明一个实施例所提供的一种四叉树分割法获取像素编码的节点划分示意图。
具体实施方式
17.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像数据的推土机部件质量检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的
技术人员通常理解的含义相同。
19.下面结合附图具体的说明本发明所提供的一种基于图像数据的推土机部件质量检测方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的基于图像数据的推土机部件质量检测方法流程图，该方法包括以下步骤：步骤s1，获取推土机松土器的灰度图像。
21.为对推土机松土器部件的质量进行检测，通过相机采集待测推土机松土器的表面图像，并对所采集的图像进行处理，然后对处理后的图像进行相应的特征提取匹配进而判断松土器部件的故障情况。
22.在本发明的一个实施例中，采用cmos工业相机对推土机松土器的图像进行采集，需要说明的是，本发明实施例所针对的是三齿松土器，进行图像采集时，需要从推土机松土器的侧后方进行采集，保证能够将三个齿体区域完整采集、齿体部分不被遮挡，且不同齿体之间的视角变化达到最小。然后对所采集的推土机松土器图像进行灰度化处理，获取原始灰度图像；再利用非局部均值滤波算法对原始灰度图像进行降噪处理，在降噪的同时尽量保持图像的细节和边缘信息，避免后续提取特征点时；最后对降噪后的原始灰度图像使用直方图均衡化算法进行图像增强，完成对原始图像的预处理，获取到更高质量的推土机松土器的灰度图像。图像灰度化处理、非局部均值滤波算法及直方图均衡化均为现有技术，此处不再过多赘述。
23.步骤s2，提取灰度图像的所有齿体区域，齿体区域包括齿套区域。
24.齿体及齿套都是松土器在进行高硬度地质作业时直接与土层接触的关键零部件，而齿套作为保护齿体的消耗部件，如果齿套磨损严重或者脱落断裂等，都会导致单个齿体过载，容易给横梁带来持续性过大的动态负荷，导致横梁产生裂纹甚至发生断裂；故对齿体及齿套的检测具有极高的重要性。为了便于快速准确的检测推土机松土器的齿套是否出现磨损错位或脱落断裂等故障情况，减少后续图像匹配的计算消耗，故将包含齿套在内的齿体区域、齿套区域以及背景区域分别提取出来，将包含齿套在内的齿体区域作为匹配的目标区域，可以快速定位故障并有效的提高图像匹配的效率。故本发明实施例对步骤s1所获取的灰度图像进行区域标注，获取所有包含齿套在内的齿体区域、齿套区域，使得后续的匹配工作都在齿体区域内，快速定位故障并提高匹配效率。
25.在本发明的一个实施例中具体采用卷积神经网络cnn为识别模型，交叉熵损失函数指导模型训练，adam算法进行模型训练优化，将灰度图像中的包含齿套在内的齿体区域、齿套区域和背景区域分配唯一的数字标签，其中标记包含齿套在内的齿体区域为0，齿套部分标记为1，背景区域标记为2；然后将所获取的所有包含齿套在内的齿体区域设为感兴趣区域，需要说明的是，本发明实施例中的所获取的三个齿体分别对应三个不同的感兴趣区域。卷积神经网络、交叉熵损失函数以及adam算法为现有技术，此处不再过多赘述。
26.步骤s3，获取齿体区域内的初始特征点；获取齿套区域内的螺栓边缘；获取螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率；根据邻域曲率筛选螺栓边缘上的新增特征点。
27.特征点在图像中相对于其他像素点具有可区分性和稳定性，无论是图像发生了一定的旋转、缩放或平移等变化，特征点都能够保持其稳定的特征不变性。考虑到特征点在不
同尺度变化下都能够提供稳定的区别特征信息，可以准确地匹配不同尺度下的图像的相似特性，故本发明实施例获取齿套区域内的特征点，对后续的匹配工作提供准确稳定的特征信息，具有重要的意义。
28.考虑到即使在同一图像中，不同视角下的齿体区域之间仍存在一些微小的形变以及差异，故本发明一个实施例具体通过sift算法在不同视角下的齿体区域检测局部极值点；sift算法具有一定的尺度不变性和旋转不变性，对视角差异不同的图像仍然具有很好的检测效果；然后根据局部极值点获取三个感兴趣区域内的所有初始特征点，进而对每个齿体区域进行匹配。sift算法为现有技术，此处不再过多赘述。需要说明的是，初始特征点也可通过本领域技术人员熟知的其他算法获取，在此不做赘述及限定。
29.然而由于松土器表面大多较为光滑，缺乏明显的纹理或细节，像素点的对比度较低，可能导致算法无法稳定地检测到特征点，所以需要在图像中，额外获取其他像素点作为特征点，进而获得更为稳定准确的匹配效果。本发明实施例考虑到松土器的齿套是由螺栓固定在齿体上，进一步考虑到螺栓的位置固定和形状固定的特征，故选取处于螺栓边缘上的部分像素点作为新增特征点，新增特征点在进行图像匹配时有更好的效果。
30.优选地，本发明一个实施例中考虑到边缘为像素点灰度值变化较为明显的区域，又考虑到齿套为不规则的闭合边缘，而螺栓为规则的圆形闭合边缘。基于此，获取齿套区域内的螺栓边缘包括，获取齿套区域内的所有边缘；判定边缘的闭合性，获取闭合边缘；计算闭合边缘的圆度，将大于预设圆度阈值的闭合边缘作为螺栓边缘。
31.在本发明一个实施例中具体通过sobel算子对齿套区域内每个像素点进行梯度分析，计算每个像素点的水平梯度幅值和竖直梯度幅值，进而根据像素点的梯度幅值的变化对齿套区域进行边缘检测，获取齿体区域中的齿套整体边缘及内部螺栓部分边缘；然后采用边缘追踪算法检测所获取的边缘区域是否为闭合边缘，并根据所检测到的闭合边缘的周长及面积计算闭合边缘的圆度，以闭合边缘的圆度确定螺栓边缘。sobel算子和边缘追踪算法为现有技术，此处不再过多赘述。闭合边缘的圆度公式具体表示为：其中，表示闭合边缘的圆度，表示闭合边缘的面积，表示闭合边缘的周长。是所检测的边缘内部像素点的个数，是所检测的边缘上的像素点的个数，当圆度的值越接近1，则说明该闭合边缘越近似为圆形，进而可根据螺栓的形状判定闭合边缘是否为螺栓边缘。需要说明的是，圆度也可通过本领域技术人员熟知的其他方法进行计算，在此不做赘述及限定。
32.本发明的一个实施例中，预设圆度阈值，在具体应用中，实施者根据具体情况进行设置；将圆度大于等于预设圆度值的闭合边缘作为螺栓边缘，其余闭合边缘作为齿套边缘，不闭合边缘为其他边缘。
33.螺栓为规则的圆形闭合区域，在标准视角下所拍摄的螺栓边缘的曲率相等；但在实际的部件质量检测过程中，由于不同的拍摄角度，所获取的螺栓的形状将因视角变化产
生微小形变，其边缘的弯曲程度也会发生相应的改变，局部边缘上每个像素点在局部内的整体弯曲程度也会发生改变。本发明实施例考虑到螺栓的形状在侧后方的拍摄角度下变为以竖直方向为长轴、水平方向为短轴的椭圆形，其中在竖直方向的两端弯曲程度较大，即邻域曲率较大的点主要集中在竖直方向的两端点附近，邻域曲率反映了像素点在螺栓边缘上的局部弯曲程度，边缘的局部弯曲程度越大，则说明像素点周围的边缘越弯曲，特征越明显，在进行图像匹配时准确性越高。为进一步在螺栓边缘筛选新增特征点以及增加齿体区域匹配的准确性，通过分析螺栓边缘上每一个像素点在预设邻域范围内的邻域曲率，根据每个边缘像素点的邻域曲率进一步筛选新增特征点。
34.为了便于分析每个边缘像素点的在螺栓边缘上的局部弯曲程度，进一步获取邻域曲率，在本发明的一个实施例中，以螺栓边缘上第个像素点为中心，构建一个预设邻域范围为的边缘连通域，其中取3，即边缘连通域的长度为7，在具体应用中，实施者根据具体情况进行设置。
35.优选地，本发明一个实施例中，获取螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率包括，在每个边缘像素点的预设邻域范围内，获取所有相邻两个边缘像素点间的曲率；以曲率的均值作为每个边缘像素点的邻域曲率。曲率均值即邻域曲率表示像素点的边缘连通域内所有像素点的整体弯曲水平，反映了像素点在边缘连通域内的局部弯曲程度，局部弯曲程度越大，说明螺栓边缘在此像素点附近越弯曲，特征越为明显。
36.本发明实施例在每个边缘像素点的预设邻域范围内，获取所有相邻两个像素点间的曲率，进一步根据曲率均值获取了每个像素点的邻域曲率。曲率表示相邻两像素点间的边缘弯曲程度，曲率均值即邻域曲率则表示像素点边缘的局部弯曲程度，邻域曲率越大，像素点的特征越明显，越可被选做新增特征点。
37.优选地，本发明的一个实施例中，考虑到两相邻像素点在水平方向和竖直方向上的梯度分量的差异可以表征梯度幅值在两方向上的变化差异，当梯度分量的差异值较大时，说明两像素点间的在水平方向和竖直方向上的梯度变化越剧烈，对应的曲率也越大。获取所有相邻两个边缘像素点间的曲率包括，计算预设邻域范围内相邻两个边缘像素点的水平梯度幅值的完全平方差；计算预设邻域范围内相邻两个边缘像素点的竖直梯度幅值的完全平方差；将水平梯度幅值的完全平方差及竖直梯度幅值的完全平方差之和作为相邻两个边缘像素点间的曲率，计算所有相邻两个边缘像素点间的曲率。两相邻像素点的曲率公式具体表示为：其中，为两相邻像素点的曲率，和分别为边缘连通域上两个相邻像素点的坐标，和分别表示像素点沿水平方向和竖直方向的梯度幅值，和分别表示像素点沿水平方向和竖直方向的梯度幅值，两边缘像素点的水平梯度差异和竖直梯度差异表示了梯度变化的剧烈程度，即两个边缘像素点所在
边缘处的局部曲率。
38.通过曲率公式获取边缘连通域内所有相邻两个像素点的曲率，并计算边缘连通域内所有相邻两个像素点的曲率均值，将边缘连通域内所有相邻两个像素点的曲率均值作为该像素点在该边缘连通域内的邻域曲率。然后比较螺栓边缘上所有边缘像素点的邻域曲率，筛选螺栓边缘上的新增特征点。
39.优选地，在本发明的一个实施例中，根据邻域曲率筛选螺栓边缘上的新增特征点包括，将螺栓边缘中每个边缘像素点的邻域曲率排序，邻域曲率在预设区间内的像素点为新增特征点。其中新增特征点邻域曲率值的预设区间为排序前20%和排序后20%，请参阅图2，其示出了本发明一个实施例所提供的一种标准视角及拍摄视角的螺栓形状及曲率分布对比示意图，图2中螺栓的形状在侧后方的拍摄角度下变为以竖直方向为长轴、水平方向为短轴的椭圆形，其中在竖直方向的两端弯曲程度较大，即邻域曲率较大的点主要集中在竖直方向的两端点附近，并且邻域曲率越大，说明该像素点的弯曲特征越明显，在进行图像匹配时准确性越高，故本发明的一个实施例选取邻域曲率排序前20%和排序后20%的边缘像素点作为新增特征点，在具体应用中，实施者根据具体情况设置预设区间。在此预设区间内的边缘像素点为拍摄视角下局部弯曲程度较大、特征较明显的边缘像素点，将此预设区间内的边缘像素点作为新增特征点，具有良好的匹配效果。
40.至此，筛选出了每个齿体区域内的所有新增特征点。
41.步骤s4：获取每个新增特征点在齿体区域中的位置特征值；以每个新增特征点为窗口中心，按预设尺寸构建窗口，在窗口中对新增特征点进行梯度分析，获取每个新增特征点的方向强度指标；获取每个齿体区域的视角变化规律特征值；根据视角变化规律特征值、邻域曲率、方向强度指标及位置特征值获取每个齿体区域中新增特征点的特征元素；初始特征点的特征元素为预设数值；将初始特征点和新增特征点作为特征点。
42.考虑到在图像匹配时，新增特征点在图像中的位置信息有助于快速准确的定位和对齐边缘，提高了图像匹配的准确率和效率。故本发明实施例获取每个新增特征点在齿体区域中的位置特征值，以位置特征值表征新增特征点在图像中的位置信息，进一步提高匹配效果。
43.优选地，本发明的一个实施例中，获取每个新增特征点在齿体区域中的位置特征值包括，通过四叉树分割算法获取每个新增特征点的编码值，将编码值作为位置特征值。
44.本发明的一个实施例中，将每个齿体区域做最小外接矩形，对新增特征点的位置信息进行编码。以最小外接矩形的中心为根节点，根节点可以均匀的划分为四个象限，将每个象限定义为子节点；对于每个节点，使用四个二进制编码表示象限位置，其中00代表左上象限，01代表右上象限，10代表左下象限，11代表右下象限；判断新增特征点的象限位置并进行编码标记；请参阅图3，其示出了本发明一个实施例所提供的一种四叉树分割法获取像素编码的节点划分示意图，图3表示了每个节点的象限划分及编码情况，其中根节点对应的四个子节点分别为：00左上节点、11右下节点、01右上节点、10左下节点；将含有新增特征点的子节点继续均匀的划分为四个象限，例如00左上节点划分的四个象限对应的节点为0000左上节点、0001右上节点、0010左下节点、0011右下节点；11右下节点划分的四个象限对应的节点为1100左上节点、1101右上节点、1110左下节点、1111右下节点；10左下节点划分的四个象限对应的节点为1000左上节点、1001右上节点、1010左下节点、1011右下节点；01右
上节点划分的四个象限对应的节点为0100左上节点、0101右上节点、0110左下节点、0111右下节点。判断新增特征点的象限位置并进行编码标记，以此进行迭代，直到新增特征点所在象限的灰度值不变时停止迭代。例如一个新增特征点的位置编码为001001，则该新增特征点在根节点左上节点的左下节点的右上节点处。由于四叉树分割算法为现有技术，此处不再过多赘述。
45.通过上述四叉树分割算法对每个齿体区域的最小外接矩形内部的新增特征点进行二进制编码计算，但由于根节点的设定及每个新增特征点位置等不同因素影响，所获取的编码长度可能不同，故需判断所获取编码中编码的最大位数，将所有编码位数小于最大编码位数的新增特征点，进行编码后位补0操作，后位补0可以使所有像素的编码等长，且不改变原有编码顺序及含义；然后将每个新增特征点的二进制编码转化为十进制，所获取的十进制值即为新增特征点的位置编码值。当两个新增特征点间的位置编码值差异越大，则代表两点在图像上的位置信息差异越大，反之差异越小。当两个像素的十进制编码数值相同时，则代表两者在图像上的位置信息一致。通过确定新增特征点在图像中的位置编码值可快速准确的定位和对齐不同齿体区域内的边缘，进一步提高了匹配的准确率和效率。
46.进一步考虑到新增特征点的方向强度在视角变换的场景下具有较高的鲁棒性，通过分析像素点的方向，可进一步快速准确的匹配和对齐不同视角的图像中具有相似方向的像素点；本发明实施例以螺栓边缘中的每个新增特征点为窗口中心，按预设尺寸构建一个的窗口，使得后续对每个新增特征点的梯度分析都在局部窗口内，可获得较为准确的局部方向特征，即方向强度指标。在本发明一个实施例中，取3，即窗口的大小为，在具体应用中，实施者根据具体情况进行设置。
47.优选地，在本发明的一个实施例中，获取每个新增特征点的方向强度指标包括，计算窗口内每个像素点的水平梯度幅值的和以及竖直梯度幅值的和；将竖直梯度幅值的和与水平梯度幅值的和的比值进行反正切运算，获取反正切值；将反正切值进行归一化，得到方向强度指标；改变窗口中心，获取每个新增特征点的方向强度指标。在本发明一个实施例中，方向强度指标的公式表示为：其中，表示方向强度指标，表示新增特征点的竖直梯度幅值，表示像素的水平梯度幅值，表示窗口中像素点的数量，表示反正切函数，表示标准归一化函数，归一化方法在本发明其他实施例中可采用其他归一化方法在此不做限定；方向强度指标代表窗口区域内的像素点梯度幅值的主导方向，通过计算窗口内像素点的水平幅值分量和以及竖直幅值分量和的比值，反映了窗口区域内的图像在竖直方向变化与水平方向变化的比例，如果比值越大,说明图像在竖直方
向的变化相较于水平方向的变化间的差异越大,则图像的纹理更倾向于在竖直方向延伸，反之，图像的纹理更倾向于在水平方向延伸；然后将比值进行反正切运算，所获得的反正切值表示窗口区域内像素点梯度变化的主导方向；将反正切值进行归一化，获得方向强度指标。通过改变窗口中心，计算每个新增特征点的方向强度指标。
48.考虑到视角的变化可能会造成特征点在不同视角中的位置或形状等特征发生变化，进而可能会影响到对特征点的位置判断、方向判断以及邻域曲率的判断，从而降低特征点匹配的可靠性；在标准视角下，新增特征点的位置、方向以及邻域曲率会更加明显并易于提取匹配，而在其他视角下，这些特征可能会难以获取并匹配，因此本发明实施例结合视角变化的规律，近似还原出每个齿体区域在标准视角下，新增特征点的位置、方向以及邻域曲率，从而确保匹配的准确性和稳定性。
49.优选地，本发明的一个实施例中，考虑到不同角度拍摄所获取的图像中的螺栓，其形状会随视角的变化而产生微小形变，通过分析在侧后方视角下拍摄的图像可以得知，图像在水平方向上的轴长与标准视角下所拍摄获取的图像的轴长相比会变短，而竖直方向上的轴长不发生变化；同时，不同视角下的齿体区域，所产生的视角变化也不一致，对应的视角变化规律值也不一致。基于此，获取每个齿体区域视角变化规律特征值包括，在每个齿体区域中，计算螺栓边缘在水平方向上的两端点处的像素点的欧式距离，记为短轴；在每个齿体区域中，计算螺栓边缘在竖直方向上的两端点处的像素点的欧式距离，记为长轴；将每个齿体区域的短轴与长轴的比值作为对应齿体区域的视角变化规律特征值。标准角度的螺栓区域为一个圆形，长短轴之比为1；视角变化后，长短轴可能发生变化，根据螺栓区域长短轴的比值近似获取视角变化规律特征值，还原标准视角下的螺栓，提高匹配的准确度。
50.至此，获取了新增特征点的邻域曲率、位置特征值、方向强度指标以及视角变化规律特征值，上述因素都有助于提高新增特征点在不同视角图像中的匹配准确率及效率，结合以上因素获取新增特征点的特征元素。
51.优选地，本发明的一个实施例中，获取新增特征点的特征元素包括，计算新增特征点的方向强度指标及位置特征值的乘积，将乘积与邻域曲率及调整参数之和的比值进行归一化获取归一化值；将归一化值与对应齿体区域的视角变化规律特征值的倒数相乘，获取每个齿体区域的新增特征点的特征元素；视角变化规律特征值与归一化值成反比例关系。在本发明一个实施例中，计算新增特征点的特征元素的公式表示为：其中为新增特征点的描述子，为侧后方拍摄时某一视角下螺栓形状的长轴，为侧后方拍摄时某一视角下螺栓形状的短轴，表示归一化函数，表示方向强度指标，表示位置特征值，表示邻域曲率，为分母的调整参数，防止出现分母为0的情况，在本发明一个实施例中，，在具体应用中，实施者根据具体情况进行设置。
52.在新增特征点的特征元素的公式中，方向强度指标与位置特征值的乘积表示方向强度与位置信息对新增特征点进行不同视角下匹配的重要性；邻域曲率则反映了新增特征
点周围边缘区域的弯曲程度，邻域曲率越大，意味着边缘在该点附近越弯曲，弯曲特征越明显；将方向强度指标与位置特征值的乘积除以邻域曲率，可在弯曲程度较大的边缘区域降低特征元素的值，从而抑制特征点附近弯曲区域对于整体特征元素的过度影响，平衡方向强度指标、位置信息及邻域曲率三个参数间的重要性，确保特征元素对于方向、位置和邻域曲率信息都有一定的敏感性，使得特征元素在不同的场景下具有更好的适应性和可区分性；而是视角变化规律特征值的倒数，乘以视角变化规律的倒数可以近似还原出标准视角下新增特征点在螺栓边缘上的特征信息；在新增特征点的特征元素的公式中，视角变化规律特征值与归一化值成反比例关系，通过乘法将视角变化规律的倒数与归一化值合并，体现出反比例关系，可近似还原标准视角下的特征信息，获取更好的匹配效果。需要说明的是，本发明实施例中所提出的反比例关系可利用其他基础数学手段进行实现，具体数学方法为本领域技术人员熟知的技术手段，在此不做赘述。
53.为方便后续的匹配运算，使得初始特征点与新增特征点具有相同维度的描述子，故将本发明实施例将初始特征点的特征元素设为预设数值，并将所得到的初始特征点和螺栓边缘上的新增特征点统一合并为特征点，便于后续获取所有特征点的描述子，进而进行后续的匹配工作。
54.步骤s5：根据特征元素获取特征点的描述子；根据描述子对不同齿体区域内的特征点对位匹配。
55.描述子是特征点在局部结构图像中的特征描述的特征向量，它具有独特性和较高的稳定性。每一个特征点都可根据相应的形状、纹理以及位置等特征信息计算得到独有的特征向量，即描述子；故在特征匹配时，每一个描述子都将提供所携带的特征点的局部信息和属性，从而获取稳定准确的匹配效果。本发明根据特征元素计算获取特征点的描述子，为后续的匹配工作做准备。
56.在本发明的一个实施例中具体通过sift算法计算所有特征点的原始描述子后，即128维的原始特征点向量后，将特征点的特征元素作为原始描述子的一个新的向量维度，构建一个129维新的描述子，使得新构建的描述子能够包含特征点的方向、位置、邻域曲率以及视角变化规律的特征信息，提高匹配的准确性。需要注意的是，本发明实施例中对于新增特征点的特征元素是结合方向强度指标、位置特征值、邻域曲率和视角变化规律特征值所计算获取的，而初始特征点的特征元素为预设数值，在本发明的一个实施例中，预设数值取0，在具体应用中，实施者根据具体情况进行设置。
57.描述子所携带的特征信息在度量两个不同视角区域间的相似度、实现特征匹配是十分重要的。故本发明实施例根据新构造的描述子对三个感兴趣区域即三个齿体区域进行两两对位匹配，进而根据匹配结果进行后续的部件质量检测。
58.步骤s6：根据匹配结果对推土机松土器进行检测。
59.考虑到两个对位匹配的感兴趣区域即齿体区域的相似度越高，则齿体区域内特征点的描述子间的差异越小，说明齿体区域内发生特征变化的可能性越小，齿套磨损脱落的可能性也就越小，故本发明实施例通过获取步骤s5中感兴趣区域匹配的匹配结果对推土机
松土器的部件质量进行检测。
60.优选地，本发明一个实施例中，根据匹配结果完成对推土机松土器的检测包括，获取匹配误差指数；根据匹配误差指数，获取不同齿体区域内的特征点的匹配成功的数量；计算同一齿体区域内匹配成功的数量与特征点数量的比值，根据比值与预设阈值的比较关系评价推土机松土器的质量。匹配误差指数的公式表示为：其中，表示两个感兴趣区域间的匹配误差指数，分别为两个不同感兴趣区域的标记，和分别表示两个感兴趣区域内所选对应特征点的描述子中第个维度的值。是描述子的总维度，设定匹配误差指数阈值，在本发明的一个实施例中，，，在具体应用中，实施者根据具体情况进行设置。当两个感兴趣区域内所选对应特征点的描述子的匹配误差指数小于阈值时，则认为两个特征点匹配成功。
61.匹配误差指数表示两个相互匹配的感兴趣区域中所有特征点对应的描述子之间的总差异，匹配误差指数越大，说明两对应特征点的匹配度越低；反之，匹配度越高。同时，当匹配成功的特征点及新增特征点的数量越多，说明两齿体区域的相似度越高，齿套区域的特征变化越小，齿套磨损脱落的可能性越小，因此可根据特征点及新增特征点的匹配结果判定推土机松土器的质量。
62.采用上述匹配误差指数公式，获取每两个不同视角的齿体区域内每个对应特征点的匹配误差指数，根据匹配误差指数获取两个相匹配的感兴趣区域内的特征点匹配成功的数量；计算匹配成功的数量与特征点数量的比值，当匹配成功数量与总数量的比值大于预设阈值时，则认为齿套未发生错位或脱落，从而评价推土机松土器部件的质量。在本发明的一个实施例中，，在具体应用中，实施者根据具体情况进行设置。
63.综上所述，本发明实施例通过在所获取的推土机松土器的灰度图像中提取齿体区域和齿套区域，在齿体区域中获取初始特征点，并在齿套区域中获取螺栓边缘；通过计算螺栓边缘像素点的邻域曲率获取新增特征点，并分析新增特征点的方向强度指标和位置特征，结合视角变化规律以及新增特征点的邻域曲率获取新增特征点的特征元素，以特征元素为维度构建新的描述子，其中考虑到构建描述子时，原始特征点应与新增特征点保持相同维度，故将原始特征点的特征元素为预设数值；利用新的描述子对同一图像中的不同视角下的齿体区域进行匹配，通过匹配结果进行推土机松土器的齿套是否松脱或错位的质量评价。本发明通过分析获取纹理细节相对更为明显新增特征点，并结合新增特征点的方向、位置、邻域曲率以及图像在视角下的变化因素，构建了新描述子，提高算法匹配准确度，进一步提高了推土机松土器质量检测的准确率及效率。
64.一种基于图像数据的推土机部件的图像匹配方法实施例：
由于推土机松土器的齿体及齿套部位表面光滑，所获取的图像像素值分布较为均匀，缺乏明显的纹理细节，可能会导致在图像利用算法匹配时，难以稳定准确获取特征点及特征描述，进而影响部件的匹配准确性。本发明提供一种基于图像数据的推土机部件的图像匹配方法，方法包括：步骤s1，获取推土机松土器的灰度图像。
65.步骤s2，提取所述灰度图像的所有齿体区域，所述齿体区域包括齿套区域。
66.步骤s3，获取所述齿体区域内的初始特征点；获取所述齿套区域内的螺栓边缘；获取所述螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率；根据所述邻域曲率筛选所述螺栓边缘上的新增特征点。
67.步骤s4，获取每个所述新增特征点在所述齿体区域中的位置特征值；以每个所述新增特征点为窗口中心，按预设尺寸构建窗口，在所述窗口中对所述新增特征点进行梯度分析，获取每个所述新增特征点的方向强度指标；获取每个所述齿体区域的视角变化规律特征值；根据所述视角变化规律特征值、所述邻域曲率、所述方向强度指标及所述位置特征值获取每个所述齿体区域中所述新增特征点的特征元素；所述初始特征点的所述特征元素为预设数值；将所述初始特征点和所述新增特征点作为特征点。
68.步骤s5，根据所述特征元素获取所述特征点的描述子；根据所述描述子对不同的所述齿体区域内的所述特征点对位匹配。
69.其中，步骤s1至步骤s5在上述一种基于图像数据的推土机部件质量检测方法实施例中已给出了详细说明，不再赘述。
70.本发明考虑到现有算法进行图像匹配时难以稳定准确获取特征点及特征描述，从而图像匹配的效率及准确率。为提高推土机相关部件的图像匹配的效率及准确率，本发明通过获取松土器齿体的灰度图像并提取每个齿体部位分别为感兴趣区域；在齿体区域内获取原始特征点，并对齿套上螺栓边缘进行梯度分析，得到边缘像素局部区域的邻域曲率并确定新增特征点，在图像匹配中像素边缘的邻域曲率可以表征所选新增特征点的弯曲程度，增加匹配的准确性；通过四叉树分割法确定新增特征点的位置信息，可以用于定位和对齐图像中的边缘，从而精确匹配；分析新增特征点的梯度方向获取方向强度指标，方向强度指标可以用于表征像素梯度变化的方向，进而用于匹配和对齐图像中具有相似方向的像素，尤其在视角变换的场景下可以提高匹配的鲁棒性；分析不同视角下图像在水平方向及竖直方向的变化，对其进行简单的标准角度还原，可以简单的消除视角不同对螺栓特征的影响；结合新增特征点的曲率、位置信息、方向强度及视角变换构建新增特征点的特征元素，将特征元素作为新的维度插入到原始描述子中，其中考虑到构建描述子时，原始特征点应与新增特征点保持相同维度，故将原始特征点的特征元素为预设数值，进而对图像进行匹配。相对于现有技术，本发明实施例结合新增特征点的曲率、位置信息、方向强度及视角因素，构建特征点的新描述子，新描述子能够提供更为准确的匹配信息，从而提高了对图像匹配的准确度。
71.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
72.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部
分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

技术特征：
1.一种基于图像数据的推土机部件质量检测方法，其特征在于，所述方法包括：获取推土机松土器的灰度图像；提取所述灰度图像的所有齿体区域，所述齿体区域包括齿套区域；获取所述齿体区域内的初始特征点；获取所述齿套区域内的螺栓边缘；获取所述螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率；根据所述邻域曲率筛选所述螺栓边缘上的新增特征点；获取每个所述新增特征点在所述齿体区域中的位置特征值；以每个所述新增特征点为窗口中心，按预设尺寸构建窗口，在所述窗口中对所述新增特征点进行梯度分析，获取每个所述新增特征点的方向强度指标；获取每个所述齿体区域的视角变化规律特征值；根据所述视角变化规律特征值、所述邻域曲率、所述方向强度指标及所述位置特征值获取每个所述齿体区域中所述新增特征点的特征元素；所述初始特征点的所述特征元素为预设数值；将所述初始特征点和所述新增特征点作为特征点；根据所述特征元素获取所述特征点的描述子；根据所述描述子对不同的所述齿体区域内的所述特征点对位匹配；根据匹配结果对推土机松土器进行检测。2.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述获取所述齿套区域内的螺栓边缘包括：获取齿套区域内的所有边缘；判定所述边缘的闭合性，获取闭合边缘；计算所述闭合边缘的圆度，将大于预设圆度阈值的所述闭合边缘作为所述螺栓边缘。3.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述获取所述螺栓边缘上每个边缘像素点在预设邻域范围内的邻域曲率包括：在每个边缘像素点的预设邻域范围内，获取所有相邻两个边缘像素点间的曲率；以所述曲率的均值作为每个边缘像素点的邻域曲率。4.根据权利要求3所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述获取所有相邻两个边缘像素点间的曲率包括：计算预设邻域范围内相邻两个边缘像素点的水平梯度幅值的完全平方差；计算预设邻域范围内相邻两个边缘像素点的竖直梯度幅值的完全平方差；将所述水平梯度幅值的完全平方差与所述竖直梯度幅值的完全平方差之和作为所述相邻两个边缘像素点间的曲率，计算所有相邻两个边缘像素点间的曲率。5.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述根据所述邻域曲率筛选所述螺栓边缘上的新增特征点包括：将所述螺栓边缘上每个边缘像素点的所述邻域曲率排序，所述邻域曲率在预设区间内的像素点为所述新增特征点。6.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述获取每个所述新增特征点在所述齿体区域中的位置特征值包括：通过四叉树分割算法获取每个所述新增特征点的编码值，将所述编码值作为所述位置特征值。7.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，
所述获取每个所述新增特征点的方向强度指标包括：计算所述窗口内每个像素点的水平梯度幅值的和以及竖直梯度幅值的和；将所述竖直梯度幅值的和与所述水平梯度幅值的和的比值进行反正切运算，获取反正切值；将所述反正切值进行归一化，得到所述方向强度指标；改变所述窗口中心，获取每个所述新增特征点的方向强度指标。8.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述获取每个所述齿体区域视角变化规律特征值包括：在每个所述齿体区域中，计算所述螺栓边缘在水平方向上的两端点处的像素点的欧式距离，记为短轴；在每个所述齿体区域中，计算所述螺栓边缘在竖直方向上的两端点处的像素点的欧式距离，记为长轴；将每个所述齿体区域的所述短轴与所述长轴的比值作为对应所述齿体区域的所述视角变化规律特征值。9.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述获取所述新增特征点的特征元素包括：计算所述新增特征点的所述方向强度指标及所述位置特征值的乘积，将所述乘积与所述邻域曲率及调整参数之和的比值进行归一化获取归一化值；将所述归一化值与对应所述齿体区域的所述视角变化规律特征值的倒数相乘，获取每个所述齿体区域内所述新增特征点的所述特征元素；所述视角变化规律与所述归一化值成反比例关系。10.根据权利要求1所述的一种基于图像数据的推土机部件质量检测方法，其特征在于，所述根据匹配结果对推土机松土器进行检测包括：获取匹配误差指数；根据所述匹配误差指数，获取不同所述齿体区域内的所述特征点的匹配成功的数量；计算同一所述齿体区域内所述匹配成功的数量与所述特征点数量的比值，根据所述比值与预设阈值的比较关系评价推土机松土器的质量。

技术总结
本发明涉及图像数据处理技术领域，具体涉及一种基于图像数据的推土机部件质量检测方法。该方法通过在推土机松土器灰度图像中提取齿体区域的原始特征点及齿套区域螺栓边缘上的新增特征点；通过分析新增特征点的邻域曲率、方向和位置特征，并结合视角变化的规律获取新增特征点的特征元素，以特征元素为维度构建所有特征点的新描述子，利用新描述子对同一图像中的每个齿体区域两两匹配，根据匹配结果判定推土机松土器的齿套是否松脱或错位。本发明通过分析新增特征点的方向、位置、邻域曲率以及视角变化因素，获取新增特征点并构建新描述子，提高了匹配算法的准确度，进而提高推土机松土器质量检测的准确率及效率。机松土器质量检测的准确率及效率。机松土器质量检测的准确率及效率。


技术研发人员：孙杨 张连伟 焦开航
受保护的技术使用者：山东聚宁机械有限公司
技术研发日：2023.08.21
技术公布日：2023/9/16