基于视觉的复杂机电产品微小零件装配状态检测方法

1.本发明属于机电产品装配领域，具体涉及一种基于视觉的复杂机电产品微小零件装配状态检测方法。


背景技术：

2.机电产品很多工序都实现了自动化生产，但在一些复杂、狭小等机械臂不易操作的环境下，还是需要人工的操作，这难免会出现漏装或错装的情况，因此装配过程中的防错检测非常重要。传统人工目检的方式容易受到检测人员的主观因素影响，无法保证结果的可靠性和稳定性，进而影响产品的装配质量。近年来，图像识别技术逐步应用在装配质量检测方面，但是目前的检测方法多用于尺寸较小、结构简单的产品或结构件。对于尺寸在3～5米甚至更大的复杂机电产品来讲，现有的装配状态检测方法无法快速准确的装配体上零件进行检测。以雷达阵面为例，阵面上零件尺寸跨度大，装配单元平面尺寸在30cm
×
40cm左右，而滤波器固定件装配后的外观直径仅有6～10mm。尺寸较大的目标可以通过现有比较成熟的算法进行识别，而针对尺寸较小的目标的识别一直是目标检测难点。


技术实现要素：

3.本发明的目的在于提供一种基于视觉的复杂机电产品微小零件装配状态检测方法，减少复杂机电产品上零件的错装和漏装，提高装配的质量。
4.实现本发明目的的技术解决方案为：一种基于视觉的复杂机电产品微小零件装配状态检测方法，包括如下步骤：
5.步骤(1)：图像采集：拍摄多张图像，图像将复杂机电产品覆盖完整；
6.步骤(2)：对步骤(1)采集的原始图像进行倾斜矫正，并进行图像拼合；
7.步骤(3)：装配单元的图像的获取：将完整产品图像输入至训练好的目标检测模型，取得装配单元的图像位置，并裁剪出该部分图像；
8.步骤(4)：第一类目标对象图像的获取：第一类目标对象的尺寸在10mm～50mm，为第二类目标对象的父级零件，将步骤(3)裁剪出装配单元的图像输入至训练好的目标检测模型，对第一类目标对象进行状态检测；
9.步骤(5)：第二类目标对象图像装配状态的检测：提取第一类目标对象的图像，根据第二类目标对象在第一类目标对象图像上的位置信息提取第二类目标对象的图像，对第二类目标对象进行装配状态检测，第二类目标对象即为直径小于10mm的微小零件。
10.进一步的，步骤(1)中采用若干个图像采集设备进行图像采集，若干个图像采集设备与待采集平面的距离保持一致；相邻采集设备采集的图像有重叠区域，且重叠区域占图像的比例为1/6～1/5。
11.进一步的，根据目标检测精度pv确定采集设备的参数，目标检测精度pv为待检测目标在图像上的像素个数pn与实际尺寸h之比，目标检测精度pv的大于3像素每毫米。
12.进一步的，步骤(2)倾斜校正具体方法如下：
13.步骤(21)：基于原始图像，通过霍夫变换对图像中的直线进行检测；
14.步骤(22)：计算每条直线的倾斜角，求其平均值；
15.步骤(23)：通过求得的倾斜角平均值对原始图像进行旋转，使得复杂机电产品的外框架在图像上呈近似水平或垂直状态。
16.进一步的，步骤(2)中的图像拼合具体方法如下：
17.步骤(24)：图像特征点提取：采用surf作为特征点提取算法；
18.步骤(25)：图像特征点匹配：进一步筛选两张图片中的特征点，获取更优图像匹配点；
19.步骤(26)：图像配准：通过步骤(25)得到了两幅待拼接图像的匹配点集，将两幅图像转换到同一坐标下；
20.采用ransac算法寻找最佳单应性矩阵h，矩阵大小为3
×
3，方程如下：
[0021][0022]
其中(x,y)表示目标图像角点位置，(x’,y’)为场景图像角点位置，s为尺度参数，ransac算法从匹配数据集中随机抽出4个样本并保证这4个样本之间不共线，计算出单应性矩阵，然后利用这个模型测试所有数据，并计算满足这个模型数据点的个数与投影误差、即代价函数，若此模型为最优模型，则对应的代价函数最小；
[0023]
代价函数的计算公式如下：
[0024][0025]
步骤(27)：图像融合：将图像配准得到的单应性矩阵对图像进行变换，再将变换后的图像进行拼接。
[0026]
进一步的，步骤(3)中的目标检测模型的训练具体为：
[0027]
获取若干张复杂机电产品完整图像；
[0028]
对复杂机电产品完整图像进行标注，标注内容为装配单元的图像位置，形式为(px,py,m,n)，其中px，py为装配单元中心点在图像上的坐标，m、n分别为标注框横、纵向尺寸占图像横、纵向的比例；
[0029]
基于标注后的复杂机电产品完整图像，训练获得装配单元目标检测模型。
[0030]
进一步的，步骤(4)目标检测模型的训练具体为：
[0031]
裁剪出的装配单元图像，对第一类目标对象进行图像标注，标注内容为第一类目标对象的图像位置；形式为(px,py,m,n)，其中px，py为第一类目标对象中心点在图像上的坐标，m、n分别为标注框横、纵向尺寸占图像横、纵向的比例；
[0032]
基于标注后的装配单元图像，训练获得第一类目标对象检测模型。
[0033]
进一步的，目标检测模型均采用卷积神经网络作为网络骨架。
[0034]
进一步的，第二类目标对象的装配状态检测还包括：
[0035]
获取若干张第二类目标对象正确安装、错误安装、未安装的图像作为训练样本；
[0036]
提取第二类目标对象的关键点信息；训练分类模型，将第二类目标对象所在位置
的图像根据关键点信息进行分类；关键点信息的提取是指根据像素提取图像特征，实现方式为：
[0037]
对第二类目标对象图像进行尺寸归一化处理；
[0038]
通过计算和统计图像局部区域的梯度方向直方图即hog特征作为关键点信息；首先将图像分成小的连通区域，然后提取这些连通区域单元中各像素点的梯度的或边缘的方向直方图，最后将这些直方图组合构成关键点信息；方向梯度的计算公式如下：
[0039]gx
(x,y)＝h(x+1,y)-h(x-1,y)
[0040]gy
(x,y)＝h(x,y+1)-h(x,y-1)
[0041]
其中gx(x,y)表示像素点(x,y)的水平方向梯度，gy(x,y)表示像素点(x,y)的垂直方向梯度。h(x,y)表示像素点(x,y)经过gamma正则化处理后的结果；
[0042]
根据关键点信息对图像进行分类的实现方式为：
[0043]
在提取图像关键点信息后，利用支持向量机对图像进行分类，支持向量机的基本模型定义为特征空间上的间隔最大的线性分类器，最终将问题转化为一个凸二次规划问题的求解。
[0044]
一种采用上述的方法的用途，用于大型雷达阵面，第一类目标对象为滤波器，第二类目标对象为滤波器固定件，即紧固螺钉和定位螺钉。
[0045]
本发明与现有技术相比，其显著优点在于：
[0046]
本发明仅需对复杂机电产品图像进行一次采集，操作简便；另外通过矫正处理对产品图像进行倾斜矫正，降低了因采集设备放置偏差导致的错检问题；通过卷积神经网络对待检测目标进行识别，提高了识别的速度和准确度；通过零件间位置关系对第二类检测目标进行检测，提高了对小尺寸目标的检测能力。
附图说明
[0047]
图1为本发明大型雷达阵面微小零件装配状态检测的流程图。
[0048]
图2为本发明待检测复杂机电产品示例图。
[0049]
图3为本发明待检测装配单元示例图。
[0050]
图4为本发明待检测零件正确装配图像。
[0051]
图5为本发明待检测零件错误装配图像。
具体实施方式
[0052]
下面结合附图对本发明作进一步详细描述。
[0053]
参照附图1，本技术实施例提供的一种基于视觉的复杂机电产品微小零件装配状态检测方法的流程为：拍摄多张复杂机电产品的局部照片，保证完整覆盖整个产品，并对照片进行矫正处理；将矫正后的大型雷达阵面局部照片拼合成复杂机电产品；将完整产品图像送入预先训练好的目标检测模型，对装配单元进行检测，提取该部分图像，进行下一步操作；将裁剪出的装配单元图像送入预先训练好的目标检测模型，对其中的第二类目标对象进行检测，提取出该部分图像，进行下一步操作；根据第二类目标对象与第一类目标对象的相对位置，提取出第二类目标对象的图像，对第二类目标对象进行装配状态检测。
[0054]
本实施例中待检测复杂机电产品以大型雷达阵面为例，示例图如附图2所示。在装
配过程中，夹持工装(图中编号为2)将雷达阵面(图中编号为1)垂直于地面放置，待检测目标为雷达装配单元(图中编号为3)及其内部的零件。
[0055]
雷达装配单元内部结构如图3所示，雷达装配单元中待检测的目标为滤波器(图中编号为4)、紧固螺钉(图中编号为5)和定位螺钉(图中编号为6)。
[0056]
在上述第一类检测目标为滤波器，第二类检测目标为滤波器固定件，即紧固螺钉和定位螺钉。图4展示了实施例滤波器正确安装紧固件的一个样本图像，图5展示了实施例滤波器错误安装紧固件的一个样本图像，红色框表示该位置未正确安装零件。
[0057]
在具体实施过程中，对雷达阵面的原始图像的采集还包括：
[0058]
根据检测精度确定采集设备的像素、接口、传感器类型等；
[0059]
当采用多设备采集时，若干个图像采集设备与待采集平面的距离应保持一致。
[0060]
在具体实施过程中，对原始图像进行的倾斜矫正方法包括：
[0061]
基于原始图像，进行通过霍夫变换对图像中的直线进行检测；
[0062]
计算每条直线的倾斜角，求其平均值；
[0063]
通过求得的倾斜角平均值对原始图像进行旋转。从而得到矫正后的图像。
[0064]
在具体实施过程中，图像拼合的操作包括：
[0065]
图像特征点提取。提取特征是为了对图像进行匹配，应该根据待配准图像的特点考虑选择何种特征作为配准的依据；
[0066]
图像特征点匹配。图像特征点匹配的目的进一步筛选两张图片中的特征点，获取更加优秀的图像匹配点；
[0067]
图像配准。通过上一步的操作得到了两幅待拼接图像的匹配点集，接下来需要将两幅图像转换到同一坐标下；
[0068]
图像融合。这一步是将图像配准得到的单应性矩阵对图像进行变换，再将变换后的图像进行拼接。
[0069]
在具体实施过程中，在特征点的选择上主要需考虑三个方面：
[0070]
第一，选择待配准的两幅图像中都存在的特征，只有两幅图像中都能提取出来的特征才能进行图像的特征匹配；
[0071]
第二，必须能够同时在两幅图像中提取出足够数量的特征才是有效的；
[0072]
第三，选取的特征必须具有较好的独特性且便于下一步的特征匹配工作。
[0073]
在具体实施过程中，应尽可能多的获取样本图像进行训练，以保证模型的准确率。保证足够多的样本后，通过调整网络的结构及权值，使网络的输出与预期值相符。在确保样本数据质量和分布均衡的情况下，样本数据的规模决定了神经网络训练结果的精度。样本数据量越大，精度越高。
[0074]
在具体实施过程中，对紧固螺钉和定位螺钉的装配状态检测还包括：
[0075]
获取若干张紧固螺钉和定位螺钉正确安装和错误安装图像作为训练样本。
[0076]
提取紧固螺钉和定位螺钉的关键点信息。
[0077]
训练分类模型，将紧固螺钉和定位螺钉所在位置的图像根据关键点信息进行分类。
[0078]
在具体实施过程中，关键点信息的提取是指根据像素提取图像特征，一种可能的实现方式为：
[0079]
通过计算和统计图像局部区域的梯度方向直方图，具体地，首先将图像分成小的连通区域，然后这些连通区域单元中各像素点的梯度的或边缘的方向直方图。最后将这些直方图组合构成关键点信息。
[0080]
在具体实施过程中，根据关键点信息对图像进行分类的一种可能的实现方式为：
[0081]
在提取紧固螺钉和定位螺钉的图像关键点信息后，利用支持向量机对图像进行分类，支持向量机的基本模型定义为特征空间上的间隔最大的线性分类器，最终将问题转化为一个凸二次规划问题的求解。通过分类器将图像做出区分，达到零件装配状态检测的目的。

技术特征：
1.一种基于视觉的复杂机电产品微小零件装配状态检测方法，其特征在于，包括如下步骤：步骤(1)：图像采集：拍摄多张图像，图像将复杂机电产品覆盖完整；步骤(2)：对步骤(1)采集的原始图像进行倾斜矫正，并进行图像拼合；步骤(3)：装配单元的图像的获取：将完整产品图像输入至训练好的目标检测模型，取得装配单元的图像位置，并裁剪出该部分图像；步骤(4)：第一类目标对象图像的获取：第一类目标对象的尺寸在10mm～50mm，为第二类目标对象的父级零件，将步骤(3)裁剪出装配单元的图像输入至训练好的目标检测模型，对第一类目标对象进行状态检测；步骤(5)：第二类目标对象图像装配状态的检测：提取第一类目标对象的图像，根据第二类目标对象在第一类目标对象图像上的位置信息提取第二类目标对象的图像，对第二类目标对象进行装配状态检测，第二类目标对象即为直径小于10mm的微小零件。2.根据权利要求1所述的方法，其特征在于，步骤(1)中采用若干个图像采集设备进行图像采集，若干个图像采集设备与待采集平面的距离保持一致；相邻采集设备采集的图像有重叠区域，且重叠区域占图像的比例为1/6～1/5。3.根据权利要求2所述的方法，其特征在于，根据目标检测精度p
v
确定采集设备的参数，目标检测精度p
v
为待检测目标在图像上的像素个数p
h
与实际尺寸h之比，目标检测精度p
v
的大于3像素每毫米。4.根据权利要求3所述的方法，其特征在于，步骤(2)倾斜校正具体方法如下：步骤(21)：基于原始图像，通过霍夫变换对图像中的直线进行检测；步骤(22)：计算每条直线的倾斜角，求其平均值；步骤(23)：通过求得的倾斜角平均值对原始图像进行旋转，使得复杂机电产品的外框架在图像上呈近似水平或垂直状态。5.根据权利要求4所述的方法，其特征在于，步骤(2)中的图像拼合具体方法如下：步骤(24)：图像特征点提取：采用surf作为特征点提取算法；步骤(25)：图像特征点匹配：进一步筛选两张图片中的特征点，获取更优图像匹配点；步骤(26)：图像配准：通过步骤(25)得到了两幅待拼接图像的匹配点集，将两幅图像转换到同一坐标下；采用ransac算法寻找最佳单应性矩阵h，矩阵大小为3
×
3，方程如下：其中(x,y)表示目标图像角点位置，(x’,y’)为场景图像角点位置，s为尺度参数，ransac算法从匹配数据集中随机抽出4个样本并保证这4个样本之间不共线，计算出单应性矩阵，然后利用这个模型测试所有数据，并计算满足这个模型数据点的个数与投影误差、即代价函数，若此模型为最优模型，则对应的代价函数最小；代价函数的计算公式如下：
步骤(27)：图像融合：将图像配准得到的单应性矩阵对图像进行变换，再将变换后的图像进行拼接。6.根据权利要求5所述的方法，其特征在于，步骤(3)中的目标检测模型的训练具体为：获取若干张复杂机电产品完整图像；对复杂机电产品完整图像进行标注，标注内容为装配单元的图像位置，形式为(px,py,m,n)，其中px，py为装配单元中心点在图像上的坐标，m、n分别为标注框横、纵向尺寸占图像横、纵向的比例；基于标注后的复杂机电产品完整图像，训练获得装配单元目标检测模型。7.根据权利要求6所述的方法，其特征在于，步骤(4)目标检测模型的训练具体为：裁剪出的装配单元图像，对第一类目标对象进行图像标注，标注内容为第一类目标对象的图像位置；形式为(px,py,m,n)，其中px，py为第一类目标对象中心点在图像上的坐标，m、n分别为标注框横、纵向尺寸占图像横、纵向的比例；基于标注后的装配单元图像，训练获得第一类目标对象检测模型。8.根据权利要求7所述的方法，其特征在于，目标检测模型均采用卷积神经网络作为网络骨架。9.根据权利要求8所述的方法，其特征在于，第二类目标对象的装配状态检测还包括：获取若干张第二类目标对象正确安装、错误安装、未安装的图像作为训练样本；提取第二类目标对象的关键点信息；训练分类模型，将第二类目标对象所在位置的图像根据关键点信息进行分类；关键点信息的提取是指根据像素提取图像特征，实现方式为：对第二类目标对象图像进行尺寸归一化处理；通过计算和统计图像局部区域的梯度方向直方图即hog特征作为关键点信息；首先将图像分成小的连通区域，然后提取这些连通区域单元中各像素点的梯度的或边缘的方向直方图，最后将这些直方图组合构成关键点信息；方向梯度的计算公式如下：g
x
(x,y)＝h(x+1,y)-h(x-1,y)g
y
(x,y)＝h(x,y+1)-h(x,y-1)其中gx(x,y)表示像素点(x,y)的水平方向梯度，gy(x,y)表示像素点(x,y)的垂直方向梯度。h(x,y)表示像素点(x,y)经过gamma正则化处理后的结果；根据关键点信息对图像进行分类的实现方式为：在提取图像关键点信息后，利用支持向量机对图像进行分类，支持向量机的基本模型定义为特征空间上的间隔最大的线性分类器，最终将问题转化为一个凸二次规划问题的求解。10.一种采用权利要求1-9任一项所述的方法的用途，其特征在于，用于大型雷达阵面，第一类目标对象为滤波器，第二类目标对象为滤波器固定件，即紧固螺钉和定位螺钉。

技术总结
本发明属于机电产品装配领域，具体涉及一种基于视觉的复杂机电产品微小零件装配状态检测方法。包括如下步骤：图像采集：拍摄多张图像，图像将复杂机电产品覆盖完整；对原始图像进行倾斜矫正，并进行图像拼合；装配单元的图像的获取；第一类目标对象的尺寸在10mm～50mm，为第二类目标对象的父级零件，将裁剪出装配单元的图像输入至训练好的目标检测模型，对第一类目标对象进行状态检测；提取第一类目标对象的图像，根据第二类目标对象在第一类目标对象图像上的位置信息提取第二类目标对象的图像，对第二类目标对象进行装配状态检测，第二类目标对象即为直径小于10mm的微小零件。本发明减少复杂机电产品上零件的错装和漏装，提高装配的质量。提高装配的质量。提高装配的质量。


技术研发人员：夏梦铭 刘庭煜
受保护的技术使用者：南京理工大学
技术研发日：2023.03.07
技术公布日：2023/8/9