一种基于机器视觉的玻璃细管缺陷检测方法

1.本发明涉及机器视觉和传感器技术领域，特别涉及一种基于机器视觉的玻璃细管缺陷检测方法。


背景技术：

2.珠绣原材料玻璃细管在生产过程中，由于不可避免的技术因素会导致玻璃细管产生结石结瘤缺陷问题，严重影响成品质量，在捆扎时缺陷凸出处会挤压其它正常玻璃细管，导致正常玻璃细管破损，降低玻璃细管生产效率。现有的方案是在玻璃细管切割后，人工挑选存在缺陷的玻璃细管，但由于玻璃细管缺陷区域在整根玻璃细管上占比小，挑选困难，人工挑选容易造成漏检问题，且剔除整根玻璃细管浪费大。人工挑选不仅耗时耗力、效率低下，而且在生产过程中，玻璃细管存在的温度高、材质锋利等问题，给作业员人身安全造成严重威胁。
3.在中国申请号为cn202011329133.5，公告日为2022.12.06的专利文献公开了一种基于机器视觉的手机盖板玻璃缺陷检测方法，包括图像采集、几何畸变矫正、去噪、边缘增强、roi区域提取和模板匹配定位，根据不同矢量对不同缺陷进行定性判断。但其在几何畸变矫正后，对产生的尖端细节或噪声点进行滤波后，会导致目标缺陷特征丢失。


技术实现要素：

4.为了克服上述现有技术的不足，本发明的目的在于提供一种基于机器视觉的玻璃细管缺陷检测方法，该方法首先使用图像预处理扩充样本，丰富样本信息。然后将轻量化网络应用于一阶段目标检测算法中，在保证准确度的同时缩小模型，减少模型计算量。该方法结合机器视觉和区域光纤传感器技术，在玻璃细管切割前对缺陷进行在线检测，实现缺陷区域自动化切割，降低人工成本和成品损耗率，提高缺陷检测率和玻璃细管生产效率。
5.为了实现上述目的，本发明采用的技术方案是：
6.一种基于机器视觉的玻璃细管缺陷检测方法，包括以下步骤；
7.步骤1：使用高速工业相机获取玻璃细管的原始视频数据，筛选出视频数据中的有效帧保存为原始图像，并对原始图像进行人工标定；
8.所述步骤1具体为：
9.步骤1.1：生产中的玻璃细管高速旋转向前运动，通过高速工业相机获取原始视频数据，在获取原始视频数据增加外部光源补充亮度，同时降低相机曝光时间，避免图像产生残影，影响图像质量；
10.步骤1.2：筛选视频中出现结石结瘤缺陷的图像作为有效帧，保存为png格式，使用labelimg工具对原始图像进行人工标定，标定格式为txt，其中txt标签数据中包含缺陷类别和位置。
11.步骤2：对步骤1人工标定后的原始图像进行预处理实现样本扩充，合并原始图像和增强图像，得到玻璃细管缺陷数据集x，将数据集x划分为训练集、验证集、测试集；
12.所述步骤2的具体实施步骤为：
13.步骤2.1：提取步骤1.2中txt标签数据中的缺陷类别和位置，对其进行随机数据增强，然后随机粘贴到原始图像中，随机数据增强操作包括强增强和弱增强，其中，强增强包括图像的旋转变换、形态学处理、高斯滤波，弱增强包括图像的亮度、对比度和色调，得到增强图像；
14.步骤2.2：在数据增强完成后，将原始图像和增强图像合并，按照8：1：1的比例划分为训练集、验证集和测试集；
15.步骤3：将训练集输入到改进的yolov5目标检测网络中，设置参数训练检测模型；得到改进的yolov5目标检测模型；
16.所述步骤3的具体实施步骤为：
17.步骤3.1：重新设计anchor，使用k-means++算法对构建的玻璃细管缺陷数据集x真实框重新聚类，提高网络收敛性能；改进的yolov5采用k-means算法聚类coco数据集生成的锚框，并采用遗传算法在训练过程中调整锚框，但k-means算法在聚类初期需要初始化k个簇中心，训练收敛情况严重依赖于簇中心的初始化状况，因此本发明使用k-means++算法，使随机选取的中心点尽可能趋近全局最优解而不是局部最优解；k-means++算法具体步骤为：
18.step1：从数据集x(共n张图像)中随机选择一个样本作为第一个聚类中心c1；
19.step2：计算数据集中其它每个样本m与已有聚类中心的最小距离d(xm,ci)；
20.step3：从数据集x中根据下述概率pm选择下一个聚类中心，d(xm,ci)较大时，被选择作为第二个聚类中的概率越大，为所有样本点到聚类中心的最小距离之和。；
[0021][0022]
step4：重复step2、step3，直到选出k个聚类中心。
[0023]
step5：对k个初始化的聚类中心，利用k-means算法计算最终的聚类中心作为最优锚框。
[0024]
step6：使用step5得出的最优锚框替换原始锚框。
[0025]
步骤3.2：使用轻量化的卷积神经网络shufflenetv2替换yolov5的backbone，能够在保证较高精度的情况下大幅减小模型的参数量和计算量，提高模型的运行速度和效率，同时也可在部分较低算力的设备上实现目标检测任务；
[0026]
步骤3.3：将步骤2.2中的训练集送入步骤3.2改进的yolov5目标检测网络进行训练，调整参数得到最优改进的yolov5目标检测模型。
[0027]
步骤4：在改进的yolov5目标检测模型的检测函数中设置weights参数，weights参数为步骤3得到的最优模型权重文件，调用工业相机，实现实时玻璃细管图像检测。
[0028]
所述步骤4的具体实施步骤为：
[0029]
步骤4.1：工业相机取图步骤如下：
[0030]
(1)使用mv_cc_enumdevices()方法枚举子网内指定传输协议对应的所有设备；
[0031]
(2)使用mv_cc_device_info()方法获取设备信息；
[0032]
(3)使用mv_cc_createhandle()方法创建设备句柄；
[0033]
(4)使用mv_cc_opendevice()方法打开设备；
[0034]
(5)使用setparam()方法配置相机设备参数，设置曝光时间、增益和分辨率；
[0035]
(6)使用mv_cc_startgrabbing()方法开始取流；
[0036]
(7)使用mv_cc_getimagebuffer()方法从相机中获取图像，格式为mono8；
[0037]
步骤4.2：在改进后的yolov5目标检测网络的detect.py函数中调用获取的图像，具体步骤如下：
[0038]
(1)对步骤4.1获取的一帧图像进行格式转换，由mono8转为np.array便于后期图像处理；
[0039]
(2)将步骤(1)转换格式后的图像送入步骤3得到的目标检测模型，输出检测结果；
[0040]
(3)若检测出缺陷，自动保存后检测下一帧，将检测结果反馈给工控机，工控机控制切管机对缺陷区域进行切割，同时控制水平挡板底部打开，使切割的缺陷玻璃细管掉落至回收装置后自动关闭；
[0041]
(4)若无缺陷，则获取下一帧进行检测；
[0042]
(5)检测完成后，使用mv_cc_closedevice()方法关闭设备；
[0043]
(6)使用mv_cc_destroyhandle()方法销毁句柄并释放资源。
[0044]
步骤5：由于玻璃细管不间断生产，因此同时使用对射型区域光纤传感器对玻璃细管结石缺陷进行检测，避免相机出现故障，分析处理传感器得到的检测结果，并将检测结果发送至工控机，工控机根据检测结果控制拉管切管机状态，对存在缺陷的玻璃细管进行切割。
[0045]
所述步骤5的具体实施步骤为：
[0046]
步骤5.1：在玻璃细管两侧安装两组对射型区域光纤传感器和放大器，根据光纤传感器接收器的入光量判断玻璃细管是否出现结石缺陷，通过放大器与光纤传感器的组合，能够实现稳定的投光量，并且以较短时间快速响应，实现对玻璃细管缺陷的快速检测；
[0047]
步骤5.2：当入光量变化值超过设定阈值，则判定为缺陷，阈值设置为完全入光量的0.8倍，并将结果发送给工控机，工控机计算缺陷区域到达切管机处所需时间，对存在缺陷区域进行切割，工控机控制水平挡板底部打开，使切断的缺陷玻璃细管掉落至回收装置。
[0048]
本发明的有益效果：
[0049]
本发明使用高速工业相机采集高帧率的实时玻璃细管图像，对存在缺陷的图像进行人工标注，再通过数据增强方式扩充样本，相对于传统的对整幅图像进行数据增强操作，本发明随机提取数据集中缺陷的目标类别和位置信息，对其进行旋转、缩放、加噪等图像增强操作后，随机粘贴到数据集中的某一图像中，使得缺陷区域在空间上的呈现不规则性和多态性，提高模型检测性能。本发明在一阶段检测算法yolov5的基础上，首先使用k-means++法对真实框重新聚类，提高模型训练的收敛速度；再使用轻量化网络shufflenetv2网络替换原有的特征提取主干网络，使得模型的参数量和内存占用率大大减少，为其在移动端部署提供技术支撑。同时本发明使用区域光纤传感器和放大器，能以较短时间快速响应玻璃细管的结石缺陷检测。结合机器视觉和传感器技术同时对玻璃细管中的缺陷进行检测，使得检测结果更加可靠，有效提高检测精度。
附图说明
[0050]
图1为本发明结构示意图。
[0051]
图2为发明系统框图。
[0052]
图3为数据集预处理流程图。
[0053]
图4为数据集预处理后结果示例图。
[0054]
图5为shufflenetv2网络结构图。
[0055]
图6为shufflenetv2替换yolov5的backbone结构图。
[0056]
图7为工业相机调用流程图。
[0057]
图8为本发明算法部分检测结果示意图。
[0058]
附图标记：
[0059]
其中1、3区域光纤传感器发射器，2、4区域光纤传感器接收器，5高速工业相机，6光源，7拉管牵引轮，8切管机，9工控机，10缺陷玻璃细管回收装置，11水平挡板，12垂直挡板，13玻璃细管收置装置，14传送带，15玻璃细管，16匀光板，17熔炉。
具体实施方式
[0060]
下面结合附图对本发明作进一步详细说明。
[0061]
参照图1和图2对本实例过程进行详细说明。实际生产中，熔炉17生产的玻璃细管经拉管牵引轮7向前拉动，通过工控机9控制切管机8切割玻璃细管，切割后的玻璃细管被水平挡板11和垂直挡板12阻挡后，掉落在传送带14上，通过传送带14传送至玻璃细管收置装置13，然后通过人工挑选出存在缺陷的玻璃细管。针对上述场景，本实施例给出一种基于机器视觉的玻璃细管缺陷检测算法，包括以下步骤：
[0062]
步骤1：使用高速工业相机5mv-ch089-10gm获取原始视频数据，筛选出视频数据中的有效帧保存为原始图像，并对原始图像进行标定。
[0063]
具体实施步骤为：
[0064]
步骤1.1：生产中的玻璃细管15高速旋转向前运动，因此高速工业相机5获取原始视频数据时，设置相机曝光时间40us，同时在匀光板16下面增加外部光源6补充亮度，避免图像产生残影，影响图像质量，相机分辨率设置为4096*100。
[0065]
步骤1.2：筛选视频中存在缺陷的图像作为有效帧，保存为png格式。对原始图像进行人工标定，标定格式为txt，其中txt标签数据中包含缺陷类别和位置。
[0066]
步骤2：针对本实例中缺陷样本少、难获取等问题，如图3，本发明对原始图像进行预处理实现样本扩充，合并原始图像和增强图像，划分为训练集、验证集、测试集，增强后图像如图4所示；
[0067]
具体实施步骤为：
[0068]
步骤2.1：提取txt标签数据中的缺陷类别和位置，对其进行随机数据增强，然后随机粘贴到原始图像中。随机数据增强操作包括强增强和弱增强，其中，强增强包括图像的旋转变换、形态学处理、高斯滤波，弱增强包括图像的亮度、对比度和色调；
[0069]
步骤2.2：在数据增强完成后，将500张原始图像和1000张增强图像合并，按照8：1：1的比例划分为训练集、验证集和测试集。
[0070]
步骤3：本发明在yolov5的基础上进行改进，将训练集输入到改进的目标检测网络
中，设置参数训练检测模型。
[0071]
具体实施步骤为：
[0072]
步骤3.1：重新设计anchor，使用k-means++算法对构建的玻璃细管缺陷数据集真实框重新聚类，优化网络收敛性能。yolov5采用k-means算法聚类coco数据集生成的锚框，并采用遗传算法在训练过程中调整锚框，但k-means算法在聚类初期需要初始化k个簇中心，训练收敛情况严重依赖于簇中心的初始化状况，因此本发明使用k-means++算法，使随机选取的中心点尽可能趋近全局最优解而不是局部最优解。k-means++算法具体步骤为：
[0073]
step1：从数据集x(共n张图像)中随机选择一个样本作为第一个聚类中心c1；
[0074]
step2：计算数据集中其它每个样本m与已有聚类中心的最小距离d(xm,ci)；
[0075]
step3：从数据集x中根据下述概率pm选择下一个聚类中心，d(xm,ci)较大时，被选择作为第二个聚类中的概率越大，为所有样本点到聚类中心的最小距离之和。；
[0076][0077]
step4：重复step2、step3，直到选出k个聚类中心。
[0078]
step5：对k个初始化的聚类中心，利用k-means算法计算最终的聚类中心作为最优锚框。
[0079]
step6：使用step5得出的最优锚框替换原始锚框。
[0080]
步骤3.2：shufflenetv2是一种轻量级的卷积神经网络，将shufflenetv2替换yolov5的backbone可以使得模型更加轻量化，能够在保证较高精度的情况下大幅减小模型的参数量和计算量，提高模型的运行速度和效率，同时也可在部分较低算力的设备上实现目标检测任务。具体构建过程如下：
[0081]
(1)dwconv为深度卷积，减少卷积计算量，输入通道与一组卷积核的通道数量相同，并且一个输入通道只与一组卷积核的一个通道进行计算，输出通道等于一组卷积核通道数量。
[0082]
(2)conv_bn_relu_maxpool模块由conv模块、bn模块、relu模块和最大池化模块构成；
[0083]
(3)图5为shufflenetv2网络结构图，shuffle_block模块分为两种情况：当dwconv stride＝1的时候，需要对输入数据进行通道分割，分割因子为2，采用图block结构；当dwconv stride＝2的时候，不需要对输入数据进行通道分割，直接进行计算；
[0084]
(4)图6为shufflenetv2替换yolov5的backbone结构图，使用图6结构替换yolov5中的模型文件yolov5s.yaml中的backbone部分，在common.py文件中添加图5的网络结构。
[0085]
步骤3.3：将步骤2.2中的训练集送入改进的步骤3目标检测网络进行训练，调整参数得到最优模型。本实例分别使用原始网络结构和改进后的网络结构分别训练1000轮，使用改进后的网络结构参数量缩减为原来的五分之一，模型大小从13.6mb降至2.1mb，算法准确率仅降低0.4％，如图8为本发明算法部分检测结果示意图。
[0086]
步骤4：在yolov5检测函数中调用工业相机，实现实时玻璃细管图像检测。
[0087]
具体实施步骤为：
[0088]
步骤4.1：如图7为工业相机调用流程图，工业相机取图步骤如下：
[0089]
(1)使用mv_cc_enumdevices()方法枚举子网内指定传输协议对应的所有设备，本实例使用工业相机为gige协议，采用千兆网线传输。
[0090]
(2)使用mv_cc_device_info()方法获取设备信息；
[0091]
(3)使用mv_cc_createhandle()方法创建设备句柄；
[0092]
(4)使用mv_cc_opendevice()方法打开设备；
[0093]
(5)使用setparam()方法配置相机设备参数，设置曝光时间40us、增益0、相机分辨率4096*100，此时采集帧率为200帧/s；
[0094]
(6)使用mv_cc_startgrabbing()方法开始取流；
[0095]
(7)使用mv_cc_getimagebuffer()方法从相机中获取图像，格式为mono8；
[0096]
步骤4.2：在yolov5的detect.py函数中调用步骤4.1中获取的图像：
[0097]
(1)对步骤4.1获取的一帧图像进行格式转换，由mono8转为np.array便于后期图像处理；
[0098]
(2)设置输入图像尺寸为1024，将待检测图像送入目标检测模型，输出检测结果；
[0099]
(3)若存在缺陷，自动保存后检测下一帧，将检测结果反馈给工控机，工控机控制切管机对缺陷区域进行切割，同时控制水平挡板底部打开，使切割的缺陷玻璃细管掉落至回收装置后自动关闭；
[0100]
(4)若无缺陷，则获取下一帧进行检测；
[0101]
(5)检测完成后，使用mv_cc_closedevice()方法关闭设备；
[0102]
(6)使用mv_cc_destroyhandle()方法销毁句柄并释放资源。
[0103]
步骤5：在玻璃细管两侧安装1-4两组对射型区域光纤传感器ft-al05和放大器fx-501-c2对玻璃细管结石缺陷进行检测，通过放大器与光纤传感器的组合，能够实现稳定的投光量，并且以较短时间快速响应玻璃细管缺陷的检测；
[0104]
具体实施步骤为：
[0105]
步骤5.1：1、3区域光纤传感器发射器投光，2、4区域光纤传感接收射器入光，当有结石缺陷进入光纤传感器检测区域时，接收器的入光量会发生变化，变化阈值倍数设置为0.8，超过变化阈值则判为存在缺陷，并将检测结果发送至工控机9。
[0106]
步骤5.2：当缺陷区域进入切割区域后，工控机9控制切管机8进行切割，同时控制水平挡板11下方打开，使切割后的缺陷玻璃细管掉落至缺陷玻璃细管回收装置10。
[0107]
针对本数据集使用k-means++算法重新聚类结果如表1：
[0108]

技术特征：
1.一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，包括以下步骤；步骤1：使用高速工业相机获取玻璃细管的原始视频数据，筛选出视频数据中的有效帧保存为原始图像，并对原始图像进行人工标定；步骤2：对步骤1人工标定后的原始图像进行预处理实现样本扩充，合并原始图像和增强图像，得到玻璃细管缺陷数据集x，将数据集x划分为训练集、验证集、测试集；步骤3：将训练集输入到改进的yolov5目标检测网络中，设置参数训练检测模型；得到改进的yolov5目标检测模型；步骤4：在改进的yolov5目标检测网络的检测函数中设置weights参数，weights参数为步骤3得到的最优模型权重文件，调用工业相机，实现实时玻璃细管图像检测；步骤5：由于玻璃细管不间断生产，因此同时使用对射型区域光纤传感器对玻璃细管结石缺陷进行检测，避免相机出现故障，分析处理传感器得到的检测结果，并将检测结果发送至工控机，工控机根据检测结果控制拉管切管机状态，对存在缺陷的玻璃细管进行切割。2.根据权利要求1所述一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，步骤1具体为：步骤1.1：生产中的玻璃细管高速旋转向前运动，通过高速工业相机获取原始视频数据，在获取原始视频数据增加外部光源补充亮度，同时降低相机曝光时间；步骤1.2：筛选视频中出现结石结瘤缺陷的图像作为有效帧，保存为png格式，使用labelimg工具对原始图像进行人工标定，标定格式为txt，其中txt标签数据中包含缺陷类别和位置。3.根据权利要求2所述一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，所述步骤2的具体实施步骤为：步骤2.1：提取步骤1.2中txt标签数据中的缺陷类别和位置，对其进行随机数据增强，然后随机粘贴到原始图像中，随机数据增强操作包括强增强和弱增强，其中，强增强包括图像的旋转变换、形态学处理、高斯滤波，弱增强包括图像的亮度、对比度和色调，得到增强图像；步骤2.2：在数据增强完成后，将原始图像和增强图像合并，划分为训练集、验证集和测试集。4.根据权利要求3所述一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，所述步骤3的具体实施步骤为：步骤3.1：使用k-means++算法对构建的玻璃细管缺陷数据集x真实框重新聚类；步骤3.2：使用轻量化的卷积神经网络shufflenetv2替换yolov5的backbone；步骤3.3：将步骤2.2中的训练集送入步骤3.2改进的yolov5目标检测网络进行训练，调整参数得到最优改进的yolov5目标检测模型。5.根据权利要求4所述一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，所述步骤3.1中，k-means++算法具体步骤为：step1：从数据集x(共n张图像)中随机选择一个样本作为第一个聚类中心c1；step2：计算数据集中其它每个样本m与已有聚类中心的最小距离d(xm,ci)；step3：从数据集x中根据下述概率pm选择下一个聚类中心，d(xm,ci)较大时，被选择作
为第二个聚类中的概率越大，为所有样本点到聚类中心的最小距离之和；step4：重复step2、step3，直到选出k个聚类中心；step5：对k个初始化的聚类中心，利用k-means算法计算最终的聚类中心作为最优锚框；step6：使用step5得出的最优锚框替换原始锚框。6.根据权利要求5所述一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，所述步骤4的具体实施步骤为：步骤4.1：工业相机取图步骤如下：(1)使用mv_cc_enumdevices()方法枚举子网内指定传输协议对应的所有设备；(2)使用mv_cc_device_info()方法获取设备信息；(3)使用mv_cc_createhandle()方法创建设备句柄；(4)使用mv_cc_opendevice()方法打开设备；(5)使用setparam()方法配置相机设备参数，设置曝光时间、增益和分辨率；(6)使用mv_cc_startgrabbing()方法开始取流；(7)使用mv_cc_getimagebuffer()方法从相机中获取图像，格式为mono8；步骤4.2：在改进后的yolov5目标检测网络的detect.py函数中调用获取的图像，具体步骤如下：(1)对步骤4.1获取的一帧图像进行格式转换，由mono8转为np.array便于后期图像处理；(2)将步骤(1)转换格式后的图像送入步骤3得到的目标检测模型，输出检测结果；(3)若检测出缺陷，自动保存后检测下一帧，将检测结果反馈给工控机，工控机控制切管机对缺陷区域进行切割，同时控制水平挡板底部打开，使切割的缺陷玻璃细管掉落至回收装置后自动关闭；(4)若无缺陷，则获取下一帧进行检测；(5)检测完成后，使用mv_cc_closedevice()方法关闭设备；(6)使用mv_cc_destroyhandle()方法销毁句柄并释放资源。7.根据权利要求6所述一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，所述步骤5的具体实施步骤为：步骤5.1：在玻璃细管两侧安装两组对射型区域光纤传感器和放大器，根据光纤传感器接收器的入光量判断玻璃细管是否出现结石缺陷，通过放大器与光纤传感器的组合，能够实现稳定的投光量，并且以较短时间快速响应，实现对玻璃细管缺陷的快速检测；步骤5.2：当入光量变化值超过设定阈值，则判定为缺陷，阈值设置为完全入光量的0.8倍，并将结果发送给工控机，工控机计算缺陷区域到达切管机处所需时间，对存在缺陷区域进行切割，工控机控制水平挡板底部打开，使切断的缺陷玻璃细管掉落至回收装置。

技术总结
一种基于机器视觉的玻璃细管缺陷检测方法，其特征在于，包括以下步骤；步骤1：使用高速工业相机获取原始视频数据，筛选出视频数据中的有效帧保存为原始图像，并对原始图像进行人工标定；步骤2：对人工标定后的原始图像进行预处理实现样本扩充，合并原始图像和增强图像，划分为训练集、验证集、测试集；步骤3：设置参数训练检测模型；得到改进的YOLOv5目标检测模型；步骤4：在改进的YOLOv5目标检测网络的检测函数中设置weights参数，weights参数为步骤3得到的最优模型权重文件，调用工业相机，实现实时玻璃细管图像检测。本发明在玻璃细管切割前对缺陷进行在线检测，实现缺陷区域自动化切割，降低人工成本和成品损耗率，提高缺陷检测率和玻璃细管生产效率。率和玻璃细管生产效率。率和玻璃细管生产效率。


技术研发人员：马宗方 袁山山 张国飞 朱命昊
受保护的技术使用者：西安建筑科技大学
技术研发日：2023.05.15
技术公布日：2023/8/28