一种基于深度学习的接线盒激光焊接视觉检测方法与流程

1.本发明属于深度学习技术和焊接视觉检测技术领域，具体涉及一种基于深度学习的接线盒激光焊接视觉检测方法。


背景技术：

2.本发明背景技术中公开的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。
3.光伏接线盒是一种介于太阳能电池组件构成的太阳能电池方阵和太阳能充电控制装置之间的连接装置，其主要作用是连接和保护太阳能光伏组件，将太阳能电池产生的电力与外部线路连接，传导光伏组件所产生的电流，因此光伏接线盒在太阳能电池组件的应用中占据着重要的地位。光伏接线盒作为一种连接装置，其结构包括盒体、盒盖、连接器、接线端子和二极管等，其中连接器连接外部用电设备，接线端子连接光伏组件引出线(汇流条)和连接器，所以接线端子与光伏组件引出线(汇流条)之间的焊接品质严重影响着光伏发电的质量，严重会造成断路，或造成组件输出功率的损耗。焊接检测一直以来都是视觉检测的难点，没有精准、完整的焊接检测容易导致焊接不良品率高，产品质量无法得到有效的保证。


技术实现要素：

4.针对现有技术中存在的上述不足之处，本发明提供了一种基于深度学习的接线盒激光焊接视觉检测方法。
5.为了解决上述技术问题，本发明采用了如下技术方案：
6.一种基于深度学习的接线盒激光焊接视觉检测方法，包括以下步骤：
7.s1，接线盒整体定位：在相机拍照的整个视野中找到接线盒所在的位置并截图；
8.s2，在上一步中接线盒整体的截图中选出汇流条的边缘区域，利用接线盒整体位置和该边缘区域通过对基础大模型进行训练得到一级深度学习模型；
9.利用所述一级深度学习模型的判别模块快速查找出汇流条的边缘区域并对接线盒整体和汇流条的边缘区域进行判别，并输出相应信号；
10.s3，对落在设定区域内的汇流条边缘区域通过一级图像掩膜处理对其进行一级缩小限定；
11.经过一级图像掩膜处理后的图像一级入优化训练集对一级深度学习模型进行优化训练；
12.s4，在一级缩小限定后的图像中找出汇流条的边，然后通过汇流条边的中心定位出汇流条的中心坐标；
13.s5，通过将上述汇流条的中心坐标作为激光焊接的位置坐标对汇流条进行激光焊接；
14.s6，对焊接后的汇流条进行拍照，在图像中选出焊疤区域并截图，利用焊疤区域通过对基础大模型进行训练得到二级深度学习模型；
15.利用所述二级深度学习模型的判别模块快速查找出焊疤区域并对焊疤区域进行判别，并输出相应信号；
16.s7，对落在设定区域内的焊疤区域通过二级图像掩膜处理对其进行二级缩小限定；
17.经过二级图像掩膜处理后的图像入二级优化训练集对二级深度学习模型进行优化训练；
18.s8，在二级缩小限定后的图像中找出疤痕的边，然后通过疤痕边的中心定位出疤痕的中心坐标；
19.s9，根据上述疤痕的中心坐标对疤痕区域进行截图，截出焊疤图，利用焊疤图通过对二级深度学习模型进行训练得到三级深度学习模型；
20.利用所述三级深度学习模型的判别模块快速确定焊疤的ok/ng结果，同时，在步骤s6中，所述三级深度学习模型可与二级深度学习模型同时进行判别，对判别结果为ok的对象直接输出合格信号。
21.其中，图像掩膜处理包括：
22.s10，创建掩膜：创建一个与汇流条边缘区域图或焊疤区域图的原始图像尺寸相同的二进制图像；将掩膜中想要处理的区域设置为1，其他区域设置为0。
23.s20，应用掩膜：将掩膜应用于原始图像；
24.s30，结果图像:通过结合原始图像和掩膜得到一个新的图像，其中只有掩膜中设置为1的对应区域受到操作的影响。
25.具体地，所述基础大模型为faster r-cnn，其包括：
26.卷积神经网络:它用于提取图像的特征；
27.区域提议网络：为轻量级全卷积神经网络，用于扫描特征图并高效地生成目标对象可能存在的候选区域；
28.roi池化层和判别模块：roi池化层用于将不同大小和形状的提议转换为固定大小的特征映射；这些固定大小的特征映射然后通过一系列全连接层进行处理，这些层构成了判别模块。
29.具体地，所述卷积神经网络为resnet；
30.所述判别模块有两个输出：其一是分类输出，用以表示每个提议区域属于各个类别的概率；其二是边界框回归输出，用于优化提议的坐标，以更准确地围绕目标对象。
31.具体地，在步骤s2中，判别的问题包括：对接线盒的检测和汇流条的检测；
32.对接线盒的检测包括：接线盒歪斜超范围检测、接线盒正负极方向和位置安装错误检测；
33.对汇流条的检测包括：汇流条长短检测、汇流条扭曲检测、汇流条未按压检测。
34.具体地，在步骤s6中，判别的问题包括：焊疤有无爆点、焊疤有无扭曲、焊线有效数量。
35.作为优选，将s6中的判别输出信号和s2中的判别输出信号进行结合分析，并将分析结果输出。
36.作为优选，利用sgd优化算法对一级深度学习模型、二级深度学习模型和三级深度学习模型分别进行优化；
37.所述图像掩膜处理为来分割图像特定区域的图像分割处理。
38.作为优选，将s6和s2中的判别输出信号同时发送给筛选控制系统。
39.有益效果：本发明提升了通过一级深度学习模型可快速地找出汇流条的边缘区域，加快了找边效率，并对接线盒整体和汇流条的边缘区域进行判别，一旦接线盒或汇流条出现严重的位置偏差，可直接将输出信号发送给筛选控制系统，通过筛选控制系统控制相应的筛选装置将其取下，避免后续浪费操作和时间，提升了光伏接线盒的焊接生产效率和良品率；
40.通过二级深度学习系统可快速查找出焊疤区域，以便快速对焊疤区域进行判别，提升了焊后焊疤的定位和检测效率，从而提高了光伏接线盒的焊接生产效率；
41.通过三级深度学习模型可快速确定焊疤的ok/ng结果，同时，对质量较高的焊疤，在二级学习深度模型进行判别的同时，三级深度学习模型可自行对该判别对象进行判别，对判别结果为ok的对象直接输出合格信号，提高了检测效率；
42.本发明经过三个深度学习模型逐级更换检测对象，逐步对接线盒整体、汇流条以及焊疤对检测对象进行由大到小地检测，使得定位精度更高，检测结果更准确，从而提升了光伏接线盒的焊接的良品率。
附图说明
43.图1为本发明的整体方法流程示意图。
具体实施方式
44.为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。
45.图1出示了一种基于深度学习的接线盒激光焊接视觉检测方法，包括以下步骤：
46.s1，接线盒整体定位：在相机拍照的整个视野中找到接线盒所在的位置并截图；
47.s2，在上一步中接线盒整体的截图中选出汇流条的边缘区域，利用接线盒整体位置和该边缘区域通过对基础大模型进行训练得到一级深度学习模型；
48.利用所述一级深度学习模型的判别模块快速查找出汇流条的边缘区域并对接线盒整体和汇流条的边缘区域进行判别，并输出相应信号；
49.s3，对落在设定区域内的汇流条边缘区域通过一级图像掩膜处理对其进行一级缩小限定；
50.经过一级图像掩膜处理后的图像一级入优化训练集对一级深度学习模型进行优化训练；
51.s4，在一级缩小限定后的图像中找出汇流条的边，然后通过汇流条边的中心定位出汇流条的中心坐标；
52.s5，通过将上述汇流条的中心坐标作为激光焊接的位置坐标对汇流条进行激光焊接；
53.s6，对焊接后的汇流条进行拍照，在图像中选出焊疤区域并截图，利用焊疤区域通
过对基础大模型进行训练得到二级深度学习模型；
54.利用所述二级深度学习模型的判别模块快速查找出焊疤区域并对焊疤区域进行判别，并输出相应信号；
55.s7，对落在设定区域内的焊疤区域通过二级图像掩膜处理对其进行二级缩小限定；
56.经过二级图像掩膜处理后的图像入二级优化训练集对二级深度学习模型进行优化训练；
57.s8，在二级缩小限定后的图像中找出疤痕的边，然后通过疤痕边的中心定位出疤痕的中心坐标；
58.s9，根据上述疤痕的中心坐标对疤痕区域进行截图，截出焊疤图，利用焊疤图通过对二级深度学习模型进行训练得到三级深度学习模型；
59.利用所述三级深度学习模型的判别模块快速确定焊疤的ok/ng结果，同时，在步骤s6中，所述三级深度学习模型可与二级深度学习模型同时进行判别，对判别结果为ok的对象直接输出合格信号，换言之，三级深度学习模型可参与对二级深度学习模型的检测对象同时进行判别。
60.具体地，所述基础大模型为faster r-cnn，其包括：
61.卷积神经网络(cnn):faster r-cnn的第一部分是一个卷积神经网络，它用于提取图像的特征，这些特征图将用于后续的区域提议和目标检测；
62.区域提议网络：(rpn)：rpn是faster r-cnn的第二个关键组成部分。它使用先前通过cnn提取的特征图来生成目标对象可能存在的候选区域。这些候选区域称为“提议”或“锚”(anchors)。rpn是一个全卷积网络，它输出一组矩形提议，每个提议都有一个得分，表示该区域可能包含目标的概率；
63.roi池化层和判别模块：roi池化层用于将不同大小和形状的提议转换为固定大小的特征映射；这些固定大小的特征映射然后通过一系列全连接层进行处理，这些层构成了判别模块。
64.faster r-cnn的整个流程是：
65.1.使用卷积神经网络从输入图像中提取特征；
66.2.使用区域提议网络(rpn)在特征图上生成候选区域；
67.3.使用roi池化层将这些候选区域转换为固定大小的特征映射；
68.4.通过判别模块对这些特征映射进行分类和边界框回归。
69.其中，所述卷积神经网络可为resnet；
70.所述判别模块有两个输出：其一是分类输出，用以表示每个提议区域属于各个类别的概率；其二是边界框回归输出，用于优化提议的坐标，以更准确地围绕目标对象。
71.在另一实施例中，在步骤s2中，判别的问题包括：对接线盒的检测和汇流条的检测；
72.对接线盒的检测包括：
73.接线盒歪斜超范围检测：在对应的模板检查区域找不到对应的产品则认为歪斜超出范围；
74.接线盒正负极方向和位置安装错误检测：通过是否与模板不匹配进行检测；
75.对汇流条的检测包括：汇流条长短检测、汇流条扭曲检测、汇流条未按压检测。
76.在另一实施例中，在步骤s6中，判别的问题包括：有无焊疤、焊疤有无爆点、焊疤有无扭曲、焊线有效数量。
77.在另一实施例中，将s6中的判别输出信号和s2中的判别输出信号进行结合分析，并将分析结果输出，例如，如果接线盒歪斜超范围检测正常，汇流条长短检测和汇流条扭曲检测也正常，然而检测到无焊疤，则极有可能是激光焊接机故障或异常，没有发出激光，因此输出光焊接机故障或异常的信号。
78.在另一实施例中，利用sgd优化算法对一级深度学习模型、二级深度学习模型和三级深度学习模型分别进行优化；
79.所述sgd的具体步骤可如下：
80.1.初始化:随机初始化模型的参数。这可以是随机选择小的值。
81.2.样本选择:在标准的梯度下降中，你会使用整个数据集来计算损失函数的梯度。然而，在sgd中，你每次只随机选择一个样本(或一小批样本，称为mini-batch)来计算梯度。这大大加速了计算过程。
82.3.计算梯度:计算损失函数l对于模型参数θ的梯度。这个梯度是损失函数在当前参数设置下的斜率，可以指示我们应该如何更新参数以减少损失。
83.4.更新参数:使用下面的规则更新参数：
[0084][0085]
其中η是学习率(一个正数)，用于控制我们沿梯度方向更新参数的步长。是损失函数对参数的梯度。
[0086]
5.重复:重复步骤2-4直到满足停止准则，比如达到最大迭代次数，或损失函数的改变小于某个阈值。
[0087]
注意，sgd的一个关键参数是学习率η。设置合适的学习率是非常重要的。如果学习率太大，算法可能会在最小值附近震荡，而不能收敛。如果学习率太小，收敛可能会非常缓慢。
[0088]
关于学习率η的取值方法，可参考如下：
[0089]
初始测试：在训练模型之前，可以使用不同的学习率(如0.1,0.01,0.001,0.0001)进行初步测试，以观察模型的表现。根据模型的训练损失和验证性能，选择一个表现较好的学习率作为起点。
[0090]
学习率衰减：在训练过程中逐渐降低学习率通常是一个好策略。开始时使用较高的学习率可以加快收敛速度，随着训练的进行，逐渐减小学习率有助于稳定训练和找到更精细的解。这种策略通常被称为学习率衰减或学习率调度。
[0091]
自适应学习率：有一些优化算法如adam,adagrad,rmsprop等，它们可以根据梯度的历史信息自动调整学习率。这些算法通常不需要手动设置太精细的学习率。
[0092]
使用学习率搜索技术：可以使用技术如网格搜索、随机搜索或贝叶斯优化来搜索最佳的学习率。
[0093]
学习率寻找器：有一种名为学习率范围测试或学习率寻找器的技术，它在一个训练周期内逐渐增加学习率，并监控验证损失。通过绘制学习率与损失的图，可以帮助找到一个合适的学习率范围。
[0094]
通常，学习率η在0.1到0.0001之间选择，本实施例中可在0.001～0.005中选择。
[0095]
所述图像掩膜处理为来分割图像特定区域的图像分割处理。
[0096]
在另一实施例中，将s6和s2中的判别输出信号同时发送给筛选控制系统。
[0097]
本发明提升了通过一级深度学习模型可快速地找出汇流条的边缘区域，加快了找边效率，并对接线盒整体和汇流条的边缘区域进行判别，一旦接线盒或汇流条出现严重的位置偏差，可直接将输出信号发送给筛选控制系统，通过筛选控制系统控制相应的筛选装置将其取下，避免后续浪费操作和时间，提升了光伏接线盒的焊接生产效率和良品率；
[0098]
通过二级深度学习系统可快速查找出焊疤区域，以便快速对焊疤区域进行判别，提升了焊后焊疤的定位和检测效率，从而提高了光伏接线盒的焊接生产效率；
[0099]
通过三级深度学习模型可快速确定焊疤的ok/ng结果，同时，对质量较高的焊疤，在二级学习深度模型进行判别的同时，三级深度学习模型可自行对该判别对象进行判别，对判别结果为ok的对象直接输出合格信号，提高了检测效率；
[0100]
本发明经过三个深度学习模型逐级更换检测对象，逐步对接线盒整体、汇流条以及焊疤对检测对象进行由大到小地检测，使得定位精度更高，检测结果更准确，从而提升了光伏接线盒的焊接的良品率。
[0101]
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

技术特征：
1.一种基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：包括以下步骤：s1，接线盒整体定位：在相机拍照的整个视野中找到接线盒所在的位置并截图；s2，在上一步中接线盒整体的截图中选出汇流条的边缘区域，利用接线盒整体位置和该边缘区域通过对基础大模型进行训练得到一级深度学习模型；利用所述一级深度学习模型的判别模块快速查找出汇流条的边缘区域并对接线盒整体和汇流条的边缘区域进行判别，并输出相应信号；s3，对落在设定区域内的汇流条边缘区域通过一级图像掩膜处理对其进行一级缩小限定；经过一级图像掩膜处理后的图像一级入优化训练集对一级深度学习模型进行优化训练；s4，在一级缩小限定后的图像中找出汇流条的边，然后通过汇流条边的中心定位出汇流条的中心坐标；s5，通过将上述汇流条的中心坐标作为激光焊接的位置坐标对汇流条进行激光焊接；s6，对焊接后的汇流条进行拍照，在图像中选出焊疤区域并截图，利用焊疤区域通过对基础大模型进行训练得到二级深度学习模型；利用所述二级深度学习模型的判别模块快速查找出焊疤区域并对焊疤区域进行判别，并输出相应信号；s7，对落在设定区域内的焊疤区域通过二级图像掩膜处理对其进行二级缩小限定；经过二级图像掩膜处理后的图像入二级优化训练集对二级深度学习模型进行优化训练；s8，在二级缩小限定后的图像中找出疤痕的边，然后通过疤痕边的中心定位出疤痕的中心坐标；s9，根据上述疤痕的中心坐标对疤痕区域进行截图，截出焊疤图，利用焊疤图通过对二级深度学习模型进行训练得到三级深度学习模型；利用所述三级深度学习模型的判别模块快速确定焊疤的ok/ng结果，同时，在步骤s6中，所述三级深度学习模型可与二级深度学习模型同时进行判别。2.根据权利要求1所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：所述基础大模型为faster r-cnn，其包括：卷积神经网络:它用于提取图像的特征；区域提议网络：为轻量级全卷积神经网络，用于扫描特征图并高效地生成目标对象可能存在的候选区域；roi池化层和判别模块：roi池化层用于将不同大小和形状的提议转换为固定大小的特征映射；这些固定大小的特征映射然后通过一系列全连接层进行处理，这些层构成了判别模块。3.根据权利要求2所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：所述卷积神经网络为resnet；所述判别模块有两个输出：其一是分类输出，用以表示每个提议区域属于各个类别的概率；其二是边界框回归输出，用于优化提议的坐标，以更准确地围绕目标对象。4.根据权利要求1所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：
在步骤s2中，判别的问题包括：对接线盒的检测和汇流条的检测；对接线盒的检测包括：接线盒歪斜超范围检测、接线盒正负极方向和位置安装错误检测；对汇流条的检测包括：汇流条长短检测、汇流条扭曲检测、汇流条未按压检测。5.根据权利要求4所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：在步骤s6中，判别的问题包括：焊疤有无爆点、焊疤有无扭曲、焊线有效数量。6.根据权利要求5所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：将s6和s2中的判别输出信号进行结合分析，并将分析结果输出。7.根据权利要求6所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：利用sgd优化算法对一级深度学习模型、二级深度学习模型和三级深度学习模型分别进行优化；所述图像掩膜处理为来分割图像特定区域的图像分割处理。8.根据权利要求7所述基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：将s6和s2中的判别输出信号均发送至筛选控制系统。

技术总结
本发明属于深度学习技术和焊接视觉检测技术领域，具体涉及一种基于深度学习的接线盒激光焊接视觉检测方法，其特征在于：包括以下步骤：接线盒整体定位；训练一级深度学习模型并对检测对象进行相应判别；一级图像掩膜处理，一级深度学习模型优化训练；定位出汇流条的中心坐标；通过的中心坐标进行激光焊接；训练二级深度学习模型并对检测对象进行判别；二级图像掩膜处理；定位出疤痕的中心坐标；利用疤痕的中心坐标截出的焊疤图，训练得到三级深度学习模型并确定焊疤的OK/NG结果，三级深度学习模型可参与对二级深度学习模型的检测对象同时进行判别。本发明提升了光伏接线盒激光焊接的检测效率、生产效率和良品率。生产效率和良品率。生产效率和良品率。


技术研发人员：王波 王郑耀 刘恒博
受保护的技术使用者：陕西维视智造科技股份有限公司
技术研发日：2023.06.15
技术公布日：2023/8/21