基于结构光传感器的焊缝形貌重建方法

1.本发明属于光学领域。


背景技术：

2.结构光传感器在图像去畸变过程中，通常对整张图像整体去畸变，从而获得一张无畸变的图像，再提取结构光点云以及求解点云对应的空间坐标，或者对整张图像中结构光点云去畸变，从而获得一系列无畸变的结构光点云，再求解点云对应的空间坐标。但是去畸变的过程使整体流程复杂，在焊缝形貌重建的应用中，复杂的流程直接影响了重建的实时性，因此，造成现有焊缝形貌重建实时性差的问题。


技术实现要素：

3.本发明目的是为了解决现有焊缝形貌重建流程复杂，实时性差的问题，提供了一种基于结构光传感器的焊缝形貌重建方法。
4.本发明所述基于结构光传感器的焊缝形貌重建方法，其特征在于，包括:
5.步骤一、利用结构光传感器分别拍摄多组带有结构光的图像和对应的不带有结构光的图像，获得多组图像对，利用所述图像对中不带有结构光的图像对相机进行标定，获取相机内参和外参；
6.步骤二、利用图像对中带有结构光的图像、相机内参和外参，建立像素至深度的映射模型；
7.步骤三、利用步骤一所述结构光传感器，捕获结构光横跨焊缝区域的图像，将图像中灰度值最大的i个点输入至像素至深度的映射模型，获得i个点在相机坐标系下的深度值；其中，i小于或等于一张图像的像素的列数；
8.步骤四、利用所述深度值，计算所述i个点在相机坐标系下的纵坐标值和横坐标值；获取所述i个点在相机坐标系下的三维坐标，完成焊缝形貌重建。
9.进一步地，本发明中，步骤一中，结构光传感器包括相机与线结构光激光器。
10.进一步地，本发明中，步骤一中，获取相机内参和外参的具体方法为：
11.步骤一一、调整结构光传感器获取多个带有结构光的图像和对应的不带有结构光的图像；
12.步骤一二、采用所有不带结构光的图像，对相机参数进行标定，获得相机内参和相机外参。
13.进一步地，本发明中，步骤一一中，调整结构光传感器获取多个带有结构光的图像和对应的不带有结构光的图像的具体方法为：
14.打开结构光传感器中的激光器和相机，调整相机位置使线结构光始终投射在标定板上，并且相机视野中始终包含标定板和结构光进行图像拍摄，获得带有结构光的图像；然后直接关闭激光器再次进行拍摄，获取对应的不带结构光的图像。
15.进一步地，本发明中，步骤一中，相机内参包括：x方向焦距f
x
，y方向焦距fy，图像原
点横坐标u0和图像原点纵坐标v0；
16.相机外参包括：相机第一径向畸变参数k1、第二径向畸变参数k2、第三径向畸变参数k3和相机第一切向畸变参数p1、第二切向畸变参数p2。
17.进一步地，本发明中，建立像素至深度的映射模型的方法为：
18.步骤二一、令每个图像对中带结构光的图像减去不带结构光的图像，获取仅包含结构光的图像，在每个仅包含结构光的图像中选取灰度值最大的p个点，并获取所述p个点的像素坐标；其中，p小于或等于一张图像的像素的列数；
19.步骤二二、利用迭代去畸变算法对每个仅包含结构光的图像进行去畸变处理，获取所述图像中灰度值最大的p个点在去畸变后的像素坐标；
20.步骤二三、利用步骤二二获得的p个点在去畸变后的像素坐标，采用随机抽样一致性算法，提取每个仅包含结构光的图像中位于一条直线上的点；
21.步骤二四、利用相机内参和相机外参，计算每个仅包含结构光图像中位于一条直线上的点在相机坐标系下的深度值；
22.步骤二五、采用多项式拟合算法，利用所有仅包含结构光的图像中位于一条直线上的点在相机坐标系下的深度值及每个点对应的像素坐标进行多项式曲面拟合，获取多项式曲面的方程，并将所述多项式曲面的方程作为像素至深度的映射模型。
23.进一步地，本发明中，步骤四中，计算所述i个点在相机坐标系下的纵坐标值具体方法为：
24.通过公式：
25.y
ci
＝z
ci
*(v
i-v0)/fy26.计算出i个点的纵坐标值y
ci
，其中，z
ci
为第i个点的深度值，vi为第i个点的像素纵坐标值，v0为图像原点纵坐标，fy为y方向焦距。
27.进一步地，本发明中，步骤四中，计算所述i个点在相机坐标系下的横坐标值具体方法为：
28.通过公式：
29.x
ci
＝z
ci
*(u
i-u0)/f
x
30.计算出第i个点的横坐标值x
ci
，其中，ui为第i个点的像素横坐标值，u0为图像原点横坐标，f
x
为x方向焦距。
31.进一步地，本发明中，步骤二三中，计算每个仅包含结构光图像中位于一条直线上的点在相机坐标系下的深度值zc的方法为三角法。
32.本发明所述基于结构光传感器的焊缝形貌重建方法，首先做相机标定与结构光图像去畸变，其次建立像素至深度的映射模型，该模型在扫描焊缝时不需要任何去畸变的操作，而是直接从结构光的点云映射出深度信息，然后求解点云在相机坐标系下的三维坐标，进而重建焊缝形貌。
附图说明
33.图1是本发明所述方法流程图；
34.图2是像素至深度的映射模型图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
37.具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述基于结构光传感器的焊缝形貌重建方法，包括：
38.步骤一、利用结构光传感器分别拍摄多组带有结构光的图像和对应的不带有结构光的图像，获得多组图像对，利用所述图像对不带有结构光的图像对相机进行标定，获取相机内参和外参；
39.步骤二、利用图像对中带有结构光的图像和相机内参和外参，建立像素至深度的映射模型；
40.步骤三、利用步骤一所述结构光传感器，捕获结构光横跨焊缝区域的图像，将图像中灰度值最大的i个点输入至像素至深度的映射模型，获得i个点在相机坐标系下的深度值；
41.步骤四、利用所述深度值，计算所述i个点在相机坐标系下的纵坐标值和横坐标值；获取所述i个点在相机坐标系下的三维坐标，完成焊缝形貌重建。
42.进一步地，本发明中，步骤一中，结构光传感器包括相机与线结构光激光器。
43.进一步地，本发明中，步骤一中，获取相机内参和外参的具体方法为：
44.步骤一一、调整结构光传感器获取多个带有结构光的图像和对应的不带有结构光的图像；
45.步骤一二、采用所有不带结构光的图像，对相机参数进行标定，获得相机内参和相机外参。
46.进一步地，本发明中，步骤一一中，调整结构光传感器获取多个带有结构光的图像和对应的不带有结构光的图像的具体方法为：
47.打开结构光传感器中的激光器和相机，调整相机位置使线结构光始终投射在标定板上，并且相机视野中始终包含标定板和结构光进行图像拍摄，即可获得带有结构光的图像；获取带有结构光的图像后直接关闭激光器再次进行拍摄，即获取对应的不带结构光的图像。
48.进一步地，本发明中，步骤一中，相机内参包括：x方向焦距f
x
，y方向焦距fy，图像原点横坐标u0和图像原点纵坐标v0；
49.相机外参包括相机第一、第二、第三径向畸变参数k1、k2、k3和相机第一、第二切向畸变参数p1、p2。
50.进一步地，本发明中，步骤二中，建立像素至深度的映射模型的方法为：
51.步骤二一、令每个图像对中带结构光的图像减去不带结构光的图像，获取仅包含结构光的图像，在每个仅包含结构光的图像中选取灰度值最大的p个点，并获取所述p个点的像素坐标；其中，p小于或等于一张图像的像素的列数；
52.步骤二二、利用迭代去畸变算法对每个仅包含结构光的图像进行去畸变处理，获取所述图像中灰度值最大的p个点在去畸变后的像素坐标；
53.步骤二三、利用步骤二二获得的p个点在去畸变后的像素坐标，采用随机抽样一致性算法，提取每个仅包含结构光的图像中位于一条直线上的点；
54.步骤二四、利用相机内参和相机外参，计算每个仅包含结构光图像中位于一条直线上的点在相机坐标系下的深度值；
55.步骤二五、采用多项式拟合算法，利用所有仅包含结构光的图像中位于一条直线上的点在相机坐标系下的深度值及每个点对应的像素坐标进行多项式曲面拟合，获取多项式曲面的方程，并将所述多项式曲面的方程作为像素至深度的映射模型。
56.进一步地，本发明中，步骤四中，计算所述i个点在相机坐标系下的纵坐标值具体方法为：
57.通过公式：
58.y
ci
＝z
ci
*(v
i-v0)/fy59.计算出i个点的纵坐标值y
ci
，其中，z
ci
为第i个点的深度值，vi为第i个点的像素纵坐标值，v0为图像原点纵坐标，fy为y方向焦距。
60.进一步地，本发明中，步骤四中，计算所述i个点在相机坐标系下的横坐标值具体方法为：
61.通过公式：
62.x
ci
＝z
ci
*(u
i-u0)/f
x
63.计算出第i个点的横坐标值x
ci
，其中，ui为第i个点的像素横坐标值，u0为图像原点横坐标，f
x
为x方向焦距。
64.具体实施例：
65.1、相机标定；
66.步骤1.1.传感器由相机与线结构光激光器组成，二者在传感器中的位置固定不变，标定板为棋盘格，棋盘格尺寸已知。打开传感器中的激光器和相机，调整相机位置使线结构光始终投射在标定板上，并且相机视野中始终包含标定板和结构光。
67.步骤1.2.拍摄一张带结构光的图像，随后关闭激光器，保持传感器和标定板相对位置不变，再拍摄一张不带结构光的标定板图像，获得一对图像，随后相机变换到其他若干个位置并重复上述操作获得若干对图像。
68.步骤1.3.采用所有不带结构光的图像，使用张正友标定法或其他标定方法，对相机参数进行标定，获得相机内参(其中x方向焦距记为f
x
，y方向焦距记为fy，图像原点横坐标记为u0，图像原点纵坐标记为v0)，相机外参，相机第一、第二、第三径向畸变参数k1、k2、k3，相机第一、第二切向畸变参数p1、p2。
69.2、建立像素至深度的映射模型；
70.步骤2.1.建立一个空数组，数组的列数为三。
71.步骤2.2.选取某一对图像，用带结构光的图像减去不带结构光的图像，获得一张仅有结构光的图像。每张图像中的灰度值最大的p个点被认为是结构光点云，每个点的像素坐标记为(u
p
,v
p
)，其中u
p
为横坐标，v
p
为纵坐标。利用相机第一、第二、第三径向畸变参数k1、k2、k3，相机第一、第二切向畸变参数p1、p2，使用迭代去畸变算法计算(u
p
,v
p
)去除畸变效果
时的像素坐标，记为(u
undis
,v
undis
)，其中u
undis
为横坐标，v
undis
为纵坐标。
72.步骤2.3.所有(u
undis
,v
undis
)理论上形成一条直线，使用随机抽样一致性算法，删除所有(u
undis
,v
undis
)中位于直线外的点，直线外的点数量为q个，剩余的(u
undis
,v
undis
)点的数量为p-q个。这些删除的q个外点对应的(u
p
,v
p
)也同时删除，剩余的(u
p
,v
p
)点的数量为p-q个。通过相机内参和相机外参，求解每一个(u
undis
,v
undis
)在相机坐标系下的深度值zc。将u
p
、v
p
、zc分别补充到数组的第一、第二、第三列。
73.步骤2.4.选取另外一对图像，重复步骤2.2-2.3，直至所有图像对都被选取过。最后获得n行三列的数组，n为所有结构光图像中剩余的所有点(u
p
,v
p
)的数量。将数组的每一行视为一个空间坐标点的x、y、z值，利用多项式拟合算法把n个空间坐标点拟合为多项式曲面，如图2所示，图中，xp、yp、zc分别代表三个坐标轴，该曲面方程为像素至深度的映射模型。
74.3、重建焊缝表面三维形貌；
75.步骤3.1.建立一个三维坐标系，用来记录焊缝的形貌。传感器在使用时，相机捕获的图像为结构光横跨焊缝区域的图像。
76.步骤3.2提取图像中灰度值最大的i个点，它们是反映了焊缝形貌的点云，每个点的像素坐标记为(u,v)。将(u,v)输入到像素到深度的映射模型，获得该点在相机坐标系下的深度值zc，再通过如下公式计算该点在相机坐标系下的纵坐标值yc、横坐标值xc。
77.yc＝zc*(v-v0)/fy78.xc＝zc*(u-u0)/f
x
79.步骤3.3其他(u,v)按照同样方法计算各自的zc、yc、xc。在三维坐标系中显示所有通过(u,v)计算出来的三维点(xc,yc,zc)，即可以实时观察焊缝的形貌。
80.步骤3.4传感器沿着焊缝扫描，以固定的时间间隔记录点云数据，重复步骤3.2-3.3。扫描完成后,三维坐标系中获得焊缝整体的形貌。
81.虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.基于结构光传感器的焊缝形貌重建方法，其特征在于，包括:步骤一、利用结构光传感器分别拍摄多组带有结构光的图像和对应的不带有结构光的图像，获得多组图像对，利用所述图像对中不带有结构光的图像对相机进行标定，获取相机内参和外参；步骤二、利用图像对中带有结构光的图像、相机内参和外参，建立像素至深度的映射模型；步骤三、利用步骤一所述结构光传感器，捕获结构光横跨焊缝区域的图像，将图像中灰度值最大的i个点输入至像素至深度的映射模型，获得i个点在相机坐标系下的深度值；其中，i小于或等于一张图像的像素的列数；步骤四、利用所述深度值，计算所述i个点在相机坐标系下的纵坐标值和横坐标值；获取所述i个点在相机坐标系下的三维坐标，完成焊缝形貌重建。2.根据权利要求1所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤一中，结构光传感器包括相机与线结构光激光器。3.根据权利要求1或2所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤一中，获取相机内参和外参的具体方法为：步骤一一、调整结构光传感器获取多个带有结构光的图像和对应的不带有结构光的图像；步骤一二、采用所有不带结构光的图像，对相机参数进行标定，获得相机内参和相机外参。4.根据权利要求3所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤一一中，调整结构光传感器获取多个带有结构光的图像和对应的不带有结构光的图像的具体方法为：打开结构光传感器中的激光器和相机，调整相机位置使线结构光始终投射在标定板上，并且相机视野中始终包含标定板和结构光进行图像拍摄，获得带有结构光的图像；然后直接关闭激光器再次进行拍摄，获取对应的不带结构光的图像。5.根据权利要求4所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤一中，相机内参包括：x方向焦距f
x
，y方向焦距f
y
，图像原点横坐标u0和图像原点纵坐标v0；相机外参包括：相机第一径向畸变参数k1、第二径向畸变参数k2、第三径向畸变参数k3和相机第一切向畸变参数p1、第二切向畸变参数p2。6.根据权利要求5所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤二中，建立像素至深度的映射模型的方法为：步骤二一、令每个图像对中带结构光的图像减去不带结构光的图像，获取仅包含结构光的图像，在每个仅包含结构光的图像中选取灰度值最大的p个点，并获取所述p个点的像素坐标；其中，p小于或等于一张图像的像素的列数；步骤二二、利用迭代去畸变算法对每个仅包含结构光的图像进行去畸变处理，获取所述图像中灰度值最大的p个点在去畸变后的像素坐标；步骤二三、利用步骤二二获得的p个点在去畸变后的像素坐标，采用随机抽样一致性算法，提取每个仅包含结构光的图像中位于一条直线上的点；步骤二四、利用相机内参和相机外参，计算每个仅包含结构光图像中位于一条直线上
的点在相机坐标系下的深度值；步骤二五、采用多项式拟合算法，利用所有仅包含结构光的图像中位于一条直线上的点在相机坐标系下的深度值及每个点对应的像素坐标进行多项式曲面拟合，获取多项式曲面的方程，并将所述多项式曲面的方程作为像素至深度的映射模型。7.根据权利要求6所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤四中，计算所述i个点在相机坐标系下的纵坐标值具体方法为：通过公式：y
ci
＝z
ci
*(v
i-v0)/f
y
计算出i个点的纵坐标值y
ci
，其中，z
ci
为第i个点的深度值，v
i
为第i个点的像素纵坐标值，v0为图像原点纵坐标，f
y
为y方向焦距。8.根据权利要求7所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤四中，计算所述i个点在相机坐标系下的横坐标值具体方法为：通过公式：x
ci
＝z
ci
*(u
i-u0)/f
x
计算出第i个点的横坐标值x
ci
，其中，u
i
为第i个点的像素横坐标值，u0为图像原点横坐标，f
x
为x方向焦距。9.根据权利要求7所述的基于结构光传感器的焊缝形貌重建方法，其特征在于，步骤二三中，计算每个仅包含结构光图像中位于一条直线上的点在相机坐标系下的深度值z
c
的方法为三角法。

技术总结
基于结构光传感器的焊缝形貌重建方法，属于光学领域，本发明解决了现有焊缝形貌重建流程复杂，实时性差的问题。本发明利用结构光传感器分别拍摄多组带有结构光的图像和对应的不带有结构光的图像，获得多组图像对，利用不带有结构光的图像对相机进行标定，获取相机内参和外参；建立像素至深度的映射模型；利用结构光传感器，捕获结构光横跨焊缝区域的图像，将图像中灰度值最大的i个点输入至像素至深度的映射模型，获得i个点在相机坐标系下的深度值；利用所述深度值，计算所述i个点在相机坐标系下的纵坐标值和横坐标值；获取所述i个点在相机坐标系下的三维坐标，完成焊缝形貌重建。本发明适用于结构光传感器的焊缝形貌重建。本发明适用于结构光传感器的焊缝形貌重建。本发明适用于结构光传感器的焊缝形貌重建。


技术研发人员：李瑞峰 王珂 秦中昊 徐楷岩 赵立军
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.01.12
技术公布日：2023/7/12