基于深度学习的单帧正交条纹标靶图像的特征点检测方法

1.本发明属于三维视觉测量技术领域，具体地说，本发明涉及基于深度学习的单帧正交条纹标靶图像的特征点检测方法。


背景技术：

2.三维视觉测量技术作为一种高速、非接触的测量技术，被广泛应用于航空航天、智能制造和智慧交通等领域。相机标定技术是三维视觉测量的基础，它建立世界坐标和图像坐标之间的变换模型，其精度决定了测量的准确性。一般，相机标定对象可采用三维、二维和一维模式，但是三维标定对象的制造复杂而且昂贵，一维图案的标定方法需要依赖于一定的约束运动，因此基于二维对象的平面标定方法应用较广泛。
3.通常，平面标定采用棋盘格作为拍摄对象，称为标靶。通过拍摄多角度标靶，利用角点作为特征检测点，从而计算出世界坐标和图像坐标的映射关系矩阵。然而，当拍摄距离与相机焦距区别较大时，图像会出现离焦的现象，极易造成角点检测不准，甚至检测不到，从而使得标定不准确。因此，从离焦图像中准确地提取特征点成为离焦标定的关键。
4.近年来，利用离焦图像并不改变相位信息的特点，国内外学者设计了多种相位标靶进行离焦时的相机标定。
5.ma以条纹图案作为相位标靶，采用三步相移算法计算水平和垂直方向的折叠相位，然后求取特征点(optik,2014,125(2):671-674)。这种标定方法虽然具有较高的精度，但需要同时采集三张水平相移条纹图像和三幅竖直相移条纹图像，具有一定的局限性，并且标定效率较低。
6.juarez-salazar通过傅里叶变换解码图像完整的相位信息(appl.optics,54(2015):4895
–
4906)。该方法实现单帧图像的相位解码，但当标定板具有较大的旋转和倾斜时，傅里叶反变换不能准确地恢复相位信息。
7.huo应用了一种相位编码的圆形标定模板，通过相位恢复网络实现了相位求解，从而进行特征点检测(measurement,188(2022):110563)，该方法实现了单帧圆形条纹标靶的相位求解，避免了拍摄多幅相移图像，但当标定板倾斜时，圆心的投影不再是椭圆的几何中心。因此，需要进一步修正椭圆几何中心的偏心误差。
8.综上所述，如何从离焦的单帧相位编码图像中直接、准确地获取所拍摄标靶的特征点依然是值得关注的问题。


技术实现要素：

9.本发明提供基于深度学习的单帧正交条纹标靶图像的特征点检测方法，以解决上述背景技术中存在的问题。
10.为了实现上述目的，本发明采取的技术方案为：基于深度学习的单帧正交条纹标靶图像的特征点检测方法，具体包括以下步骤：
11.步骤s1：设计同频率的12步相移的正交条纹标靶图案jo(u,v)和12步相同频率相
同相移的竖直条纹图案jv(u,v)，并依次显示于液晶屏幕上；
12.步骤s2：保持相机和液晶屏幕的位置、角度和姿态固定，采集一组相移的正交条纹图像io(u,v)和一组相同相移的竖直条纹图像iv(u,v)，所述一组正交条纹图像io(u,v)和一组相同相移的竖直条纹图像iv(u,v)都包含12幅，然后，变换液晶屏幕的位置、角度和姿态，采集多组具有不同离焦程度、角度和姿态的图像，以形成多样化数据；
13.步骤s3：利用12步相移法求解步骤s2中采集的每一组相移的竖直条纹图像的截断相位图像φ(u,v)；
14.步骤s4：对步骤s2中采集的每一组相移的正交条纹图像io(u,v)添加噪声，并将其裁剪成像素分辨率为224
×
224的图像块形成图像数据集，同时将步骤s3中求解的相移的竖直条纹图像的截断相位图像φ(u,v)裁剪成像素分辨率为224
×
224的图像块形成标签数据集；将两个数据集合并，并按8：1：1的比例划分为训练数据集、测试数据集和验证数据集；
15.步骤s5：建立深度神经网络，包含2个残差模块，3个卷积模块，2个反卷积解码模块、2个池化层、2个dropout层和2个串联层，并且在输出层自定义一个损失函数为平均绝对误差(mean absolute error,mae)的回归层；
16.步骤s6：将步骤s4中的训练数据集进行增广，并采用adam算法对网络进行像素至像素的回归训练；
17.步骤s7：采集10幅不同位置、角度和姿态的标定用正交条纹图像i1(u,v)，利用训练好的网络对采集的标定用正交条纹图像i1(u,v)进行相位恢复计算，输出竖直截断相位图像lv(u,v)，对标定用正交条纹图像i1(u,v)进行转置，利用训练好的网络求解转置图像的竖直截断图像，并转置得到水平截断相位图像lh(u,v)；
18.步骤s8：利用边缘检测方法找出水平截断相位图像lh(u,v)和竖直截断相位图像lv(u,v)的相位同为π的点作为特征点，用于相机标定。
19.优选的，所述步骤s1中，所述12步相移正交条纹标靶图案jo(u,v)可表示为：
[0020][0021]
12步相同频率相同相移的竖直条纹图案jv(u,v)可表示为：
[0022][0023]
其中：(u,v)代表像素坐标；a为平均背景强度；b为强度调制；f为相移条纹的频率；n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。
[0024]
优选的，所述步骤s2中，一组相移的正交条纹图像io(u,v)可表示为：
[0025][0026]
所述步骤s2中，对应的一组相移的竖直条纹图像iv(u,v)可表示为：
[0027][0028]
其中：φ(u,v)是一组相移的竖直条纹图像的截断相位图像；i
on
(u,v)表示相移指数为n的正交条纹图像；i
vn
(u,v)表示相移指数为n的竖直条纹图像；n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。
[0029]
优选的，所述步骤s3中，一组相移的竖直条纹图像的截断相位图像φ(u,v)的求解方程可表示为：
[0030][0031]
其中：n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。
[0032]
优选的，所述步骤s5中，回归层的损失函数为平均绝对误差(mae)，可表示为：
[0033][0034]
其中：m为样本的数目，为预测值，yi为真实值。
[0035]
采用以上技术方案的有益效果是：
[0036]
1、本发明提供的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，本发明的技术方案所设计的网络经多质量样本训练后，即使在离焦模糊情况下仍能够计算单帧正交条纹的截断相位，从而准确提取特征点，因此在标定时可适应不同的焦距，自适应性强，灵活性高，对噪声的鲁棒性强。
附图说明
[0037]
图1是基于深度学习的单帧正交条纹标靶图像的特征点检测流程图
[0038]
图2是一幅设计的12步相移的正交条纹标靶图案jo(u,v)；
[0039]
图3是一幅设计的12步相移的竖直条纹标靶图案jv(u,v)；
[0040]
图4是相机采集的一幅正交条纹图像io(u,v)；
[0041]
图5是相机采集的一幅竖直条纹图像iv(u,v)；
[0042]
图6是基于12步相移法计算的相移的竖直条纹的截断相位图像φ(u,v)；
[0043]
图7深度学习网络中残差模块和卷积模块结构；
[0044]
图8一幅标定用正交条纹的竖直截断相位图像lv(u,v)；
[0045]
图9一幅标定用正交条纹的水平截断相位图像lh(u,v)；
[0046]
图10是深度学习网络计算的竖直截断相位图像和12步相移法求得的竖直截断相位图像第100行相位值对比；
[0047]
图11是分辨率为224
×
224的标靶特征点检测结果；
[0048]
图12是其他分辨率标靶特征点检测结果；
[0049]
图13是深度学习网络的整体结构与参数；
具体实施方式
[0050]
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
[0051]
如图1至图13所示，本发明是基于深度学习的单帧正交条纹标靶图像的特征点检
测方法，构建单帧正交条纹图像的相位解码网络，采用具有残差模块的深层网络，以解决网络加深带来的训练难题；优化损失函数，以提高网络的解码精度，获取准确的截断相位，从而准确地检测标靶特征点。整个方法的流程如图1所示，具体包括以下步骤：
[0052]
步骤s1：设计同频率的12步相移的正交条纹标靶图案jo(u,v)，如图2和12步相同频率相同相移的竖直条纹图案jv(u,v)，如图3，并依次显示于液晶屏幕上；所设计图像的分辨率与液晶屏幕分辨率一致，为2224
×
1668；
[0053]
步骤s2：保持相机和液晶屏幕的位置、角度和姿态固定，采集一组相移的正交条纹图像io(u,v)和一组相同相移的竖直条纹图像iv(u,v)，所述一组正交条纹图像io(u,v)和一组相同相移的竖直条纹图像iv(u,v)都包含12幅，如图4为其中一幅正交条纹图像，如图5为其中一幅竖直条纹图像，然后，变换液晶屏幕的位置、角度和姿态，采集多组具有不同离焦程度、角度和姿态的图像，以形成多样化数据；采集用相机的型号为basler a2a1920-160ucbas，分辨率为1920
×
1200像素；
[0054]
步骤s3：利用12步相移法求解步骤s2中采集的每一组相移的竖直条纹图像的截断相位图像φ(u,v)，如图6所示；
[0055]
步骤s4：对步骤s2中采集的每一组相移的正交条纹图像io(u,v)添加噪声，并将其裁剪成像素分辨率为224
×
224的图像块形成图像数据集，同时将步骤s3中求解的相移的竖直条纹图像的截断相位图像φ(u,v)裁剪成像素分辨率为224
×
224的图像块形成标签数据集；将两个数据集合并，并按8：1：1的比例划分为训练数据集、测试数据集和验证数据集；
[0056]
步骤s5：建立深度神经网络，包含2个残差模块，3个卷积模块，2个反卷积解码模块、2个池化层、2个dropout层和2个串联层，并且在输出层自定义一个损失函数为平均绝对误差(mean absolute error,mae)的回归层；网络中残差模块和卷积模块的结构如图7所示，整体的网络结构和参数如图13所示；
[0057]
步骤s6：将步骤s4中的训练数据集进行增广，并采用adam算法对网络进行像素至像素的回归训练；
[0058]
步骤s7：采集10幅不同位置、角度和姿态的标定用正交条纹图像i1(u,v)，利用训练好的网络对采集的标定用正交条纹图像i1(u,v)进行相位恢复计算，输出竖直截断相位图像lv(u,v)，如图8所示；对标定用正交条纹图像i1(u,v)进行转置，利用训练好的网络求解转置图像的竖直截断图像，并转置得到水平截断相位图像lh(u,v)；如图9所示，对比网络计算的竖直截断相位图像和12步相移法求得的竖直截断相位图像，显示两种图像的第100行相位值，如图10所示，由图可知网络计算的截断相位图像是准确的。
[0059]
步骤s8：利用边缘检测方法找出水平截断相位图像lh(u,v)和竖直截断相位图像lv(u,v)的相位同为π的点作为特征点，如图11所示。网络不止适用于像素分辨率为224
×
224的标靶特征点检测，还可以适应大于该分辨率的窗口，如图12所示，所检测出的特征点将用于相机标定。
[0060]
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

技术特征：
1.基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：具体包括以下步骤：步骤s1：设计同频率的12步相移的正交条纹标靶图案j
o
(u,v)和12步相同频率相同相移的竖直条纹图案j
v
(u,v)，并依次显示于液晶屏幕上；步骤s2：保持相机和液晶屏幕的位置、角度和姿态固定，采集一组相移的正交条纹图像i
o
(u,v)和一组相同相移的竖直条纹图像i
v
(u,v)，所述一组正交条纹图像i
o
(u,v)和一组相同相移的竖直条纹图像i
v
(u,v)都包含12幅，然后，变换液晶屏幕的位置、角度和姿态，采集多组具有不同离焦程度、角度和姿态的图像，以形成多样化数据；步骤s3：利用12步相移法求解步骤s2中采集的每一组相移的竖直条纹图像的截断相位图像φ(u,v)；步骤s4：对步骤s2中采集的每一组相移的正交条纹图像i
o
(u,v)添加噪声，并将其裁剪成像素分辨率为224
×
224的图像块形成图像数据集，同时将步骤s3中求解的相移的竖直条纹图像的截断相位图像φ(u,v)裁剪成像素分辨率为224
×
224的图像块形成标签数据集；将两个数据集合并，并按8：1：1的比例划分为训练数据集、测试数据集和验证数据集；步骤s5：建立深度神经网络，包含2个残差模块，3个卷积模块，2个反卷积解码模块、2个池化层、2个dropout层和2个串联层，并且在输出层自定义一个损失函数为平均绝对误差(mean absolute error,mae)的回归层；步骤s6：将步骤s4中的训练数据集进行增广，并采用adam算法对网络进行像素至像素的回归训练；步骤s7：采集10幅不同位置、角度和姿态的标定用正交条纹图像i1(u,v)，利用训练好的网络对采集的标定用正交条纹图像i1(u,v)进行相位恢复计算，输出竖直截断相位图像l
v
(u,v)，对标定用正交条纹图像i1(u,v)进行转置，利用训练好的网络求解转置图像的竖直截断图像，并转置得到水平截断相位图像l
h
(u,v)；步骤s8：利用边缘检测方法找出水平截断相位图像l
h
(u,v)和竖直截断相位图像l
v
(u,v)的相位同为π的点作为特征点，用于相机标定。2.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s1中，所述12步相移正交条纹标靶图案j
o
(u,v)可表示为：12步相同频率相同相移的竖直条纹图案j
v
(u,v)可表示为：其中：(u,v)代表像素坐标；a为平均背景强度；b为强度调制；f为相移条纹的频率；n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。3.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s2中，一组相移的正交条纹图像i
o
(u,v)可表示为：所述步骤s2中，对应的一组相移的竖直条纹图像i
v
(u,v)可表示为：
其中：φ(u,v)是一组相移的竖直条纹图像的截断相位图像；i
on
(u,v)表示相移指数为n的正交条纹图像；i
vn
(u,v)表示相移指数为n的竖直条纹图像；n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。4.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s3中，一组相移的竖直条纹图像的截断相位图像φ(u,v)的求解方程可表示为：其中：n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。5.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s5中，回归层的损失函数为平均绝对误差(mae)，可表示为：其中：m为样本的数目，为预测值，y
i
为真实值。

技术总结
本发明公开了基于深度学习的单帧正交条纹标靶图像的特征点检测方法，构建单帧正交条纹图像的相位解码网络，采用具有残差模块的深层网络，以解决网络加深带来的训练难题；优化损失函数，以提高网络的解码精度，获取准确的截断相位，从而准确地检测标靶特征点；所设计的网络经多质量样本训练后，即使在离焦模糊情况下仍能够计算单帧正交条纹的截断相位，从而准确提取特征点，因此在标定时可适应不同的焦距，自适应性强，灵活性高，对噪声的鲁棒性强。对噪声的鲁棒性强。对噪声的鲁棒性强。


技术研发人员：侯文慧 朱浩杰 周传起 王玉伟 张大山 刘路
受保护的技术使用者：安徽农业大学
技术研发日：2023.04.25
技术公布日：2023/7/25