利用射灯图案检测进行平面度轮廓度测量方法及存储介质与流程

1.本发明主要涉及到工业智能检测技术领域，特指一种适用于多目视觉检测系统的利用射灯图案检测进行平面度轮廓度测量方法及存储介质，可适用于利用投射到检测工件上的射灯图案特征点进行重建、进而测量工件面轮廓度的作业。


背景技术：

[0002]“轮廓度”是指被测实际轮廓相对于理想轮廓的变动情况，这一概念用于描述曲面或曲线形状的准确度。“线轮廓度公差”是指实际被测轮廓线对理论轮廓线的允许变动量。
[0003]
对于规则的轮廓曲线，可以用简单的数学方程来描述，在得到一系列节点的坐标值后，用已知的数学方程来进行拟合，得到一个有完全定位基准的线轮廓度测量拟合实际轮廓的表达式，然后和理论轮廓线相比对。而平面度即被测面到拟合平面的最高点和最低点差即定义为平面度。
[0004]
目前，对工业制造领域的工件进行测量的传统方法要使用各种常规量具(千分表和卡尺等)或设备(三坐标测量机等)。对于简单的几何量测量，操作者可以直接用量具测量；对于工件的几何特征或空间位置等比较复杂的测量问题，由于常规量具无法解决，操作者必须将工件转移到三坐标测量机上进行。但是，使用这种测量方法时要对工件进行搬运、重新装夹和定位等一系列操作，在这期间往往会产生误差，这会对真实的误差产生影响，降低评定的效率。
[0005]
自由曲面及复杂曲面的轮廓度评定仍存在着很大的困难，而已有的样板法、投影法和仿形法等，均因测量精度和效率较低而不能满足要求。相对于传统的测量方法，三坐标测量机有着高精度和可编程控制的优点，因此被广泛用于精度要求高的零件外形检测中，但其精度受测量策略影响较大，且存在着测量坐标系和设计坐标系不重合的问题，难以保证准确度。
[0006]
此外，对零件产品的轮廓度进行人工测量往往较为困难，一方面，其需要消耗大量的人力物力，导致生产加的工时间比较长，生产效率也比较低；另一方面，人工测量的难度增大，容易出现的较大的误差，从而容易出现不良品，难以保证产品品质的稳定性。


技术实现要素：

[0007]
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作简便、智能化程度高、适用范围广的利用射灯图案检测进行平面度轮廓度测量方法及存储介质。
[0008]
为解决上述技术问题，本发明采用以下技术方案：一种利用射灯图案检测进行平面度轮廓度测量方法，其包括：步骤s1：在待检测工件上投射射灯图案；步骤s2：检测特征点的像素点位置；步骤s3：重建出这个特征点在测量系统坐标系下的三维坐标；
步骤s4：依照步骤s3得到的三维坐标计算待测工件的平面度和轮廓度。
[0009]
作为本发明方法的进一步改进：所述步骤s1中是利用镭射灯把对应特殊的射灯图案投影到对应工件需要测量平面度或者轮廓度的区域上。
[0010]
作为本发明方法的进一步改进：所述射灯图案采用三角网格形状、棋盘格、圆、垂直线中的一种或多种的组合。
[0011]
作为本发明方法的进一步改进：所述步骤s2中得到对应统一特征点在多目测量系统中不同相机图片上的像素点位置，所述像素点位置为二维图像。
[0012]
作为本发明方法的进一步改进：所述步骤s2中，通过相机对图案进行获取图像作业，并对得到的图像进行图像预处理；所述图像预处理的处理流程包括：步骤s100：进行伽马变化；对相机过曝的图片进行修正；步骤s200：通过像素反转增强角点视觉效果；步骤s300：进行高斯模糊处理；通过高斯模糊处理减少图像噪声以及降低细节层次；步骤s400：图像膨胀；通过图像膨胀将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；步骤s500：对图像进行边缘增强。
[0013]
作为本发明方法的进一步改进：所述步骤s3中，通过三角测量法来进行计算所述特征点在多目测量系统中三维点坐标。
[0014]
作为本发明方法的进一步改进：所述步骤s3的流程包括：步骤s301：摄像机标定；步骤s302：特征提取和匹配；在多视角三角测量中，从多个图像中提取出相同的特征点，并将它们进行匹配；步骤s303：三角测量；对于每个三维点，至少在两个视角下获取到对应的二维特征点坐标，然后进行三角测量以得到三维点的坐标；步骤s304：优化；对得到的三维点的坐标进行优化；步骤s305：可视化；对三维点进行可视化，以检验重建的结果是否正确。
[0015]
作为本发明方法的进一步改进：所述步骤s301中对于多目测量系统中每个相机进行摄像机的内部参数和外部参数标定；所述内部参数包括相机的焦距、主点位置和畸变参数中的一个或多个；所述外部参数包括相机的旋转和平移。
[0016]
作为本发明方法的进一步改进：所述步骤s302中所述特征点是角点、边缘点、斑点等中的一个或多个，用来在不同图像间建立对应关系，以计算出三维点的位置。
[0017]
作为本发明方法的进一步改进：所述步骤s303中，采用三角测量公式，通过多个视角的计算结果进行平均或者加权平均操作，用以提高三维点坐标的精度。
[0018]
作为本发明方法的进一步改进：所述步骤s303中，采用非线性优化方法对得到的三维点坐标进行优化。
[0019]
本发明进一步提供一种存储介质，所述存储介质能够被计算机或处理器读取，所述存储介质中存储有用来执行上述任意一种方法的计算机程序。
[0020]
与现有技术相比，本发明的优点就在于：本发明的一种利用射灯图案检测进行平面度轮廓度测量方法及存储介质，原理简
单、操作简便、智能化程度高、适用范围广，本发明在多目视觉检测系统中利用射灯投影不同图案进行检测角点重建平面上的三维点，可以进行快速且无接触式的平面度轮廓度测量。进一步，本发明基于射灯投影测量轮廓度的问题提出了改进方法并采用了图案的预处理流程，从而提高了特征点检出率，平面度测量和三坐标对标的准确性能够达到95%，通过对射灯图案角点检测算法进行优化后，较现有算法检出率能够提高17%。
附图说明
[0021]
图1是本发明方法的流程示意图。
[0022]
图2是本发明在具体应用实例中进行图像预处理的流程示意图。
[0023]
图3是本发明在具体应用实例中重建三维坐标的流程示意图。
[0024]
图4是本发明在具体应用实例中采用棋盘格作为射灯图案的检测特征点的示例图；其中a为对应的棋盘格射灯图案的其中一个待检测的特征点的图像； b为a中特征点的曲面图像。
[0025]
图5 是本发明在具体应用实例中采用三角网格作为射灯图案的检测特征点的示例图；其中a为对应的三角型射灯图案的其中一个待检测的特征点的图像； b为a中特征点的曲面图像。
[0026]
图6是本发明在具体应用实例中采用三角网格之后进行图像预处理的示意图。
[0027]
图7 是本发明在具体应用实例中经过图像预处理之后的效果示意图；其中a为没有检测出特征点的区域；b为经过图6所示步骤后所得到的图像；c为对b进行特征点检测得到的图像。
[0028]
图8 是本发明在具体应用实例中经过不同图像预处理步骤的结果对比图；其中a为按照不同预处理步骤组合进行检测的对照表； b左边的图为不进行预处理无法检测出来对应的特征点的图像； b右边的图为经过预处理后能够检出对应的特征点的图像。
具体实施方式
[0029]
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
[0030]
如图1-图3所示，本发明的利用射灯图案检测进行平面度轮廓度测量方法，可以适用于工业检测领域中的多目测量系统，其流程包括：步骤s1：在待检测工件上投射射灯图案；利用镭射灯把对应特殊的图案投影到对应工件需要测量平面度或者轮廓度的区域上；步骤s2：检测特征点的像素点位置；到对应统一特征点在多目测量系统中不同相机（ccd）图片上的像素点位置（二维）；步骤s3：得到投影在这个平面上的射灯特征点的三维点；重建出这个特征点在测量系统坐标系下的三维坐标；步骤s4：依照步骤s3得到的三维坐标计算待测工件的平面度和轮廓度。
[0031]
通过三角化的方法，大于等于两个视角下就能重建出这个特征点在测量系统坐标系下的三维坐标，进而一个平面有大于等于3个点即可拟合出对应这个投射射灯的平面的
方程，然后即可得到该待测平面对应的轮廓度或者平面度。
[0032]
参见图4和图5，其中图4中的a 为对应的棋盘格射灯图案的其中一个待检测的特征点的图像，这个征点为黑白格子的交点处 (圆圈标识出来)，而实际射灯成像的情况，这个特征点不会如图 4中的a 这么好识别，所以通过周围的像素灰度大小(灰度值范围0-255，纯白色为 255，纯黑色为 0)来构造一个曲面图像，就如图 4中的b 所示，可以观察到它是两侧高两侧低的一个间隔分布，本发明可以拟合这样一个曲面方程，通过求解极小值来精准确定这个特征点坐标。其中图 5中的a 为对应的三角型射灯图案的其中一个待检测的特征点，这个特征点为黑白格子的交点处 (圆圈标识出来 )，而实际射灯成像的情况，这个特征点不会如图 5中的a 这么好识别，所以通过周围的像素灰度大小(灰度值范围 0-255，纯白色为 255，纯黑色为 0)来构造一个曲面图像，就如图 5中的b 所示，可以观察到它是按照三侧高三侧低的一个间隔分布，本发明可以拟合这样一个曲面方程，通过求解极小值来精准确定这个特征点坐标。在具体应用实例中，所述射灯图案可以采用三角网格形状，也可以是棋盘格、圆、垂直线等形状，这可以根据待检测工件的实际情况及实际检测场景需求来进行选择，这都应在本发明的保护范围之内。
[0033]
在本实例中，本发明用三角网格形状的射灯图案为例来进行说明，如图5角网格中的圆圈所框选出来的区域i即为本发明需要检测到的特征点。在常规的图像处理方法中，有很多算法如harris角点检测、灰度值多项式拟合算法等都能够在亚像素级别上检出对应角点，但因为射灯成像的特殊性会出现曝光过度问题很多特征点无法检出，进而无法提供足够的点进行重建。因此本发明通过图像预处理就能够提高对应特征点的检出率。如图6所示，为处理的流程示意图；最终得到的效果如图7和图8所示。其中图 8中的a 为按照不同预处理步骤组合进行检测的对照表，如表格中每一行就是不同预处理步骤的特征点检出情况，如没预处理的情况下在实际采集的24 张射灯图片只有 12 张检出，而这 12 张共检出26个特征点，通过图8中的a可以看出按照步骤 s100 到 s500 进行预处理对原始射灯图片进行处理后的检出效果最佳。图 8中的b 的左图就是未进行预处理无法检测出来对应的特征点的图像（因为过曝没有完全构成一个黑白三角形交接的点），图8中的b的右图就是经过预处理能够检出对应的特征点的图像。所述图像预处理的处理流程包括：步骤s100：进行伽马变化（gamma变换）；对相机过曝的图片进行修正；步骤s200：通过像素反转增强角点视觉效果；步骤s300：进行高斯模糊处理；高斯模糊又称gaussin模糊或高斯平滑，通过这种方式来减少图像噪声以及降低细节层次；步骤s400：图像膨胀（dilate）；用来将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；步骤s500：对图像进行边缘增强。
[0034]
在具体应用实例中，所述步骤s3中进行三维重建时，在得到每个相机拍摄到的射灯网格图像上的特征点之后，如果这个特征点在多目测量系统中被多个相机拍摄到，本发明通过三角测量法来进行计算这个特征点在多目测量系统中三维点坐标；其包括以下流程：步骤s301：摄像机标定；对于每个相机，需要进行摄像机的内部参数和外部参数标定。
[0035]
所述内部参数包括相机的焦距、主点位置和畸变参数等。
[0036]
所述外部参数则包括相机的旋转和平移等。这些参数可以通过相机标定方法进行估计。
[0037]
步骤s302：特征提取和匹配；在多视角三角测量中，需要从多个图像中提取出相同的特征点，并将它们进行匹配。
[0038]
所述特征点可以是角点、边缘点、斑点等中的一个或多个，其目的是为了在不同图像间建立对应关系，以计算出三维点的位置。
[0039]
步骤s303：三角测量；对于每个三维点，需要至少在两个视角下获取到对应的二维特征点坐标，然后进行三角测量以得到三维点的坐标。
[0040]
本发明进一步采用三角测量公式，通过多个视角的计算结果进行平均或者加权平均来提高三维点坐标的精度。
[0041]
步骤s304：优化；由于摄像机标定和特征匹配等过程中存在噪声和误差，所以需要进行误差优化以提高重建的精度。
[0042]
根据实际需要，本发明可以采用非线性优化方法，如基于误差最小化的最小二乘法或者基于能量最小化的束平差法等。
[0043]
步骤s305：可视化；对三维点进行可视化，以检验重建的结果是否正确。
[0044]
根据实际需要， 本发明可以选用常用的可视化方法，包括点云显示、三角网格显示等。
[0045]
在一个具体应用实例中，其具体转化过程为：世界坐标3d
→
图像坐标2d的转换公式如下：表相机内参矩阵，为外参旋转矩阵，为外参平移向量由可反推2d
→
3d3d（2d
→
3d的公式）式中，由相机标定求出，由求出，现还有一个未知数，求解如下：
由第三行为，易知因此上述2d
→
3d公式中所有未知数已知，便可以求出世界坐标。
[0046]
在具体实施例中，所述步骤s4中，本发明通过步骤s3得到一个平面上重建好的三维点，然后计算这些三维点对应拟合出来的平面方程；接下来，计算这些三维点到平面方程的距离的最大值减去最小值（极差）就为其平面度。在上述过程中，由于对应每个要计算平面度的平面会有一个公差，那么如果本发明得到的平面度大于这个公差就说明这个工件平面度不合格。对于轮廓度而言，相比于平面度多了一个理论平面（有基准或者无基准），基于此去求解这些重建出来的三维点是否在理论平面的对应公差内，即可获得轮廓度。
[0047]
传统在进行平面度和轮廓度的检测时，首先三坐标是需要通过接触式测量的方式去获取的工件在空间中的三维坐标，而通过采用本发明的上述方法之后，本发明把射灯图案打到待检测工件上，然后用多台相机拍摄，就可以做到无接触检测，从而能够大大提高检测效率，精准度高且漏检率极低。
[0048]
在其他实施案例中，本发明可以进一步与3d线扫或者面阵相机等柔性测量的方式相结合，从而提升测量的精度和准确性。
[0049]
本发明进一步提供一种存储介质，所述存储介质能够被计算机或处理器读取，所述存储介质中存储有用来执行上述方法的计算机程序。
[0050]
本领域内的技术人员应明白，本技术的上述实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在
计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0051]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

技术特征：
1.一种利用射灯图案检测进行平面度轮廓度测量方法，适用于多目视觉检测系统，其特征在于，包括：步骤s1：在待检测工件上投射射灯图案；步骤s2：检测投射灯图案特征点的像素点位置；步骤s3：重建出步骤s2所述特征点在多目测量系统坐标系下的三维坐标；通过三角测量法来进行计算所述特征点在多目测量系统中三维点坐标；所述特征点是角点、边缘点、斑点等中的一个或多个，用来在不同图像间建立对应关系，以计算出三维点的位置；步骤s4：依照步骤s3得到的三维坐标计算待测工件的平面度和轮廓度。2.根据权利要求1所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述步骤s1中是利用镭射灯把对应特殊的射灯图案投影到对应工件需要测量平面度或者轮廓度的区域上。3.根据权利要求2所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述射灯图案采用三角网格形状、棋盘格、圆、垂直线中的一种或多种的组合。4.根据权利要求1-3中任意一项所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述步骤s2中得到对应统一特征点在多目测量系统中不同相机图片上的像素点位置，所述像素点位置为二维图像。5.根据权利要求4所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述步骤s2中，通过相机对图案进行获取图像作业，并对得到的图像进行图像预处理；所述图像预处理的处理流程包括：步骤s100：进行伽马变化；对相机过曝的图片进行修正；步骤s200：通过像素反转增强角点视觉效果；步骤s300：进行高斯模糊处理；通过高斯模糊处理减少图像噪声以及降低细节层次；步骤s400：图像膨胀；通过图像膨胀将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；步骤s500：对图像进行边缘增强。6.根据权利要求1所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述步骤s3的流程包括：步骤s301：摄像机标定；步骤s302：特征提取和匹配；在多视角三角测量中，从多个图像中提取出相同的特征点，并将它们进行匹配；步骤s303：三角测量；对于每个三维点，至少在两个视角下获取到对应的二维特征点坐标，然后进行三角测量以得到三维点的坐标；步骤s304：优化；对得到的三维点的坐标进行优化；步骤s305：可视化；对三维点进行可视化，以检验重建的结果是否正确。7.根据权利要求6所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述步骤s301中对于多目测量系统中每个相机进行摄像机的内部参数和外部参数标定；所述内部参数包括相机的焦距、主点位置和畸变参数中的一个或多个；所述外部参数包括相机的旋转和平移。8.根据权利要求6所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，
所述步骤s303中，采用三角测量公式，通过多个视角的计算结果进行平均或者加权平均操作，用以提高三维点坐标的精度。9.根据权利要求6所述的利用射灯图案检测进行平面度轮廓度测量方法，其特征在于，所述步骤s304中，采用非线性优化方法对得到的三维点坐标进行优化。10.一种存储介质，所述存储介质能够被计算机或处理器读取，其特征在于，所述存储介质中存储有用来执行上述权利要求1-9中任意一种方法的计算机程序。

技术总结
本发明公开了一种利用射灯图案检测进行平面度轮廓度测量方法及存储介质，该方法包括：步骤S1：在待检测工件上投射射灯图案；步骤S2：检测特征点的像素点位置；步骤S3：重建出这个特征点在测量系统坐标系下的三维坐标；步骤S4：依照步骤S3得到的三维坐标计算待测工件的平面度和轮廓度。该存储介质用来存储用来执行方法的计算机程序。本发明具有原理简单、操作简便、智能化程度高、适用范围广等优点。适用范围广等优点。适用范围广等优点。


技术研发人员：聂颖彬 陈杰 邵舒啸
受保护的技术使用者：湖南视比特机器人有限公司
技术研发日：2023.08.17
技术公布日：2023/9/20