一种基于相机视觉的轨道板产品平面度检测方法

1.本发明涉及crtsⅲ型轨道板生产制造领域，具体说是一种基于相机视觉的轨道板产品平面度检测方法。


背景技术：

2.随着我国对交通运输领域的大规模建设，尤其是加快推进高速铁路建设，保障轨道的安全运输成为一项必需的任务。crtsⅲ型轨道板是我国具有自主知识产权的板式无砟轨道，是带挡肩的新型单元板式无砟轨道结构。目前，crtsⅲ轨道板作为轨道运输的关键，需要承受来自上方列车的压力，轨道板表面容易产生各种缺陷，这会导致十分严重的事故发生。所以如何对轨道板进行快速精确的平面度检测对于保障轨道安全运输越来越重要。
3.轨道板的平面度检测方法包含超声导波检测、游标卡尺法、数字摄影测量法和激光扫描仪法等。超声导波检测由于受到信号的限制可能会产生检测盲点，所以检测的准确度不高。游标卡尺法测量原理简单，但要使用多种检测工具且依靠人工记录数据，致使检测效率低。数字摄影测量法通过拍摄预先放置在特定位置的靶标，经过一定的数据处理得到结果。但需提前在轨道板上布设大量靶标，使得测量效率较低。目前使用普遍的轨道板平面度检测方法是全站仪法。通过全站仪结合特殊的工装，得到轨道板上设置的棱镜坐标，进而转换得到轨道板平面度信息。全站仪法对一块轨道板的平面度检测时间约15-30分钟，精度一般大于0.5mm,但是该测量方法检测时间过长，对测量场地环境的要求比较高，不适合用于大批量的轨道板平面度检测，不能较好的满足实际测量的需求。
4.随着无损检测技术的不断发展，结合计算机视觉技术，将其应用在轨道板平面度检测上，在节约人力资源的同时，检测效率和准确率也大幅提高。针对上诉检测方式存在的问题，本发明研制一种基于相机视觉的crtsⅲ型轨道板产品平面度检测方法来解决上述问题。


技术实现要素：

5.发明目的：针对现有的检测方法难以同时保证检测精度和检测效率的问题，本发明提供一种基于相机视觉的crtsⅲ型轨道板产品平面度检测方法，实现对crtsⅲ型轨道板产品的平面度检测。
6.技术方案：
7.本发明的技术方案是这样实现的：
8.一种基于相机视觉的轨道板产品平面度检测方法，其特征在于包括以下步骤：
9.s1：双目视觉系统构建以及相机标定；
10.s2：轨道板图像采集；
11.s3：轨道板图像预处理；
12.s4：轨道板图像边缘检测；
13.s5：进行图像匹配获取视差图；
14.s6：平面度信息的提取与分析；
15.其中，所述轨道板主要是crtsⅲ型轨道板。
16.步骤s1所述双目视觉系统构建，具体为：使用两台相机构成的双目立体视觉系统，两台相机同时拍摄同一个实际场景的二维图像，使用优化后的canny算法进行图像边缘检测，以及像素灰度差的平方和函数ssd完成图像的匹配，进行三维坐标和深度信息，进而对场景进行轨道平面度信息的提取；所述相机标定，具体为：相机内参数的标定和相机外参数的标定；相机内参为d
x
、dy、u0、v0。d
x
和dy表示：x方向和y方向的一个像素分别占多少长度单位；u0和v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；相机的外部参数为三个轴的旋转参数ω、δ、θ，三个轴的平移参数t
x
、ty、tz。
17.步骤s2所述轨道板图像采集，具体为：使用带有两个传感器的双目视觉系统，进行相机与轨道板之间的相对运动，进而采集高质量图像。
18.步骤s3所述图像预处理，具体为：采用中值滤波，将领域内像素灰度值相差较大的像素灰度值替换成和领域像素灰度值想接近的值，在消除噪声的同时，保证不丢失图像的细节。
19.步骤s4所述轨道板图像边缘检测，具体为：采用基于改进canny算法进行轨道表面图像边缘检测，主要是采用改进的迭代算法对高低阈值进行计算，能够使检测图像拥有更多的边缘细节，具体流程如下：
20.1)利用直方图得到图像灰度的最大值t
max
和最小值t
min
，计算二者的均值
21.2)根据均值把原始图像分成高灰度区域和低灰度区域，灰度值≥k的区域为高灰度区域h，灰度值《k的区域为低灰度区域l；
22.3)求出h区域的灰度最大值t1和最小值t2，令根据k1把h区域分为前景和背景，求出二者的灰度值g1和g2：
[0023][0024][0025]
其中，e(i,j)表示图像中点(i,j)的灰度值；f(i,j)为该点的权重系数；
[0026]
4)h区域内，灰度值≥k1的区域为高灰度区域h1，灰度值《k1的区域为高灰度区域h2；
[0027]
5)求出h1区域内的灰度最大值t3和最小值t4，令根据k2把h1区域分为前景和背景，求出二者的灰度值g3和g4：
[0028][0029]
[0030]
6)求出新的阈值
[0031]
7)若t为预先设定的一个参数，那么k3是经过迭代法求出的高阈值，否则将k3的值赋给k1，再重复进行3-7，知道获得满足要求的高阈值；
[0032]
8)同理，可在n区域内找到符合要求的低阈值。
[0033]
步骤s5所述进行图像匹配获取视差图，具体为：
[0034]
第一步：从两个相机中采集的图像选一幅作为参考图像，另外一副就是待匹配图像；
[0035]
第二步：在参考图像中，结合轨道在三维场景中的实际结构，选取匹配特征；
[0036]
第三步：在待匹配图像中，找到与参考图像中选区的实际物理结构的特征相同的对应图像特征；
[0037]
第四步：采用像素灰度差的平方和函数ssd确定两个特征的相对位置。
[0038]
步骤s6所述平面度信息的提取与分析，具体为：通过获取的视觉差，结合前面的相机的内外参数，使用三角测量原理来提取平面度信息，得到深度图像，获得实验结果。
[0039]
第四步：采用基于灰度的误差平方和函数ssd确定两个特征的相对位置，计算两幅图像相似度，以左相机采集的图像的源匹配点为中心，定义一个窗口w，统计其窗口的灰度值的和，然后在右相机采集的图像中逐步计算其左右窗口的灰度差值的平方和；i
l
(u,v)和ir(u+d,v)分别代表第一步中左右相机采集到的图像，公式如下：
[0040]
c(u,v,d)＝∑
(i,j)∈w
(i
l
(u+i,v+j)-ir(u+i+d,v+j))2。
[0041]
有益效果：
[0042]
本发明具有以下优点及有益效果：
[0043]
1、本发明的检测方法采用优化后的canny算法进行图像边缘检测有很好的自适应性，能更好地保留图像的细节。
[0044]
2、使用带有两个图像传感器的双目视觉系统，直接利用图像传感器对图像信息进行实时转换，提高了最终的检测精度和检测效率。
[0045]
3、本发明的检测方法原理可靠，设备构造简单，具有良好的应用场景，可实现对crtsⅲ型轨道板平面度的实时检测。
附图说明
[0046]
图1为本发明方法的整体流程图；
[0047]
图2为本发明方法的双目视觉系统；
[0048]
图3为本发明方法的轨道板图像；
[0049]
图4为本发明方法的坐标标定转换图。
具体实施方式
[0050]
下面结合附图对本发明方法作进一步的详细说明。
[0051]
一种基于相机视觉的crtsⅲ型轨道板产品平面度检测方法，参照图1-4，主要包括以下步骤：
[0052]
1：双目视觉系统构建以及相机标定：
[0053]
如图2所示,是本方法的双目视觉系统布置原理图：对于实际轨道板某位置点p对应于相机采集到的两幅图像中的位置点p1、p2，视觉系统利用三角相似关系得到位置点p的三维坐标，获得该位置点的深度信息。要把两个相机的相对位置固定成这样。在此之前先要完成相机的标定，通过在棋盘标定板中选取标定点，标定选取的关键点在世界坐标系下和图像坐标系下的坐标，就可以建立世界坐标同左右相机坐标间正确的坐标转换关系，如图4所示。其中，图4所涉及的四个坐标系及其含义为：o
w-x
w-y
w-zw是世界坐标系；o
c-x
c y
c-zc是相机坐标系，光心为原点；o-x-y是图像坐标系，光心为原点；u-v是像素坐标系，原点为图像左上角；p代表世界坐标系中的一点，即为生活中真实的一点。p是p在图像中的成像点；f代表相机焦距。
[0054]
2：轨道板图像采集：图像采集的重点在于如何确保相机的运动路线能够将目标轨道板的信息全面拍摄采集出来。轨道板随运转系统到达双目系统检测范围之内，并保持一个稳定的状态。然后通过plc控制伺服电机，带动相机以45mm/s的速度按照规定路线匀速移动，实现相机与轨道板之间的相对运动采集高质量图像，进而传输到计算机中，轨道板中的承轨槽部分如图3所示；
[0055]
3：轨道板图像预处理：采用中值滤波，将领域内像素灰度值相差较大的像素灰度值替换成和领域像素灰度值想接近的值，在消除噪声的同时，还尽量保证不丢失图像的细节；使用模板6*6大小的滤波模板，将模板中心与图中的一个像素重合，收集模板中所有像素的灰度值，将其进行大小排序，找到中间的灰度值，将它赋值给模板中心位置的像素，得到新的像素值，把图像的每一个像素点都进行这样的处理，就可以得到中值滤波处理之后的新的图像；
[0056]
4：轨道板图像边缘检测(轨道表面提取)：将中值滤波之后的新图像，采用基于改进canny算法进行轨道表面图像边缘检测，主要是采用改进的迭代算法对高低阈值进行计算，能够使检测图像拥有更多的边缘细节；
[0057]
5：进行图像匹配获取视差图：
[0058]
第一步：从两个相机中采集的图像进行边缘检测之后，选左相机采集的图像作为参考图像，右相机采集图像为待匹配图像；
[0059]
第二步：在参考图像中，结合轨道在三维场景中的实际结构，选取匹配特征点，例如选取一些轨道板特殊明显的角点、线等；
[0060]
第三步：在待匹配图像中，找到与参考图像中选区的实际物理结构的特征相同的对应图像特征；
[0061]
第四步：采用基于灰度的误差平方和函数(ssd)确定两个特征的相对位置，计算两幅图像相似度，以左相机采集的图像的源匹配点为中心，定义一个窗口w，统计其窗口的灰度值的和，然后在右相机采集的图像中逐步计算其左右窗口的灰度差值的平方和。i
l
(u,v)和ir(u+d,v)分别代表第一步中左右相机采集到的图像，公式如下：
[0062][0063]
6：平面度信息的提取与分析：通过获取的视觉差，结合前面的相机的内外参数，使
用三角测量原理来提取平面度信息，得到深度图像，获得实验结果。如图2所示，由三角测量原理，可得点p的深度信息为:zc＝bf/d，其中b为两相机光心之间的距离，f为相机焦距，d为搜索匹配的视差:这样就可以得到轨道板图像的平面度信息。
[0064]
为了评估这种方法对轨道板产品平面度检测的效果，按照轨道板标准平面度误差范围与其他方法进行比较，可以看到不管是检测精度还是检测时间上都比其他方法好，也证明了本发明方法的有效性。
[0065]
如图1所示，首先要构建双目视觉系统，也就是标定2台相机的相对位置关系。
[0066]
如图2所示,点p在左右相机中立体校正前的位置是点p1、p2,c1、c2为左右相机的光心，2点之间的连线是基线，e1、e2为左右相机的成像平面与基线的交点,也就是极点。由极线的约束条件可知，左图像中点p1在右图像中的对应点必定位于直线e2p2上,极线约束令对应点的搜索由二维搜索降为一维搜索。但极线往往为一条斜线，为了进一步降低搜寻对应点的复杂度,还需要进行极线校正。校正后，两台相机光轴平行，极点位于无穷远处，像点在左右相机中高度相同，对应点搜索只需在同一行上进行。
[0067]
表1为按照以上方法实施后，所得的对比数据；
[0068]
表1检测方法对比数据
[0069]
。

技术特征：
1.一种基于相机视觉的轨道板产品平面度检测方法，其特征在于包括以下步骤：s1：双目视觉系统构建以及相机标定；s2：轨道板图像采集；s3：轨道板图像预处理；s4：轨道板图像边缘检测；s5：进行图像匹配获取视差图；s6：平面度信息的提取与分析；其中，所述轨道板主要是crtsⅲ型轨道板。2.根据权利要求1所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：步骤s1所述双目视觉系统构建，具体为：使用两台相机构成的双目立体视觉系统，两台相机同时拍摄同一个实际场景的二维图像，使用优化后的canny算法进行图像边缘检测，以及像素灰度差的平方和函数ssd完成图像的匹配，进行三维坐标和深度信息，进而对场景进行轨道平面度信息的提取；所述相机标定，具体为：相机内参数的标定和相机外参数的标定；相机内参为d
x
、d
y
、u0、v0；d
x
和d
y
表示：x方向和y方向的一个像素分别占多少长度单位；u0和v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；相机的外部参数为三个轴的旋转参数ω、δ、θ，三个轴的平移参数t
x
、t
y
、t
z
。3.根据权利要求1所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：步骤s2所述轨道板图像采集，具体为：使用带有两个传感器的双目视觉系统，进行相机与轨道板之间的相对运动，进而采集高质量图像。4.根据权利要求1所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：步骤s3所述图像预处理，具体为：采用中值滤波，将领域内像素灰度值相差较大的像素灰度值替换成和领域像素灰度值想接近的值，在消除噪声的同时，保证不丢失图像的细节。5.根据权利要求1所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：步骤s4所述轨道板图像边缘检测，具体为：采用基于改进canny算法进行轨道表面图像边缘检测，主要是采用改进的迭代算法对高低阈值进行计算，能够使检测图像拥有更多的边缘细节，具体流程如下：1)利用直方图得到图像灰度的最大值t
max
和最小值t
min
，计算二者的均值2)根据均值把原始图像分成高灰度区域和低灰度区域，灰度值≥k的区域为高灰度区域h，灰度值<k的区域为低灰度区域l；3)求出h区域的灰度最大值t1和最小值t2，令根据k1把h区域分为前景和背景，求出二者的灰度值g1和g2：：其中，e(i,j)表示图像中点(i,j)的灰度值；f(i,j)为该点的权重系数；
4)h区域内，灰度值≥k1的区域为高灰度区域h1，灰度值<k1的区域为高灰度区域h2；5)求出h1区域内的灰度最大值t3和最小值t4，令根据k2把h1区域分为前景和背景，求出二者的灰度值g3和g4：：6)求出新的阈值7)若t为预先设定的一个参数，那么k3是经过迭代法求出的高阈值，否则将k3的值赋给k1，再重复进行3-7，知道获得满足要求的高阈值；8)同理，可在n区域内找到符合要求的低阈值。6.根据权利要求1所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：步骤s5所述进行图像匹配获取视差图，具体为：第一步：从两个相机中采集的图像选一幅作为参考图像，另外一副就是待匹配图像；第二步：在参考图像中，结合轨道在三维场景中的实际结构，选取匹配特征；第三步：在待匹配图像中，找到与参考图像中选区的实际物理结构的特征相同的对应图像特征；第四步：采用像素灰度差的平方和函数ssd确定两个特征的相对位置。7.根据权利要求1所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：步骤s6所述平面度信息的提取与分析，具体为：通过获取的视觉差，结合前面的相机的内外参数，使用三角测量原理来提取平面度信息，得到深度图像，获得实验结果。8.根据权利要求6所述的一种基于相机视觉的轨道板产品平面度检测方法，其特征在于：第四步：采用基于灰度的误差平方和函数ssd确定两个特征的相对位置，计算两幅图像相似度，以左相机采集的图像的源匹配点为中心，定义一个窗口w，统计其窗口的灰度值的和，然后在右相机采集的图像中逐步计算其左右窗口的灰度差值的平方和；i
l
(u,v)和i
r
(u+d,v)分别代表第一步中左右相机采集到的图像，公式如下：c(u,v,d)＝∑
(i,j)∈w
(i
l
(u+i,v+j)-i
r
(u+i+d,v+j))2。

技术总结
本发明一种基于相机视觉的轨道板产品平面度检测方法，涉及CRTSⅢ型轨道板生产制造领域。其特征在于：该检测方法按包括以下步骤：双目视觉系统构建以及相机标定；轨道板图像采集；轨道板图像预处理；轨道板图像边缘检测；进行图像匹配获取视差图；平面度信息的提取与分析。通过相机与轨道板的相对运动采集图像，并通过中值滤波对图像进行预处理，增强图像效果。采用优化后的Canny算法对图像进行边缘检测，捕捉到图像更多的细节。利用像素灰度差的平方和函数(SSD)进行图像位置匹配，最后通过三角测量原理来提取平面度信息，得到深度图像，获得实验结果。本发明方法采用图像处理技术进行检测，在节约人力资源的同时，检测效率和准确率也大幅提高。和准确率也大幅提高。和准确率也大幅提高。


技术研发人员：侯春明 王国玉 吕瑞宏 程亮
受保护的技术使用者：沈阳工学院
技术研发日：2023.05.06
技术公布日：2023/8/4