一种基于轮廓边缘的管道表面图像展平方法及系统

1.本发明涉及图像矫正领域，尤其涉及一种基于轮廓边缘的管道表面图像展平方法及系统。


背景技术：

2.管道在石油化工、城市给排水、地下管廊等众多领域有着广泛应用，常被用于实现气体或者液体的传送。尤其对于进行远距离传送的长输管道，为了降低铺设和维护成本，常常采用架空敷设的施工方式。为了避免违法作业、自然灾害等原因造成传输介质泄漏，往往需要工作人员定期对管道开展巡检任务，以保证其完整性。目前，管道检测方式主要分为内壁检测方式和外壁检测方式。
3.目前，针对管道外壁的检测方式主要采用人工巡检的方式进行，或者直接利用算法对管道图像进行处理以完成检测。由于一般相机的成像过程存在较为严重的透视投影效果，因此造成图像中管道的中心区域单位面积的有效像素占比较大，而越接近管道边缘的地方，单位面积的有效像素占比就越少，即直接获取的管道表面图像并不能有效反映管道表面的纹理特征，这将不利于管道外壁缺陷的人工巡检或者算法自动检测。


技术实现要素：

4.为了解决上述技术问题，本发明的目的是提供一种基于轮廓边缘的管道表面图像展平方法及系统，能够有效反映管道表面的纹理特征，以方便管道巡检人员或计算机完成管道表面异常的观察、检测和识别。
5.本发明所采用的第一技术方案是：一种基于轮廓边缘的管道表面图像展平方法，包括以下步骤：
6.获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像；
7.对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘；
8.以两侧轮廓边缘的最邻近点为初始点对，搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；
9.结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构；
10.基于管道三维空间结构，在管道空间截面圆上进行采样并通过角度约束进行筛选，得到截面圆上可视离散点；
11.基于相机透视投影模型计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。
12.进一步，所述获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像这一步骤，其具体包括：
13.对相机进行标定，得到相机内参和镜头畸变系数；
14.利用相机拍摄管道图像；
15.根据镜头畸变系数对管道图像进行畸变矫正处理，得到矫正后管道图像。
16.通过该优选步骤，预先对相机进行标定，有助于后续的图像处理的计算。
17.进一步，所述对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘这一步骤，其具体包括：
18.基于u-net全卷积神经网络对矫正后管道图像进行边缘检测，得到初步轮廓；
19.采用高斯平滑方法对初步轮廓进行平滑处理，得到管道的轮廓边缘。
20.通过该优选步骤，对检测出来的轮廓边缘进行平滑处理，能够得到更精确和易于识别的轮廓边缘。
21.进一步，耦合点对搜索的约束条件为：
[0022][0023]
ω＝k-t
k-1
[0024]
上式中，为耦合点对(p1,p2)的齐次坐标，为管道轮廓边缘上耦合点对处切线l1、l2交点v的齐次坐标，k表示相机内参，t表示向量的转置，当l
coupling
的结果近似为零时，管道两轮廓边缘上的点p1、p2为属于同一截面圆上的耦合点对。
[0025]
进一步，所述结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构这一步骤，其具体包括：
[0026]
根据管道半径、相机参数、耦合点对坐标和耦合点对处切线方程计算管道截面圆圆心的三维坐标；
[0027]
将管道截面圆圆心的三维坐标进行整合，得到管道轴线三维坐标；
[0028]
根据管道轴线三维坐标和半径进行管道三维重建，得到管道三维空间结构。
[0029]
进一步，所述管道截面圆圆心的三维坐标的计算公式如下：
[0030][0031]
上式中，r表示管道半径,k表示相机内参，表示管道轮廓边缘上耦合点对处切线l1、l2交点v的齐次坐标，q点为交点v反投影射线与管道截面圆支撑平面的交点，n
qpc
为q到截面圆圆心pc的方向向量，α为耦合点p1或p2反投影射线与交点v反投影射线所形成的夹角，β为耦合点对处切线l1、l2反投影平面所形成的夹角。
[0032]
进一步，所述基于管道三维空间结构，在管道空间截面圆上进行采样并通过角度约束进行筛选，得到截面圆上可视离散点这一步骤，其具体包括：
[0033]
基于管道三维空间结构，采用等角度采样的方式在管道空间截面圆上进行采样，得到离散点；
[0034]
计算相机光心到离散点的方向向量与对应截面圆圆心到离散点的方向向量的夹角；
[0035]
判断到夹角大于等于预设阈值，确定该离散点为可视离散点。
[0036]
进一步，每个截面圆上相邻离散点的轴向距离与相邻截面圆之间的轴向距离相
等。
[0037]
通过该优选步骤的限定，以确保最终得到的展开图为等比例的管道表面展平图像。
[0038]
本发明所采用的第二技术方案是：一种基于轮廓边缘的管道表面图像展平系统，包括：
[0039]
预处理模块，用于获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像；
[0040]
边缘检测模块，用于对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘；
[0041]
点对搜索模块，用于以两侧轮廓边缘的最邻近点为初始点对，搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；
[0042]
三维重建模块，用于结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构；
[0043]
点采样模块，基于管道三维空间结构，在管道空间截面圆上进行等角度采样并通过角度约束进行筛选，得到截面圆上可视离散点；
[0044]
图像展平模块，基于相机透视投影模型计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。
[0045]
本发明方法及系统的有益效果是：本发明基于普通相机和一系列的图像处理步骤，即可实现管道的三维重建和表面图像的有效展开，最终获得的管道表面展开图更有利于巡检人员或者计算机完成管道表面异常的观察、检测和识别。
附图说明
[0046]
图1是本发明一种基于轮廓边缘的管道表面图像展平方法的步骤流程图；
[0047]
图2是本发明一种基于轮廓边缘的管道表面图像展平系统的结构框图；
[0048]
图3是本发明具体实施例管道三维示意图；
[0049]
图4是本发明具体实施例展平前示意图；
[0050]
图5是本发明具体实施例展平后示意图。
具体实施方式
[0051]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0052]
参照图1和图3，本发明提供了一种基于轮廓边缘的管道表面图像展平方法，该方法包括以下步骤：
[0053]
s1、获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像；
[0054]
s1.1、利用张氏标定法对相机进行标定，得到相机的内部参数和镜头畸变系数，并使用该相机拍摄获取管道图像；
[0055]
s1.2、对管道图像进行镜头畸变矫正。
[0056]
畸变矫正的计算公式如下：
[0057][0058]
其中，和(x,y)分别表示带畸变和无畸变的归一化图像坐标，k1、k2分别表示镜头畸变系数中的第1、2阶径向畸变系数，p1、p2分别表示镜头畸变系数中的第1、2阶切向畸变系数。
[0059]
s2、对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘；
[0060]
s2.1、利用u-net全卷积神经网络实现一般环境下管道图像中轮廓边缘的鲁棒检测，提取出目标管道两侧的轮廓边缘；
[0061]
s2.2.1、采集并人工标注一个管道轮廓数据集，并通过该数据集训练一个具有像素点为轮廓点或非轮廓点稠密二分类功能的全卷积神经网络模型；
[0062]
s2.2.2、通过训练好的u-net全卷积神经网络模型完成图像中管道轮廓边缘的鲁棒检测。
[0063]
s2.2、采用高斯平滑的办法实现对管道轮廓边缘的平滑处理；
[0064]
s3、以两侧轮廓边缘的最邻近点为初始点对，搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；
[0065]
s3.1、以两侧轮廓边缘的最邻近点为初始点对，利用kdtree算法完成目标管道两侧轮廓边缘上最邻近点的快速匹配，
[0066]
s3.2、采用迭代算法完成两轮廓边缘上属于同一截面圆的耦合点对搜索；
[0067]
耦合点对迭代搜索的约束条件为：
[0068][0069]
其中，为耦合点对(p1,p2)的齐次坐标，为管道轮廓边缘上耦合点对处切线l1、l2交点v的齐次坐标，t表示向量的转置运算，ω＝k-t
k-1
，k为标定得到的相机内参。
[0070]
当l
coupling
的结果近似为零时，管道两轮廓边缘上的点p1、p2才为属于同一截面圆上的耦合点对。
[0071]
s4、结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构；
[0072]
s4.1、根据管道半径、相机内参、耦合点对等参数可计算得到管道截面圆圆心pc的三维坐标，同时得到由管道截面圆圆心pc组成的管道轴线三维坐标，计算公式如下：
[0073][0074]
如图3所示，r为管道半径,k为相机内参，为管道轮廓边缘上耦合点对处切线l1、l2交点v的齐次坐标，q点为交点v反投影射线与管道截面圆支撑平面的交点，n
qpc
为q到截面圆圆心pc的方向向量，α为耦合点p1或p2反投影射线与交点v反投影射线所形成的夹角，β为耦合点对处切线l1、l2反投影平面所形成的夹角；
[0075]
s4.2、基于每个耦合点对完成对截面圆圆心pc的逐一求解，所有截面圆圆心的三维坐标即对应为管道轴线的三维坐标，最后再结合半径r便可完成管道的三维重建
[0076]
s5、基于管道三维空间结构，在管道空间截面圆上进行采样并通过角度约束进行筛选，得到截面圆上可视离散点；
[0077]
s5.1、在三维重建后的管道截面圆上，采用等角度采样的方式获取一簇离散点{pi}；
[0078]
s5.2、选取{pi}中的任意点pi，通过计算方向向量opi和方向向量pcpi所形成夹角的角度来判断并筛选出可视离散点，当夹角大于或等于90度，则pi为可视离散点，反之则pi为非可视离散点，其中o为相机光心，pc为对应截面圆圆心。
[0079]
计算任意离散点pi到截面圆圆心pc的方向向量pipc与离散点pi到相机光心o的方向向量pio所形成的夹角γ，具体计算公式如下：
[0080][0081]
判断夹角γ大于等于90
°
，确定该离散点为可视离散点。
[0082]
s6、基于相机透视投影模型计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。
[0083]
根据相机透视投影模型计算出管道截面圆上可视离散点pi在无畸变图像中的投影点坐标pi，具体计算公式如下：
[0084][0085]
其中，为可视离散点pi对应的齐次坐标，为投影点pi对应的齐次坐标，k为标定得到的相机内参，i为3
×
3的单位矩阵，0为3
×
1的零向量。
[0086]
将投影点坐标pi对应灰度信息按顺序展开为展开图的一行，同时，其它截面圆顺序展开为展开图中的不同行，展开期间保持每个截面圆上相邻离散点的轴向距离d1与相邻截面圆之间的轴向距离d2相等，即可完成管道表面图像的有效展平。
[0087]
参照图4和图5，可看出实际管道展平前后的对比。
[0088]
如图2所示，一种基于轮廓边缘的管道表面图像展平系统，包括：
[0089]
预处理模块，用于获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像；
[0090]
边缘检测模块，用于对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘；
[0091]
点对搜索模块，用于以两侧轮廓边缘的最邻近点为初始点对，搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；
[0092]
三维重建模块，用于结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构；
[0093]
点采样模块，基于管道三维空间结构，在管道空间截面圆上进行等角度采样并通过角度约束进行筛选，得到截面圆上可视离散点；
[0094]
图像展平模块，基于相机透视投影模型计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。
[0095]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的
功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0096]
一种基于轮廓边缘的管道表面图像展平装置：
[0097]
至少一个处理器；
[0098]
至少一个存储器，用于存储至少一个程序；
[0099]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于轮廓边缘的管道表面图像展平方法。
[0100]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0101]
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种基于轮廓边缘的管道表面图像展平方法。
[0102]
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0103]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种基于轮廓边缘的管道表面图像展平方法，其特征在于，包括以下步骤：获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像；对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘；以两侧轮廓边缘的最邻近点为初始点对，搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构；基于管道三维空间结构，在管道空间截面圆上进行采样并通过角度约束进行筛选，得到截面圆上可视离散点；基于相机透视投影模型计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。2.根据权利要求1所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，所述获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像这一步骤，其具体包括：对相机进行标定，得到相机内参和镜头畸变系数；利用相机拍摄管道图像；根据镜头畸变系数对管道图像进行畸变矫正处理，得到矫正后管道图像。3.根据权利要求2所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，所述对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘这一步骤，其具体包括：基于u-net全卷积神经网络对矫正后管道图像进行边缘检测，得到初步轮廓；采用高斯平滑方法对初步轮廓进行平滑处理，得到管道的轮廓边缘。4.根据权利要求3所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，耦合点对搜索的约束条件为：ω＝k-t
k-1
上式中，为耦合点对(p1,p2)的齐次坐标，为管道轮廓边缘上耦合点对处切线l1、l2交点v的齐次坐标，k表示相机内参，t表示向量的转置，当l
coupling
的结果近似为零时，管道两轮廓边缘上的点p1、p2为属于同一截面圆上的耦合点对。5.根据权利要求4所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，所述结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构这一步骤，其具体包括：根据管道半径、相机参数、耦合点对坐标和耦合点对处切线方程计算管道截面圆圆心的三维坐标；将管道截面圆圆心的三维坐标进行整合，得到管道轴线三维坐标；根据管道轴线三维坐标和半径进行管道三维重建，得到管道三维空间结构。6.根据权利要求5所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，所述
管道截面圆圆心的三维坐标的计算公式如下：上式中，r表示管道半径,k表示相机内参，表示管道轮廓边缘上耦合点对处切线l1、l2交点v的齐次坐标，q点为交点v反投影射线与管道截面圆支撑平面的交点，为q到截面圆圆心p
c
的方向向量，α为耦合点p1或p2反投影射线与交点v反投影射线所形成的夹角，β为耦合点对处切线l1、l2反投影平面所形成的夹角。7.根据权利要求5所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，所述基于管道三维空间结构，在管道空间截面圆上进行采样并通过角度约束进行筛选，得到截面圆上可视离散点这一步骤，其具体包括：基于管道三维空间结构，采用等角度采样的方式在管道空间截面圆上进行采样，得到离散点；计算相机光心到离散点的方向向量与对应截面圆圆心到离散点的方向向量的夹角；判断到夹角大于等于预设阈值，确定该离散点为可视离散点。8.根据权利要求7所述一种基于轮廓边缘的管道表面图像展平方法，其特征在于，每个截面圆上相邻离散点的轴向距离与相邻截面圆之间的轴向距离相等。9.一种基于轮廓边缘的管道表面图像展平系统，其特征在于，包括：预处理模块，用于获取管道图像并对管道图像进行畸变矫正处理，得到矫正后管道图像；边缘检测模块，用于对矫正后管道图像进行边缘检测处理，得到管道的轮廓边缘；点对搜索模块，用于以两侧轮廓边缘的最邻近点为初始点对，搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；三维重建模块，用于结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建，得到管道三维空间结构；点采样模块，基于管道三维空间结构，在管道空间截面圆上进行等角度采样并通过角度约束进行筛选，得到截面圆上可视离散点；图像展平模块，基于相机透视投影模型计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。

技术总结
本发明公开了一种基于轮廓边缘的管道表面图像展平方法及系统，该方法包括：获取管道图像并对管道图像进行畸变矫正处理；对矫正后管道图像进行边缘检测处理；搜索两侧轮廓边缘上属于同一截面圆上的耦合点对；结合管道半径、相机参数、耦合点对坐标和耦合点对处切线方程，对管道进行三维重建；在管道空间截面圆上进行采样并通过角度约束进筛选出截面圆上可视离散点；计算截面圆上可视离散点的投影点坐标，并结合灰度信息进行管道图像展平。该系统包括：预处理模块、边缘检测模块、点对搜索模块、三维重建模块、点采样模块和图像展平模块。通过使用本发明，能够实现管道的三维重建和表面图像的有效展开。本发明可广泛应用于图像矫正领域。正领域。正领域。


技术研发人员：程晓琦 钟柏煜 李小松 谭海曙 乔健 杨景卫
受保护的技术使用者：佛山科学技术学院
技术研发日：2023.02.03
技术公布日：2023/7/11