一种用于水下机器人的海缆图像增强和缺陷检测装置及方法

1.本发明涉及水下机器人视觉技术领域，具体是一种用于水下机器人的海缆图像增强和缺陷检测装置及方法。


背景技术：

2.随着海缆在国内外的使用量不断增加，海底电缆建设已被世界各国政府认为是复杂艰难的巨大工程项目。但是受到自然灾害、器件寿命和海上作业的影响，海缆可能发生故障，并且一旦发生故障将会引起巨大的经济损失和人民安全问题。因此，海底电缆的缺陷检测具有重要的实际应用价值。
3.目前常用的海缆缺陷检测方法都是从人工及机械两大方面入手，如人工瞭望、海洋拖鱼、水下机器人检测等。人工方式存在及时性差、投入成本大、效率低等缺点。而有缆水下机器人(remotely operated vehicle，rov)在水产养殖、资源探索与科学校验等方面已被广泛用于获取水下图像。但是实际水下环境获取的海缆图像并不能直接由现有表面缺陷检测方法直接实现缺陷检测。
4.此外，经过对现有资料的分析发现，目前鲜有针对海底电缆的表面缺陷检测研究和装置。而海缆和普通电缆以及海底其他物体存在差异，其在设计时必须保证内部光纤能适应海底压力，耐受海水腐蚀，适应复杂的海底情况，因此海缆的表面覆盖了混合沥青的钢丝铠，这些特点都使得海缆表面缺陷自动检测存在困难。此外，rov的计算性能通常有限，难以部署复杂的检测模型。


技术实现要素：

5.本发明的目的在于提供一种用于水下机器人的海缆图像增强和缺陷检测装置及方法，能够利用水下机器人实现对海缆图像的增强和缺陷检测。
6.为实现上述目的，本发明提供如下技术方案：
7.第一方面，本发明提供一种用于水下机器人的海缆图像增强和缺陷检测装置，包括信号相连的图像采集单元(1)和处理单元(2)，所述图像采集单元(1)包括设于水下机器人设备舱上的相机云台(10)和放置于所述相机云台(10)上的水下摄像头(11)；所述处理单元(2)包括设于水下机器人设备舱内的散热壳体(20)和设于所述散热壳体(20)内的树莓派(21)。
8.结合第一方面，进一步的，所述树莓派(21)通过usb接口与所述图像采集单元(1)连接。
9.结合第一方面，进一步的，所述相机云台(10)包括紧扣圈(100)，所述紧扣圈(100)的两端通过紧扣螺丝(101)连接并调节松紧度，所述紧扣圈(100)的两侧各设有传动轴(102)，所述传动轴(102)与水下机器人上预设的传动键连接。
10.结合第一方面，进一步的，所述相机云台(10)为俯仰云台，所述俯仰云台通过所述传动轴(102)与水下机器人上预设的传动键控制其进行俯仰运动。
11.结合第一方面，进一步的，所述水下摄像头(11)包括彩色偏振摄像头和黑白偏振摄像头，其镜头上均设有偏振片。
12.结合第一方面，进一步的，所述图像采集单元(1)还包括设于所述水下机器人设备舱上的深水补光灯(12)。
13.结合第一方面，进一步的，所述散热壳体(20)包括固定底座(200)和散热壳盖(201)，所述固定底座(200)通过其延伸出的支架臂(2000)与水下机器人设备舱内壁固定连接；所述散热壳盖(201)通过固定螺栓(202)与所述固定底座(200)固定连接；所述散热壳盖(201)上设有若干让位口(2010)，所述让位口(2010)包括与所述水下摄像头(11)相对应的usb接口让位口、与所述树莓派(21)的扩展口相对应的扩展口让位口以及电源和微hdmi让位口；所述散热壳体(20)内还设有风扇(2011)。
14.结合第一方面，进一步的，所述电源和微hdmi让位口呈齿状凸起。
15.结合第一方面，进一步的，所述散热壳体(20)采用abs树脂材料制成。
16.第二方面，本发明提供一种如第一方面任一项所述装置的海缆图像增强和缺陷检测方法，包括：
17.通过图像采集单元(1)采集获取海缆图像，并将采集获取的海缆图像传输至树莓派(21)；
18.通过树莓派(21)搭载的图像增强算法和缺陷检测算法，对海缆图像进行图像增强和缺陷检测；
19.其中，所述图像增强算法采用传统图像增强算法或基于深度学习的图像增强算法，所述缺陷检测算法包括语义分割算法和图像识别算法，所述语义分割算法和图像识别算法均采用基于轻量级深度神经网络的算法。
20.与现有技术相比，本发明的有益效果是：
21.本发明提供的用于水下机器人的海缆图像增强和缺陷检测装置，集图像采集、图像增强、缺陷检测为一体，反应及时，检测准确度高；结构简单，采用的原件少，能够灵活应用于不同类型的水下机器人；采用俯仰云台，能够通过水下机器人上预设的传动键进行俯仰运动控制，针对海缆这类布局较广的目标物，能够获取的视觉范围更广，也能够采集到更多可使用的图像信息。本发明提供的用于水下机器人的海缆图像增强和缺陷检测方法，能够适用于算力不高的水下机器人，并且反应迅速；缺陷检测部分先进行语义分割再进行缺陷检测来对海缆表面的缺陷进行检测，能够解决缺陷检测中背景部分的干扰，提高缺陷检测准确率；采用轻量级深度神经网络模型，根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，鲁棒性更好，且海缆的水下图像背景较为简单，适用轻量级模型在符合所需的缺陷检测要求的同时能够达到更快的效果。
附图说明
22.图1为本发明实施例提供的一种用于水下机器人的海缆图像增强和缺陷检测装置示意图；
23.图2为本发明实施例提供的用于水下机器人的海缆图像增强和缺陷检测装置中图像采集单元示意图；
24.图3为本发明实施例提供的用于水下机器人的海缆图像增强和缺陷检测装置中处
理单元示意图；
25.图4为本发明实施例提供的用于水下机器人的海缆图像增强和缺陷检测装置中各单元的连接示意图。
26.图中：1-图像采集单元、10-相机云台、100-紧扣圈、101-紧扣螺丝、102-传动轴、11-水下摄像头、12-深水补光灯、2-处理单元、20-散热壳体、200-固定底座、2000-支架臂、201-散热壳盖、2010-让位口、2011-风扇、202-固定螺栓、21-树莓派。
具体实施方式
27.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
28.下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
29.实施例一：
30.本实施例提供一种用于水下机器人的海缆图像增强和缺陷检测装置，如图4所示，包括水下单元和水上控制单元，水下单元和水上控制单元通过电力载波通信和电缆进行信息传输。如图1所示，水下单元包括信号相连的图像采集单元1和处理单元2，图像采集单元1包括设于水下机器人设备舱上的相机云台10和放置于相机云台10上的水下摄像头11；图像采集单元1还包括设于水下机器人设备舱上的深水补光灯12。如图2所示，相机云台10包括紧扣圈100，紧扣圈100的两端通过紧扣螺丝101连接并通过紧扣螺丝101调节松紧度，紧扣圈100的两侧各设有传动轴102，传动轴102与水下机器人上预设的传动键连接。如图3所示，处理单元2包括设于水下机器人设备舱内的散热壳体20和设于散热壳体20内的树莓派21，树莓派21通过usb接口与图像采集单元1连接。如图3所示，散热壳体20包括固定底座200和散热壳盖201，固定底座200通过其延伸出的支架臂2000与水下机器人设备舱内壁固定连接；散热壳盖201通过固定螺栓202与固定底座200固定连接。散热壳盖201上设有若干让位口2010，让位口2010包括与水下摄像头11相对应的usb接口让位口、与树莓派21的扩展口相对应的扩展口让位口以及电源和微hdmi让位口，其中，电源和微hdmi让位口呈齿状凸起。散热壳体20内还设有风扇2011。
31.本实施例中，相机云台10为俯仰云台，俯仰云台通过传动轴102与水下机器人上预设的传动键控制其进行俯仰运动；水下摄像头11包括彩色偏振摄像头和黑白偏振摄像头，其镜头上均设有偏振片。图像采集单元1与水直接接触，均采用水下专用设备，具有防水功能。散热壳体20采用abs树脂绝缘材料制成。散热壳盖201还设有用于拆装树莓派21的连接孔。
32.本实施例中，水下摄像头11将采集到的水下海缆图像，通过usb接口输入到树莓派21中，由树莓派21搭载的图像增强和缺陷检测算法完成对海缆图像的增强和缺陷检测工作。树莓派21连接电力载波通信a端，电力载波通信a端与电力载波通信b端通过电缆相连，电力载波通信b端连接甲板控制单元，并和甲板控制单元共同构成水上控制单元，电力载波通信b端将处理完成的图像信息上传至水上控制端完成最终的信息传输。
33.本实施例提供的用于水下机器人的海缆图像增强和缺陷检测装置，集图像采集、
图像增强、缺陷检测为一体，反应及时，检测准确度高；结构简单，采用的原件少，能够灵活应用于不同类型的水下机器人；采用俯仰云台，能够通过水下机器人上预设的传动键进行俯仰运动控制，针对海缆这类布局较广的目标物，能够获取的视觉范围更广，也能够采集到更多可使用的图像信息。
34.实施例二：
35.本实施例提供一种如实施例一中用于水下机器人的海缆图像增强和缺陷检测装置的海缆图像增强和缺陷检测方法，包括如下步骤：
36.步骤a：通过图像采集单元1采集获取海缆图像，并将采集获取的海缆图像传输至树莓派21；
37.步骤b：通过树莓派21搭载的图像增强算法和缺陷检测算法，对海缆图像进行图像增强和缺陷检测；
38.其中，图像增强算法采用传统图像增强算法或基于深度学习的图像增强算法，缺陷检测算法包括语义分割算法和图像识别算法，语义分割算法和图像识别算法均采用基于轻量级深度神经网络的算法。
39.本实施例中，图像增强算法采用retinex传统图像增强算法，语义分割算法采用u-net网络深度学习算法，图像识别算法采用pp-yoloe模型深度学习算法。
40.通过图像采集单元1采集获取的海缆图像满足的光照公式如公式(1)所示：
41.ic(x，y)＝rc(x，y)
·
lc(x，y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
42.公式(1)中，ic(x，y)为海缆图像满足的光照公式，rc(x，y)为反射分量，lc(x，y)为照度分量，通过消除照度分量lc(x，y)，能够还原水下图像，实现图像的质量增强，x和y是表示海缆图像为二维图像的两个参数。
43.本实施例中，考虑到水下成像的特性，不同波长的光照在水下的传播效果不同，消除光照分量后水下图像可能会泛红，在多尺度加权平均算法的基础上引入色彩恢复因子，调节图像局部区域对比度增强导致的颜色失真缺陷，解决图像偏色问题。引入色彩恢复因子后的光照公式如公式(2)所示：
[0044][0045]
公式(2)中，r
msrcr
(x，y)为引入色彩恢复因子后的光照公式，ci(x，y)为色彩恢复因子，为多尺度加权平均法的反射分量，分别将图像的rgb三个通道拆分再进行计算。
[0046]
缺陷检测算法包括语义分割算法和图像识别算法，语义分割算法采用u-net网络深度学习算法，运用卷积神经网络中残差学习的方法对水下图像进行增强处理。基于u-net架构进行设计，该网络为fcn网络的一种变体，使用卷积运算实现全连接层结构，且对解码器进行了卷积加深处理。u-net为encoder-decoder结构，其网络结构对称，两端各有五层网络，卷积结构统一为3x3卷积核，图像再在通过encoder卷积操作和采样数次之后输入decoder恢复原始分辨率，其中decoder包含了卷积、upsampling和skip-connection。
[0047]
本实施例中，decoder中upsampling的采样方式采用的是双线性插值方式。u-net的skip-connection的步骤中，深层信息和浅层信息的融合是通过拼接的方式，在fcn网络上进行了改进，拼接保留了更多的维度和位置等信息，在语义分割方面更有优势。
[0048]
图像识别算法采用pp-yoloe模型深度学习算法，这种算法可以仅用一个cnn网络来直接产生物体的类别概率和位置坐标值。yolo网络采用了轻量级pp-yoloe模型，其架构的主干网路在resnet系列网络提出了新的主干csprepresnet，包含一个由三个卷积层组成的主干，以及represblock网络进行后续处理，每一阶段采用跨阶段部分连接，避免了大量3
×
3卷积层带来的大量参数和计算负担，在保证准确度的同时大大提高了检测速度，在rov这种运算量有限的平台上也能发挥其作用。
[0049]
本实施例提供的用于水下机器人的海缆图像增强和缺陷检测方法，能够适用于算力不高的水下机器人，并且反应迅速；缺陷检测部分先进行语义分割再进行缺陷检测来对海缆表面的缺陷进行检测，能够解决缺陷检测中背景部分的干扰，提高缺陷检测准确率；采用轻量级深度神经网络模型，根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，鲁棒性更好，且海缆的水下图像背景较为简单，适用轻量级模型能够达到更快的效果。
[0050]
以上的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

技术特征：
1.一种用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，包括信号相连的图像采集单元(1)和处理单元(2)，所述图像采集单元(1)包括设于水下机器人设备舱上的相机云台(10)和放置于所述相机云台(10)上的水下摄像头(11)；所述处理单元(2)包括设于水下机器人设备舱内的散热壳体(20)和设于所述散热壳体(20)内的树莓派(21)。2.根据权利要求1所述的用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，所述树莓派(21)通过usb接口与所述图像采集单元(1)连接。3.根据权利要求1所述的用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，所述相机云台(10)包括紧扣圈(100)，所述紧扣圈(100)的两端通过紧扣螺丝(101)连接并调节松紧度，所述紧扣圈(100)的两侧各设有传动轴(102)，所述传动轴(102)与水下机器人上预设的传动键连接。4.根据权利要求3所述的用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，所述相机云台(10)为俯仰云台，所述俯仰云台通过所述传动轴(102)与水下机器人上预设的传动键控制其进行俯仰运动。5.根据权利要求1所述的用于水下机器人海缆图像增强和缺陷检测装置，其特征在于，所述水下摄像头(11)包括彩色偏振摄像头和黑白偏振摄像头，其镜头上均设有偏振片。6.根据权利要求1所述的用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，所述图像采集单元(1)还包括设于所述水下机器人设备舱上的深水补光灯(12)。7.根据权利要求1所述的用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，所述散热壳体(20)包括固定底座(200)和散热壳盖(201)，所述固定底座(200)通过其延伸出的支架臂(2000)与水下机器人设备舱内壁固定连接；所述散热壳盖(201)通过固定螺栓(202)与所述固定底座(200)固定连接；所述散热壳盖(201)上设有若干让位口(2010)，所述让位口(2010)包括与所述水下摄像头(11)相对应的usb接口让位口、与所述树莓派(21)的扩展口相对应的扩展口让位口以及电源和微hdmi让位口；所述散热壳体(20)内还设有风扇(2011)。8.根据权利要求7所述的用于水下机器人的海缆图像增强和缺陷检测装置，其特征在于，所述电源和微hdmi让位口呈齿状凸起。9.根据权利要求7所述的用于水下机器人海缆图像增强和缺陷检测装置，其特征在于，所述散热壳体(20)采用abs树脂材料制成。10.一种如权利要求1-9任一项所述装置的海缆图像增强和缺陷检测方法，其特征在于，包括：通过图像采集单元(1)采集获取海缆图像，并将采集获取的海缆图像传输至树莓派(21)；通过树莓派(21)搭载的图像增强算法和缺陷检测算法，对海缆图像进行图像增强和缺陷检测；其中，所述图像增强算法采用传统图像增强算法或基于深度学习的图像增强算法，所述缺陷检测算法包括语义分割算法和图像识别算法，所述语义分割算法和图像识别算法均采用基于轻量级深度神经网络的算法。

技术总结
本发明涉及水下机器人视觉技术领域，具体是一种用于水下机器人的海缆图像增强和缺陷检测装置及方法，装置包括信号相连的图像采集单元和处理单元，所述图像采集单元包括设于水下机器人设备舱上的相机云台和放置于所述相机云台上的水下摄像头；所述处理单元包括设于水下机器人设备舱内的散热壳体和设于所述散热壳体内的树莓派。本发明提供的用于水下机器人的海缆图像增强和缺陷检测装置及方法，能够利用水下机器人实现对海缆图像的增强和缺陷检测。检测。检测。


技术研发人员：钱惠敏 吴双 王冰 黄浩乾
受保护的技术使用者：河海大学
技术研发日：2023.05.12
技术公布日：2023/9/20