UAV自主着舰复杂环境下自适应图像边缘检测方法及系统

uav自主着舰复杂环境下自适应图像边缘检测方法及系统
技术领域
1.本发明涉及图像预处理计算领域，具体的是uav自主着舰复杂环境下自适应图像边缘检测方法及系统。


背景技术：

2.近年来，随着无人系统在海上战场上的逐步应用，海上作战形态进一步向无人作战方向发展。作为未来海上战争中的一种新型武器系统，海上无人系统的技术发展对维护国家海洋权益具有重要意义。舰载无人机自主着舰是舰载机飞行过程中技术复杂、风险最大的环节之一。受海上环境和舰船自身运动的影响，舰载型无人机着舰阶段事故率最高，因此自主着舰技术的发展非常关键。受到舰船甲板空间、舰船上专业设备、线缆等限制，船载无人机的起落空间非常小，需要精准控制无人机的姿态，而精准控制船载无人机姿态的基础是检测无人机的姿态。针对无人船和无人机组成的协同降落系统，研究基于动平台视觉传感器的无人机相对位姿估计方法时，需要利用无人船上安装的视觉传感器对无人机进行观测。在无人机降落过程中，自主着舰是整个飞行过程对uav位姿估计精度、实时性和可靠性要求最高的阶段。在利用视觉设备完成无人机自主降落的研究中，最核心的就是如何利用连续的视觉图像信息进行无人机位姿估计，准确的边缘检测图像可以对其有很大的帮助。
3.相对于陆地来说，海上环境复杂多变，海雾天气更是常见天气，对于可见光摄像头，海雾下大气粒子的散射作用，会导致摄像头采集的视频图像出现对比度低、目标轮廓和纹理模糊等图像降质现象，雾气中的悬浮粒子对光的吸收和散射作用，会导致无人船的视觉系统在采集图像数据和视频数据时，产生对比度降低、颜色失真以及模糊等现象。去雾后的图像包含更多的图像细节，更有利于无人船的精确测距与避障等后续工作，所以将图像去雾技术应用于无人船的视觉系统对提高目标定位的精度和安全航行系数是非常重要的。无人机着舰是一个由远及近的过程，相应地舰船目标在机载像机中的成像是一个从无到有、从小到大的过程。与传统无人机着陆相比,舰载无人机着舰时姿态时刻发生变化,同时受到舰尾流、甲板运动等影响。准确估计无人机着陆时的相对位置和姿态对实现无人机安全着陆具有重要的意义，而在海洋环境中，海雾会对成像系统采集的图像质量不可避免地会受到各种大气颗粒物的影响，导致海洋场景能见度下降，会导致拍摄无人机的图像能见度和对比度降低，覆盖或模糊图像蕴含的许多特征，并且会造成检测到的无人机边缘模糊，边缘检测困难。


技术实现要素：

4.为解决上述背景技术中提到的不足，本发明的目的在于提供uav自主着舰复杂环境下自适应图像边缘检测方法及系统。
5.本发明的目的可以通过以下技术方案实现：
6.uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，方法包括以下步
骤：
7.对图像中的无人机进行目标检测以选定roi区域；
8.对选定的roi区域进行雾检测分析；
9.若选定roi区域为有雾图像，则进行海雾去除，然后通过改进canny算子对roi区域进行边缘检测，若选定roi区域为无雾图像，则直接利用改进canny算子对roi区域进行边缘检测，获得无人机的边缘检测图像。
10.优选地，所述选定roi区域的过程为：训练无人机数据集采用yolo v5单阶段目标检测算法对roi区域进行选取，使用已经训练好的无人机预测模型，对所有像素点的预测向量进行后处理，筛选出置信度最高的无人机区域。
11.优选地，所述yolo v5单阶段目标检测算法的过程为：对输入图像采用马赛克数据增强的方法进行处理，通过自适应计算得到最佳锚框值对数据集进行训练，在主干网络中不同图像细粒度上聚合并形成图像特征的卷积神经网络，在neck部分采用fpn+pan的结构。fpn将高层的特征信息进行上采样,以一种从上到下的方式进行传递融合,得到进行预测的特征图。pan则自底向上传达强定位特征。在最终在预测层对图像特征进行预测，生成边界框并预测类别。
12.优选地，所述对选定的roi区域进行雾检测分析的过程如下：
13.设置roi区域为消失点附近的矩形区域，雾霾图像的rgb通道值总是很大且在消失点周围的区域包含大量的零饱和度像素，而且在roi的hsv色彩模型图像中，亮度v和饱和度s的比值大；
14.用下式计算rgb通道之间的相关性：
[0015][0016]
式中，roig代表roi区域中绿色通道的像素，cov是方差，σ
roi
是roi区域图像的导数。
[0017]
优选地，所述roi区域像素的亮度和饱和度：
[0018]
v(x)＝max
rgb
(x)
[0019][0020]
式中，max
rgb
和min
rgb
分别代表roi区域的rgb通道中的最大值与最小值。
[0021]
优选地，所述有雾与无雾图像的判断过程如下：
[0022]
当相关性不小于0.96时，判断该图像为无雾图像；当相关性处于0.96到0.98区间时，判断该图像为有雾图像；当相关性大于0.98时且r的值大于则为有雾图像。
[0023]
优选地，所述海雾去除的过程如下：
[0024]
采用中值滤波和最小值滤波相结合的方法来保留输入模糊图像的边缘信息：
[0025]
[0026]
式中，m(x,y)是最小通道图像，ic(y)为图像i的各个通道值。
[0027]
采用中值滤波对暗通道图进行计算，中值滤波会使暗通道值变大，从而使透射率变小，引入参数α；
[0028][0029]
式中，sv是中值滤波器中使用的方形窗口的大小，i
dark1
进行了中值滤波。
[0030]
对中值滤波后的暗通道值进行最小值滤波：
[0031][0032]
block＝round(max(m,n)*2％)
[0033]
式中，自适应块block用于图像的最小滤波，m和n分别是图像的行和列。
[0034]
计算景深变化较大区域：
[0035]ichange
(x,y)＝m(x,y)-i
dark2
(x,y)
[0036]
式中，m(x,y)是最小通道图像，i
dark2
是进行了中值滤波与最小值滤波后的暗通道值。
[0037]
设置门槛：
[0038]
δ＝0.4*max(max(i
change
(x,y)))
[0039]
考虑景深变化程度的差异，对景深变化不同的区域分配不同的暗通道值：
[0040][0041]
变异函数估计大气光值：
[0042]
变异函数：
[0043][0044]
其中x为图像中的像素点，m为x的rgb通道的平均灰度值，f(x)的值在天空区域最小，在非天空区域较大，可以利用该特征丢弃高亮像素，当该像素被认为来自天空或白色物体的高亮区域，点被丢弃；
[0045][0046]
得到所选像素暗通道值的前0.1％像素对应的图像像素点，得到的平均值即为大气光值；
[0047]
透射率的估计
[0048]
亮度调整(自适应对数映射算子增强对比度与亮度)
[0049][0050]
式中，jd为亮度调整后的最终输出图像，j
dmax
为设备能够显示的最大亮度值，通常取100。jw和j
wmax
分别表示图像场景的像素强度和最大像素强度。b是偏置参数，决定高像素
值的压缩程度以及暗区细节的可见度。
[0051]
优选地，所述边缘检测的过程如下：
[0052]
采用dcf深度引导滤波器代替高斯滤波器去除噪声，
[0053]
sobel算子计算梯度值：sobel算子垂直方向和水平方向的平面卷积算子分别为：
[0054][0055]fx
＝[f(i+1,j-1)-f(i-1,j-1)]+2[f(i+1,j)-f(i-1,j)]+[f)i+1,j+1)-f)i-1,j+1)]
[0056]fy
＝[f(i-1,j+1)-f)i-1,j-1)]+2[f(i,j+1)-f(i,j-1)]+[f(i+1,j+1)-f(i+1,j-1)]
[0057]
式中，f
x
为sobel算子垂直方向的平面卷积算子，fy为sobel算子垂直方向的平面卷积算子,i与j分别为图像的行和列。
[0058]
非极大值抑制：去除幅值大但不是局部幅值变化最快的点，若其他梯度方向上的幅值变化比邻域中心点m(i,j)的幅值变化快，则判定m(i,j)不是边缘点。
[0059]
其中可选的，所述参数α，拟设置为0.8。
[0060]
uav自主着舰复杂环境下自适应图像边缘检测系统，包括：
[0061]
选定模块：用于对图像中的无人机进行目标检测以选定roi区域，将选定的roi区域发送至雾检测分析模块；
[0062]
雾检测分析模块：用于对选定的roi区域进行雾检测分析，判断是否为有雾图像还是无雾图像，若为有雾图像则进行海雾去除成为无雾图像，并且将无雾图像发送至边缘检测模块；
[0063]
边缘检测模块：用于对无雾图像的roi区域，利用改进canny算子对roi区域进行边缘检测，获得无人机的边缘检测图像。
[0064]
本发明的有益效果：
[0065]
本发明针对无人船(水上动平台)和无人机组成的协同降落系统，对无人船上安装的视觉传感器获取到的对无人机进行跟踪所得到的图像进行处理。考虑到拍摄图像在实际场景中很可能会遇到雾气的情况。将深度学习滤波器与引导滤波相结合，并通过训练最佳阈值两方面改进了canny算子，克服深度学习花费时间长的缺点，较大的提高边缘检测的准确度。
附图说明
[0066]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
[0067]
图1是本发明方法流程图；
[0068]
图2是本发明雾场景判断方法图。
具体实施方式
[0069]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0070]
如图1所示，uav自主着舰复杂环境下自适应图像边缘检测方法，包括以下步骤：
[0071]
对图像中的无人机进行目标检测以选定roi区域；
[0072]
对选定的roi区域进行雾检测分析；
[0073]
若选定roi区域为有雾图像，则进行海雾去除，然后通过改进canny算子对roi区域进行边缘检测，若选定roi区域为无雾图像，则直接利用改进canny算子对roi区域进行边缘检测，获得无人机的边缘检测图像。
[0074]
其中需要进一步进行说明的是，roi区域的选择：
[0075]
在视觉传感器获取到的整幅图像中，我们关注的是无人机的姿态。为了缩短边缘检测的时间，本发明首先选取roi区域。这样不仅能有效减少图像处理时的工作量，提高算法运行速度以达到实时性的要求，而且可以有效回避背景、周围环境等复杂图像信息对无人机检测工作的影响。在建立roi区域后，选取roi区域图像代替整幅图像进行后续工作。本发明训练无人机数据集采用yolo v5单阶段目标检测算法进行选取。使用已经训练好的无人机预测模型，对所有像素点的预测向量进行后处理，筛选出置信度最高的无人机区域。
[0076]
所述yolo v5单阶段目标检测算法的过程为：对输入图像采用马赛克数据增强的方法进行处理，通过自适应计算得到最佳锚框值对数据集进行训练，在主干网络中不同图像细粒度上聚合并形成图像特征的卷积神经网络，在neck部分采用fpn+pan的结构。fpn将高层的特征信息进行上采样,以一种从上到下的方式进行传递融合,得到进行预测的特征图。pan则自底向上传达强定位特征。在最终在预测层对图像特征进行预测，生成边界框并预测类别。
[0077]
雾场景判断方法：当相关性不小于0.96时，判断该图像为无雾图像；当相关性处于0.96到0.98区间时，判断该图像为有雾图像；当相关性大于0.98时且r的值大于则为有雾图像。
[0078]
选取到感兴趣区域roi后，进行雾场景检测，这里设置roi区域为消失点附近的矩形区域(vp,width/2,height/3)。通常情况下，雾霾图像的rgb，除此之外该roi的hsv色彩模型图像中，亮度v和饱和度s的比值也非常大。这里借鉴alami等的研究成果，采用下式计算rgb通道之间的相关性以及v和s的比值：
[0079][0080][0081]
式中，roig代表roi区域中绿色通道的像素，cov是方差，σ
roi
是roi区域图像的导数。
[0082]
roi区域像素的亮度和饱和度：
[0083]
v(x)＝max
rgb
(x)
[0084][0085]
式中，max
rgb
和min
rgb
分别代表roi区域的rgb通道中的最大值与最小值。
[0086]
海雾去除：
[0087]
暗通道图像的优化海面图像的清晰度受雾密度的影响较大，雾的浓度随着景深的增加而增加。在浓雾地区，暗原色值较大，因此，离成像装置越远，图像受雾影响越大，暗原色值越大。因此，大致估计的景深信息可以用暗原色图表示因为暗通道图估计一定会产生块效应，不利于海天线附近的场景恢复。本发明采用中值滤波和最小值滤波相结合的方法来保留输入模糊图像的边缘信息，从而避免晕效应的产生。
[0088][0089]
式中，m(x,y)是最小通道图像，ic(y)为图像i的各个通道值。
[0090]
采用中值滤波对暗通道图进行计算，中值滤波会使暗通道值变大，从而使透射率变小，引入参数α，拟设置为0.8
[0091][0092]
式中，sv是中值滤波器中使用的方形窗口的大小，i
dark1
进行了中值滤波。
[0093]
对中值滤波后的暗通道值进行最小值滤波
[0094][0095]
block＝round(max(m,n)*2％)
[0096]
式中，自适应块block用于图像的最小滤波，m和n分别是图像的行和列。
[0097]
计算景深变化较大区域
[0098]ichange
(x,y)＝m(x,y)-i
dark2
(x,y)
[0099]
式中，m(x,y)是最小通道图像，i
dark2
是进行了中值滤波与最小值滤波后的暗通道值。
[0100]
设置门槛
[0101]
δ＝0.4*max(max(i
change
(x,y)))
[0102]
考虑景深变化程度的差异，对景深变化不同的区域分配不同的暗通道值
[0103][0104]
变异函数估计大气光值：
[0105]
变异函数：
[0106][0107]
其中x为图像中的像素点，m为x的rgb通道的平均灰度值。f(x)的值在天空区域最
小，在非天空区域较大，可以利用该特征丢弃高亮像素。当该像素被认为来自天空或白色物体的高亮区域，该点被丢弃。
[0108][0109]
得到所选像素暗通道值的前0.1％像素对应的图像像素点，得到的平均值即为大气光值。
[0110]
透射率的估计
[0111]
亮度调整(自适应对数映射算子增强对比度与亮度)
[0112][0113]
式中，jd为亮度调整后的最终输出图像，j
dmax
为设备能够显示的最大亮度值，通常取100。jw和j
wmax
分别表示图像场景的像素强度和最大像素强度。b是偏置参数，决定高像素值的压缩程度以及暗区细节的可见度。
[0114]
边缘检测：
[0115]
采用dcf深度引导滤波器代替高斯滤波器去除噪声
[0116]
sobel算子计算梯度值：sobel算子垂直方向和水平方向的平面卷积算子分别为：
[0117][0118]fx
＝[f(i+1,j-1)-f*i-1,j-1)]+2[f(i+1,j)-f(i-1,j)]+[f(i+1,j+1)-f(i-1,j+1)]
[0119]fy
＝[f(i-1,j+1)-f(i-1,j-1)]+2[f(i,j+1)-f(i,j-1)]+[f(i+1,j+1)-f(i+1,j-1)]
[0120]
式中，f
x
为sobel算子垂直方向的平面卷积算子，fy为sobel算子垂直方向的平面卷积算子,i与j分别为图像的行和列。
[0121]
非极大值抑制：去除幅值大但不是局部幅值变化最快的点。若其他梯度方向上的幅值变化比邻域中心点m(i,j)的幅值变化快，则判定m(i,j)不是边缘点。
[0122]
阈值选取：传统的双阈值选取需要人工设置高低阈值，本发明采用深度学习方法训练模型以选取最佳阈值。
[0123]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0124]
以上显示和描述了本公开的基本原理、主要特征和本公开的优点。本行业的技术人员应该了解，本公开不受上述实施例的限制，上述实施例和说明书中描述的只是说明本公开的原理，在不脱离本公开精神和范围的前提下，本公开还会有各种变化和改进，这些变化和改进都落入要求保护的本公开范围内容。

技术特征：
1.uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，方法包括以下步骤：对图像中的无人机进行目标检测以选定roi区域；对选定的roi区域进行雾检测分析；若选定roi区域为有雾图像，则进行海雾去除，然后通过改进canny算子对roi区域进行边缘检测，若选定roi区域为无雾图像，则直接利用改进canny算子对roi区域进行边缘检测，从而获得无人机的边缘检测图像。2.根据权利要求1所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述选定roi区域的过程为：训练无人机数据集采用yolo v5单阶段目标检测算法对roi区域进行选取，使用已经训练好的无人机预测模型，对所有像素点的预测向量进行后处理，筛选出置信度最高的无人机区域。3.根据权利要求2所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述yolo v5单阶段目标检测算法的过程为：对输入图像采用马赛克数据增强的方法进行处理，通过自适应计算得到最佳锚框值对数据集进行训练，在主干网络中不同图像细粒度上聚合并形成图像特征的卷积神经网络，在neck部分采用fpn+pan的结构，fpn将高层的特征信息进行上采样，以一种从上到下的方式进行传递融合，得到进行预测的特征图，pan则自底向上传达强定位特征，在最终在预测层对图像特征进行预测，生成边界框并预测类别。4.根据权利要求1所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述对选定的roi区域进行雾检测分析的过程如下：设置roi区域为消失点附近的矩形区域，雾霾图像的rgb通道值总是很大且在消失点周围的区域包含大量的零饱和度像素，而且在roi的hsv色彩模型图像中，亮度v和饱和度s的比值大；用下式计算rgb通道之间的相关性：用下式计算rgb通道之间的相关性：式中，roi
g
代表roi区域中绿色通道的像素，cov是方差，σ
roi
是roi区域图像的导数。5.根据权利要求4所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述roi区域像素的亮度和饱和度：v(x)＝max
rgb
(x)式中，max
rgb
和min
rgb
分别代表roi区域的rgb通道中的最大值与最小值。6.根据权利要求1所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在
于，所述有雾与无雾图像的判断过程如下：当相关性不小于0.96时，判断该图像为无雾图像；当相关性处于0.96到0.98区间时，判断该图像为有雾图像；当相关性大于0.98时且r的值大于则为有雾图像。7.根据权利要求1所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述海雾去除的过程如下：采用中值滤波和最小值滤波相结合的方法来保留输入模糊图像的边缘信息：式中，m(x,y)是最小通道图像，i
c
(y)为图像i的各个通道值；采用中值滤波对暗通道图进行计算，中值滤波会使暗通道值变大，从而使透射率变小，引入参数α；式中，sv是中值滤波器中使用的方形窗口的大小，i
dark1
进行了中值滤波；对中值滤波后的暗通道值进行最小值滤波：block＝round(max(m,n)*2％)式中，自适应块block用于图像的最小滤波，m和n分别是图像的行和列；计算景深变化较大区域：i
change
(x,y)＝m(x,y)-i
dark2
(x,y)式中，m(x,y)是最小通道图像，i
dark2
是进行了中值滤波与最小值滤波后的暗通道值；设置门槛：δ＝0.4*max(max(i
change
(x,y)))考虑景深变化程度的差异，对景深变化不同的区域分配不同的暗通道值：变异函数估计大气光值：变异函数：其中x为图像中的像素点，m为x的rgb通道的平均灰度值，f(x)的值在天空区域最小，在非天空区域较大，利用该特征丢弃高亮像素，当像素被认为来自天空或白色物体的高亮区域，点被丢弃；得到所选像素暗通道值的前0.1％像素对应的图像像素点，得到的平均值即为大气光值；
透射率的估计亮度调整：自适应对数映射算子增强对比度与亮度式中，j
d
为亮度调整后的最终输出图像，j
dmax
为设备能够显示的最大亮度值，通常取100，j
w
和j
wmax
分别表示图像场景的像素强度和最大像素强度，b是偏置参数，决定高像素值的压缩程度以及暗区细节的可见度。8.根据权利要求1所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述边缘检测的过程如下：采用dcf深度引导滤波器代替高斯滤波器去除噪声，sobel算子计算梯度值：sobel算子垂直方向和水平方向的平面卷积算子分别为：和f
x
＝[f(i+1,j-1)-f(i-1,j-1)]+2[f(i+1,j)-f(i-1,j)]+[f(i+1,j+1)-f(i-1,j+1)]f
y
＝[f(i-1,j+1)-f(i-1,j-1)]+2[f(i,j+1)-f(i,j-1)]+[f(i+1,j+1)-f(i+1,j-1)]式中，f
x
为sobel算子垂直方向的平面卷积算子，f
y
为sobel算子垂直方向的平面卷积算子，i与j分别为图像的行和列；非极大值抑制：去除幅值大但不是局部幅值变化最快的点，若其他梯度方向上的幅值变化比邻域中心点m(i,j)的幅值变化快，则判定m(i,j)不是边缘点。9.根据权利要求7所述的uav自主着舰复杂环境下自适应图像边缘检测方法，其特征在于，所述参数α，拟设置为0.8。10.uav自主着舰复杂环境下自适应图像边缘检测系统，其特征在于，包括：选定模块：用于对图像中的无人机进行目标检测以选定roi区域，将选定的roi区域发送至雾检测分析模块；雾检测分析模块：用于对选定的roi区域进行雾检测分析，判断是否为有雾图像还是无雾图像，若为有雾图像则进行海雾去除成为无雾图像，并且将无雾图像发送至边缘检测模块；边缘检测模块：用于对无雾图像的roi区域，利用改进canny算子对roi区域进行边缘检测，获得无人机的边缘检测图像。

技术总结
本发明公开了UAV自主着舰复杂环境下自适应图像边缘检测方法及系统，涉及图像预处理计算领域，包括以下步骤：首先对图像中的无人机进行目标检测以选定ROI区域；然后对选定的ROI区域进行雾检测分析；最后若选定ROI区域为有雾图像，则进行海雾去除，然后通过改进canny算子对ROI区域进行边缘检测，若选定ROI区域为无雾图像，则直接利用改进canny算子对ROI区域进行边缘检测，获得无人机的边缘检测图像；将深度学习滤波器与引导滤波相结合，并通过训练最佳阈值两方面改进了Canny算子，克服深度学习花费时间长的缺点，较大的提高边缘检测的准确度。度。度。


技术研发人员：葛泉波
受保护的技术使用者：南京信息工程大学
技术研发日：2023.03.23
技术公布日：2023/8/14