海洋浮标被动防御方法及系统与流程

1.本发明涉及海洋浮标安防技术领域，具体为海洋浮标被动防御方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.海洋浮标能够在海洋环境检测、海洋气候预测和海洋灾害监测中，通过搭载各类传感器或是仪器获取所需的数据，由于海洋浮标运行在远离陆地的海面上，在缺乏照明的夜晚容易受到船只的碰撞，影响监测数据的连续性，在恶劣的海啸、台风等极端气象条件下，影响的程度更加严重；与此同时，往来海面的部分人员由于不了解海洋浮标的重要性，使海洋浮标容易受到来自于人的破坏（例如渔民会将浮标当做捕鱼平台，在浮标的重要仪器设备上挂系绳索等物品，会损坏仪器设备上精密的传感器等部件），也会间接的影响海洋浮标监测数据的连续性。
4.针对上述问题，现有的海洋浮标搭载了预警系统，通过发出警示信号提醒并监测过往船只，或是对破坏者产生震慑作用。预警系统主要包括两类，一类为cctv（闭路电视）技术，通过视频或是图像获取可能对海洋浮标产生破坏的船只或人员，并将图像传输给位于陆地的基站中，但该技术无法应用在深远海，在深远海无法通过信号传输数据，需要通过卫星传输数据，而将每一帧图片传递到内陆基站的成本和功耗都很高，而海洋浮标仅通过太阳能和电池供电，其供电能力无法支持此技术所需的功耗。
5.另一类是通过搭载传感器感应靠近海洋浮标的目标，当船只靠近时启动浮标上搭载的相机或是摄像头获取目标图像，这类传感器只能检测到铁磁性物质，例如金属制的船舶等目标，渔民乘坐的木船无法被检测到，使得相机或摄像头无法启动。
6.综上所述，现有技术实现浮标预警的方式受限于浮标的供电能力和传感器的性质，无法在深远海域中进行。


技术实现要素：

7.为了解决上述背景技术中存在的技术问题，本发明提供海洋浮标被动防御方法及系统，通过ais接收机获取船舶发出的ais信号，当有船舶靠近时，启动摄像头或相机获取浮标周围的画面，检测浮标周围的环境；同时摄像头或相机定时启动，应对没有安装ais系统的船舶或是非船舶类目标，从而解决功耗损耗较大的问题和常规传感器无法响应非铁磁性目标的问题。
8.为了实现上述目的，本发明采用如下技术方案：本发明的第一个方面提供海洋浮标被动防御方法，包括以下步骤：接收船舶ais系统发出的信号，确定船舶的位置和航向，当船舶对浮标构成威胁时，基于训练完毕的目标检测网络获取对应方位的船舶图像信息并发出警报；基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，
确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。
9.目标检测网络通过获取图像数据，经标注和预处理后作为训练数据集和测试数据集完成训练，其中，预处理包括旋转图片角度，模拟雨、雾天气的影响，模拟浮标晃动带来的运动模糊、失焦模糊，以及对图像进行增强。
10.模拟雨、雾天气的影响，具体为：通过对图像添加随机噪声来模拟雨雪天气情况，随机生成不同密度的随机噪声来模拟大小不同的雨雪量，将噪声进行拉长、放大、旋转方向，模拟不同情况的雨雪天气，将生成的噪声图像叠加到原始的图像数据中，完成雨雾天气的模拟。
11.对图像进行增强，具体为：基于生成对抗网络对模糊程度超过设定值的图像进行增强，模糊程度通过图片平均梯度进行判断。
12.浮标通过罗盘信息计算出图像采集模块的镜头方位，目标检测网络根据浮标周围环境的图像信息确定图像中的目标信息，通过目标在图片中的位置结合镜头方位计算出目标所在方位，通过检测到的边界框的尺寸来计算目标与图像采集模块之间的距离，当目标与图像采集模块之间的距离不大于设定值时，认为识别到的目标物体会对浮标构成威胁。
13.目标检测网络包括输入端、主干网络、特征融合层和一组检测头。
14.主干网络对原始图像尺寸进行下采样，并对图像通道进行上采样，并依次通过用于特征提取的dark2模块、dark3模块和dark4模块与特征融合层连接，dark2模块、dark3模块和dark4模块均包括基础卷积层和跨阶段层。
15.特征融合层包括与dark4模块连接的dark5模块，以及与其并列布置的两组基础卷积层、上采样层和拼接层；dark5模块接收来自dark4模块中的特征，送入第一组基础卷积层，经上采样层与来自dark4模块中的特征共同送入拼接层融合，融合后送入第二组基础卷积层，再次经上采样层后与来自dark3模块中的特征继续拼接并再次融合送入检测头。
16.检测头包括解耦合头和重构层；解耦合头包括基础卷积层，基础卷积层获取的特征发送给并列的至少两组卷积层baseconv*2，第一卷积层baseconv*2分别与两组conv2d层连接，第一conv2d层与函数层连接后，将特征送入拼接层，第二conv2d层与拼接层连接；第二卷积层baseconv*2与第三conv2d层连接后，通过函数层与拼接层连接。
17.本发明的第二个方面提供实现上述方法所需的系统，包括：第一目标预警模块，被配置为：接收船舶ais系统发出的信号，确定船舶的位置和航向，基于训练完毕的目标检测网络确定该船舶对浮标构成威胁，获取船舶的图像信息并发出警报；第二目标预警模块，被配置为：基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。
18.与现有技术相比，以上一个或多个技术方案存在以下有益效果：1、当有船舶靠近时，根据ais信号中提取的船舶位置和航向，确定船舶可能对浮标构成威胁时，发出警报并保存该船舶的图像；同时根据设定的周期，定期获取浮标周围的环境图像信息，应对没有安装ais系统的船舶或是非船舶类目标；通过在获取ais信号后再获取图像和定期获取图像相配合方式，不采用常规传感器的方式来检测可能产生威胁的目标，还降低了预警系统的功耗，从而使该方式能够应用在深远海域中。
19.2、目标检测网络将三组检测头的网络结构更改为一组检测头的结构，三组检测头的涉及考虑在检测多尺寸目标，主要是为检测出更小尺寸目标，而针对浮标被动预警，仅需要在距离较近的位置检测出图像中是否包含船舶或人体即可，对检测距离的需求较近，并且不需要过小尺寸目标的检测，从而使网络得到轻量化处理，能够部署在算力资源和供电能力均受到限制的浮标上进行边缘计算，使浮标获得更快的预警响应能力，不再依赖通信系统传输图像，仅在浮标本体上即可完成目标检测和拍照取证，有利于浮标部署在深远海域中。
20.3、目标检测网络在训练时通过旋转图片角度，模拟雨、雾天气的影响，模拟浮标晃动带来的运动模糊、失焦模糊，以及对图像进行增强，能够模拟深远海域场景下，对图像的干扰，提升目标检测的精度。
附图说明
21.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
22.图1是本发明一个或多个实施例提供的海洋浮标被动防御流程示意图；图2是本发明一个或多个实施例提供的目标检测网络在剪枝前的结构示意图；图3是本发明一个或多个实施例提供的目标检测网络在剪枝后的结构示意图；图4是本发明一个或多个实施例提供的剪枝后的目标检测网络中主干网络的结构示意图；图5是本发明一个或多个实施例提供的剪枝后的目标检测网络的检测头网络结构示意图。
具体实施方式
23.下面结合附图与实施例对本发明作进一步说明。
24.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
25.ais系统，指船舶自动识别系统，是指一种应用于船和岸、船和船之间的海事安全与通信的助航系统。
26.实施例一：如图1所示，海洋浮标被动防御方法，包括以下步骤：接收船舶ais系统发出的信号，确定船舶的位置和航向，当船舶对浮标构成威胁时，基于训练完毕的目标检测网络获取对应方位的船舶图像信息并发出警报；基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。
27.本实施例应用于海洋观测平台，例如浮标，该方法通过将ais检测方法与搭载边缘计算芯片的摄像头检测方法相结合，将适用于海洋观测环境的目标检测算法部署到边缘计算芯片上，并搭载摄像机、光学和声学报警器、ais接收器组成被动防御系统。
28.使用ais接收机与搭载边缘计算芯片的摄像头配合检测的方式，通过ais接收机获
取船舶发出的ais信号，确定船舶的位置和航向，当船舶的航向朝向浮标且船舶靠近到设定距离时，认为该船舶可能会撞击浮标从而构成威胁，则启动摄像头获取浮标周围的画面，检测浮标周围的环境，获取该构成威胁的船舶图像进行拍照取证，同时发出警告；摄像头还可以定时启动，应对没有安装ais系统的船舶或是非船舶类目标（例如，人），通过这种方式可以解决功耗损耗较大问题。
29.发出的警报类型不做具体限制，可以直接在浮标上发出声光形式的报警信号，或是在内部的数据记录器中标记一个发出警报的时间戳。
30.在现有的目标检测算法yolox-x的基础上，针对于浮标晃动可能引起的运动模糊、镜头失焦问题和强光、雨雾等环境的影响对算法进行改进。
31.针对于以上问题采用了以下2个方法进行改进：首先，在训练神经网络模型时，通过旋转图片角度、生成雾模拟算法、使用镜头运动模糊、失焦模糊算法对训练数据进行增强，提高神经网络模型在特殊环境下识别效果。
32.本实施例中，通过对训练数据中的图像添加随机噪声来模拟雨雪天气情况，先随机生成不同密度的随机噪声来模拟大小不同的雨雪量，再将噪声进行拉长、放大、旋转方向，来模拟不同情况的雨雪天气，最后将生成的噪声图像叠加到原始的训练图像中，完成雨雾天气的模拟。
33.其次，在进行目标检测算法之前，通过数据增强算法对模糊程度比较大的图像进行图片增强，其中使用的增强算法是gnn(生成对抗网络)，模糊程度通过图片平均梯度进行判断，梯度越大代表图片越清晰。
34.另外，目标检测算法会定位到船舶或人的位置，当通过单目标检测算法识别到目标距离浮标的位置比较近时，会认为该目标对浮标会构成威胁。
35.针对于没有安装ais系统的船舶，通过目标检测算法定位到船舶的位置并且根据船舶的当前运动轨迹去预测船舶是否会撞向浮标，其中预测算法使用卷积神经网络来实现。
36.针对于人，通过目标检测算法定位是否有人员登录浮标，渔民经过处于工作状态的浮标时，往往会对浮标产生强烈的好奇心，或者直接利用其作为捕鱼的平台，这类操作可能会对浮标上搭载的各类仪器造成损坏，因此将登陆到浮标上的人作为构成威胁的目标，目标检测时的图像作为取证保存。
37.本实施例中，利用目标检测算法定位船舶或人位置，具体如下：1. 根据浮标上搭载的罗盘信息计算出图像采集模块（摄像头或相机）的镜头方位，通过目标检测算法定位目标信息（船舶或人），通过目标在图片中的位置结合镜头方位计算出目标所在方位。
38.2. 使用卷积神经网络（cnn）作为特征提取器。通过多个卷积层和池化层，cnn能够自动学习图像中的特征，例如边缘、纹理等，在cnn的最后几层，会加入一些额外的卷积层，将低层的特征与高层的语义信息进行融合，以获取更丰富的特征表示。将图像划分为若干个网格单元。对于每个网格单元，预测出多个候选框（bounding box），每个候选框包含一个物体。根据预测的类别概率，筛选出置信度较高的候选框，并使用非最大抑制（non-maximum suppression）算法进一步剔除重叠的框。最终，得到检测到的目标的位置信息，即边界框的坐标和大小。
39.本实施例中，通过单目标检测算法识别到目标（人）距离浮标的位置比较小时，认为该目标（人）对浮标会构成威胁，具体如下：使用yolox算法从图像中检测和识别目标物体（船和人），得到其位置和类别信息，通过检测到的边界框的尺寸来计算物体与相机的距离。当检测到目标物体后，根据图片中边界框的尺寸和标定的摄像头焦距来估计船舶或人与图像采集模块之间的距离，图像采集模块由于安装在浮标上，当船舶或人与图像采集模块之间的距离不大于设定值时，认为识别到的目标物体（船或人）会对浮标构成威胁。
40.使用网络蒸馏的方法，使用参数量比较大的yolox-x的目标检测算法对参数量比较小的yolox-tiny目标检测算法进行网络蒸馏，通过网络剪枝方法对目标检测算法进行轻量化，最终能够将算法移植到边缘计算芯片上，最终是形成的基于人工智能的目标检测方法能够搭载到浮标上运行，而不再需要通信到陆地上。
41.本实施例首先进行网络蒸馏，使用yolox-x训练结果指导yolox-tiny进行训练，yolox-x的参数量为99.1m，而yolox-tiny的参数量只有5.06m，轻量化的网络模型对计算能力、存储空间要求更低，更方便在轻量化的网络模型上部署。
42.其次进行网络剪枝，如图2-图5所示，将原来的三头网络结构更换为一头网络结构进一步缩减网络的大小，形成输入端、主干网络、特征融合层和一组检测头的结构。通过网络蒸馏和网络剪枝减少了模型对计算、存储的要求，可以在能源有限的浮标端部署。
43.具体的：本实施例以尺寸为608*608*3的rgb三通道图片作为输入。
44.首先，对输入的彩色图片通过主干网络进行空间特征提取，其中主干网络共包含4个模块，先通过focus模块对原始图像尺寸进行下采样，并对图像通道进行上采样，进而减少网络模型参数量；之后通过3层特征提取模块(dark2/3/4)，其中特征提取模块(dark2/3/4)为跨阶段局部网络(cross stage partial network；cspnet)，包括基础卷积层（baseconv）和跨阶段层（csplayer）。
45.cspnet的核心在于跨阶段局部连接的设计。在传统的网络中，特征通常会通过不同的阶段传递，而本实施例的cspnet通过将特征分割为两个部分，通过跨阶段局部连接的方式在这些部分之间建立连接。这种连接方式可以使得前一阶段的特征信息直接传递到后一阶段，从而更好地保留和利用特征信息。从而通过一系列卷积层和池化层对输入图像进行特征提取。这些卷积层可以捕获不同层次的图像特征，提取边缘、纹理和形状等信息。
46.其次，对提取到的空间网络特征通过特征融合层进行特征融合，特征融合层包括与主干网络连接的一组特征提取模块(dark5)，以及与其并列布置的两组基础卷积层（baseconv）、上采样层（upsample）和拼接层（cat）；dark5模块接收来自主干网络dark4模块中的特征，送入第一组基础卷积层（baseconv），经上采样层（upsample）与来自主干网络dark4模块中的特征共同送入拼接层（cat）融合（c3-p4），融合（c3-p4）后送入第二组基础卷积层（baseconv），再经上采样层（upsample）后与来自主干网络dark3模块中的特征继续拼接（cat）并融合（c3-p3），送入检测头。
47.dark5模块包括基础卷积层（baseconv）、spp网络和跨阶段层（csplayer）。通过spp网络将输入特征矩阵分割为不同大小的网格，每个网格对应不同尺度的池化操作。这样可
以利用不同尺度的池化操作提取多尺度的特征表示。通常，较小尺度的网格用于捕获局部细节，而较大尺度的网格用于捕获图像的整体信息。之后为特征金字塔结构，通过多尺度的特征融合和信息提取，更好地适应不同尺度的目标检测任务。这样的设计能够提高目标检测的准确性和鲁棒性，使得在实际应用中具有优越的性能。
48.最后，通过检测头网络结构分别识别目标位置、种类和置信度。本实施例中的网络检测头结构为解耦合头（decoupled head）和重构层（reshape）。
49.decoupled head网络包括基础卷积层baseconv，用于对输入特征图进行卷积操作，以提取更高级别的特征表达。
50.基础卷积层baseconv获取的特征发送给并列的两组卷积层baseconv*2，第一卷积层baseconv*2分别与两组conv2d层连接，其中一组conv2d层与sigmoid函数层连接后，将特征送入拼接层（cat），同时另一组conv2d层也与拼接层（cat）连接；第二卷积层baseconv*2与另一conv2d层连接后，通过sigmoid函数层与拼接层（cat）连接。
51.decoupled head网络中形成卷积层、无损编码层、语义分割层和检测层。
52.无损编码层对来自卷积层的特征图进行特殊的编码操作，以捕捉目标的尺度信息。这通常包括调整特征图的通道数和尺度。
53.语义分割层使用卷积等操作来生成高分辨率的语义分割特征图。这个特征图通常用于捕获目标的形状和边界信息。
54.检测层根据目标检测的需求，通过卷积、池化和全连接等操作预测目标的位置和类别。检测层输出目标的边界框坐标、类别概率等信息。
55.为了获取轻量化的网络结构将原来三检测头网络结构更改为一检测头结构，三检测头设计意在检测多尺寸目标，主要是为检测出更小的尺寸目标，但针对浮标被动预警，仅需要检测船舶和人体的大致形状并且不需要在距离很远的位置就可检测出，在距离浮标相对较近的位置检测出目标即可满足该系统的检测要求，因此简化了网络结构，降低了算力需求，既能够部署到浮标上。
56.本实施例选用公开的图像数据，包含仅有船舶的图像和船舶上带有人的图像（含有人的各类动作外形即可，不涉及具体的人脸、肤色、衣物颜色等细节信息），经标注和预处理后作为训练数据集；预处理包括旋转图片角度，模拟雨、雾天气的影响，模拟浮标晃动带来的运动模糊、失焦模糊，以及对图像进行增强。
57.传统的目标检测算法对硬件设备的算力要求较高，本实施例将算法搭载在浮标上实现边缘计算，使浮标对可能构成威胁的目标能够获得更快的响应能力，但由于浮标的供电能力有限，使得执行算法的芯片算力有一定限制，因此根据芯片的性能选择相适应的网络模型，并根据浮标所在的场景进行改进。
58.通过上述方法解决了摄像头搭载边缘计算芯片的摄像机功耗比较大的问题，又解决了ais只能检测到携带ais发射器的船舶的问题，形成了一套可靠性高、耗电低的海洋浮标被动防御方法。
59.实施例二：实现上述方法的系统，包括：第一目标预警模块，被配置为：接收船舶ais系统发出的信号，确定船舶的位置和
航向，当船舶对浮标构成威胁时，基于训练完毕的目标检测网络获取对应方位的船舶图像信息并发出警报；第二目标预警模块，被配置为：基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。
60.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.海洋浮标被动防御方法，其特征在于，包括以下步骤：接收船舶ais系统发出的信号，确定船舶的位置和航向，当船舶对浮标构成威胁时，基于训练完毕的目标检测网络获取对应方位的船舶图像信息并发出警报；基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。2.如权利要求1所述的海洋浮标被动防御方法，其特征在于，目标检测网络通过获取图像数据，经标注和预处理后作为训练数据集和测试数据集完成训练；其中，预处理包括旋转图片角度，模拟雨、雾天气的影响，模拟浮标晃动带来的运动模糊、失焦模糊，以及对图像进行增强。3.如权利要求2所述的海洋浮标被动防御方法，其特征在于，模拟雨、雾天气的影响，具体为：通过对图像添加随机噪声来模拟雨雪天气情况，随机生成不同密度的随机噪声来模拟大小不同的雨雪量，将噪声进行拉长、放大、旋转方向，模拟不同情况的雨雪天气，将生成的噪声图像叠加到原始的图像数据中，完成雨雾天气的模拟。4.如权利要求2所述的海洋浮标被动防御方法，其特征在于，对图像进行增强，具体为：基于生成对抗网络对模糊程度超过设定值的图像进行增强，模糊程度通过图片平均梯度进行判断。5.如权利要求1所述的海洋浮标被动防御方法，其特征在于，浮标通过罗盘信息计算出图像的镜头方位，目标检测网络根据浮标周围环境的图像信息确定图像中的目标信息，通过目标在图片中的位置结合镜头方位计算出目标所在方位，通过检测到的边界框的尺寸来计算目标与图像采集模块之间的距离，当目标与图像采集模块之间的距离不大于设定值时，认为识别到的目标物体会对浮标构成威胁。6.如权利要求1所述的海洋浮标被动防御方法，其特征在于，目标检测网络包括输入端、主干网络、特征融合层和一组检测头。7.如权利要求6所述的海洋浮标被动防御方法，其特征在于，所述主干网络对原始图像尺寸进行下采样，并对图像通道进行上采样，并依次通过用于特征提取的dark2模块、dark3模块和dark4模块与特征融合层连接，dark2模块、dark3模块和dark4模块均包括基础卷积层和跨阶段层。8.如权利要求6所述的海洋浮标被动防御方法，其特征在于，所述特征融合层包括与dark4模块连接的dark5模块，以及与其并列布置的两组基础卷积层、上采样层和拼接层；dark5模块接收来自dark4模块中的特征，送入第一组基础卷积层，经上采样层与来自dark4模块中的特征共同送入拼接层融合，融合后送入第二组基础卷积层，再次经上采样层后与来自dark3模块中的特征继续拼接并再次融合送入检测头。9.如权利要求6所述的海洋浮标被动防御方法，其特征在于，所述检测头包括解耦合头和重构层；解耦合头包括基础卷积层，基础卷积层获取的特征发送给并列的至少两组卷积层baseconv*2，第一卷积层baseconv*2分别与两组conv2d层连接，第一conv2d层与函数层连接后，将特征送入拼接层，第二conv2d层与拼接层连接；第二卷积层baseconv*2与第三conv2d层连接后，通过函数层与拼接层连接。10.海洋浮标被动防御系统，其特征在于，包括：第一目标预警模块，被配置为：接收船舶ais系统发出的信号，确定船舶的位置和航向，
当船舶对浮标构成威胁时，基于训练完毕的目标检测网络获取对应方位的船舶图像信息并发出警报；第二目标预警模块，被配置为：基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。

技术总结
本发明涉及海洋浮标安防技术领域，具体为海洋浮标被动防御方法及系统，包括以下步骤：接收船舶AIS系统发出的信号，确定船舶的位置和航向，当船舶对浮标构成威胁时，基于训练完毕的目标检测网络获取对应方位的船舶图像信息并发出警报；基于设定的周期获取浮标周围环境的图像信息，基于训练完毕的目标检测网络，确定浮标周围环境存在对浮标构成威胁的目标，获取该目标的图像信息并发出警报。通过AIS系统确定船舶的位置和航向可能构成威胁后，获取图像信息取证并预警；同时根据设定的周期定期获取浮标周围的环境图像信息，应对没有安装AIS系统的船舶或是非船舶类目标。AIS系统的船舶或是非船舶类目标。AIS系统的船舶或是非船舶类目标。


技术研发人员：宁春林 袁国正 李超 刘志豪 王肖闯 苏清磊 李安山
受保护的技术使用者：自然资源部第一海洋研究所
技术研发日：2023.08.04
技术公布日：2023/9/7