一种水产养殖的声光图像融合监控方法及系统

1.本发明涉及智能化水产养殖技术领域，具体地，涉及一种水产养殖的声光图像融合监控方法及系统。


背景技术：

2.近年来，近海网箱水产养殖技术不断发展，网箱内部水体有各种影响因子，影响鱼类的生存情况，水产养殖监控研究越来越受到关注，例如水中溶解氧浓度、ph值、盐度、光亮度、鱼类行为等。若鱼类出现异常运动行为，不及时调控容易导致鱼类死亡，但养殖户出海监测受天气影响，这种管理模式随机性非常大，且养殖户工作异常辛苦，利用一种非接触性、稳定的计算机视觉系统监测鱼的健康情况，可以有效判别鱼类实时的异常行为且不对鱼体造成负面影响。目前，大量研究近海网箱养殖监控系统主要是通过光学图像方法监控及预测，存在光学图像监测分辨率高但成像距离小的缺点，在浊度较高、网箱范围大的情况下，仅靠光学图像方法监控并不能达到很好效果。
3.卷积神经网络可用于融合光学图像和声学图像，并识别鱼群中移动物体的不同状态，进行鱼类行为分析。此外，疾病、缺氧、水ph值、水温度变化引起的鱼类行为异常通常是滞后的，并且网箱中，浊度、温度和水下摄像单元周围光亮度等影响因子对光学图像和声学图像采集均有较大影响。因此在近海网箱养殖中，采用声学光学图像融合技术采集网箱内鱼类行为具有重要意义。
4.现有研究采用纯光学图像技术对水下鱼类行为进行监测，但该方法忽略了环境量对图像采集的影响；相似行为的识别需要时间和空间信息的结合，但目前已有的方法均通过光学图像分析的方法确定鱼类目标的空间位置，精度有所欠缺。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的在于提供一种水产养殖的声光图像融合监控方法及系统，通过采用传感器采集多维海洋环境因子，对水下光视觉模块和水下三维声呐的参数进行调整，并声光融合图像判断浑浊水体内鱼类异常行为的方式，解决近海网箱光学图像监测成像距离小，环境因子对成像影响大的问题，提高复杂海水环境下的活鱼的异常行为判断识别精度。
6.为解决上述问题，本发明的技术方案为：
7.一种水产养殖的声光图像融合监控方法，包括以下步骤：
8.使用传感器采集近海网箱的多维海洋环境因子；
9.基于多维海洋环境因子对多个水下摄像单元和三维声呐进行动态参数调整，并获取鱼类光学视频和三维鱼类声学视频；
10.对所述多维海洋环境因子、鱼类光学视频、三维鱼类声学视频进行数据预处理；
11.基于所述多维海洋环境因子对光学图像与声学图像进行图像增强；
12.将光学图像和声学图像进行融合，获得融合图像；
13.将融合图像输入yolov5网络进行训练，根据网络输出的目标置信度动态调整声光图像融合的权重得到网络实时检测的鱼类目标融合图像；
14.根据鱼类目标融合图像，映射至三维鱼类声学视频，实现鱼类目标空间位置可视化。
15.优选地，所述方法还包括以下步骤：
16.采用时间序列分析法对所述鱼类目标融合图像进行分析，得到目标鱼类运动轨迹；
17.将鱼类目标运动轨迹与正常鱼类运动轨迹进行比对，当有鱼类有异常行为时，发出报警。
18.优选地，所述多维海洋环境因子包括水质因子、海洋因子、摄像单元周围环境因子，所述水质因子包括溶解氧浓度、温度、ph值、浊度、盐度，所述海洋因子包括海流速度、海流方向，所述摄像单元周围环境因子包括水下摄像单元的所处深度、周围亮度、周围温度。
19.优选地，所述基于所述多维海洋环境因子对光学图像与声学图像进行图像增强的步骤具体包括：光学图像的色彩恢复、对比度提升、亮度提升、细节特征复原；
20.优选地，所述将光学图像和声学图像进行融合，获得融合图像的步骤具体包括：将水质因子、海洋因子、光学图像、声学图像基于sigmoid函数随机输出融合权重，根据公式：进行像素加权直接融合，式中，p(x，y)为融合后的图像像素，p
光学
(x，y)为多个水下摄像单元的图像像素，p
声学
(x，y)为近海网箱中水下声呐的图像像素，w1光学图像融合权重，w2声学图像融合权重，w3水质因子、海洋因子权重，b为计算偏置。
21.进一步地，本发明还提供一种水产养殖的声光图像融合监控系统，包括：
22.多维海洋环境因子采集单元，用于使用传感器采集网箱的多维海洋环境因子；
23.管理员单元，与参数调整单元连接，用于管理员输入鱼类信息、手动调整各个单元参数和观察水下光学视频、水下三维声呐视频、融合图像；
24.参数调整单元，与多维海洋环境因子采集单元连接，用于结合多维海洋环境因子对水下摄像单元和水下三维声呐进行内参数调整；
25.水下光视觉单元，包含多个水下摄像单元、led补光规则调节器、光敏传感器、深度传感器、温度传感器；
26.水下三维声呐，用于采集网箱内鱼类运动的三维声呐视频信息；
27.数据预处理单元，与多维海洋环境因子采集单元、水下光视觉单元、水下三维声呐相连，用于对水下光视觉单元的多个摄像单元和水下三维声呐进行空间标定，对多维海洋环境因子、水下光学图像、水下声学图像进行时间同步，建立网箱空间坐标系，对水下摄像单元和水下三维声呐进行空间标定；
28.数据增强单元，与数据预处理单元相连，用于基于多维海洋环境因子对光学图像与声学图像进行图像增强；
29.数据融合单元，与数据增强单元相连，用于对预处理后的鱼类运动视频和鱼类运动声呐视频进行融合得到融合后的视频；
30.训练单元，与数据融合单元相连，用于将所述融合图像输入到yolov5网络中进行
训练得到鱼类识别视频；
31.监控单元，与训练单元相连，用于利用所述鱼类识别视频对网箱进行监控，当出现入侵物或残饵时，发送报警指令给报警单元；
32.轨迹判断单元，与监控单元相连，用于采用时间序列分析方法对所述的带有标签的鱼类识别视频进行网箱监控，当出现目标鱼类轨迹异常时，发出报警指令给报警单元；
33.报警单元，与监控单元和轨迹判断单元相连，用于接收报警指令发出警报。
34.优选地，所述多维海洋环境因子采集单元包括新型溶解氧传感器、温度传感器、ph值传感器、浊度传感器、盐度传感器、深度传感器、光敏传感器、海流计。
35.优选地，所述新型溶解氧传感器配有在碳纳米管修饰多孔tio2陶瓷基上沉积荧光剂制成的海水氧传感膜，用于采集所述网箱养殖水体的溶解氧含量，所述温度传感器用于采集所述网箱水产养殖水体的温度和所述水下摄像单元周围的温度，所述ph值传感器、浊度传感器、盐度传感器用于采集所述网箱水产养殖水体的ph值、浊度、盐度，所述深度和光敏传感器安装于水下光视觉传感器中，用于采集所述水下摄像单元所在的深度和摄像单元周围光亮度，所述海流计用于采集所述海洋因子，包括海流速度、海流方向。
36.优选地，所述水下光视觉单元的光敏传感器、深度传感器、温度传感器用于采集水下摄像单元周围环境信息，所述led补光规则调节器用于根据水下摄像单元环境因子和鱼类信息对采集视频时，进行适当补光，所述多个摄像单元分布在网箱各个顶点上，用于采集网箱内鱼类运动视频信息。
37.与现有技术相比，本发明通过采用传感器采集多维海洋环境因子，对水下光视觉模块和水下三维声呐的参数进行调整，并声光融合图像判断浑浊水体内鱼类异常行为的方式，解决近海网箱光学图像监测成像距离小，环境因子对成像影响大的问题，提高复杂海水环境下的活鱼的异常行为判断识别精度。本发明可使得水产养殖中近海网箱内鱼类运动行为更加清晰，能够自动对水下摄像单元和三维声呐进行参数调整，能够自动对时间和空间通道的进行特征提取，获取更加全面的异常鱼类的姿态信息；能够在浑浊、较暗的环境中观察鱼类的行为，能够避免检测视频中目标丢失，提高异常行为识别结果的准确性。另外，本发明还使用新型溶解氧传感器，解决传感器在海水环境下易腐蚀、易受污染等问题，提高传感器的使用寿命。
附图说明
38.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
39.图1为本发明实施例提供的水产养殖的声光图像融合监控方法流程框图；
40.图2为本发明实施例提供的水产养殖的声光图像融合监控系统结构框图。
具体实施方式
41.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
42.具体地，本发明提供一种水产养殖的声光图像融合监控方法，如图1所示，所述方法包括以下步骤：
43.s1：使用传感器采集近海网箱的多维海洋环境因子；
44.使用传感器采集近海网箱的多维海洋环境因子，所述多维海洋环境因子包括水质因子、海洋因子、摄像单元周围环境因子；所述水质因子包括溶解氧浓度、ph值、温度、浊度、盐度；所述海洋因子包括海流速度、海流方向；所述摄像单元周围环境因子包括水下摄像单元的所处深度、周围亮度、周围温度。所述水质因子中的溶解氧浓度采用一种新型溶解氧传感器进行采集，在本实施例中所述新型溶解氧传感器采用在碳纳米管修饰多孔tio2陶瓷基上沉积荧光剂制成的海水氧传感膜。
45.s2：基于多维海洋环境因子对多个水下摄像单元和三维声呐进行动态参数调整，并获取鱼类光学视频和三维鱼类声学视频；
46.将摄像单元周围环境因子和鱼类信息输入led补光规则模块中，led补光规则模块驱动led进行补光；基于多维环境信息对水下三维声呐进行参数调整，获取三维鱼类声学视频，所述鱼类光学视频为网箱内多个摄像单元采集的光学视频。
47.具体包括：根据摄像单元周围环境因子，确定所述水下摄像单元的内参矩阵、畸变系数矩阵、外参数矩阵、多个水下摄像单元之间的几何参数，以便拍出清晰水下图像；根据摄像单元周围环境因子和鱼类信息，对摄像单元周围进行补光；所述鱼类信息由养殖户输入系统，鱼类信息包括：鱼类对光敏感度、鱼类品种等信息。
48.s3：对所述多维海洋环境因子、鱼类光学视频、三维鱼类声学视频进行数据预处理；
49.将步骤s2中的三维鱼类声学视频进行图像映射得二维声学视频；将步骤s1中的多维海洋环境信息、步骤s2中的鱼类光学视频和二维鱼类声学视频进行时间配对；建立网箱(x,y,z)空间坐标系，对网箱内多个摄像单元和水下三维声呐模块进行空间标定。
50.具体包括：水下三维声呐得到的数据为三维鱼类声学视频，并携带方位、距离和散射强度等信息，根据式(1)对三维鱼类声学视频中每一帧图像的散射强度点进行去噪，然后投影到二维平面，用其深度值作为该点像素值，得到鱼类目标的深度图，将该深度图作为声学图像数据集；摄像单元拍摄的视频作为光学图像数据集；根据声学图像数据集采集的时间戳，对多维海洋环境因子和光学图像数据集使用最近匹配算法进行时间配对，将多余的因子和数据删去。
[0051][0052]
式中，pi＝(xi,yi,zi)为三维鱼类声学视频中每一帧图像中每个点的坐标，f(pi)为该点的散射强度，ki为去噪阈值，由管理员输入监控系统中。
[0053]
s4：基于所述多维海洋环境因子对光学图像与声学图像进行图像增强；
[0054]
具体包括：对光学图像的色彩恢复、对比度提升、亮度提升、细节特征复原；
[0055]
s5：将光学图像和声学图像进行融合，获得融合图像；
[0056]
具体包括：将水质因子、海洋因子、光学图像、声学图像基于sigmoid函数随机输出融合权重，根据方程组(2)进行像素加权直接融合
[0057][0058]
式中，p(x，y)为融合后的图像像素，p
光学
(x，y)为多个水下摄像单元的图像像素，p
声学
(x，y)为近海网箱中水下声呐的图像像素，w1光学图像融合权重，w2声学图像融合权重，w3水质因子、海洋因子权重，b为计算偏置。
[0059]
s6：将融合图像输入yolov5网络进行训练，根据网络输出的目标置信度动态调整声光图像融合的权重得到网络实时检测的鱼类目标融合图像；
[0060]
具体包括：融合图像输入yolov5网络进行训练后，输出目标融合图像；所述目标融合图像包含使用方框标记鱼类目标在图像中的位置，并在方框右下角鱼类目标类别、鱼类目标类别置信度；根据管理员在系统中设置的阈值对鱼类目标类别置信度进行判别，若置信度低于阈值，则重新调整步骤s6中的直接融合权重，达到提高声光图像融合效果的目的。
[0061]
s7：根据鱼类目标融合图像，映射至三维鱼类声学视频，实现目标鱼类空间位置可视化。
[0062]
优选地，所述方法还包括以下步骤：
[0063]
采用时间序列分析法对所述鱼类目标融合图像进行分析，得到目标鱼类运动轨迹；
[0064]
将目标鱼类运动轨迹与正常鱼类运动轨迹进行比对，当有鱼类有异常行为时，发出报警。
[0065]
具体地，所述鱼类异常行为包括：鱼类死亡、鱼类患寄生虫病混乱游动。
[0066]
如图2所示，本发明还提供一种水产养殖的声光图像融合监控系统，所述系统包括：多维海洋环境因子采集单元1、管理员单元2、参数调整单元3、水下光视觉单元4、水下三维声呐5、数据预处理单元6、数据增强单元7、数据融合单元8、训练单元9、监控单元10、轨迹判断单元11以及报警单元12。
[0067]
所述多维海洋环境因子采集单元1用于使用传感器采集网箱的多维海洋环境因子，具体的，多维海洋环境因子采集单元包括新型溶解氧传感器、温度传感器、ph值传感器、浊度传感器、盐度传感器、深度传感器、光敏传感器、海流计：其中新型溶解氧传感器、ph值传感器、浊度传感器、盐度传感器、海流计可采用多个，分别设置与网箱中的不同位置，提高采样精度，所述温度传感器、深度传感器、光敏传感器随水下光视觉单元的个数进行设置。
[0068]
在本实施例中，所述新型溶解氧传感器采用海水氧传感膜为在碳纳米管修饰多孔tio2陶瓷基上沉积荧光剂制成。所述温度传感器采集所述网箱水产养殖水体的温度和所述水下摄像单元周围的温度；所述ph值传感器采集所述网箱水产养殖水体的ph值；所述浊度传感器采集所述网箱水产养殖水体的浊度；所述盐度传感器采集所述网箱水产养殖水体的盐度；所述深度传感器安装在水下光视觉传感器中，用于采集所述水下摄像单元所在的深度；所述光敏传感器安装在水下光视觉传感器中，用于采集所述水下摄像单元周围的光亮度；所述海流计用于采集所述海洋因子，包括海流速度、海流方向。
[0069]
所述管理员单元2与参数调整单元3连接，用于管理员输入鱼类信息、手动调整各个单元参数和观察水下光学视频、水下三维声呐视频、融合图像。
[0070]
所述参数调整单元3与所述多维海洋环境因子采集单元1连接，用于结合多维海洋
环境因子对水下摄像单元和水下三维声呐进行内参数调整，给led补光规则调节器传递信息。
[0071]
所述水下光视觉单元4包含多个水下摄像单元、led补光规则调节器、光敏传感器、深度传感器、温度传感器；所述传感器用于采集水下摄像单元周围环境信息，所述led补光规则调节器用于根据水下摄像单元环境因子和鱼类信息对采集视频时，进行适当补光；多个摄像单元分布在网箱各个顶点上，用于采集网箱内鱼类运动视频信息；
[0072]
所述水下三维声呐5用于采集网箱内鱼类运动的三维声呐视频信息。
[0073]
所述数据预处理单元6与所述多维海洋环境因子采集单元1、水下光视觉单元4、水下三维声呐5相连，用于对水下光视觉单元4的多个摄像单元和水下三维声呐5进行空间标定；对多维海洋环境因子、水下光学图像、水下声学图像进行时间同步；建立网箱空间坐标系，对水下摄像单元和水下三维声呐进行空间标定。
[0074]
所述数据增强单元7与所述数据预处理单元6相连，用于基于多维海洋环境因子对光学图像与声学图像进行图像增强。
[0075]
所述数据融合单元8与数据增强单元7相连，用于对预处理后的鱼类运动视频和鱼类运动声呐视频进行融合得到融合后的视频。
[0076]
训练单元9与数据融合单元8相连，用于将所述融合图像输入到yolov5网络中进行训练得到鱼类识别视频。
[0077]
所述监控单元10与训练单元9、管理员单元2相连，用于利用所述鱼类识别视频对网箱进行监控，管理员可通过监控单元观察水下鱼类情况；当出现入侵物或残饵时，将信息发送给管理员单元2。
[0078]
所述轨迹判断单元11与监控单元10相连，用于采用时间序列分析方法对所述的带有标签的鱼类识别视频进行网箱监控，当出现目标鱼类轨迹异常时，发出报警指令给报警单元。
[0079]
所述报警单元12与监控单元10和轨迹判断单元11相连，用于接收报警指令发出警报。
[0080]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种水产养殖的声光图像融合监控方法，其特征在于，所述方法包括以下步骤：使用传感器采集近海网箱的多维海洋环境因子；基于多维海洋环境因子对多个水下摄像单元和三维声呐进行动态参数调整，并获取鱼类光学视频和三维鱼类声学视频；对所述多维海洋环境因子、鱼类光学视频、三维鱼类声学视频进行数据预处理；基于所述多维海洋环境因子对光学图像与声学图像进行图像增强；将光学图像和声学图像进行融合，获得融合图像；将融合图像输入yolov5网络进行训练，根据网络输出的目标置信度动态调整声光图像融合的权重得到网络实时检测的鱼类目标融合图像；根据鱼类目标融合图像，映射至三维鱼类声学视频，实现鱼类目标空间位置可视化。2.根据权利要求1所述的水产养殖的声光图像融合监控方法，其特征在于，所述方法还包括以下步骤：采用时间序列分析法对所述鱼类目标融合图像进行分析，得到目标鱼类运动轨迹；将鱼类目标运动轨迹与正常鱼类运动轨迹进行比对，当有鱼类有异常行为时，发出报警。3.根据权利要求1所述的水产养殖的声光图像融合监控方法，其特征在于，所述多维海洋环境因子包括水质因子、海洋因子、摄像单元周围环境因子，所述水质因子包括溶解氧浓度、温度、ph值、浊度、盐度，所述海洋因子包括海流速度、海流方向，所述摄像单元周围环境因子包括水下摄像单元的所处深度、周围亮度、周围温度。4.根据权利要求1所述的水产养殖的声光图像融合监控方法，其特征在于，所述基于所述多维海洋环境因子对光学图像与声学图像进行图像增强的步骤具体包括：光学图像的色彩恢复、对比度提升、亮度提升、细节特征复原。5.根据权利要求1所述的水产养殖的声光图像融合监控方法，其特征在于，所述将光学图像和声学图像进行融合，获得融合图像的步骤具体包括：将水质因子、海洋因子、光学图像、声学图像基于sigmoid函数随机输出融合权重，根据公式：接融合，式中，p(x，y)为融合后的图像像素，p
光学
(x，y)为多个水下摄像单元的图像像素，p
声学
(x，y)为近海网箱中水下声呐的图像像素，w1光学图像融合权重，w2声学图像融合权重，w3水质因子、海洋因子权重，b为计算偏置。6.一种水产养殖的声光图像融合监控系统，其特征在于，所述系统包括：多维海洋环境因子采集单元，用于使用传感器采集网箱的多维海洋环境因子；管理员单元，与参数调整单元连接，用于管理员输入鱼类信息、手动调整各个单元参数和观察水下光学视频、水下三维声呐视频、融合图像；参数调整单元，与多维海洋环境因子采集单元连接，用于结合多维海洋环境因子对水下摄像单元和水下三维声呐进行内参数调整；水下光视觉单元，包含多个水下摄像单元、led补光规则调节器、光敏传感器、深度传感器、温度传感器；
水下三维声呐，用于采集网箱内鱼类运动的三维声呐视频信息；数据预处理单元，与多维海洋环境因子采集单元、水下光视觉单元、水下三维声呐相连，用于对水下光视觉单元的多个摄像单元和水下三维声呐进行空间标定，对多维海洋环境因子、水下光学图像、水下声学图像进行时间同步，建立网箱空间坐标系，对水下摄像单元和水下三维声呐进行空间标定；数据增强单元，与数据预处理单元相连，用于基于多维海洋环境因子对光学图像与声学图像进行图像增强；数据融合单元，与数据增强单元相连，用于对预处理后的鱼类运动视频和鱼类运动声呐视频进行融合得到融合后的视频；训练单元，与数据融合单元相连，用于将所述融合图像输入到yolov5网络中进行训练得到鱼类识别视频；监控单元，与训练单元相连，用于利用所述鱼类识别视频对网箱进行监控，当出现入侵物或残饵时，发送报警指令给报警单元；轨迹判断单元，与监控单元相连，用于采用时间序列分析方法对所述的带有标签的鱼类识别视频进行网箱监控，当出现目标鱼类轨迹异常时，发出报警指令给报警单元；报警单元，与监控单元和轨迹判断单元相连，用于接收报警指令发出警报。7.根据权利要求6所述的水产养殖的声光图像融合监控系统，其特征在于，所述多维海洋环境因子采集单元包括新型溶解氧传感器、温度传感器、ph值传感器、浊度传感器、盐度传感器、深度传感器、光敏传感器、海流计。8.根据权利要求7述的水产养殖的声光图像融合监控系统，其特征在于，所述新型溶解氧传感器配有在碳纳米管修饰多孔tio2陶瓷基上沉积荧光剂制成的海水氧传感膜，用于采集所述网箱养殖水体的溶解氧含量，所述温度传感器用于采集所述网箱水产养殖水体的温度和所述水下摄像单元周围的温度，所述ph值传感器、浊度传感器、盐度传感器用于采集所述网箱水产养殖水体的ph值、浊度、盐度，所述深度和光敏传感器安装于水下光视觉传感器中，用于采集所述水下摄像单元所在的深度和摄像单元周围光亮度，所述海流计用于采集所述海洋因子，包括海流速度、海流方向。9.根据权利要求6述的水产养殖的声光图像融合监控系统，其特征在于，所述水下光视觉单元的光敏传感器、深度传感器、温度传感器用于采集水下摄像单元周围环境信息，所述led补光规则调节器用于根据水下摄像单元环境因子和鱼类信息对采集视频时，进行适当补光，所述多个摄像单元分布在网箱各个顶点上，用于采集网箱内鱼类运动视频信息。

技术总结
本发明提供一种水产养殖的声光图像融合监控方法及系统，所述方法包括：使用传感器采集近海网箱的多维海洋环境因子；基于多维海洋环境因子对多个水下摄像单元和三维声呐进行动态参数调整，并获取鱼类光学视频和三维鱼类声学视频；对所述多维海洋环境因子、鱼类光学视频、三维鱼类声学视频进行数据预处理；基于所述多维海洋环境因子对光学图像与声学图像进行图像增强；将光学图像和声学图像进行融合，获得融合图像；将融合图像输入yolov5网络进行训练，根据网络输出的目标置信度动态调整声光图像融合的权重得到网络实时检测的鱼类目标融合图像；根据鱼类目标融合图像，映射至三维鱼类声学视频，实现鱼类目标空间位置可视化。化。化。


技术研发人员：张铮 邹博胜 高森
受保护的技术使用者：上海海洋大学
技术研发日：2023.01.16
技术公布日：2023/9/20