一种基于深度学习的水位智能检测方法

1.本发明涉及水位检测技术领域，具体涉及一种基于深度学习的水位智能检测方法。


背景技术：

2.目前，全球气候变化剧烈，随着极端降雨气候频发及城市“热岛效应”愈加明显，我国城市内涝灾害越发频繁。可见，水文资料与人类社会生活、生态环境关系密切，水位检测在水利工程、防汛预警等领域发挥着重要作用，实现智能化水务管控和洪涝灾害预警具有重要意义。
3.然而，现有的水位监测手段主要采用人工测量或者安装水位计测量水位，这些监测手段存在诸多缺点：人工读数难以保证实时性与准确性，且人力成本较高；水位计装置精确度、稳定性较差，且长时间与水面接触会导致外部生锈、损坏，从而加深了维护成本，难以满足现代化水务管控智能化、精细化需求。
4.随着信息化进程的不断推进，图像处理技术迅猛发展，以图像手段进行水位检测的方法得到广泛关注。然而，水尺刻度在检测图像中属于“小目标”对象，虽然深度学习目标检测技术已经取得了优秀的效果，但现有目标检测技术对小目标的检测能力依然存在严峻挑战。所以，亟需一种准确性高、泛化能力强的水位检测方法。


技术实现要素：

5.本发明为了克服现有水位检测方法存在精度低、稳定性差、成本高等技术缺陷，提供了一种基于深度学习的水位智能检测方法。
6.本发明是采用如下技术方案实现的：
7.一种基于深度学习的水位智能检测方法，包括如下步骤：
8.步骤1、采集水位图像，通过实地隔时采集各类水位图像，制作数据集。
9.步骤2、选取标志物并标注，其中，各类标注类型具有不同的功能：
10.e类标志，分为正e0、反e1，根据配置e的高程信息，获得垂向上每个像素与实际高程的粗略比率k'。
11.数字类(n0)标志，根据配置水尺最顶部完整数字对应e的刻度信息，联系像素坐标与世界坐标；具体的，数字类包含数字0～9，分别记为n0～n9。
12.水位类(w)标志，获得水位线和水位线在垂直方向的图像坐标，进而换算出实际高程；具体的，水位标注框中心贴合水位线，标注框之间保持连续，记为w。
13.水尺类(r)标志，判断e类、数字类对象是否合法(即校验目标是否处于合法区域)；具体的，水尺标注框水平向正好包含水尺，垂向全包括，记为r。
14.并将标注图像按比例分为训练集ⅰ和测试集ⅱ。
15.步骤3、将标注完成的训练集ⅰ输入目标检测神经网络进行训练，提取训练模型；利用测试集ⅱ测试训练算法的性能。
16.所述目标检测神经网络选用yolov5网络结构作为深度学习主干网络，并融合ranksenet模块与bottleneck transformer模块。
17.具体为：yolov5网络结构分为输入层、基准网络层、颈部特征融合网络层、检测头四个部分。
18.其中：输入层负责图像预处理，包含图像自适应缩放、mosaic数据增强、自适应锚框计算操作。
19.基准网络层采用cspdarknet53结构作为基准，同时引入focus结构对图像进行切片，然后在通道方向拼接，并在基准网络层末端csp模块后引入ranksenet模块，在spp模块后引入bottleneck transformer模块，数据经过基准网络层末端csp模块后，依次经过ranksenet模块、spp模块和bottleneck transformer模块，接着传入颈部特征融合网络层。所述ranksenet模块包括senet网络结构，对于输入通道数为c的特征图进行压缩、激活、特征重标定三个操作；其中，压缩操作时，将求秩运算和senet网络的全局平均池化操作相结合：对输入特征图矩阵经过全局平均池化操作压缩为一个实数a；同时对背景特征图矩阵求秩，再对加入刻度信息或水位线的特征图矩阵求秩，二者求差得到特征图矩阵秩的变数b，得到乘积ab，用ab来反应加入刻度信息或水位线后特征图的变化程度，即这个实数ab反应了该通道特征的潜在重要程度，压缩后的输出维度与输入特征通道c一致。
20.颈部特征融合网络层的中尺度特征映射和大尺度特征映射两个传递节点汇入到小尺度特征映射通道，对小尺度特征映射进行紧密、充分融合。
21.检测头主体部分为三个检测器，每个检测器利用网格中设定的先验框在不同尺度的特征映射上进行目标检测，最终将三个检测器中概率评分最高的先验框选定为最终预测框。
22.步骤4、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，提取网络输出的矩形锚框信息；从而获取实际水位高程换算前的各类参数：取水尺中任意一个非最顶部的e类标志记为x1，记x1中心实际高度为h
top
，x1纵坐标为y
x1
，最顶部e和x1之间e类标志的个数a；取相邻两个合法正e、反e目标之间的中心横坐标，记为x
water
，记水位线纵坐标为y
water
；实测获取水尺中每个e类标志的实际高度he和水尺最顶端完整搭配数字的e类标志的实际刻度h
top
。
23.步骤5、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的水尺r的水平横坐标最小值r
xmin
和最大值r
xmax
，判断除水位类w以外的其它检测对象是否合法，即判断检测目标水平横坐标是否存在于(r
xmin
，r
xmax
)之间，在此区域内为合法对象，否则为非法对象，非法对象不进行计算；如果没有检测到r目标，系统继承上一次r对象坐标信息。
24.步骤6、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的水位线预测框并对中心坐标进行采样，然后进行最小二乘法拟合，即获得水位线的表达公式；然后检测数字类(n类)目标是否存在，存在便进行下一步骤，如未检测到n类目标或w类目标，系统继承上一次水位实际高程值，操作结束。
25.其中，水位线表达公式为y＝ax+b，其中，a是拟合直线的斜率，b是拟合直线的截距。
26.最小二乘法拟合，拟合公式为其中，xi、yi是水位线预测框的中心坐标，n是水位线预测框的数量，是水位线预测框的中心坐标均值。
27.步骤7、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的e类标志的信息，利用单个e实际高度和e像素高度得到实际高度与像素高度之间的映射关系，即粗略比率如未检测到e类目标，系统利用单个n类目标实际高度与其像素高度进行计算。
28.步骤8、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的n类目标的信息，并判断n类对象数量，如果数量大于1个，则计算顶端n类对象与底端n类对象之间实际长度与像素长度的比值，即精确比率k；如果数量只有1个，则以粗略比例k'代替精确比例k。
29.步骤9、获取拟合水位线的基准计算坐标，将相邻两个合法正e、反e目标之间的中心横坐标x
water
代入水位线的表达公式y＝ax+b，求得当前水位线纵坐标y
water
。
30.步骤10、计算水尺最顶部e和x1之间e类标志的个数a，利用最顶部e实际刻度h
top
和e类标志实际高度he，计算x1中心实际高度h
top
，计算公式为h
top
＝h
top-he×
a，进而计算水位实际高程h；
31.水位高程值h计算公式为:h＝h
top-(y
x1-y
water
)
×
k，其中，y
x1
为x1对应纵坐标；k为精确比率，h
top
为x1中心实际高程。
32.本发明提供的技术方案与现有技术相比具有如下优点：
33.本发明提供的基于深度学习的水位智能检测方法，相比于人工测量和安装水位计测量水位的方法而言，仅需在观测点布置摄像头及相关配件，不影响地形地貌，不干涉水中生态，不污染水源，成本更低，智能化程度更高，更清洁环保；另外该方法无须检测所有水位线区域，通过采样加拟合的方式，获得逼近真实的水位线，一定程度上解决了水面存在异物遮挡导致部分区域水位线预测无效的问题，鲁棒性更强；融合ranksenet与bottleneck transformer模块的yolov5特征提取能力更强，目标识别准确率更高，对水尺刻度特征表达更加显著，而背景等无关信息得到了极大的削弱。
34.本发明设计合理，具有很好的实际应用及推广价值。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1表示本发明基于深度学习的水位智能检测方法流程图。
38.图2表示本发明实施例步骤2中水尺图像标注示意图。
39.图3表示本发明实施例步骤3中现有yolov5网络结构图。
40.图4表示本发明实施例步骤3中现有senet网络结构图。
41.图5表示本发明实施例步骤3中“秩”表征特征通道重要性原理示意图。
42.图6表示本发明实施例步骤3中改进后ranksenet网络结构图。
43.图7表示本发明实施例步骤3中残差网络和botnet结构对比图。
44.图8表示本发明实施例步骤3中现有mhsa结构示意图。
45.图9表示本发明实施例步骤3中改进yolov5网络结构(即目标检测神经网络)示意图。
46.图10表示本发明基于深度学习的水位智能检测方法的参数配置示意图。
具体实施方式
47.为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
48.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
49.下面结合附图对本发明的具体实施例进行详细说明。
50.实现智能化洪涝灾害预警，需要自动、准确感知水位信息变化情况，然而现有的水位识别技术对水尺刻度感知能力不佳。为此，本发明提出了一种基于深度学习技术的水位智能检测方法：首先，提出强化小尺度特征的多层级特征融合方法来改进深度学习yolov5算法，强化算法对水尺刻度此类小目标的捕捉能力；然后，融合改进压缩激活网络(ranksenet模块)与现有bottleneck transformer模块进一步提升对水尺刻度的感知能力；最后，提出全新的水位高程解算方案，仅需利用部分水尺刻度锚框信息即可获得准确的水位高程信息，极大提升了检测方法的鲁棒性。检测方法的具体流程如图1所示，具体实施方案如下：
51.步骤1、采集水位图像，通过实地隔时采集各类水位图像，制作数据集。
52.具体的，通过实地隔时采集某两处场景(场景a、场景b)中各类水位图像。其中，场景a为某郊外河道，通过外加灯光照射弥补夜间光线不足；场景b为某水库，夜间通过红外功能采集水尺图像。其中，场景a图片清晰度较高，但由于灯光直射导致图像中阴影较多，水尺部分区域存在异物遮挡，郊外场景也较为复杂，给目标检测带来一定挑战；场景b水尺部分完整，但是由于夜间采用红外采集，导致夜晚图像的清晰度不高，并且红外过曝等因素严重影响了图片成像。两处场景特点不同，满足了数据集样本多样性。
53.步骤2、选取标志物并标注，其中，各类标注类型具有不同的功能：水尺上的e类标志，分为正e0、反e1，根据配置e的高程信息，获得垂向上每个像素与实际高程的粗略比率k'。数字类(n0)，根据配置水尺最顶部完整数字对应e的刻度信息，联系像素坐标与世界坐标。水位类(w)，获得水位线和水位线在垂直方向的图像坐标，进而换算出实际高程。水尺类(r)，判断e类、数字类对象是否合法(即校验目标是否处于合法区域)。
54.并将标注图像按比例分为训练集ⅰ和测试集ⅱ。水尺图像标注如图2所示。
55.具体的，数字类包含数字0～9，分别记为n0～n9；水位标注框中心贴合水位线，标
注框之间保持连续，记为w；水尺标注框水平向正好包含水尺，垂向全包括，记为r。
56.步骤3、将标注完成的训练集ⅰ输入目标检测神经网络进行训练，提取训练模型。利用测试集ⅱ测试训练算法的性能。相关实验结果表明，该算法水位检测准确率达98.5％，较原算法提高了8.4％。
57.具体的，目标检测神经网络选用现有yolov5网络结构作为深度学习主干网络，以期望提高小目标检测性能；融合改进压缩激活网络与bottleneck transformer模块进一步提升对水尺刻度的感知能力。
58.3.1、现有yolov5网络结构如图3所示，主要分为输入层、基准网络层、颈部特征融合网络层、检测头四个部分。其中：输入层负责图像预处理，包含图像自适应缩放、mosaic数据增强、自适应锚框计算等操作；基准网络层采用cspdarknet53结构作为基准，同时引入focus结构对图像进行切片，然后在通道方向拼接，减少原始信息的丢失，同时，减少网络计算量；颈部特征融合网络层使用spp模块，解决了将图像裁剪到固定尺寸时引起图片失去部分重要信息的问题；使用fpn加pan特征融合模块，通过上采样将高层特征信息与底层特征进行融合，再通过自下而上的融合方式，提高了特征映射的多样性和鲁棒性，最后将融合后大、中、小三种不同尺度的特征映射送入检测头进行预测；检测头主体部分是三个检测器，每个检测器利用网格中设定的先验框在不同尺度的特征映射上进行目标检测，最终将三个检测器中概率评分最高的先验框选定为最终预测框。
59.3.2、传统卷积网络通过感知输出各特征通道信息，实现对目标的分类及定位，压缩激活网络(squeeze-and-excitation networks，senet)通过重新分配各个特征通道权重，提升含目标信息特征通道的表征能力，通过集成senet至yolov5网络，可有效提升模型的准确率。
60.senet网络结构如图4所示，对于输入特征图(通道数为c)进行压缩、激活、特征重标定三个操作，通过学习各个通道之间的关联性，自动获得每个特征通道的重要程度，然后按照此重要程度提升对当前任务作用成效高的特征，并抑制成效低的特征，从而提升模型的准确率。其中，压缩操作是指senet通过对特征图的空间维度进行特征压缩，将每一个二维的特征通道经过全局平均池化操作压缩为一个实数，这个实数反应了该通道特征的潜在重要程度，压缩后的输出维度与输入特征通道c一致。压缩操作公式为：
[0061][0062]
式中，x(i,j)为输入特征图，h、w分别为特征图的高、宽，f(x)为压缩实数。
[0063]
然而，在实际的水尺刻度检测任务中，水尺刻度目标比较细微，相对整个水位图像而言，其所占面积较小，导致检测算法通过卷积提取到的特征图中包含的水尺刻度特征信息较少。这些特征经senet压缩(全局平均池化)操作后，极易消弭水尺刻度信息对压缩实数的影响，使所得实数不能准确反应该通道的潜在重要程度。
[0064]
在局部范围内，水尺表面、水尺背景(如墙面)颜色是一致的，与“刻度标志”在视觉属性上区别明显。显然，利用卷积神经网络提取目标的高维特征时，特征图的背景信息应可能会出现差异不大的情况，这意味着输出的特征图矩阵近似是一种低秩矩阵。为方便说明与理解，假设局部图像背景颜色一致，则卷积网络输出特征图信息也一致。当这个局部区域
包含水尺目标时，相当于给输出特征图加入了不规则的新信息，增加了特征图矩阵的复杂程度。如图5所示，圈内为水尺图像信息，由于水尺刻度图像特征较少，senet采用全局平均池化操作得到的实数并不能很好的反应出加入水尺刻度后特征图的变化程度；然而，由于水尺刻度信息的加入，使原来的低秩矩阵变为高秩矩阵，即特征图的秩相较于全局平均池化得到得实数，更能反应每个特征通道得变化程度。
[0065]
然而，当检测目标为水位线时，由于水位线特征贯穿整个图片，导致求秩运算后得到的特征矩阵依然保持低秩，无法很好的体现其特征通道的重要程度，但在此情况下，水位线的特征信息往往分布较多。
[0066]
所以本发明对senet网络进行了如下改进：如图6所示，将求秩运算和原senet网络的全局平均池化操作相结合：对输入特征图矩阵经过全局平均池化操作压缩为一个实数a；同时对背景特征图矩阵求秩，再对加入刻度信息或水位线的特征图矩阵求秩，二者求差得到特征图矩阵秩的变数b，得到乘积ab，用ab来反应加入刻度信息或水位线后特征图的变化程度。代替原先仅对特征图进行的平均池化操作，在检测对象特征分布较多、或较少的情况下，均能有效提升压缩实数的变化程度，本发明将新的senet命名为ranksenet模块，本发明只是对senet网络中的压缩操作进行改进，而激活、特征重标定操作不变。
[0067]
3.3、bottleneck transformer模块
[0068]
传统卷积操作通过对输入数据进行滑动提取特征，其优势在于参数共享并高效融合局部信息，但是这种操作只能提取局部特征，为了整合全局信息，传统卷积网络需要堆叠大量卷积层，导致参数量增加。然而，transformer机制由于其独特结构，可以一次性提取全局特征。如图7所示，bottleneck transformer模块通过结合卷积操作和多头注意力机制(multi-head self-attention，mhsa)，保证所提取特征的局部性和全局性。本发明将基准网络层末端csp结构中引入现有bottleneck transformer模块，增加模型的特征提取能力，同时减少参数量与计算量。
[0069]
bottleneck transformer模块核心为mhsa结构，如图8所示，mhsa结构对输入尺寸为h
×w×
d(分别为图像长、宽、通道数)的特征图，分别通过一个1
×
1的卷积获得wq、wk、wv矩阵(q、k、v分别为查询、键值、权值)；rh、rw分别为图像高度、宽度的相对位置编码，将其相加后与wq相乘，融合图像内容与位置信息；wq、wk相乘完成图像信息的编码与融合；将上述两种矩阵结果相加，并对得到的矩阵进行softmax归一化处理，输出值的矩阵格式为h*w
×
h*w；最后将输出值与权值矩阵wv相乘，完成图像全局特征与局部特征的融合。
[0070]
3.4、本发明所述目标检测神经网络(即改进yolov5网络结构)
[0071]
根据卷积理论可知，浅层特征映射包含更多的图像空间信息和细节信息，有利于目标定位，深层特征映射包含更多的图像语义信息，有利于目标分类。根据感受野不同，yolov5通过小尺度映射检测小目标，由于水尺刻度对象属于小目标，因此，需要提升yolov5对小尺度映射的识别与定位能力。
[0072]
本步骤所述的目标检测神经网络即是改进后的yolov5网络结构，如图9所示，yolov5网络结构分为输入层、基准网络层、颈部特征融合网络层、检测头四个部分。
[0073]
其中，输入层负责图像预处理，包含图像自适应缩放、mosaic数据增强、自适应锚框计算操作。
[0074]
基准网络层采用cspdarknet53结构作为基准，同时引入focus结构对图像进行切
片，然后在通道方向拼接，并在基准网络层末端csp模块后引入ranksenet模块，在spp模块后引入bottleneck transformer模块，数据经过基准网络层末端csp模块后，依次经过ranksenet模块、spp模块和bottleneck transformer模块，接着传入颈部特征融合网络层。
[0075]
颈部特征融合网络层的中尺度特征映射和大尺度特征映射两个传递节点汇入到小尺度特征映射通道，对小尺度特征映射进行紧密、充分融合，提高小尺度特征映射传递空间信息、细节信息和语义信息的能力。
[0076]
检测头主体部分为三个检测器，每个检测器利用网格中设定的先验框在不同尺度的特征映射上进行目标检测，最终将三个检测器中概率评分最高的先验框选定为最终预测框。
[0077]
上述改进的yolov5网络结构在水尺识别中更具优势，增加了小尺度特征映射的汇入节点，实现更加充分、更紧密的融合，丰富了小尺度映射特征图信息，提高了小尺度特征映射识别水尺刻度的能力。
[0078]
利用深度学习目标检测算法只能获得若干个含有目标坐标、种类信息的矩形锚框，并不能获得准确的水位高程值，而且由于算法自身性能欠佳，或者受拍摄场景影响，导致算法不能识别出所有待检目标。因此，为了将输出的锚框信息转化为准确的实际水位高程信息，同时满足算法适用性能，本发明进一步提出了全新水位高程换算方案，并在此基础上形成水位检测整体方法，详见步骤4-10。
[0079]
步骤4、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，提取网络输出的矩形锚框信息。获取实际水位高程换算前的各类参数：取水尺中任意一个e类标志(非最顶部e)记为x1，记x1中心实际高度为h
top
，x1纵坐标为y
x1
，最顶部e和x1之间e类标志的个数a；取相邻两个合法正e、反e目标之间的中心横坐标，记为x
water
，记水位线纵坐标为y
water
；实测获取水尺中每个e类标志的实际高度he和水尺最顶端完整搭配数字的e类标志的实际刻度h
top
，如图10所示。
[0080]
步骤5、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的水尺(r)的水平横坐标最小值r
xmin
和最大值r
xmax
，判断除水位类(w)以外的其它检测对象是否合法，即判断检测目标水平横坐标是否存在于(r
xmin
，r
xmax
)之间，在此区域内为合法对象，否则为非法对象，非法对象不进行计算。如果没有检测到r目标，系统继承上一次r对象坐标信息。
[0081]
步骤6、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的水位线预测框并对中心坐标进行采样，然后进行最小二乘法拟合，即可获得水位线的表达公式；然后检测数字类(n类)目标是否存在，存在便进行下一步骤，如未检测到n类目标或w类目标，系统继承上一次水位实际高程值，操作结束；
[0082]
容易理解的，水位线表达公式为y＝ax+b，其中，a是拟合直线的斜率，b是拟合直线的截距。
[0083]
线性拟合采用最小二乘法，拟合公式为其中，xi、yi是水位线预测框的中心坐标，n是水位线预测框的数量，是水位线预测框的中心坐标均值。
[0084]
步骤7、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的e类标志的信息，利用单个e实际高度和e像素高度得到实际高度与像素高度之间的映射关系，即粗略比率如未检测到e类目标，系统利用单个n类目标实际高度与其像素高度进行计算。
[0085]
步骤8、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的n类目标的信息，并判断n类对象数量，如果数量大于1个，则计算顶端n类对象与底端n类对象之间实际长度与像素长度的比值，即精确比率k。如果数量只有1个，则以粗略比例k'代替精确比例k。
[0086]
步骤9、获取拟合水位线的基准计算坐标，将相邻两个合法正e、反e目标之间的中心横坐标x
water
代入水位线的表达公式y＝ax+b，求得当前水位线纵坐标y
water
。
[0087]
步骤10、计算水尺最顶部e和x1之间e类标志的个数a，利用最顶部e实际刻度h
top
和e类标志实际高度he，计算x1中心实际高度h
top
，计算公式为h
top
＝h
top-he×
a，进而计算水位实际高程h。
[0088]
水位高程值h计算公式为:h＝h
top-(y
x1-y
water
)
×
k，其中，y
x1
为x1对应纵坐标；k为精确比率，h
top
为x1中心实际高程。
[0089]
步骤11、设计相关对比试验，验证本发明所述目标检测神经网络的优越性能。
[0090]
具体的，为验证融合rankse、bottleneck transformer与改进yolov5网络模型的优越性能，设计了相关对比实验。对比模型分别为yolov5、改进yolov5、se-改进yolov5(集成senet与改进yolov5)、rankse-改进yolov5(集成ranksenet与改进yolov5)、botnet-rankse-改进yolov5(集成bottleneck transformer、ranksenet与改进yolov5)。
[0091]
实验过程中，超参数取值一致：batch size设置为32，初始学习率为0.01，采用余弦退火算法对学习率进行更新学习率，最大迭代次数均为500。实验硬件场景：intel xeon gold 5218r cpu，256g内存，nvidia quadro rtx6000 24gb gpu。软件场景：64位windows10，python3.8+pytorch1.7.1。
[0092]
步骤12、评价指标及结果分析
[0093]
通常，目标检测算法模型主要通过平均精度(average precision，ap)、平均精度均值(mean ap，map)、准确率和召回率等评估目标检测算法的性能。然而，水位线(w)对象在其延伸方向无限大、法线方向无限小，其特征不随图像尺度发生变化，导致上述评价指标失效。并且，考虑到所选目标检测算法可能由于自身性能局限，导致识别准确率低、漏检率高等问题，因此本发明提出全新的水位高程解算方案，可以在目标检测算法检测准确率低下的条件下，准确地获得当前水位。
[0094]
本发明所述的水位智能检测方法输出结果为实际水位高程，为了检验所提方案的可行性，本发明以预测水位高程与真实水位高程的相对准确度pa作为评价指标：式中，h为算法预测水位高程；h
real
为真实水位高程；真实水位高程为人工提取的标签值。
[0095]
以pa作为评价指标，为前述水位检测准确性评价指标pa的均值，其中，结果如下
表所示。由下表可知，本发明提出的算法模型在pa评价指标中获得98.5％的评分，较原yolov5提升为8.4％，其准确程度可以满足实际工程应用，说明此方法可以很好的完成水位检测任务。并且，此方法较原算法参数规模减少4.7％，浮点运算数减少了0.6％。这表明此方法算法更加轻量化，更有利于边缘设备移植。
[0096][0097]
具体实施本发明测量方法，相比于人工测量和安装水位计测量水位测量的方法而言，仅需在观测点布置摄像头及相关配件，不影响地形地貌，不干涉水中生态，不污染水源，成本更低，智能化程度更高，更清洁环保。另外，该方法无须检测所有水位线区域，一定程度上解决了水面存在异物遮挡导致部分区域水位线预测无效的问题，鲁棒性更强。
[0098]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。尽管参照前述各实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离各实施例技术方案的范围，其均应涵盖权利要求书的保护范围中。

技术特征：
1.一种基于深度学习的水位智能检测方法，其特征在于：包括如下步骤：步骤1、采集水位图像，通过实地隔时采集各类水位图像，制作数据集；步骤2、选取标志物并标注，其中，各类标注类型具有不同的功能：e类标志，分为正e0、反e1，根据配置e的高程信息，获得垂向上每个像素与实际高程的粗略比率k'；数字类标志，根据配置水尺最顶部完整数字对应e的刻度信息，联系像素坐标与世界坐标；具体的，数字类包含数字0～9，分别记为n0～n9；水位类标志，获得水位线和水位线在垂直方向的图像坐标，进而换算出实际高程；具体的，水位标注框中心贴合水位线，标注框之间保持连续，记为w；水尺类标志，判断e类、数字类对象是否合法；具体的，水尺标注框水平向正好包含水尺，垂向全包括，记为r；并将标注图像按比例分为训练集ⅰ和测试集ⅱ；步骤3、将标注完成的训练集ⅰ输入目标检测神经网络进行训练，提取训练模型；利用测试集ⅱ测试训练模型的性能；所述目标检测神经网络选用yolov5网络结构作为深度学习主干网络，并融合ranksenet模块与bottleneck transformer模块；具体为：yolov5网络结构分为输入层、基准网络层、颈部特征融合网络层、检测头四个部分；其中：输入层负责图像预处理，包含图像自适应缩放、mosaic数据增强、自适应锚框计算操作；基准网络层采用cspdarknet53结构作为基准，同时引入focus结构对图像进行切片，然后在通道方向拼接，并在基准网络层末端csp模块后引入ranksenet模块，在spp模块后引入bottleneck transformer模块，数据经过基准网络层末端csp模块后，依次经过ranksenet模块、spp模块和bottleneck transformer模块，接着传入颈部特征融合网络层；颈部特征融合网络层的中尺度特征映射和大尺度特征映射两个传递节点汇入到小尺度特征映射通道，对小尺度特征映射进行紧密、充分融合；检测头主体部分为三个检测器，每个检测器利用网格中设定的先验框在不同尺度的特征映射上进行目标检测，最终将三个检测器中概率评分最高的先验框选定为最终预测框；步骤4、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，提取网络输出的矩形锚框信息；从而获取实际水位高程换算前的各类参数：取水尺中任意一个非最顶部的e类标志记为x1，记x1中心实际高度为h
top
，x1纵坐标为y
x1
，最顶部e和x1之间e类标志的个数a；取相邻两个合法正e、反e目标之间的中心横坐标，记为x
water
，记水位线纵坐标为y
water
；实测获取水尺中每个e类标志的实际高度h
e
和水尺最顶端完整搭配数字的e类标志的实际刻度h
top
；步骤5、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的水尺r的水平横坐标最小值r
xmin
和最大值r
xmax
，判断除水位类w以外的其它检测对象是否合法，即判断检测目标水平横坐标是否存在于(r
xmin
，r
xmax
)之间，在此区域内为合法对象，否则为非法对象，非法对象不进行计算；如果没有检测到r目标，系统继承上一次r对象坐标信息；
步骤6、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的水位线预测框并对中心坐标进行采样，然后进行最小二乘法拟合，即获得水位线的表达公式；然后检测数字类n目标是否存在，存在便进行下一步骤，如未检测到n类目标或w类目标，系统继承上一次水位实际高程值，操作结束；其中，水位线表达公式为y＝ax+b，其中，a是拟合直线的斜率，b是拟合直线的截距；最小二乘法拟合，拟合公式为其中，x
i
、y
i
是水位线预测框的中心坐标，n是水位线预测框的数量，是水位线预测框的中心坐标均值；步骤7、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的e类标志的信息，利用单个e实际高度和e像素高度得到实际高度与像素高度之间的映射关系，即粗略比率如未检测到e类目标，系统利用单个n类目标实际高度与其像素高度进行计算；步骤8、将实际检测任务中采集到的数据集输入到步骤3中训练完成的目标检测神经网络，获取网络检测到的n类目标的信息，并判断n类对象数量，如果数量大于1个，则计算顶端n类对象与底端n类对象之间实际长度与像素长度的比值，即精确比率k；如果数量只有1个，则以粗略比例k'代替精确比例k；步骤9、获取拟合水位线的基准计算坐标，将相邻两个合法正e、反e目标之间的中心横坐标x
water
代入水位线的表达公式y＝ax+b，求得当前水位线纵坐标y
water
；步骤10、计算水尺最顶部e和x1之间e类标志的个数a，利用最顶部e实际刻度h
top
和e类标志实际高度h
e
，计算x1中心实际高度h
top
，计算公式为h
top
＝h
top-h
e
×
a，进而计算水位实际高程h；水位高程值h计算公式为:h＝h
top-(y
x1-y
water
)
×
k，其中，y
x1
为x1对应纵坐标；k为精确比率，h
top
为x1中心实际高程。2.根据权利要求1所述的一种基于深度学习的水位智能检测方法，其特征在于：步骤3中，训练过程中，超参数取值如下：batch size设置为32，初始学习率为0.01，采用余弦退火算法对学习率进行更新学习率，最大迭代次数为500；硬件场景：intel xeon gold 5218r cpu，256g内存，nvidia quadro rtx6000 24gb gpu；软件场景：64位windows10，python3.8+pytorch1.7.1。3.根据权利要求1所述的一种基于深度学习的水位智能检测方法，其特征在于：步骤3中，所述ranksenet模块包括senet网络结构，对于输入通道数为c的特征图进行压缩、激活、特征重标定三个操作；其中，压缩操作时，将求秩运算和senet网络的全局平均池化操作相结合：对输入特征图矩阵经过全局平均池化操作压缩为一个实数a；同时对背景特征图矩阵求秩，再对加入刻度信息或水位线的特征图矩阵求秩，二者求差得到特征图矩阵秩的变数b，得到乘积ab，用ab来反应加入刻度信息或水位线后特征图的变化程度，即这个实数ab反应了该通道特征的潜在重要程度，压缩后的输出维度与输入特征通道c一致。4.根据权利要求1所述的一种基于深度学习的水位智能检测方法，其特征在于：步骤3
中，bottleneck transformer模块核心为mhsa结构；mhsa结构对输入尺寸为h
×
w
×
d的特征图，分别通过一个1
×
1的卷积获得w
q
、w
k
、w
v
矩阵，其中，h、w、d分别表示图像长、宽、通道数，q、k、v分别为查询、键值、权值；r
h
、r
w
分别为图像高度、宽度的相对位置编码，将其相加后与w
q
相乘，融合图像内容与位置信息；w
q
、w
k
相乘完成图像信息的编码与融合；将上述两种矩阵结果相加，并对得到的矩阵进行softmax归一化处理，输出值的矩阵格式为h*w
×
h*w；最后将输出值与权值矩阵w
v
相乘，完成图像全局特征与局部特征的融合。

技术总结
本发明涉及水位检测技术领域，具体公开了一种基于深度学习的水位智能检测方法，首先，提出强化小尺度特征的多层级特征融合方法来改进深度学习YOLOv5算法，强化算法对水尺刻度此类小目标的捕捉能力；然后，融合改进压缩激活网络（RankSENet模块）与Bottleneck Transformer模块进一步提升对水尺刻度的感知能力；最后，提出一种全新的水位高程解算方案，仅需利用部分水尺刻度锚框信息即可获得准确的水位高程信息，极大提升了检测方法的鲁棒性。性。性。


技术研发人员：孙传猛 王文博 原玥 武志博 王宇 孔祥年 陈嘉欣 马铁华 裴东兴
受保护的技术使用者：中北大学
技术研发日：2023.06.30
技术公布日：2023/10/7