一种基于轻量级神经网络的无人机影像缺陷检测与定位方法与流程

1.本发明涉及无人机影像缺陷检测与定位，具体涉及一种基于轻量级神经网络的无人机影像缺陷检测与定位方法。


背景技术：

2.近年来，搭载摄像头的无人机已经应用在很多领域，如农业、建筑、环境监测、安全监控等。无人机的摄像头可以用来拍摄高清视频和照片，实现无人机的远程监控和数据采集。但是，无人机摄像头拍摄照片的质量会被许多因素所影响，导致出现各种不同的缺陷和瑕疵，如过曝、过暗、噪点过多、抖动模糊等。人工处理这些照片非常耗时耗力，需要自动化的方法来对无人机摄像头拍摄的照片进行缺陷检测和定位。
3.目前，已经有部分基于深度学习的图像处理技术被应用于无人机摄像头照片的自动缺陷检测和定位，特别是近两年更多结构复杂且设计精巧的神经网络应运而生，图像处理模型的性能有了很大的提升。然而上述神经网络模型庞大、参数较多，计算量大，对于无人机这种终端移动设备，占用大量内存，影响性能，难以被应用。
4.因此，基于轻量级网络的无人机影像缺陷检测与定位方法模型具有实用价值，能够在保证性能的前提下尽量地减少内存消耗，为其他更复杂的任务节省宝贵的存储资源，从而使无人机整个系统实现更有效的运转。


技术实现要素：

5.发明目的：针对上述现有技术，提出一种基于轻量级神经网络的影像缺陷检测与定位方法，能够几乎不损失精度，大幅降低计算量与网络层参数，使得整个网络更加轻量化，更容易实现移动端的部署。
6.技术方案：一种基于轻量级神经网络的无人机影响缺陷检测与定位方法，包括：
7.步骤1：分别选取图片作为训练集和测试集，建立一个包含丰富问题场景的图像分类数据集，对所述图像分类数据集进行手工标注，分别标注问题状态，同时标注问题所处位置的坐标(x,y)以及其范围大小(w,h)；
8.步骤2：建立轻量级深度学习神经网络模型，进行特征图融合并且多支路输出；用所述训练集对网络进行训练，训练过程通过交叉熵损失函数计算损失值并更新模型参数，不断优化模型性能，训练完成使用所述测试集测试；
9.步骤3：对输出结果进行筛选、解码，得到图片类型t、可靠率c以及在原图上的位置坐标(x,y,w,h)。
10.进一步，所述步骤2包括：所述轻量级神经网络模型的主干主要由一层深度卷积与一层逐点卷积组合，每一层卷积之后都紧跟着relu激活函数；
11.所述轻量级神经网络模型结构由若干个3
×
3卷积层和1
×
1卷积层构成，第一层是传统卷积，卷积核的shape为3
×
3/1，通道数为3，个数36，其输入尺寸为3
×
320
×
320，输出尺寸为36
×
160
×
160；
12.第二层由卷积核3
×3×
32，s=1和1
×1×
36
×
72，s=1的逐点卷积构成，第二层的最终输出为72
×
160
×
160；
13.第三层卷积核3
×3×
72dw，1
×1×
72
×
144pw，输入尺寸为72
×
160
×
160，输出尺寸为144
×
80
×
80；
14.第四层卷积核3
×3×
144dw，1
×1×
144
×
288pw，输入尺寸为144
×
80
×
80，输出尺寸为288
×
40
×
40；
15.第五层卷积核3
×3×
288dw，1
×1×
288
×
576pw，输入尺寸为288
×
40
×
40，输出尺寸为576
×
20
×
20；
16.第六层卷积核3
×3×
576dw，1
×1×
512
×
1152pw，输入尺寸为576
×
20
×
20，输出尺寸为1152
×
10
×
10。
17.进一步，所述步骤2还包括：特征图融合和多支路输出，数据分为三个部分，第一个部分将输入经过3
×
3和1
×
1卷积进行处理，得到10
×
10
×
9的输出特征；第二个部分采用上采样技术将第一个输出特征扩大2倍，然后与主网络结构的第四层进行拼接，再经过卷积处理得到20
×
20
×
9的输出特征；第三个部分也采用上采样扩大2倍的方式，将第二个输出特征与主网络结构的第五层进行拼接，再通过卷积处理得到40
×
40
×
9的输出特征；最终输出10
×
10
×
9,20
×
20
×
9,40
×
40
×
9三部分数据，分别为问题种类数据、置信度、坐标信息（x,y,w,h），当目标处于问题状态时，数据位置为1。
18.进一步，所述步骤3包括如下具体步骤：
19.步骤3.1：利用非极大抑制对三部分数据进行筛选，对于一个给定的区域内的所有检测结果，按照它们的置信度从高到低排序，并逐个进行非极大抑制，得到最终检测结果；
20.步骤3.2：对所述最终检测结果进行解码：
[0021][0022][0023]
其中arg max表示取最大值的下标，max表示取最大值，ai是指对应类型数据位的值，c是置信度的数值；
[0024]
x=floor(x_pred
×w÷
10/20/40)；
[0025]
y=floor(y_pred
×ꢀh÷
10/20/40)；
[0026]
w=floor(w_pred
×w÷
10/20/40)-x；
[0027]
h=floor(h_pred
×h÷
10/20/40)-y；
[0028]
其中，x_pred和y_pred分别表示神经网络输出的坐标位，w_pred和h_pred分别表示神经网络输出的宽和高位，floor表示向下取整，w、h表示输入的原图的尺寸w
×
h。
[0029]
有益效果：本方法通过构建一种可嵌入移动设备的轻量级神经网络，对无人机所采集的图像进行缺陷检测处理，同时对缺陷进行定位，该机制使得无人机在不同环境下出现的缺陷影像可以快速分类和定位，方便后续处理，相比于目前主流的图像问题鉴定与检测的神经网络模型，在几乎不损失精度的情况下参数量和计算量大幅度减少，使得网络更易布置在嵌入式和移动设备中。
附图说明
[0030]
图1为本方法流程图；
[0031]
图2为本方法神经网络模型主干结构示意图；
[0032]
图3为本方法神经网络模型示意图。
具体实施方式
[0033]
下面结合附图对本发明做更进一步的解释。
[0034]
步骤1：分别选取10000张图片作为训练集和测试集，建立一个包含丰富问题场景的图像分类数据集，图片内容包括过曝、过暗、噪点过多和抖动模糊四种问题。对所述图像分类数据集进行手工标注，将问题状态分别标注为过曝(overexposure)、暗化(darkening)、噪点过多(excessive noise)和动态模糊(dynamic blur)，同时根据问题所处位置的坐标(x,y)以及其范围大小(w,h)对问题的位置进行标注。
[0035]
步骤2：建立深度学习神经网络模型，如图2所述，为实现轻量化，其主干模型主要主要采用由一层深度卷积（depthwise convolution）与一层逐点卷积（pointwise convolution）组合而成的结构，每一层卷积之后都紧跟着relu激活函数。
[0036]
假设深度卷积的卷积核尺寸dk
×
dk
×
1，个数为m，每个都要做df
×
df次乘加运算，所以计算量为dk
×
dk
×m×
df
×
df。逐点卷积的卷积核尺寸为1
×1×
m，个数为n，每个都要做df
×
df次乘加运算，所以计算量为m
×n×
df
×
df。总计算量为dk
×
dk
×m×
df
×
df+m
×n×
df
×
df。标准卷积的计算量为dk
×
dk
×m×n×
df
×
df，两个方法计算量的比值约为1/dk^2。在dk=3的情况下，计算量缩减到原来的1/9。同理可得参数量也是如此，本发明方法与标准卷积相比在精度基本不变的情况下，参数与计算量都明显减少。
[0037]
如图3所述，深度学习神经网络模型由若干个3
×
3卷积层和1
×
1卷积层构成，第一层是传统卷积，卷积核的shape为3
×
3/1，通道数为3，个数36。其输入尺寸为3
×
320
×
320，输出尺寸为36
×
160
×
160；
[0038]
第二层由卷积核3
×3×
32，s=1和1
×1×
36
×
72，s=1的逐点卷积构成，故第二层的最终输出为72
×
160
×
160；
[0039]
第三层卷积核3
×3×
72dw，1
×1×
72
×
144pw，输入尺寸为72
×
160
×
160，输出尺寸为144
×
80
×
80；
[0040]
第四层卷积核3
×3×
144dw，1
×1×
144
×
288pw，输入尺寸为144
×
80
×
80，输出尺寸为288
×
40
×
40；
[0041]
第五层卷积核3
×3×
288dw，1
×1×
288
×
576pw，输入尺寸为288
×
40
×
40，输出尺寸为576
×
20
×
20；
[0042]
第六层卷积核3
×3×
576dw，1
×1×
512
×
1152pw，输入尺寸为576
×
20
×
20，输出尺寸为1152
×
10
×
10；
[0043]
随后为特征图融合和多支路输出，数据分为三部分，第一个部分将输入经过3
×
3和1
×
1卷积进行处理，得到10
×
10
×
9的输出特征。第二个部分采用上采样技术将第一个输出特征扩大2倍，然后与主网络结构的第四层进行拼接（concat），再经过卷积处理得到20
×
20
×
9的输出特征。第三个部分也采用上采样扩大2倍的方式，将第二个输出特征与主网络结构的第五层进行拼接，再通过卷积处理得到40
×
40
×
9的输出特征。
[0044]
最终输出的数据其尺寸为10
×
10
×
9,20
×
20
×
9,40
×
40
×
9共三部分9位数据，分别为：
[0045]
4位问题种类数据（过曝、过暗、噪点过多、抖动模糊），当目标处于第一种过曝状态时，第一个数据位置为1，处于过暗状态时，第二个数据位置为1，以此类推；1位置信度，用于判断种类数据的信任程度；4位坐标信息（x,y,w,h），可以计算出问题所在的矩形框的左上角坐标和宽高。因此，可以通过计算出问题所在矩形框的坐标和大小，来判断原图发生问题的位置，并将问题所在矩形框用不同颜色的框框出来，以便更直观地观察问题位置。
[0046]
9位数据位表示如下表所示：
[0047][0048]
利用交叉熵损失函数来计算损失值，损失值越大，说明模型的预测值与训练集标注的值之间的差异越大，模型的性能越差；损失值越小，说明模型的预测值与训练集标注的值之间的差异越小，模型的性能越好。
[0049]
交叉熵损失函数的计算公式如下：
[0050][0051]
其中，n 是分类的类别数（本模型中取4，表示过曝、过暗、噪点、模糊四个类别），yi是真实标签中第i个类别的概率，是模型预测的第i个类别的概率。
[0052]
用准备好的训练集对网络进行训练，在训练过程中，通过计算损失值并更新模型参数，不断优化模型性能；训练完成使用测试集测试。
[0053]
步骤3：对这9位数据进行解码，利用非极大抑制（non-maximum suppression，nms）对3部分数据进行筛选，在一个给定的区域内，对于每个检测结果，计算其与周围其他检测结果的重叠程度（通常使用iou，即交并比），然后保留重叠程度最大的那个检测结果，而抑制其他重叠程度较小的检测结果。
[0054][0055]
unionarea=(b1.x2-b1.x1)
×
(b1.y2-b1.y1)+(b2.x2-b2.x1)
×
(b2.y2-b2.y1)-interarea
[0056]
iou=interarea / unionarea
[0057]
其中，interarea为交集面积，unionarea为并集面积。设定阈值为0.5。b是指当前正在被比较的检测框（boundingbox），b'是指在所有其它未被比较的检测框中，具有和当前框b重叠面积大于一定阈值（iou》0.5）的某个检测框，满足此条件的检测框可能会被判定为冗余的，从而被抑制掉（舍去）。b1代表第一个框的位置信息，b2代表第二个框的位置信息，b1.x1代表第一个框的左上角顶点的x坐标，b1.y1代表第一个框的左上角顶点的y坐标，b1.x2代表第一个框的右下角顶点的x坐标，b1.y2代表第一个框的右下角顶点的y坐标，b2.x1代表第二个框的左上角顶点的x坐标，以此类推。max(0,min(b1.x2,b2.x2)-max(b1.x1,b2.x1))代表在x轴方向上，两个框的重叠长度（如果没有重叠，则为0），max(0,min(b1.y2,b2.y2)-max(b1.y1,b2.y1))代表在y轴方向上，两个框的重叠长度（如果没有重叠，则为0）。
[0058]
通过对一组检测结果进行非极大抑制，可以保留一些比较准确的检测框，去除掉
一些冗余的框，从而得到更优秀的检测结果。保留下来的检测结果即为非极大抑制后的最终结果。
[0059]
对最终结果进行解码，将得到图片类型t、可靠率c以及在原图上的位置坐标(x,y,w,h) 6位数据。
[0060][0061][0062]
其中arg max表示取最大值的下标，max表示取最大值。ai是指对应类型数据位的值，c是置信度的数值。
[0063]
x=floor(x_pred
×w÷
10/20/40)；
[0064]
y=floor(y_pred
×ꢀh÷
10/20/40)；
[0065]
w=floor(w_pred
×w÷
10/20/40)-x；
[0066]
h=floor(h_pred
×h÷
10/20/40)-y；
[0067]
其中，x_pred和y_pred分别表示神经网络输出的坐标位，w_pred和h_pred分别表示神经网络输出的宽和高位。floor表示向下取整。而w，h表示输入的原图的尺寸w
×
h。
[0068]
最终向用户呈现问题的种类、该种类的概率、出现位置的坐标(x,y)以及该区域的宽度(w)和高度(h)。例如，当输出结果为（1，98%，34，65，20，20），（3，89%，200，250，40，40）2组数据时，表示图像存在2个问题，第一个问题是有98%的过曝概率，过曝区域位于坐标为（34，65）的20
×
20尺寸区域内，第二个问题是有89%的噪点概率，噪点区域位于坐标为（200，250）的40
×
40尺寸区域内。
[0069]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
0001.一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，其特征在于，包括：步骤1：分别选取图片作为训练集和测试集，建立一个包含丰富问题场景的图像分类数据集，对所述图像分类数据集进行手工标注，分别标注问题状态，同时标注问题所处位置的坐标(x,y)以及其范围大小(w,h)；步骤2：建立轻量级深度学习神经网络模型，进行特征图融合并且多支路输出；用所述训练集对网络进行训练，训练过程通过交叉熵损失函数计算损失值并更新模型参数，不断优化模型性能，训练完成使用所述测试集测试；步骤3：对输出结果进行筛选、解码，得到图片类型t、可靠率c以及在原图上的位置坐标(x,y,w,h)。0002.根据权利要求1所述的一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，其特征在于，所述步骤2包括：所述轻量级神经网络模型的主干主要由一层深度卷积与一层逐点卷积组合，每一层卷积之后都紧跟着relu激活函数；所述轻量级神经网络模型结构由若干个3x3卷积层和1x1卷积层构成，第一层是传统卷积，卷积核的shape为3
×
3/1，通道数为3，个数36，其输入尺寸为3
×
320
×
320，输出尺寸为36
×
160
×
160；第二层由卷积核3
×3×
32，s=1和1
×1×
36
×
72，s=1的逐点卷积构成，第二层的最终输出为72
×
160
×
160；第三层卷积核3
×3×
72dw，1
×1×
72
×
144pw，输入尺寸为72
×
160
×
160，输出尺寸为144
×
80
×
80；第四层卷积核3
×3×
144dw，1
×1×
144
×
288pw，输入尺寸为144
×
80
×
80，输出尺寸为288
×
40
×
40；第五层卷积核3
×3×
288dw，1
×1×
288
×
576pw，输入尺寸为288
×
40
×
40，输出尺寸为576
×
20
×
20；第六层卷积核3
×3×
576dw，1
×1×
512
×
1152pw，输入尺寸为576
×
20
×
20，输出尺寸为1152
×
10
×
10。0003.根据权利要求 1 或2所述的一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，其特征在于，所述步骤2还包括：特征图融合和多支路输出，数据分为三个部分，第一个部分将输入经过3x3和1x1卷积进行处理，得到10x10x9的输出特征；第二个部分采用上采样技术将第一个输出特征扩大2倍，然后与主网络结构的第四层进行拼接，再经过卷积处理得到20x20x9的输出特征；第三个部分也采用上采样扩大2倍的方式，将第二个输出特征与主网络结构的第五层进行拼接，再通过卷积处理得到40x40x9的输出特征；最终输出10x10x9,20x20x9,40x40x9三部分数据，分别为问题种类数据、置信度、坐标信息（x,y,w,h），当目标处于问题状态时，数据位置为1。0004.根据权利要求1所述的一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，其特征在于，所述步骤3包括如下具体步骤：步骤3.1：利用非极大抑制对三部分数据进行筛选，对于一个给定的区域内的所有检测
结果，按照它们的置信度从高到低排序，并逐个进行非极大抑制，得到最终检测结果；步骤3.2：对所述最终检测结果进行解码：；；其中arg max表示取最大值的下标，max表示取最大值，a
i
是指对应类型数据位的值，c是置信度的数值；x=floor(x_pred
×
w
÷
10/20/40)；y=floor(y_pred
×ꢀ
h
÷
10/20/40)；w=floor(w_pred
×
w
÷
10/20/40)-x；h=floor(h_pred
×
h
÷
10/20/40)-y；其中，x_pred和y_pred分别表示神经网络输出的坐标位，w_pred和h_pred分别表示神经网络输出的宽和高位，floor表示向下取整，w、h表示输入的原图的尺寸w
×
h。

技术总结
本发明公开了一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，选取图片构建图像分类数据集，对问题和位置进行标注；构建轻量化网络模型，将数据分为三部分处理，多支路输出问题种类数据、置信度、坐标信息（x,y,w,h）；对输出数据进行非极大抑制后的最终结果进行解码，得到图片类型、可靠率以及在原图上的位置坐标。本方法构建一种可嵌入移动设备的轻量级神经网络，使用3


技术研发人员：吉珂宇 王彬 周康 李卓临 张永生 熊傲然 聂玮成
受保护的技术使用者：江苏稻源科技集团有限公司
技术研发日：2023.07.13
技术公布日：2023/10/11