一种基于像素和通道注意力的检测空中小型无人机的方法

1.本发明属于图像目标检测技术领域，尤其涉及一种基于像素和通道注意力的检测空中小型无人机的方法。


背景技术：

2.无人机目前正处于快速发展和应用阶段，在生活、生产应用中能看到无人机发挥了很好的作用，例如农业、空中摄影、监控和军事应用等。从预防无人机军事攻击、无人机碰撞等情况来说，研究图像、视频中的无人机检测以及进一步跟踪的技术是非常有必要的。
3.在图像检测领域，由于图像中存在的镜头移动、视角改变、遮挡等情况，更关键的是无人机的尺寸小，在图像中的像素占比也很小，因此无人机图像检测是十分具有挑战性的。尽管视频检测在计算机算法研究领域是一个十分热门的研究问题，但对无人机图像检测领域的探索还是比较不足的。


技术实现要素：

4.本发明的目的在于提供一种基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，包括如下步骤：
5.s1：将待检测的高分辨率图像分割为合理的子图像块数量，并根据图像中无人机的大小设置合理的重叠像素值；
6.s2：将分割后的多个子图像块输入值经过调整后的resent50特征提取网络内，并经过特征金字塔池化操作得到不同大小的多个图像特征；
7.s3：将多个不同大小的图像特征输入至注意力机制模块网络内；
8.s4：基于注意力机制模块的输出结果完成神经网络训练和检测。
9.进一步地，s1中，选用公开的无人机数据集作为神经网络训练集，待检测的高分辨率图像通过神经网络训练集中的视频采集得到，采集的频率为：每五帧取一帧。
10.进一步地，s1中，将待检测的高分辨率图像分割为9块带有重叠的子图像块，9块带有重叠的子图像块中，重叠区域的重叠像素值为20像素。
11.进一步地，s2中，通过设置resent50特征提取网络和特征金字塔为4层特征提取，实现保留更多的图像的特征，具体为：针对每个子图像块，通过resent50的四个特征输出块的特征进行拼接，再通过1*1的卷积核将拼接后的4个特征输出块还原至原始大小，然后经过特征金字塔进行拼接和还原，得到最终的不同大小的多个图像特征。
12.进一步地，s3中，注意力机制网络包括通道注意力机制模块和像素注意力机制模块，通道注意力机制模块用于给图像特征部分通道赋予更大的权重，通过卷积特征图的多维通道向量实现；
13.像素注意力机制模块表现为：对于目标无人机出现的位置增加权重，对于没有无人机出现的位置减少权重。
14.进一步地，s4中，针对每个子图像块，将注意力机制模块的输出通过mlp输出即为
每个子图像块的检测结果，而将原图像的多个子图像块的检测结果进行合并，即完成一次完整的检测过程。
15.进一步地，s4中，检测结果为每个子图像块的分界框和相应的分类置信度，将检测结果与地面实况相比，通过focal loss和distance-iou loss计算得到本次网络迭代的loss，依据loss最小化原则进行梯度的反向传播，并更新网络参数，实现完整的一次神经网络训练过程。
16.与现有技术相比，本发明的有益效果主要体现在：本发明提出的像素和通道注意力机制的检测空中小型无人机的方法能够有效地避免存在的在图像质量不佳的情况下难以检测小目标的问题，本发明方法具有一定的实用性。
附图说明
17.图1为本发明中的检测空中小型无人机的方法流程示意图；
18.图2为本发明中像素和注意力机制模块神经网络结构示意图。
具体实施方式
19.下面将结合示意图对本发明一种基于像素和通道注意力的检测空中小型无人机的方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果，因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
20.如图1所示，一种基于像素和通道注意力的检测空中小型无人机的方法主要步骤包括：
21.步骤1：选用公开的无人机数据集npsdrone作为神经网络训练集，其视频像素为1920*1080，先从视频中采样出图像，频率为每5帧取1帧。将采样出的图像均分为9份图像块，重叠区域为20像素。
22.步骤2：将分割后的图像输入到调整后的resnet50特征提取网络模块中，再经过特征金字塔池化操作得到不同大小的图像特征。
23.对于步骤2中的调整后的resnet50特征提取网络和特征金字塔网络，与fpn+pan的特征提取网络相似，由于步骤3中使用了通道和像素注意力的方法。为了在特征提取过程中尽可能地保有局部信息，在本实施例中使用的是4层特征提取。将resnet50的四个特征输出块的特征拼接在一起，最后通过1*1的卷积核将特征还原到原始大小。再经过特征金字塔对特征进行拼接和还原，得到了最终的图像特征。
24.由于特征提取是对图像进行逐步抽象的过程，在特征提取过程尽可能地保留图像的局部信息，对于无人机这样的小目标检测具有十分明显的提升作用。为了在特征提取过程中尽可能地保有局部信息，将resnet50的四个特征输出块的特征拼接在一起，最后通过1*1的卷积核将特征还原到原始大小。再经过特征金字塔对特征进行拼接和还原，得到了最终的图像特征。
25.步骤3：将步骤3中的图像特征输入到注意力机制模块网络中。
26.对于步骤3中使用的通道注意力和像素注意力机制模块，使用通道注意力机制来给图像特征某些通道赋予更加大的权重，此方法通过卷积特征图的多维通道向量来实现。
像素注意力机制表现为，赋予目标无人机出现的位置更大的权重，而没有无人机出现的位置则反之。该模块具体结构如图2所示。
27.步骤4：网络训练阶段，使用标注的groundtruth和最终网络输出来计算训练损失，之后依次更新网络权重；如果是检测阶段，则直接输出无人机检测结果。
28.对于步骤4中的神经网络训练过程或检测过程，有如下执行细节。在训练过程中，将注意力模块的输出经过mlp输出检测结果，即边界框(bounding box)和相应的分类置信度，通过与地面实况(ground truth)比较计算本次网络迭代的loss(loss计算为focal loss和distance-iou loss加权求和)。得到loss后，通过梯度反向传播，更新网络参数，完成一次神经网络的迭代。而在检测过程中，mlp的输出结果bounding box和分类置信度即对子图像的检测结果。之后将属于原图像的9张子图像的检测结果合并，完成一次完整的检测过程。
29.上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。


技术特征：
1.一种基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，包括如下步骤：s1：将待检测的高分辨率图像分割为合理的子图像块数量，并根据图像中无人机的大小设置合理的重叠像素值；s2：将分割后的多个子图像块输入值经过调整后的resent50特征提取网络内，并经过特征金字塔池化操作得到不同大小的多个图像特征；s3：将多个不同大小的图像特征输入至注意力机制模块网络内；s4：基于所述注意力机制模块的输出结果完成神经网络训练和检测。2.根据权利要求1所述的基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，所述s1中，选用公开的无人机数据集作为神经网络训练集，所述待检测的高分辨率图像通过所述神经网络训练集中的视频采集得到，采集的频率为：每五帧取一帧。3.根据权利要求1所述的基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，所述s1中，将待检测的高分辨率图像分割为9块带有重叠的子图像块，9块带有重叠的子图像块中，重叠区域的重叠像素值为20像素。4.根据权利要求1所述的基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，所述s2中，通过设置resent50特征提取网络和特征金字塔为4层特征提取，实现保留更多的图像的特征，具体为：针对每个子图像块，通过resent50的四个特征输出块的特征进行拼接，再通过1*1的卷积核将拼接后的4个特征输出块还原至原始大小，然后经过特征金字塔进行拼接和还原，得到最终的不同大小的多个图像特征。5.根据权利要求1所述的基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，所述s3中，所述注意力机制网络包括通道注意力机制模块和像素注意力机制模块，所述通道注意力机制模块用于给图像特征部分通道赋予更大的权重，通过卷积特征图的多维通道向量实现；所述像素注意力机制模块表现为：对于目标无人机出现的位置增加权重，对于没有无人机出现的位置减少权重。6.根据权利要求1所述的基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，所述s4中，针对每个子图像块，将所述注意力机制模块的输出通过mlp输出即为每个子图像块的检测结果，而将原图像的多个子图像块的检测结果进行合并，即完成一次完整的检测过程。7.根据权利要求6所述的基于像素和通道注意力的检测空中小型无人机的方法，其特征在于，所述s4中，所述检测结果为每个子图像块的分界框和相应的分类置信度，将检测结果与地面实况相比，通过focal loss和distance-iou loss计算得到本次网络迭代的loss，依据loss最小化原则进行梯度的反向传播，并更新网络参数，实现完整的一次神经网络训练过程。

技术总结
本发明提供一种基于像素和通道注意力的检测空中小型无人机的方法，属于图像检测领域，用于监控空中小型无人机。该方法包含如下步骤：待检测的高分辨率无人机图像分割为9块带有重叠的图像块，将分割后的图像输入到调整后的ResNet特征提取网络模块中，得到图像的抽象后的特征。之后特征经过特征金字塔池化操作得到不同大小的图像特征，图像特征输入到注意力机制模块网络中，使用标注的Ground Truth和最终网络输出来计算训练损失，之后依次更新网络权重，完成网络训练。小型无人机具有尺寸小、形状多变和易被遮挡等特点，而本发明提出的方法不同于常规的图像检测方法，其能够有效地从复杂的背景中检测到目标无人机。复杂的背景中检测到目标无人机。复杂的背景中检测到目标无人机。


技术研发人员：尤鸣宇 熊攀 周洪钧
受保护的技术使用者：同济大学
技术研发日：2023.08.02
技术公布日：2023/9/20