一种基于改进DCN的舰船目标检测方法

一种基于改进dcn的舰船目标检测方法
技术领域
1.本发明属于舰船目标检测领域，涉及遥感图像有向目标检测技术，具体涉及一种基于改进dcn的舰船目标检测方法。


背景技术：

2.近年来，随着光学成像和遥感技术的快速发展，可见光遥感图像的空间分辨率和成像质量均大幅提高，为海洋遥感领域研究提供了丰富的数据资源。舰船目标检测任务可广泛应用在海洋管理、军事侦察等领域，因此受到越来越多的关注。
3.由于cnn能够有效地对遥感图像中的光谱和空间信息进行深度表达，基于cnn的目标检测技术成为当前的主流技术。当前主流的方法是将遥感图像目标检测视为有向目标定位问题，到目前为止，已经出现了很多基于角度回归的高精度cnn模型。然而，与自然场景图像相比，遥感图像具有目标方向任意和目标分布不均匀的特点。现有的舰船目标检测方法存在两个普遍的问题：
4.(1)遥感图像舰船目标方向任意且目标长宽比变化大，有向锚框对舰船目标角度变化和长宽比变化适应性差，有限的预定义锚框难以完全覆盖感兴趣区域。
5.(2)遥感图像目标密集分布，由于密集排列的目标区域有大量特征相似、位置重叠的锚框，这些锚框造成特征混叠，从而导致虚警，或者被非极大抑制算法(non-maximum suppression，nms)排除，加剧正负样本不平衡，导致漏检。


技术实现要素：

6.发明目的：为了克服现有技术中存在的不足，本发明提供一种基于改进dcn的舰船目标检测方法，该方法采用点集来映射目标检测框，相比有向锚框更适合方向任意、长宽比变化大、密集排列的舰船目标检测场景。
7.技术方案：为实现上述目的，本发明提供一种基于改进dcn的舰船目标检测方法，包括如下步骤：
8.步骤1：选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；
9.步骤2：对步骤1的输入图像进行预处理，并划分为训练集、验证集、测试集；
10.步骤3：将步骤2的训练集输入到改进的dcn模型进行训练；
11.步骤4：将测试集输入训练好的改进dcn模型，利用训练好的改进dcn模型对遥感图像进行检测，得到有向边界框，检测到舰船目标。
12.进一步地，所述步骤3中改进的dcn模型的训练操作包括：
13.步骤3.1：将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；
14.步骤3.2：将步骤3.1提取的特征c2-c5输入spp-fpn模块进行特征细化得到特征图；
15.步骤3.3：根据特征图执行定位任务；
16.步骤3.4：根据特征图执行分类任务。
17.进一步地，所述步骤3.2中，spp-fpn模块具体工作流程包括：将主干网络最深层输出c5经过spp模块得到m5，将m5上采样与c4做横向连接得到的结果进行元素求和得到m4，将m4上采样与c3做横向连接得到的结果进行元素求和得到m3，依次类推得到m2-m5，将m2-m5分别经过3
×
3卷积得到改进的fpn输出p2-p5。
18.进一步地，所述spp模块实现局部特征与全局特征之间的融合，使用不同尺寸的池化对特征图进行处理，最后进行拼接得到输出结果。
19.进一步地，所述步骤3.3中，定位任务分为两个阶段：第一阶段为初采样阶段，将特征图输入到dcn-head得到偏移量，通过转换函数生成伪框计算点集损失，将gt中心点映射到特征图的点标记为正样本；第二阶段为细化阶段，将第一阶段与gt的iou大于0.5的样本再通过自适应点分配模块apam筛选，选择质量分数前k个样本进行细化，计算损失定位目标。
20.进一步地，所述步骤3.4中，分类任务是单阶段的：将特征图输入到dcn-head得到偏移量，通过转换函数生成伪框，与gt的iou大于0.5的伪框作为正样本再进行分类。
21.进一步地，所述步骤3.3中的自适应点分配模块apam，对于初采样阶段的正样本从分类质量、定位质量、定向质量和逐点相关性四个方面来衡量点集框质量的好坏，然后按照质量分数对其进行排序，通过一个采样率选择质量分数前k个样本作为正样本进行细化，充分利用了点集所表示的信息。
22.进一步地，所述步骤3.3中自适应点分配模块apam的样本分配方法包括如下步骤：
23.a1：定义了一个质量衡量方案q来从四个方面评估自适应点集质量，包括分类质量q
cls
、定位质量q
loc
、定向质量q
ori
、逐点相关性质量q
poc
；q函数被定义如下：
24.q＝q
cls
+λ1q
loc
+λ2q
ori
+λ3q
poc
ꢀꢀꢀꢀꢀꢀ
(1)
25.其中，λ1、λ2、λ3用于平衡权重；
26.a2：表示真实类别，表示分类置信度；q
cls
的定义如下：
[0027][0028]
a3：表示真实位置，表示预测位置；q
loc
定义如下：
[0029][0030]
a4：采用chamfer表示定向质量，点集rv(默认为40个点)为取样点，点集rg为gt角点；q
ori
的定义如下：
[0031][0032]
a5：e
i，k
表示第i组自适应点的第k点特征向量，ei表示第i组特征向量的平均特征，用和分别表示进行规范化之后的特征向量，定义如下：
[0033][0034][0035]
第i个点集的q
poc
用于描述点集的特征多样性，定义如下：
[0036][0037]
a6：按照质量分数选取前k个样本作为正样本。
[0038]
进一步地，所述步骤3.4中，点集学习模块dcn-head的学习方法为：
[0039]
b1：dcn-head包含两个阶段，初采样阶段通过细化目标中心点生成自适应点集；细化阶段通过如下最小化损失函数来进一步进行精确的调整，损失函数定义如下：
[0040]
l＝l
cls
+μ1l
s1
+μ2l
s2
ꢀꢀꢀꢀꢀꢀꢀ
(8)
[0041]
其中，μ1和μ2是为了平衡权重；
[0042]
b2：表示基于类别置信度，表示真实类别，f
cls
表示focal loss，n
cls
代表点集总数；目标分类损失l
cls
定义如下：
[0043][0044]
b3：l
s1
和l
s2
分别代表初采样阶段和细化阶段的空间定位损失；对于每一个阶段，ls可以表示成如下：
[0045]
ls＝l
loc
+l
s.c.
ꢀꢀꢀꢀꢀꢀꢀ
(10)
[0046]
其中，l
loc
是基于定向转换边界框的定位损失，l
s.c.
表示空间约束损失；
[0047]
b4：用n
loc
表示正点集样本的总数，表示真实位置，f
loc
表示面向有向多边形的giou；l
loc
可以被定义如下：
[0048][0049]
b5：引入空间约束，用p
ij
表示惩罚函数，na表示每个目标分配的正点集样本数，no表示每个点集中gt之外的点个数；每个样本点的空间损失l
s.c.
的定义如下：
[0050][0051]
用pc表示真实边界框的几何中心，po表示预测框之外的学习点，则惩罚函数定义如下：
[0052][0053]
b6：计算两阶段定位损失，反向传播，优化定位结果。
[0054]
进一步地，所述舰船目标检测方法的训练模型的实验配置包括基于mmrotate框架，实验环境为python3.8，pytorch1.7.0，torchvision0.7.0，batchsize为2，学习率初始值设置为0.001，最大训练epoch数为12，在迭代到第9和11个epoch后学习率分别下降到1
×
10-4
和1
×
10-5
。
[0055]
进一步地，所述舰船目标检测方法的训练模型的实验硬件设备为core
tm
i9-11900x cpu，nvidia rtx3090显卡。
[0056]
进一步地，将输入图像的尺寸调整为1024
×
1024像素，以数据集各类目标的精度ap和全类目标平均精度map作为实验的衡量指标。
[0057]
有益效果：本发明与现有技术相比，使用了不同于现有技术中的点集表示法来定
义有向边界框，采用dcn-head获取点集偏移量，并且使用自适应点分配模块(apam)进行正样本的筛选，此外引入spp模块实现局部特征与全局特征之间的融合，进一步增强分类和定位的相关性，保证了高质量样本的获取，实现了目标轮廓的高精度捕捉，可以更准确地对遥感图像中的舰船目标进行分类和定位，有效提升了舰船目标检测的准确率。
附图说明
[0058]
图1为本发明整个网络框架的流程图。
[0059]
图2为本发明中spp-fpn的结构图。
[0060]
图3为本发明涉及到的spp模块结构图。
[0061]
图4为本发明涉及到的dcn模块结构图。
[0062]
图5为本发明中apam模块的结构图。
[0063]
图6为本发明中dcn-head的结构图。
[0064]
图7为本发明获得的舰船目标检测结果示意图。
具体实施方式
[0065]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0066]
本发明提供一种基于改进dcn的舰船目标检测方法，如图1所示，其包括如下步骤：
[0067]
步骤1，输入图像：
[0068]
选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；
[0069]
步骤2，图像预处理：
[0070]
将每张图片调整到固定的1024
×
1024尺寸；对固定尺寸图片进行归一化处理，并按5∶2∶3划分为训练集、验证集、测试集；
[0071]
步骤3，输入网络模型进行训练：将步骤2的训练集输入到改进的dcn模型进行训练；
[0072]
步骤4，输入测试集，输出检测结果：
[0073]
利用训练好的改进dcn模型对遥感图像进行检测，得到精确的有向边界框；
[0074]
步骤3中训练改进的dcn模型操作包括：将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；将提取的特征输入spp-fpn模块进行特征融合得到特征图，其中，spp-fpn模块将主干网络最深层输出c5经过spp模块得到m5。
[0075]
步骤3的具体操作包括：
[0076]
步骤3.1：将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；
[0077]
步骤3.2：将提取的特征c2-c5输入spp-fpn模块进行特征细化得到特征图；
[0078]
步骤3.3：执行定位任务
[0079]
定位任务分为两个阶段，具体为：将特征图输入到dcn-head中，第一阶段为初采样阶段，将gt中心点映射到特征图的点标记为正样本；第二阶段为细化阶段，选择自适应点分
配模块(apam)评估质量分数前k个样本进行细化损失，精确定位；
[0080]
步骤3.4：执行分类任务
[0081]
分类任务是单阶段的，具体为：将特征图输入到dcn-head得到偏移量，通过转换函数生成伪框，与gt的iou大于0.5的伪框作为正样本再进行分类。
[0082]
步骤3.2中，参照图2所示，spp-fpn模块具体工作流程包括：将主干网络最深层输出c5经过spp模块得到m5，将m5上采样与c4做横向连接得到的结果进行元素求和得到m4，将m4上采样与c3做横向连接得到的结果进行元素求和得到m3，依次类推得到m2-m5，将m2-m5分别经过3
×
3卷积得到改进的fpn输出p2-p5。
[0083]
如图3所示，spp模块实现局部特征与全局特征之间的融合，使用不同尺寸的池化对特征图进行处理，最后进行拼接得到输出结果。
[0084]
步骤3.3中的两个阶段定位任务。第一阶段为初采样阶段，将特征图输入到dcn-head得到偏移量，偏移量学习过程如图4所示，通过转换函数生成伪框计算点集损失，将gt中心点映射到特征图的点标记为正样本；第二阶段为细化阶段，将第一阶段与gt的iou大于0.5的样本再通过自适应点分配模块(apam)筛选，选择质量分数前k个样本进行细化。
[0085]
步骤3.3中的apam模块的结构图如图5所示，具体的样本分配方法为：
[0086]
a1：定义了一个质量衡量方案q来从四个方面评估自适应点集质量，包括分类质量q
cls
、定位质量q
loc
、定向质量q
ori
、逐点相关性质量q
poc
。q函数可以被定义如下：
[0087]
q＝q
cls
+λ1q
loc
+λ2q
ori
+λ3q
poc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0088]
其中，λ1、λ2、λ3用于平衡权重。
[0089]
a2：表示真实类别，表示分类置信度。q
cls
的定义如下：
[0090][0091]
a3：表示真实位置，表示预测位置。q
loc
定义如下：
[0092][0093]
a4：采用chamfer表示定向质量，点集rv(默认为40个点)为取样点，点集rg为gt角点。q
ori
的定义如下：
[0094][0095]
a5：e
i，k
表示第i组自适应点的第k点特征向量，ei表示第i组特征向量的平均特征，用和分别表示进行规范化之后的特征向量，定义如下：
[0096][0097][0098]
第i个点集的q
poc
用于描述点集的特征多样性，定义如下：
[0099][0100]
a6：按照质量分数选取前k个样本作为正样本。
[0101]
步骤3.3中点集学习模块dcn-head结构图如图6所示，具体的学习方法为：
[0102]
b1：dcn-head包含两个阶段，初采样阶段通过细化目标中心点生成自适应点集。细化阶段通过如下最小化损失函数来进一步进行精确的调整，损失函数定义如下：
[0103]
l＝l
cls
+μ
l
l
s1
+μ2l
s2
ꢀꢀꢀꢀꢀꢀ
(8)
[0104]
其中，μ1和μ2是为了平衡权重。
[0105]
b2：表示基于类别置信度，表示真实类别，f
cls
表示focal loss，n
cls
代表点集总数。目标分类损失l
cls
定义如下：
[0106][0107]
b3：l
s1
和l
s2
分别代表初采样阶段和细化阶段的空间定位损失。对于每一个阶段，ls可以表示成如下：
[0108]
ls＝l
loc
+l
s.c.
ꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0109]
其中，l
loc
是基于定向转换边界框的定位损失，l
s.c.
表示空间约束损失。
[0110]
b4：用n
loc
表示正点集样本的总数，表示真实位置，f
loc
表示面向有向多边形的giou。l
loc
可以被定义如下：
[0111][0112]
b5：引入空间约束，用p
ij
表示惩罚函数，na表示每个目标分配的正点集样本数，no表示每个点集中gt之外的点个数。每个样本点的空间损失l
s.c.
的定义如下：
[0113][0114]
用pc表示真实边界框的几何中心，po表示预测框之外的学习点，则惩罚函数定义如下：
[0115][0116]
b6：计算两阶段定位损失，反向传播，优化定位结果。
[0117]
为了验证本发明方法的有效性，本实施例中将上述方案进行实例应用，具体如下：
[0118]
本实施例舰船目标检测方法的训练模型的实验配置包括基于mmrotate框架，实验环境为python3.8，pytorchl.7.0，torchvision0.7.0，batchsize为2，学习率初始值设置为0.001，最大训练epoch数为12，在迭代到第9和11个epoch后学习率分别下降到1
×
10-4
和1
×
10-5
。
[0119]
本实施例舰船目标检测方法的训练模型的实验硬件设备为core
tm
i9-11900x cpu，nvidia rtx3090显卡。
[0120]
本实施例将输入图像的尺寸调整为1024
×
1024像素，以数据集各类目标的精度ap和全类目标平均精度map作为实验的衡量指标。
[0121]
最终获取到如图7所示的舰船目标检测结果图像。
[0122]
根据以上实例可知，针对方向任意、长宽比变化大、密集排列的舰船目标检测场景，本发明使用了不同于现有技术中的点集表示法来定义有向边界框，采用dcn-head获取点集偏移量，并且使用自适应点分配模块(apam)进行正样本的筛选，此外引入spp模块实现局部特征与全局特征之间的融合，进一步增强分类和定位的相关性，保证了高质量样本的
获取，实现了目标轮廓的高精度捕捉，并且网络检测速度快，模型泛化能力强。

技术特征：
1.一种基于改进dcn的舰船目标检测方法，其特征在于，包括如下步骤：步骤1：选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；步骤2：对步骤1的输入图像进行预处理，并划分为训练集、验证集、测试集；步骤3：将步骤2的训练集输入到改进的dcn模型进行训练；步骤4：将测试集输入训练好的改进dcn模型，利用训练好的改进dcn模型对遥感图像进行检测，得到有向边界框，检测到舰船目标。2.根据权利要求1所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3中改进的dcn模型的训练操作包括：步骤3.1：将训练集输入到主干网络resnets0进行特征提取，得到不同尺寸的特征c2-c5；步骤3.2：将步骤3.1提取的特征c2-c5输入spp-fpn模块进行特征细化得到特征图；步骤3.3：根据特征图执行定位任务；步骤3.4：根据特征图执行分类任务。3.根据权利要求2所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3.2中，spp-fpn模块具体工作流程包括：将主干网络最深层输出c5经过spp模块得到m5，将m5上采样与c4做横向连接得到的结果进行元素求和得到m4，将m4上采样与c3做横向连接得到的结果进行元素求和得到m3，依次类推得到m2-m5，将m2-m5分别经过3
×
3卷积得到改进的fpn输出p2-p5。4.根据权利要求3所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述spp模块实现局部特征与全局特征之间的融合，使用不同尺寸的池化对特征图进行处理，最后进行拼接得到输出结果。5.根据权利要求2所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3.3中，定位任务分为两个阶段：第一阶段为初采样阶段，将特征图输入到dcn-head得到偏移量，通过转换函数生成伪框计算点集损失，将gt中心点映射到特征图的点标记为正样本；第二阶段为细化阶段，将第一阶段与gt的iou大于0.5的样本再通过自适应点分配模块apam筛选，选择质量分数前k个样本进行细化，计算损失定位目标。6.根据权利要求2所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3.4中，分类任务是单阶段的：将特征图输入到dcn-head得到偏移量，通过转换函数生成伪框，与gt的iou大于0.5的伪框作为正样本再进行分类。7.根据权利要求5所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3.3中的自适应点分配模块apam，对于初采样阶段的正样本从分类质量、定位质量、定向质量和逐点相关性四个方面来衡量点集框质量的好坏，然后按照质量分数对其进行排序，通过一个采样率选择质量分数前k个样本作为正样本进行细化，充分利用了点集所表示的信息。8.根据权利要求7所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3.3中自适应点分配模块apam的样本分配方法包括如下步骤：a1：定义了一个质量衡量方案q来从四个方面评估自适应点集质量，包括分类质量q
cls
、定位质量q
loc
、定向质量q
ori
、逐点相关性质量q
poc
；q函数被定义如下：
q＝q
cls
+λ1q
loc
+λ2q
ori
+λ3q
poc
ꢀꢀꢀꢀ
(1)其中，λ1、λ2、λ3用于平衡权重；a2：表示真实类别，表示分类置信度；q
cls
的定义如下：a3：表示真实位置，表示预测位置；q
loc
定义如下：a4：采用chamfer表示定向质量，点集r
v
为取样点，点集r
g
为gt角点；q
ori
的定义如下：a5：e
i，k
表示第i组自适应点的第k点特征向量，e
i
表示第i组特征向量的平均特征，用和分别表示进行规范化之后的特征向量，定义如下：分别表示进行规范化之后的特征向量，定义如下：第i个点集的q
poc
用于描述点集的特征多样性，定义如下：a6：按照质量分数选取前k个样本作为正样本。9.根据权利要求6所述的一种基于改进dcn的舰船目标检测方法，其特征在于，所述步骤3.4中，点集学习模块dcn-head的学习方法为：b1：dcn-head包含两个阶段，初采样阶段通过细化目标中心点生成自适应点集；细化阶段通过如下最小化损失函数来进一步进行精确的调整，损失函数定义如下：l＝l
cls
+μ1l
s1
+μ2l
s2
ꢀꢀꢀꢀ
(8)其中，μ1和μ2是为了平衡权重；b2：表示基于类别置信度，表示真实类别，f
cls
表示focal loss，n
cls
代表点集总数；目标分类损失l
cls
定义如下：b3：l
s1
和l
s2
分别代表初采样阶段和细化阶段的空间定位损失；对于每一个阶段，l
s
可以表示成如下：l
s
＝l
loc
+l
s.c.
ꢀꢀꢀꢀ
(10)其中，l
loc
是基于定向转换边界框的定位损失，l
s.c.
表示空间约束损失；b4：用n
loc
表示正点集样本的总数，表示真实位置，f
loc
表示面向有向多边形的giou；l
loc
可以被定义如下：
b5：引入空间约束，用p
ij
表示惩罚函数，n
a
表示每个目标分配的正点集样本数，n
o
表示每个点集中gt之外的点个数；每个样本点的空间损失l
s.c.
的定义如下：用p
c
表示真实边界框的几何中心，p
o
表示预测框之外的学习点，则惩罚函数定义如下：b6：计算两阶段定位损失，反向传播，优化定位结果。

技术总结
本发明公开了一种基于改进DCN的舰船目标检测方法，包括：选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；对输入图像进行预处理，并划分为训练集、验证集、测试集；将训练集输入到改进的DCN模型进行训练；将测试集输入训练好的改进DCN模型，对遥感图像进行检测，得到有向边界框，检测到舰船目标；本发明采用DCN获取点集偏移量，并且使用自适应点分配模块APAM进行正样本的筛选，引入SPP模块实现局部特征与全局特征之间的融合，进一步增强分类和定位的相关性，保证了高质量样本的获取，实现了目标轮廓的高精度捕捉，可以更准确地对遥感图像中的舰船目标进行分类和定位。船目标进行分类和定位。船目标进行分类和定位。


技术研发人员：王龙宝 沈义灿 徐淑芳 徐荟华 毛莺池 高红民 张雪洁 储洪强
受保护的技术使用者：河海大学
技术研发日：2023.06.13
技术公布日：2023/9/14