一种基于深度学习的低分辨率图像目标检测方法与流程

1.本发明属于计算机视觉领域，具体涉及一种基于深度学习的低分辨率图像目标检测方法。


背景技术：

2.基于卷积神经网络的目标检测方法在经典的公共数据集上已经实现了优越的性能。这些目标检测方法主要归为两类，一类是以rcnn系列算法为代表的两阶段目标检测方法，另一类是以yolo系列算法为代表的单阶段目标检测方法。这些目标检测方法通常是在高分辨率图像上进行训练和优化，对于低分辨率图像的目标检测，其性能将会出现较大的下降。
3.现有的低分辨率图像目标检测方法主要是先采用基于深度学习的图像超分辨率重建方法提高低分辨率图像的分辨率，然后将增强后的图像输入到现成的检测网络中，进而改善低分辨率图像目标检测准确率。由于这些图像超分辨率重建方法通常仅采用像素级损失函数来训练模型，导致模型没有很好学习到目标检测所关注的结构化特征，从而无法有效提升后续检测网络的准确率。此外，大多数图像超分辨率重建方法通常用于处理仅因单种降质因素得到的低分辨率图像。因此，这些方法很难应对实际场景中因复杂降质因素得到的低分辨率图像，进而给后续的目标检测阶段带来挑战。


技术实现要素：

4.本发明充分考虑了现有技术存在的缺点，其目的在于提供一种基于深度学习的低分辨率图像目标检测方法，能应对不同降质情况下的低分辨率图像目标检测，并获得较高的准确率。
5.一、技术原理
6.本发明构建一种基于深度学习的低分辨率图像目标检测模型，其通过级联图像增强网络和目标检测网络，并以端到端学习的方式进行联合优化，提高低分辨率图像目标检测的准确率。在该模型中，本发明设计一种任务分解增强网络来将总的图像增强任务拆分为图像复原子任务和分辨率增强子任务。这两个子任务分别由任务分解增强网络中的图像复原支路和分辨率增强支路执行。此外，在任务分解增强网络中引入一种共享特征提取器来有效利用这两个子任务的相关性，以更好地学习图像中的结构化特征。通过依次执行这两个子任务，可以逐步增强低分辨率图像的质量。
7.二、根据上述原理，本发明通过以下方案实现：
8.一种基于深度学习的低分辨率图像目标检测方法，包括以下步骤：
9.(1)获取高分辨率图像目标检测训练数据集：从公共数据库中获取原始高分辨率图像和对应的检测标签。
10.(2)创建低分辨率图像目标检测训练数据集：采用降质模型对步骤(1)得到的高分辨率训练数据集中的每幅高分辨率图像进行降质，得到对应的低分辨图像，将这些一一对
应的由高、低分辨率图像组成的图像对集合和这些图像对所对应的检测标签作为低分辨率图像目标检测训练数据集。
11.(3)构建低分辨率图像目标检测模型：该模型由任务分解增强网络和检测网络构成，具体的构建过程包括以下步骤：
12.(3-a)构建任务分解增强网络：该网络由图像复原支路、分辨率增强支路构成；图像复原支路和分辨率增强支路分别构建如下：
13.(3-a-1)构建图像复原支路：该支路由共享特征提取器1、卷积层1和逐像素相加操作构成；输入图像i
l
依次经过共享特征提取器1、卷积层1后，得到的结果与i
l
进行逐像素相加，得到中间复原图像ii，完成图像复原支路的构建。
14.(3-a-2)构建分辨率增强支路：该支路由共享特征提取器2、双线性插值操作1、双线性插值操作2、像素洗牌层和逐像素相加操作构成；将步骤(3-a-1)得到的中间复原图像ii输入到共享特征提取器2，得到的结果经双线性插值操作1处理后，得到中间特征图xe；将xe输入到像素洗牌层，得到的结果与ii经双线性插值操作2处理后的结果进行逐像素相加，得到增强图像is，完成分辨率增强支路的构建。
15.所述共享特征提取器1和共享特征提取器2具有相同的结构，都由卷积层2、残差单元1、残差单元2构成；共享特征提取器的输入依次经过卷积层2、残差单元1、残差单元2，得到共享特征提取器的输出。
16.(3-b)构建检测网络：该网络由骨干模块、颈部模块、头部模块构成；步骤(3-a-2)中的增强图像is依次经过骨干模块、颈部模块、头部模块，得到目标检测结果。
17.(4)构建损失函数：
18.构建以下联合损失函数：
19.l＝l
ir
+l
re
+l
det
[0020][0021][0022]
其中l
ir
表示图像复原损失函数，l
re
表示分辨率增强损失函数，l
det
表示检测损失函数；表示第i幅高分辨率图像，表示将所对应的低分辨率图像输入到步骤(3-a-1)所述图像复原支路后得到的中间复原图像；表示将输入到步骤(3-a-2)所述分辨率增强支路后，得到的增强图像；b(
·
)为双三次插值函数；n为正整数，表示训练图像的批量大小，且n∈[1,64]；‖
·
‖1表示l1范数。
[0023]
(5)训练模型：利用步骤(2)得到的低分辨率图像目标检测训练数据集训练步骤(3)构建完成的低分辨率图像目标检测模型，根据步骤(4)构建的损失函数得到损失值，并使用adam优化器更新模型参数，直到损失不再下降，得到训练好的模型。
[0024]
(6)低分辨率图像目标检测：用步骤(5)中训练好的低分辨率图像目标检测模型对测试集中的低分辨率图像进行目标检测，得到最终检测结果。
[0025]
步骤(3-b)中的骨干模块采用的是resnet18。
[0026]
步骤(3-b)中的颈部模块采用的是centernet算法原有的颈部模块。
[0027]
步骤(3-b)中的头部模块采用的是centernet算法原有的头部模块。
[0028]
步骤(3)中的残差单元1和残差单元2具有相同的结构，都由卷积层3、relu层、卷积层4和逐像素相加操作构成；残差单元的输入特征图依次经过卷积层3、relu层和卷积层4后，得到的结果再与该残差单元的输入特征图逐像素相加，得到残差单元的输出。
[0029]
步骤(4)中的n优选为16。
[0030]
步骤(4)中的检测损失函数采用centernet算法原有的检测损失函数。
[0031]
本发明具有如下优点：
[0032]
第一，本发明构建了一种有效的低分辨率图像目标检测模型，该模型通过级联图像增强网络和检测网络，以端到端学习的方式进行联合优化，从而提升目标检测的准确率。
[0033]
第二，本发明构建的任务分解增强网络通过拆分总的增强任务为图像复原子任务和分辨率增强子任务，并按顺序执行这两个子任务，从而逐步增强低分辨率图像的质量。
[0034]
第三，本发明引入一种共享特征提取器来有效利用图像复原子任务和分辨率增强子任务的相关性，从而提升特征的表达能力。
附图说明
[0035]
图1本发明实施方式的基于深度学习的低分辨率图像目标检测方法流程图；
[0036]
图2本发明实施方式的低分辨率图像目标检测模型网络结构图；
[0037]
图3本发明实施方式的残差单元结构图；
[0038]
图4本发明实施方式和其他方法目标检测结果对比图；
[0039]
图5本发明实施方式和其他方法目标检测结果对比图。
具体实施方式
[0040]
下面说明本发明具体实施方式：
[0041]
实施例1
[0042]
图1所示为本发明实施方式的基于深度学习的低分辨率图像目标检测方法流程图，具体步骤如下：
[0043]
步骤1，获取高分辨率图像目标检测训练数据集
[0044]
从公共数据库中获取原始高分辨率图像和对应的检测标签。
[0045]
步骤2，创建低分辨率图像目标检测训练数据集
[0046]
采用降质模型对步骤(1)得到的高分辨率训练数据集中的每幅高分辨率图像进行降质，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像组成的图像对集合和这些图像对所对应的检测标签作为低分辨率图像目标检测训练数据集。
[0047]
步骤3，构建低分辨率图像目标检测模型
[0048]
图2所示为本发明实施方式的低分辨率图像目标检测模型网络结构图，该模型由任务分解增强网络和检测网络构成，具体的构建过程包括以下步骤：
[0049]
(3-a)构建任务分解增强网络：该网络由图像复原支路、分辨率增强支路构成；图像复原支路和分辨率增强支路分别构建如下：
[0050]
(3-a-1)构建图像复原支路：该支路由共享特征提取器1、卷积层1和逐像素相加操作构成；大小为256
×
256
×
3的输入图像i
l
依次经过共享特征提取器1、卷积核为3
×
3的卷
积层1后，得到的结果与i
l
进行逐像素相加，得到大小为256
×
256
×
3的中间复原图像ii，完成图像复原支路的构建。
[0051]
(3-a-2)构建分辨率增强支路：该支路由共享特征提取器2、双线性插值操作1、双线性插值操作2、像素洗牌层和逐像素相加操作构成；将步骤(3-a-1)得到的大小为256
×
256
×
3的中间复原图像ii输入到共享特征提取器2，得到的结果经双线性插值操作1处理后，得到大小为128
×
128
×
48的中间特征图xe；将xe输入到像素洗牌层，得到的结果与ii经双线性插值操作2处理后的结果进行逐像素相加，得到大小为512
×
512
×
3的增强图像is，完成分辨率增强支路的构建。
[0052]
所述共享特征提取器1和共享特征提取器2具有相同的结构，都由卷积层2、残差单元1、残差单元2构成；共享特征提取器的大小为256
×
256
×
3的输入依次经过卷积核为3
×
3的卷积层2、残差单元1、残差单元2，得到共享特征提取器大小为256
×
256
×
48的输出。
[0053]
(3-b)构建检测网络：该网络由骨干模块、颈部模块、头部模块构成；步骤(3-a-2)中大小为512
×
512
×
3的增强图像is依次经过骨干模块、颈部模块、头部模块，得到目标检测结果；本实施例骨干模块为resnet18，颈部模块和头部模块分别为centernet算法原有的颈部模块和头部模块。
[0054]
图3所示为本发明实施方式的残差单元结构图，其作用是提取深度特征。残差单元1和残差单元2具有相同的结构，都由卷积层3、relu层、卷积层4和逐像素相加操作构成；残差单元的输入特征图依次经过卷积核为3
×
3的卷积层3、relu层和卷积核为3
×
3的卷积层4后，得到的结果再与该残差单元的输入特征图逐像素相加，得到残差单元的输出。
[0055]
步骤4，构建损失函数
[0056]
构建以下联合损失函数：
[0057]
l＝l
ir
+l
re
+l
det
[0058][0059][0060]
其中l
ir
表示图像复原损失函数，l
re
表示分辨率增强损失函数，l
det
表示检测损失函数；表示第i幅高分辨率图像，表示将所对应的低分辨率图像输入到步骤(3-a-1)所述图像复原支路后得到的中间复原图像；表示将输入到步骤(3-a-2)所述分辨率增强支路后，得到的增强图像；b(
·
)为双三次插值函数；n为正整数，表示训练图像的批量大小，且n∈[1,64]；‖
·
‖1表示l1范数；本实例优选n为16，检测损失函数为centernet算法原有的检测损失函数。
[0061]
步骤5，训练模型
[0062]
利用步骤(2)得到的低分辨率图像目标检测训练数据集训练步骤(3)构建完成的低分辨率图像目标检测模型，根据步骤(4)构建的损失函数得到损失值，并使用adam优化器更新模型参数，直到损失不再下降，得到训练好的模型。
[0063]
步骤6，低分辨率图像目标检测
[0064]
用步骤(5)中训练好的低分辨率图像目标检测模型对测试集中的低分辨率图像进
行目标检测，得到最终检测结果。
[0065]
实施例2
[0066]
采用实施例1中的方法对由公开数据集pscal voc val2007降质后得到的voc-d数据集中的低分辨率图像进行目标检测实验。本实验的计算机环境：操作系统为linux ubuntu 18.04版本，一块nvidia 1080ti 11g gpu，软件平台为pytorch。
[0067]
在本实施例中，采用平均精确度均值(map)来评估不同方法的检测性能。所比较的方法包括rlfn、dssr、scunet、以及aeris。不同方法在voc-d数据集上的map值如表1所示，从表1中可以发现，相较于其他方法，本发明在各个评估指标都获得了最高值。
[0068]
图4所示为本发明实施方式和其他方法目标检测结果对比图。图4中第一行从左到右分别为高分辨率图像、对应的低分辨率图像和rlfn得到的目标检测结果；第二行从左到右分别为dssr、scunet、aeris和本发明分别得到的目标检测结果。从图4中可以看到，相比其他方法，本发明能取得更好的检测效果。以图4中的牛为例，本发明能检测出更多的牛。这结果表明本发明通过应用任务分解增强网络能有效提升低分辨率图像目标检测模型的检测准确率。
[0069]
表1
[0070][0071]
实施例3
[0072]
采用实施例1中的方法对由公开数据集coco降质后得到的coco-d数据集中的低分辨率图像进行目标检测实验。本实验的计算机环境：操作系统为linux ubuntu 18.04版本，一块nvidia 1080ti 11g gpu，软件平台为pytorch。
[0073]
在本实施例中，采用平均精确度均值(map)来评估不同方法的检测性能。所比较的方法包括rlfn、dssr、scunet、以及aeris。aps、apm和ap
l
分别表示在小目标、中目标和大目标上的精确度均值(ap)。不同方法在coco-d数据集上的map值如表2所示，从表2中可以发现，相较于其他方法，本发明在各个评估指标都获得了最高值。
[0074]
图5所示为本发明实施方式和其他方法目标检测结果对比图。图5中第一行从左到右分别为高分辨率图像、对应的低分辨率图像和rlfn得到的目标检测结果；第二行从左到右分别为dssr、scunet、aeris和本发明分别得到的目标检测结果。从图5中可以看到，相比其他方法，本发明能检测出更多的目标。这结果表明本发明能有效提高低分辨率图像目标检测的准确率。
[0075]
表2
[0076]

技术特征：
1.一种基于深度学习的低分辨率图像目标检测方法，其特征在于包括以下步骤：(1)获取高分辨率图像目标检测训练数据集：从公共数据库中获取原始高分辨率图像和对应的检测标签；(2)创建低分辨率图像目标检测训练数据集：采用降质模型对步骤(1)得到的高分辨率训练数据集中的每幅高分辨率图像进行降质，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像组成的图像对集合和这些图像对所对应的检测标签作为低分辨率图像目标检测训练数据集；(3)构建低分辨率图像目标检测模型：该模型由任务分解增强网络和检测网络构成，具体的构建过程包括以下步骤：(3-a)构建任务分解增强网络：该网络由图像复原支路、分辨率增强支路构成；图像复原支路和分辨率增强支路分别构建如下：(3-a-1)构建图像复原支路：该支路由共享特征提取器1、卷积层1和逐像素相加操作构成；输入图像i
l
依次经过共享特征提取器1、卷积层1后，得到的结果与i
l
进行逐像素相加，得到中间复原图像i
i
，完成图像复原支路的构建；(3-a-2)构建分辨率增强支路：该支路由共享特征提取器2、双线性插值操作1、双线性插值操作2、像素洗牌层和逐像素相加操作构成；将步骤(3-a-1)得到的中间复原图像i
i
输入到共享特征提取器2，得到的结果经双线性插值操作1处理后，得到中间特征图x
e
；将x
e
输入到像素洗牌层，得到的结果与i
i
经双线性插值操作2处理后的结果进行逐像素相加，得到增强图像i
s
，完成分辨率增强支路的构建；所述共享特征提取器1和共享特征提取器2具有相同的结构，都由卷积层2、残差单元1、残差单元2构成；共享特征提取器的输入依次经过卷积层2、残差单元1、残差单元2，得到共享特征提取器的输出；(3-b)构建检测网络：该网络由骨干模块、颈部模块、头部模块构成；步骤(3-a-2)中的增强图像i
s
依次经过骨干模块、颈部模块、头部模块，得到目标检测结果；(4)构建损失函数：构建以下联合损失函数：l＝l
ir
+l
re
+l
detdet
其中l
ir
表示图像复原损失函数，l
re
表示分辨率增强损失函数，l
det
表示检测损失函数；表示第i幅高分辨率图像，表示将所对应的低分辨率图像输入到步骤(3-a-1)所述图像复原支路后得到的中间复原图像；表示将输入到步骤(3-a-2)所述分辨率增强支路后，得到的增强图像；b(
·
)为双三次插值函数；n为正整数，表示训练图像的批量大小，且n∈[1,64]；‖
·
‖1表示l1范数；(5)训练模型：利用步骤(2)得到的低分辨率图像目标检测训练数据集训练步骤(3)构建完成的低分辨率图像目标检测模型，根据步骤(4)构建的损失函数得到损失值，并使用
adam优化器更新模型参数，直到损失不再下降，得到训练好的模型；(6)低分辨率图像目标检测：用步骤(5)中训练好的低分辨率图像目标检测模型对测试集中的低分辨率图像进行目标检测，得到最终检测结果。2.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-b)中的骨干模块采用的是resnet18。3.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-b)中的颈部模块采用的是centernet算法原有的颈部模块。4.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-b)中的头部模块采用的是centernet算法原有的头部模块。5.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-a)中的残差单元1和残差单元2具有相同的结构，都由卷积层3、relu层、卷积层4和逐像素相加操作构成；残差单元的输入特征图依次经过卷积层3、relu层和卷积层4后，得到的结果再与该残差单元的输入特征图逐像素相加，得到残差单元的输出。6.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(4)中的检测损失函数l
det
采用centernet算法原有的检测损失函数。

技术总结
本发明公开了一种基于深度学习的低分辨率图像目标检测方法，实施方案为：1)获取高分辨率图像目标检测训练数据集；2)创建低分辨率图像目标检测训练数据集；3)构建低分辨率图像目标检测模型；4)构建损失函数；5)训练模型；6)低分辨率图像目标检测。本发明构建一种任务分解增强网络来有效增强不同降质情况下的低分辨率图像，其主要由图像复原支路和分辨率增强支路构成。这两条支路通过共用一个共享特征提取器，不仅降低了网络的参数量还增强了特征的表达能力。通过将任务分解增强网络与检测网络进行联合优化，有效提高了低分辨率图像目标检测的准确率。测的准确率。


技术研发人员：赵旭 桂卫华
受保护的技术使用者：湖南信控摩尔科技有限公司
技术研发日：2023.07.18
技术公布日：2023/9/14