一种单目红外图像目标检测和深度估计方法及装置与流程

1.本发明涉及计算机视觉实例分割技术领域，尤其涉及一种单目红外图像目标检测和深度估计方法及装置。


背景技术：

2.近几年，机器视觉随着深度学习的发展在研究和应用方面都实现了飞跃。机器学习人眼根据图像估计目标深度成为了一种可能。深度图可以提供目标的远近，构建环境的三维图像，已经开始应用在测量、导航、自动驾驶等领域。目前的深度图主要来自于深度相机或雷达探测，但造价高、不易携带等局限性成为其短摆，因而基于图像的深度估计开始受到广泛关注。目前，图像深度估计分为两种，双目深度估计和单目深度估计。双目深度估计依据人眼进行双目视差三角测距，能够获取较为准确的深度信息，但需要相机对，配置麻烦，对图像拍摄要求高；在双目深度估计中还存在双目图像对应点匹配的问题，目前使用sift，surf等特征匹配；实际应用(如识别任务)大多只有单幅图像，因而也不易在实际中应用。鉴于此，单目深度估计更符合实际的应用场景。单目深度估计又分为基于深度线索的深度估计和深度学习的深度估计。由于深度学习的方式不受场景限制且具有较好的实用性，使得它成为最受关注的研究。此方法与人眼的学习能力相似，使用大量的训练图像输入到定义的模型当中，以深度信息作为监督训练模型，训练完成后即可通过待测图像输入得到想要的深度信息。单目深度估计目前所获得的成果多为可见光图像的深度估计，红外图像深度估计方法多来自于可见光图像的深度估计方法的“移植”，并未过多考虑红外图像深度特征和深度线索；红外图像的背景对深度估计的贡献远不及红外目标；同时红外图像关于深度数据缺乏也是红外图像深度估计的短摆。


技术实现要素：

3.本发明所要解决的技术问题在于，提供一种单目红外图像目标检测和深度估计方法及装置，能够通过深度学习的方法将单目红外图像中的目标进行实例分割，同时通过网络估计目标的深度。本发明的特点是在完成目标检测、分类、定位的同时，也实现了目标深度估计。本发明中，目标为红外图像中成像目标；深度是指目标相对于传感器(红外设备)的距离；实例分割将区分不同类别的目标、同一类别的不同个体；本发明为一阶段(one stage)预测网络。
4.为了解决上述技术问题，本发明实施例第一方面公开了一种单目红外图像目标检测和深度估计方法，所述方法包括：
5.s1，获取训练数据样本集和训练数据样本标签集；所述训练数据样本集包括红外图像和与红外图像像素对应的深度信息；
6.所述训练数据样本标签集包括目标的类别、目标掩膜、目标位置矩形框、目标深度信息和图像几何信息；
7.s2，对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；
8.s3，利用特征提取网络模型，对所述训练数据集进行特征提取，得到特征图；所述特征图包括下采样1/2倍特征图、下采样1/4倍特征图、下采样1/8倍特征图、下采样1/16倍特征图和下采样1/32倍特征图；
9.s4，利用特征融合模型，对所述特征图进行处理，得到融合特征图；
10.所述特征融合模型包括特征金字塔网络和路径聚合网络；
11.所述特征金字塔网络由空间金字塔池化模块、上采样1/16倍模块、第一通道拼接模块、第一卷积层、上采样1/8倍模块和第二通道拼接模块串联构成；
12.所述路径聚合网络由第二卷积层、下采样1/16倍模块、第三通道拼接模块、第三卷积层、下采样1/32倍模块和第四通道拼接模块串联构成；
13.s5，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；
14.s6，对所述融合特征图进行处理，得到目标的实例分割和深度估计结果；
15.s7，利用所述目标分类预测结果和定位框回归预测结果、所述目标的实例分割和深度估计结果、所述训练数据样本标签集，进行损失计算，采用反向传播梯度下降法使损失达到最小，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；
16.s8，获取待处理的红外图像，利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对所述待处理的红外图像进行处理，得到目标分类预测结果和定位框回归预测结果、目标的实例分割和深度估计结果。
17.作为一种可选的实施方式，本发明实施例第一方面中，所述对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集，包括：
18.s21，对所述训练数据样本集进行缩放处理和白边补齐处理，得到预处理训练数据样本集；
19.s22，在所述预处理训练数据样本集中随机选取m个预处理训练数据样本，对所述m个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行λ倍缩放处理，得到m个缩放预处理训练数据样本，m为大于等于1的整数；
20.s23，在所述预处理训练数据样本集中随机选取n个预处理训练数据样本，对所述n个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行裁剪处理，得到n个裁剪预处理训练数据样本，n为大于等于1的整数；
21.s24，在所述预处理训练数据样本集中随机抽取p个预处理训练数据样本，对所述p个预处理训练数据样本进行亮度和对比度调节，得到第一预处理训练数据样本集，p为大于等于1的整数；
22.s25，在所述预处理训练数据样本集中随机抽取q个预处理训练数据样本，对所述q个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行镜像处理，得到镜像预处理训练数据样本集，q为大于等于1的整数；
23.s26，在所述预处理训练数据样本集中随机抽取o个预处理训练数据样本，对所述o个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行旋转处理，得到旋转预处理训练数据样本集，o为大于等于1的整数；
24.s27，将所述m个缩放预处理训练数据样本、n个裁剪预处理训练数据样本、第一预处理训练数据样本集、镜像预处理训练数据样本集和旋转预处理训练数据样本集加入所述预处理训练数据样本集，得到训练数据集。
25.作为一种可选的实施方式，本发明实施例第一方面中，所述特征提取网络模型由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块和第五下采样模块串接组成，每次对图像的宽、高均下采样二分之一；
26.每个下采样模块包括卷积下采样模块、空洞卷积下采样模块、残差模块和通道拼接模块；
27.所述卷积下采样模块、空洞卷积下采样模块和残差模块为并联关系；
28.所述通道拼接模块对所述卷积下采样模块、空洞卷积下采样模块和残差模块的输出进行融合，得到融合输出结果；
29.所述卷积下采样模块由卷积层、批量标准化和激活函数串接构成；
30.所述空洞卷积下采样模块由空洞卷积层、批量标准化、激活函数串接构成；
31.所述残差模块由两个卷积模块串接构成，并将中间输出短接到输出；
32.所述空洞卷积下采样模块用于增加卷积下采样特征图的感受野；
33.所述残差模块用于防止训练过程中梯度消失。
34.作为一种可选的实施方式，本发明实施例第一方面中，所述利用特征融合模型，对所述特征图进行处理，得到融合特征图，包括：
35.s41，将所述下采样1/32倍特征图p
32
输入所述特征金字塔网络的空间金字塔池化模块，得到特征融合图p1；
36.s42，将所述特征融合图p1上采样1/16倍，得到上采样1/16倍特征图；
37.s43，将所述上采样1/16倍特征图与所述下采样1/16倍特征图p
16
进行通道拼接并做卷积融合得到第一特征融合图p
16+
；
38.s43，将所述第一特征融合图p
16+
上采样1/8倍，得到上采样1/8倍特征图；
39.s44，将所述上采样1/8倍特征图与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到第二特征融合图p
8+
；
40.s45，将所述第二特征融合图p
8+
与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到融合采样1/8倍特征图p
8*
；
41.s46，将所述第二特征融合图p
8+
下采样1/16倍，得到下采样1/16倍特征图；
42.s47，将所述下采样1/16倍特征图与所述第一特征融合图p
16+
进行通道拼接并做卷积融合得到融合采样1/16倍特征图p
16*
；
43.s48，将所述融合采样1/16倍特征图p
16*
下采样1/32倍，得到下采样1/32倍特征图；
44.s49，所述下采样1/32倍特征图与所述特征融合图p1进行通道拼接并做卷积融合得到融合采样1/32倍特征图p
32*
；
45.所述融合采样1/8倍特征图p
8*
、融合采样1/16倍特征图p
16*
和融合采样1/32倍特征图p
32*
构成融合特征图。
46.作为一种可选的实施方式，本发明实施例第一方面中，所述对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果，包括：
47.利用目标检测网络损失函数，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；
48.所述目标检测网络损失函数为：
49.loss＝loss
clc
+loss
conf
+loss
loc
50.其中loss
clc
为分类损失，采用多分类二值交叉熵损失，loss
conf
为置信度损失，采用ciou方法，ciou方法中iou(bp，bgt)作为置信度，bp为预测的目标框，bgt真实标签的目标框；loss
loc
为定位回归损失；
51.所述定位回归损失loss
loc
为：
52.loss
clc
＝(x-x*)2+(y-y*)2+(w-w*)2+(h-h*)253.其中，x,y,w,h为预测框的坐标信息，x*,y*,w*,h*为真实标签框的坐标信息。
54.作为一种可选的实施方式，本发明实施例第一方面中，所述对所述融合特征图进行处理，得到目标的实例分割和深度估计结果，包括：
55.s61，根据所述目标分类预测结果和定位框回归预测结果，对所述融合采样1/8倍特征图p8*、融合采样1/16倍特征图p16*和融合采样1/32倍特征图p32*进行处理，得到下采样1/8倍的第一特征图、第二特征图和第三特征图；
56.s62，利用实例分割和深度估计损失函数，对所述下采样1/8倍的第一特征图、第二特征图和第三特征图进行处理，得到目标的实例分割和深度估计结果。
57.作为一种可选的实施方式，本发明实施例第一方面中，所述实例分割和深度估计损失函数为：
58.loss1＝loss
mask
+loss
death
+loss
geom
59.其中，loss
mask
为实例分割损失，对每个像素采用二值交叉熵损失，loss
death
为深度估计损失，对深度值采用mse损失函数，loss
geom
为几何损失，采用smooth-l1损失函数。
60.本发明实施例第二方面公开了一种单目红外图像目标检测和深度估计装置，所述装置包括：
61.数据获取模块，用于获取训练数据样本集和训练数据样本标签集；所述训练数据样本集包括红外图像和与红外图像像素对应的深度信息；
62.所述训练数据样本标签集包括目标的类别、目标掩膜、目标位置矩形框、目标深度信息和图像几何信息；
63.预处理模块，用于对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；
64.特征提取模块，用于利用特征提取网络模型，对所述训练数据集进行特征提取，得到特征图；所述特征图包括下采样1/2倍特征图、下采样1/4倍特征图、下采样1/8倍特征图、下采样1/16倍特征图和下采样1/32倍特征图；
65.特征融合模块，用于利用特征融合模型，对所述特征图进行处理，得到融合特征图；
66.所述特征融合模型包括特征金字塔网络和路径聚合网络；
67.所述特征金字塔网络由空间金字塔池化模块、上采样1/16倍模块、第一通道拼接模块、第一卷积层、上采样1/8倍模块和第二通道拼接模块串联构成；
68.所述路径聚合网络由第二卷积层、下采样1/16倍模块、第三通道拼接模块、第三卷积层、下采样1/32倍模块和第四通道拼接模块串联构成；
69.预测模块，用于对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；
70.估计模块，用于对所述融合特征图进行处理，得到目标的实例分割和深度估计结
果；
71.训练模块，用于利用所述目标分类预测结果和定位框回归预测结果、所述目标的实例分割和深度估计结果、所述训练数据样本标签集，进行损失计算，采用反向传播梯度下降法使损失达到最小，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；
72.目标检测和深度估计模块，用于获取待处理的红外图像，利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对所述待处理的红外图像进行处理，得到目标分类预测结果和定位框回归预测结果、目标的实例分割和深度估计结果。
73.作为一种可选的实施方式，本发明实施例第二方面中，所述对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集，包括：
74.s21，对所述训练数据样本集进行缩放处理和白边补齐处理，得到预处理训练数据样本集；
75.s22，在所述预处理训练数据样本集中随机选取m个预处理训练数据样本，对所述m个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行λ倍缩放处理，得到m个缩放预处理训练数据样本，m为大于等于1的整数；
76.s23，在所述预处理训练数据样本集中随机选取n个预处理训练数据样本，对所述n个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行裁剪处理，得到n个裁剪预处理训练数据样本，n为大于等于1的整数；
77.s24，在所述预处理训练数据样本集中随机抽取p个预处理训练数据样本，对所述p个预处理训练数据样本进行亮度和对比度调节，得到第一预处理训练数据样本集，p为大于等于1的整数；
78.s25，在所述预处理训练数据样本集中随机抽取q个预处理训练数据样本，对所述q个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行镜像处理，得到镜像预处理训练数据样本集，q为大于等于1的整数；
79.s26，在所述预处理训练数据样本集中随机抽取o个预处理训练数据样本，对所述o个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行旋转处理，得到旋转预处理训练数据样本集，o为大于等于1的整数；
80.s27，将所述m个缩放预处理训练数据样本、n个裁剪预处理训练数据样本、第一预处理训练数据样本集、镜像预处理训练数据样本集和旋转预处理训练数据样本集加入所述预处理训练数据样本集，得到训练数据集。
81.作为一种可选的实施方式，本发明实施例第二方面中，所述特征提取网络模型由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块和第五下采样模块串接组成，每次对图像的宽、高均下采样二分之一；
82.每个下采样模块包括卷积下采样模块、空洞卷积下采样模块、残差模块和通道拼接模块；
83.所述卷积下采样模块、空洞卷积下采样模块和残差模块为并联关系；
84.所述通道拼接模块对所述卷积下采样模块、空洞卷积下采样模块和残差模块的输出进行融合，得到融合输出结果；
85.所述卷积下采样模块由卷积层、批量标准化和激活函数串接构成；
86.所述空洞卷积下采样模块由空洞卷积层、批量标准化、激活函数串接构成；
87.所述残差模块由两个卷积模块串接构成，并将中间输出短接到输出；
88.所述空洞卷积下采样模块用于增加卷积下采样特征图的感受野；
89.所述残差模块用于防止训练过程中梯度消失。
90.作为一种可选的实施方式，本发明实施例第二方面中，所述利用特征融合模型，对所述特征图进行处理，得到融合特征图，包括：
91.s41，将所述下采样1/32倍特征图p
32
输入所述特征金字塔网络的空间金字塔池化模块，得到特征融合图p1；
92.s42，将所述特征融合图p1上采样1/16倍，得到上采样1/16倍特征图；
93.s43，将所述上采样1/16倍特征图与所述下采样1/16倍特征图p
16
进行通道拼接并做卷积融合得到第一特征融合图p
16+
；
94.s43，将所述第一特征融合图p
16+
上采样1/8倍，得到上采样1/8倍特征图；
95.s44，将所述上采样1/8倍特征图与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到第二特征融合图p
8+
；
96.s45，将所述第二特征融合图p
8+
与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到融合采样1/8倍特征图p
8*
；
97.s46，将所述第二特征融合图p
8+
下采样1/16倍，得到下采样1/16倍特征图；
98.s47，将所述下采样1/16倍特征图与所述第一特征融合图p
16+
进行通道拼接并做卷积融合得到融合采样1/16倍特征图p
16*
；
99.s48，将所述融合采样1/16倍特征图p
16*
下采样1/32倍，得到下采样1/32倍特征图；
100.s49，所述下采样1/32倍特征图与所述特征融合图p1进行通道拼接并做卷积融合得到融合采样1/32倍特征图p
32*
；
101.所述融合采样1/8倍特征图p
8*
、融合采样1/16倍特征图p
16*
和融合采样1/32倍特征图p
32*
构成融合特征图。
102.作为一种可选的实施方式，本发明实施例第二方面中，所述对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果，包括：
103.利用目标检测网络损失函数，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；
104.所述目标检测网络损失函数为：
105.loss＝loss
clc
+loss
conf
+loss
loc
106.其中loss
clc
为分类损失，采用多分类二值交叉熵损失，loss
conf
为置信度损失，采用ciou方法，ciou方法中iou(bp，bgt)作为置信度，bp为预测的目标框，bgt真实标签的目标框；loss
loc
为定位回归损失；
107.所述定位回归损失loss
loc
为：
108.loss
clc
＝(x-x*)2+(y-y*)2+(w-w*)2+(h-h*)2109.其中，x,y,w,h为预测框的坐标信息，x*,y*,w*,h*为真实标签框的坐标信息。
110.作为一种可选的实施方式，本发明实施例第二方面中，所述对所述融合特征图进行处理，得到目标的实例分割和深度估计结果，包括：
111.s61，根据所述目标分类预测结果和定位框回归预测结果，对所述融合采样1/8倍
特征图p8*、融合采样1/16倍特征图p16*和融合采样1/32倍特征图p32*进行处理，得到下采样1/8倍的第一特征图、第二特征图和第三特征图；
112.s62，利用实例分割和深度估计损失函数，对所述下采样1/8倍的第一特征图、第二特征图和第三特征图进行处理，得到目标的实例分割和深度估计结果。
113.作为一种可选的实施方式，本发明实施例第二方面中，所述实例分割和深度估计损失函数为：
114.loss1＝loss
mask
+loss
death
+loss
geom
115.其中，loss
mask
为实例分割损失，对每个像素采用二值交叉熵损失，loss
death
为深度估计损失，对深度值采用mse损失函数，loss
geom
为几何损失，采用smooth-l1损失函数。
116.本发明第三方面公开了另一种单目红外图像目标检测和深度估计装置，所述装置包括：
117.存储有可执行程序代码的存储器；
118.与所述存储器耦合的处理器；
119.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的单目红外图像目标检测和深度估计方法中的部分或全部步骤。
120.本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的单目红外图像目标检测和深度估计方法中的部分或全部步骤。
121.与现有技术相比，本发明实施例具有以下有益效果：
122.(1)本发明根据红外图像的特性和红外目标在红外图像中的特点，针对性的设置了目标的实例分割和深度估计，通过各个不同目标纹理、几何、边缘等信息，目标间的相对信息，环境信息联合对目标进行深度估计，提升了红外图像深度估计的精度，在估计深度的同时实现红外图像目标的实例分割。
123.(2)本发明能够更精确地体现目标的像素信息，从而能更准确地应用目标的几何特征去提高深度估计的精度。
124.(3)本发明深度估计的关注对象为红外目标，因为在红外图像中背景对深度的贡献一般相对较小，将网络学习的注意力转移到目标上，可以更好地学习可学习内容，提高深度估计的精度。
附图说明
125.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
126.图1是本发明实施例公开的一种单目红外图像目标检测和深度估计方法的流程示意图；
127.图2是本发明实施例公开的目标检测和深度估计网络模型示意图；
128.图3是本发明实施例公开的图像与grid cell划分示意图；
129.图4是本发明实施例公开的目标检测和深度估计网络组成示意图；
130.图5是本发明实施例公开的目标检测和深度估计网络模型训练过程示意图；
131.图6是本发明实施例公开的目标检测和深度估计网络模型输入与输出示意图；
132.图7是本发明实施例公开的实例分割与目标深度估计结果；
133.图8是本发明实施例公开的一种单目红外图像目标检测和深度估计装置的结构示意图；
134.图9是本发明实施例公开的另一种单目红外图像目标检测和深度估计装置的结构示意图。
具体实施方式
135.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
136.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
137.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
138.本发明公开了一种单目红外图像目标检测和深度估计方法及装置，能够通过获取训练数据样本集和训练数据样本标签集；对训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；利用特征提取网络模型，对训练数据集进行特征提取得到特征图；对特征图进行拼接和融合处理，得到融合特征图；预设目标检测和深度估计网络模型；利用融合特征图对目标检测和深度估计网络模型进行训练，得到训练目标检测和深度估计网络模型；获取待估计数据样本，利用训练目标检测和深度估计网络模型对待估计数据样本进行处理，得到目标检测和深度估计结果。本发明提升了红外图像深度估计的精度，在估计深度的同时实现红外图像目标的实例分割。以下分别进行详细说明。
139.实施例一
140.请参阅图1，图1是本发明实施例公开的一种单目红外图像目标检测和深度估计方法的流程示意图。其中，图1所描述的单目红外图像目标检测和深度估计方法应用于测量、导航、自动驾驶等领域，本发明实施例不做限定。
141.如图1所示，该单目红外图像目标检测和深度估计方法可以包括以下操作：
142.s1，获取训练数据样本集和训练数据样本标签集；所述训练数据样本集包括红外图像和与红外图像像素对应的深度信息；
143.所述训练数据样本标签集包括目标的类别、目标掩膜、目标位置矩形框、目标深度信息和图像几何信息；
144.s2，对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；
145.s3，利用特征提取网络模型，对所述训练数据集进行特征提取，得到特征图；所述特征图包括下采样1/2倍特征图、下采样1/4倍特征图、下采样1/8倍特征图、下采样1/16倍特征图和下采样1/32倍特征图；
146.s4，利用特征融合模型，对所述特征图进行处理，得到融合特征图；
147.所述特征融合模型包括特征金字塔网络(fpn)和路径聚合网络(pan)；
148.所述特征金字塔网络由空间金字塔池化模块(spp)、上采样1/16倍模块、第一通道拼接模块、第一卷积层、上采样1/8倍模块和第二通道拼接模块串联构成；
149.所述路径聚合网络由第二卷积层、下采样1/16倍模块、第三通道拼接模块、第三卷积层、下采样1/32倍模块和第四通道拼接模块串联构成；
150.s5，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；
151.s6，对所述融合特征图进行处理，得到目标的实例分割和深度估计结果；
152.s7，利用所述目标分类预测结果和定位框回归预测结果、所述目标的实例分割和深度估计结果、所述训练数据样本标签集，进行损失计算，采用反向传播梯度下降法使损失达到最小，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；
153.s8，获取待处理的红外图像，利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对所述待处理的红外图像进行处理，得到目标分类预测结果和定位框回归预测结果、目标的实例分割和深度估计结果。图2是本发明实施例公开的目标检测和深度估计网络模型示意图。
154.可选的通过红外探测仪获取所需的红外图像与红外图像像素对应深度的数据源样本若干，并对数据做标注处理，目标位置框(x,y,w,h)为矩形框左上角在图像中的坐标。数据包含足够多的数量、足够多类型(春夏秋冬，晴雨阴雪)的红外图像。本实施例中目标只有一个类别即检测红外图像中的人，所以class∈{0，1}，其中0为背景，1为目标人。本实施例的目标标签包含红外图像中的人的位置和轮廓标准，相对于传感器的深度值(距离相机的距离)。标签数据中的目标框标签为人为标注出在图像中的位置，同时获得目标人在图像中的几何信息；深度信息通过3d雷达、gps等设备进行采集，将所得深度信息与目标框信息、几何信息对应保存；所有的标签数据还可以是当前已有的通用数据集。
155.可选的，数据预处理：将原图像以长边为基础并保持长宽比，右侧或下侧做黑边补齐，缩放到分辨率512*512。例：图像分辨率为480*320，以长边480为基础并保持1:1长宽比，用黑边补齐到480*480，然后放大到512*512。
156.图像缩放倍率λ∈(0.75,1.25)。
157.图像调节为源图像的对比度和亮度乘以一个随机值θ∈(0.7，1.3)，以模拟辐射衰减的变化。
158.图像旋转角度为α∈(-5
°
，5
°
)。
159.可选的，所述对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集，包括：
160.s21，对所述训练数据样本集进行缩放处理和白边补齐处理，得到预处理训练数据样本集；
161.s22，在所述预处理训练数据样本集中随机选取m个预处理训练数据样本，对所述m
个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行λ倍缩放处理，得到m个缩放预处理训练数据样本，m为大于等于1的整数；
162.s23，在所述预处理训练数据样本集中随机选取n个预处理训练数据样本，对所述n个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行裁剪处理，得到n个裁剪预处理训练数据样本，n为大于等于1的整数；
163.s24，在所述预处理训练数据样本集中随机抽取p个预处理训练数据样本，对所述p个预处理训练数据样本进行亮度和对比度调节，得到第一预处理训练数据样本集，p为大于等于1的整数；
164.s25，在所述预处理训练数据样本集中随机抽取q个预处理训练数据样本，对所述q个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行镜像处理，得到镜像预处理训练数据样本集，q为大于等于1的整数；
165.s26，在所述预处理训练数据样本集中随机抽取o个预处理训练数据样本，对所述o个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行旋转处理，得到旋转预处理训练数据样本集，o为大于等于1的整数；
166.s27，将所述m个缩放预处理训练数据样本、n个裁剪预处理训练数据样本、第一预处理训练数据样本集、镜像预处理训练数据样本集和旋转预处理训练数据样本集加入所述预处理训练数据样本集，得到训练数据集。
167.可选的，所述特征提取网络模型由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块和第五下采样模块串接组成，每次对图像的宽、高均下采样二分之一；
168.每个下采样模块包括卷积下采样模块(convolution
→
batch-normalization
→
leaky-relu,cbl)、空洞卷积下采样模块、残差模块和通道拼接模块；
169.所述卷积下采样模块、空洞卷积下采样模块(dilated convolution
→
batch
–
normalization
→
leaky-relu,dcbl)和残差模块为并联关系；
170.所述通道拼接模块对所述卷积下采样模块、空洞卷积下采样模块和残差模块的输出进行融合，得到融合输出结果；
171.所述卷积下采样模块由卷积层(convolution)、批量标准化(batch-normalization)和激活函数(active-function,leaky-relu)串接构成；
172.所述空洞卷积下采样模块由空洞卷积层(dilated convolution)、批量标准化、激活函数串接构成；
173.所述残差模块由两个卷积模块串接构成，并将中间输出短接到输出；
174.所述空洞卷积下采样模块用于增加卷积下采样特征图的感受野；
175.所述残差模块用于防止训练过程中梯度消失。
176.可选的，所述利用特征融合模型，对所述特征图进行处理，得到融合特征图，包括：
177.s41，将所述下采样1/32倍特征图p
32
输入所述特征金字塔网络的空间金字塔池化模块，得到特征融合图p1；
178.s42，将所述特征融合图p1上采样1/16倍，得到上采样1/16倍特征图；
179.s43，将所述上采样1/16倍特征图与所述下采样1/16倍特征图p
16
进行通道拼接并做卷积融合得到第一特征融合图p
16+
；
180.s43，将所述第一特征融合图p
16+
上采样1/8倍，得到上采样1/8倍特征图；
181.s44，将所述上采样1/8倍特征图与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到第二特征融合图p
8+
；
182.s45，将所述第二特征融合图p
8+
与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到融合采样1/8倍特征图p
8*
；
183.s46，将所述第二特征融合图p
8+
下采样1/16倍，得到下采样1/16倍特征图；
184.s47，将所述下采样1/16倍特征图与所述第一特征融合图p
16+
进行通道拼接并做卷积融合得到融合采样1/16倍特征图p
16*
；
185.s48，将所述融合采样1/16倍特征图p
16*
下采样1/32倍，得到下采样1/32倍特征图；
186.s49，所述下采样1/32倍特征图与所述特征融合图p1进行通道拼接并做卷积融合得到融合采样1/32倍特征图p
32*
；
187.所述融合采样1/8倍特征图p
8*
、融合采样1/16倍特征图p
16*
和融合采样1/32倍特征图p
32*
构成融合特征图。
188.可选的，所述对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果，包括：
189.利用目标检测网络损失函数，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；
190.所述目标检测网络损失函数为：
191.loss＝loss
clc
+loss
conf
+loss
loc
192.其中loss
clc
为分类损失，采用多分类二值交叉熵损失，loss
conf
为置信度损失，采用ciou方法，ciou方法中iou(bp，bgt)作为置信度，bp为预测的目标框，bgt真实标签的目标框；loss
loc
为定位回归损失；
193.所述定位回归损失loss
loc
为：
194.loss
clc
＝(x-x*)2+(y-y*)2+(w-w*)2+(h-h*)2195.其中，x,y,w,h为预测框的坐标信息，x*,y*,w*,h*为真实标签框的坐标信息。
196.可选的，所述对所述融合特征图进行处理，得到目标的实例分割和深度估计结果，包括：
197.s61，根据所述目标分类预测结果和定位框回归预测结果，对所述融合采样1/8倍特征图p8*、融合采样1/16倍特征图p16*和融合采样1/32倍特征图p32*进行处理，得到下采样1/8倍的第一特征图、第二特征图和第三特征图；
198.s62，利用实例分割和深度估计损失函数，对所述下采样1/8倍的第一特征图、第二特征图和第三特征图进行处理，得到目标的实例分割和深度估计结果。
199.可选的，所述实例分割和深度估计损失函数为：
200.loss1＝loss
mask
+loss
death
+loss
ge
om201.其中，loss
mask
为实例分割损失，对每个像素采用二值交叉熵损失，loss
death
为深度估计损失，对深度值采用mse损失函数，loss
geom
为几何损失，采用smooth-l1损失函数。
202.目标置信度损失：
203.[0204][0205]
其中，oi∈{0,1}表示预测的目标框i中是否存在目标，表示预测的目标框i中存在目标的sigmoid概率。ci表示预测的目标框i中存在目标的概率。
[0206]
目标分类损失：
[0207][0208][0209]
其中，o
ij
∈{0,1}表示预测的第i个目标框中是否存在第j类目标，表示预测的第i个目标框中存在第j类目标的sigmoid概率，其中c
ij
为网络预测的第i个目标框中存在第j类目标的概率，通过sigmoid函数即可得到
[0210]
目标定位损失：
[0211][0212]
σ(x)＝sigmoid(x)
[0213]
为模型预测的目标框的中心坐标偏移；为模型预测目标框宽高缩因子；为在图像中真实目标框的中心点与宽高缩放因子，即标签。
[0214][0215][0216][0217][0218]
其中，grid cell表示将原图等比例划分的s
×
s(7
×
7，13
×
13，26
×
26)的网格区域，棋盘格坐标与原图对应，如图3所示，每个方格称为grid cell。为每个grid cell左上角坐标，为模型预测框模板的宽度和高度，模型在实际预测中将以此为基础缩放。
[0219]
实例分割损失函数：
[0220]
loss
mask
(p,q)＝-∑p
clc
log2(q
clc
)
[0221]
p
clc
为预测目标像素点属于某个类别的概率，q
clc
＝1-p
clc
。实例分割损失为所有目标框内像素二值交叉熵的总和。
[0222]
深度估计损失函数：
[0223]
深度估计的损失由像素的深度损失与几何损失共同构成，计算如下：
[0224][0225]
其中n为当前图像预测出的目标的个数；为深度标签值；为几何标签值(可以为长宽比，像素面积等)。图4是本发明实施例公开的目标检测和深度估计网络组成示意图；图5是本发明实施例公开的目标检测和深度估计网络模型训练过程示意图；图6是本发明实施例公开的目标检测和深度估计网络模型输入与输出示意图；训练过程中含有损失计算分为两个阶段，第一个阶段为目标分类与目标框定位预测，第二个阶段为实例分割、深度信息预测。第一个阶段分类定位预测输出为类别(class)、置信度(confidence)、目标框中心点和长宽(x,y,w,h)，所使用的损失函数为类别损失loss
clc
，置信度损失loss
conf
，定位损失loss
loc
。第二个阶段实例分割、深度信息预测为预测目标的轮廓掩膜(mask)，目标的深度信息，所使用的损失函数为实例分割损失loss
mask
(p,q)，深度损失loss
depth
，几何损失loss
geom
。本实施例数据经过网络模型，对损失采用随机梯度下降法训练，当训练结果达到当前数据集最优时，就完成训练。若后续使用，可将红外图像输入模型，模型将输出红外图像中目标人的位置、轮廓掩膜和深度图7是本发明实施例公开的实例分割与目标深度估计结果。
[0226]
实施例二
[0227]
请参阅图8，图8是本发明实施例公开的一种单目红外图像目标检测和深度估计装置的结构示意图。其中，图8所描述的单目红外图像目标检测和深度估计装置应用于测量、导航、自动驾驶等领域，本发明实施例不做限定。
[0228]
如图8所示，该单目红外图像目标检测和深度估计装置可以包括以下操作：
[0229]
s301，数据获取模块，用于获取训练数据样本集和训练数据样本标签集；所述训练数据样本集包括红外图像和与红外图像像素对应的深度信息；
[0230]
所述训练数据样本标签集包括目标的类别、目标掩膜、目标位置矩形框、目标深度信息和图像几何信息；
[0231]
s302，预处理模块，用于对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；
[0232]
s303，特征提取模块，用于利用特征提取网络模型，对所述训练数据集进行特征提取，得到特征图；所述特征图包括下采样1/2倍特征图、下采样1/4倍特征图、下采样1/8倍特征图、下采样1/16倍特征图和下采样1/32倍特征图；
[0233]
s304，特征融合模块，用于利用特征融合模型，对所述特征图进行处理，得到融合特征图；
[0234]
所述特征融合模型包括特征金字塔网络和路径聚合网络；
[0235]
所述特征金字塔网络由空间金字塔池化模块、上采样1/16倍模块、第一通道拼接模块、第一卷积层、上采样1/8倍模块和第二通道拼接模块串联构成；
[0236]
所述路径聚合网络由第二卷积层、下采样1/16倍模块、第三通道拼接模块、第三卷积层、下采样1/32倍模块和第四通道拼接模块串联构成；
[0237]
s305，预测模块，用于对所述融合特征图进行处理，得到目标分类预测结果和定位
框回归预测结果；
[0238]
s306，估计模块，用于对所述融合特征图进行处理，得到目标的实例分割和深度估计结果；
[0239]
s307，训练模块，用于利用所述目标分类预测结果和定位框回归预测结果、所述目标的实例分割和深度估计结果、所述训练数据样本标签集，进行损失计算，采用反向传播梯度下降法使损失达到最小，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；
[0240]
s308，目标检测和深度估计模块，用于获取待处理的红外图像，利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对所述待处理的红外图像进行处理，得到目标分类预测结果和定位框回归预测结果、目标的实例分割和深度估计结果。
[0241]
实施例三
[0242]
请参阅图9，图9是本发明实施例公开的另一种单目红外图像目标检测和深度估计装置的结构示意图。其中，图9所描述的单目红外图像目标检测和深度估计装置应用于测量、导航、自动驾驶等领域，本发明实施例不做限定。如图9所示，该单目红外图像目标检测和深度估计装置可以包括以下操作：
[0243]
存储有可执行程序代码的存储器401；
[0244]
与存储器401耦合的处理器402；
[0245]
处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一所描述的单目红外图像目标检测和深度估计方法中的步骤。
[0246]
实施例四
[0247]
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的单目红外图像目标检测和深度估计方法中的步骤。
[0248]
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0249]
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0250]
最后应说明的是：本发明实施例公开的一种单目红外图像目标检测和深度估计方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

技术特征：
1.一种单目红外图像目标检测和深度估计方法，其特征在于，所述方法包括：s1，获取训练数据样本集和训练数据样本标签集；所述训练数据样本集包括红外图像和与红外图像像素对应的深度信息；所述训练数据样本标签集包括目标的类别、目标掩膜、目标位置矩形框、目标深度信息和图像几何信息；s2，对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；s3，利用特征提取网络模型，对所述训练数据集进行特征提取，得到特征图；所述特征图包括下采样1/2倍特征图、下采样1/4倍特征图、下采样1/8倍特征图、下采样1/16倍特征图和下采样1/32倍特征图；s4，利用特征融合模型，对所述特征图进行处理，得到融合特征图；所述特征融合模型包括特征金字塔网络和路径聚合网络；所述特征金字塔网络由空间金字塔池化模块、上采样1/16倍模块、第一通道拼接模块、第一卷积层、上采样1/8倍模块和第二通道拼接模块串联构成；所述路径聚合网络由第二卷积层、下采样1/16倍模块、第三通道拼接模块、第三卷积层、下采样1/32倍模块和第四通道拼接模块串联构成；s5，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；s6，对所述融合特征图进行处理，得到目标的实例分割和深度估计结果；s7，利用所述目标分类预测结果和定位框回归预测结果、所述目标的实例分割和深度估计结果、所述训练数据样本标签集，进行损失计算，采用反向传播梯度下降法使损失达到最小，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；s8，获取待处理的红外图像，利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对所述待处理的红外图像进行处理，得到目标分类预测结果和定位框回归预测结果、目标的实例分割和深度估计结果。2.根据权利要求1所述的单目红外图像目标检测和深度估计方法，其特征在于，所述对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集，包括：s21，对所述训练数据样本集进行缩放处理和白边补齐处理，得到预处理训练数据样本集；s22，在所述预处理训练数据样本集中随机选取m个预处理训练数据样本，对所述m个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行λ倍缩放处理，得到m个缩放预处理训练数据样本，m为大于等于1的整数；s23，在所述预处理训练数据样本集中随机选取n个预处理训练数据样本，对所述n个预处理训练数据样本和对应的目标掩膜和目标位置矩形框进行裁剪处理，得到n个裁剪预处理训练数据样本，n为大于等于1的整数；s24，在所述预处理训练数据样本集中随机抽取p个预处理训练数据样本，对所述p个预处理训练数据样本进行亮度和对比度调节，得到第一预处理训练数据样本集，p为大于等于1的整数；s25，在所述预处理训练数据样本集中随机抽取q个预处理训练数据样本，对所述q个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行镜像处理，得到镜像预处理训练数据样本集，q为大于等于1的整数；
s26，在所述预处理训练数据样本集中随机抽取o个预处理训练数据样本，对所述o个预处理训练数据样本中的头像图像及对应的目标掩膜和目标位置矩形框进行旋转处理，得到旋转预处理训练数据样本集，o为大于等于1的整数；s27，将所述m个缩放预处理训练数据样本、n个裁剪预处理训练数据样本、第一预处理训练数据样本集、镜像预处理训练数据样本集和旋转预处理训练数据样本集加入所述预处理训练数据样本集，得到训练数据集。3.根据权利要求1所述的单目红外图像目标检测和深度估计方法，其特征在于，所述特征提取网络模型由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块和第五下采样模块串接组成，每次对图像的宽、高均下采样二分之一；每个下采样模块包括卷积下采样模块、空洞卷积下采样模块、残差模块和通道拼接模块；所述卷积下采样模块、空洞卷积下采样模块和残差模块为并联关系；所述通道拼接模块对所述卷积下采样模块、空洞卷积下采样模块和残差模块的输出进行融合，得到融合输出结果；所述卷积下采样模块由卷积层、批量标准化和激活函数串接构成；所述空洞卷积下采样模块由空洞卷积层、批量标准化、激活函数串接构成；所述残差模块由两个卷积模块串接构成，并将中间输出短接到输出；所述空洞卷积下采样模块用于增加卷积下采样特征图的感受野；所述残差模块用于防止训练过程中梯度消失。4.根据权利要求1所述的单目红外图像目标检测和深度估计方法，其特征在于，所述利用特征融合模型，对所述特征图进行处理，得到融合特征图，包括：s41，将所述下采样1/32倍特征图p
32
输入所述特征金字塔网络的空间金字塔池化模块，得到特征融合图p1；s42，将所述特征融合图p1上采样1/16倍，得到上采样1/16倍特征图；s43，将所述上采样1/16倍特征图与所述下采样1/16倍特征图p
16
进行通道拼接并做卷积融合得到第一特征融合图p
16+
；s43，将所述第一特征融合图p
16+
上采样1/8倍，得到上采样1/8倍特征图；s44，将所述上采样1/8倍特征图与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到第二特征融合图p
8+
；s45，将所述第二特征融合图p
8+
与所述下采样1/8倍特征图p8进行通道拼接并做卷积融合得到融合采样1/8倍特征图p
8*
；s46，将所述第二特征融合图p
8+
下采样1/16倍，得到下采样1/16倍特征图；s47，将所述下采样1/16倍特征图与所述第一特征融合图p
16+
进行通道拼接并做卷积融合得到融合采样1/16倍特征图p
16*
；s48，将所述融合采样1/16倍特征图p
16*
下采样1/32倍，得到下采样1/32倍特征图；s49，所述下采样1/32倍特征图与所述特征融合图p1进行通道拼接并做卷积融合得到融合采样1/32倍特征图p
32*
；所述融合采样1/8倍特征图p
8*
、融合采样1/16倍特征图p
16*
和融合采样1/32倍特征图p
32*
构成融合特征图。
5.根据权利要求1所述的单目红外图像目标检测和深度估计方法，其特征在于，所述对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果，包括：利用目标检测网络损失函数，对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；所述目标检测网络损失函数为：loss＝loss
clc
+loss
conf
+loss
loc
其中loss
clc
为分类损失，采用多分类二值交叉熵损失，loss
conf
为置信度损失，采用ciou方法，ciou方法中iou(bp，bgt)作为置信度，bp为预测的目标框，bgt真实标签的目标框；loss
loc
为定位回归损失；所述定位回归损失loss
loc
为：loss
clc
＝(x-x*)2+(y-y*)2+(w-w*)2+(h-h*)2其中，x,y,w,h为预测框的坐标信息，x*,y*,w*,h*为真实标签框的坐标信息。6.根据权利要求1或所述的单目红外图像目标检测和深度估计方法，其特征在于，所述对所述融合特征图进行处理，得到目标的实例分割和深度估计结果，包括：s61，根据所述目标分类预测结果和定位框回归预测结果，对所述融合采样1/8倍特征图p8*、融合采样1/16倍特征图p16*和融合采样1/32倍特征图p32*进行处理，得到下采样1/8倍的第一特征图、第二特征图和第三特征图；s62，利用实例分割和深度估计损失函数，对所述下采样1/8倍的第一特征图、第二特征图和第三特征图进行处理，得到目标的实例分割和深度估计结果。7.根据权利要求6所述的单目红外图像目标检测和深度估计方法，其特征在于，所述实例分割和深度估计损失函数为：loss1＝loss
mask
+loss
death
+loss
geom
其中，loss
mask
为实例分割损失，对每个像素采用二值交叉熵损失，loss
death
为深度估计损失，对深度值采用mse损失函数，loss
geom
为几何损失，采用smooth-l1损失函数。8.一种单目红外图像目标检测和深度估计装置，其特征在于，所述装置包括：数据获取模块，用于获取训练数据样本集和训练数据样本标签集；所述训练数据样本集包括红外图像和与红外图像像素对应的深度信息；所述训练数据样本标签集包括目标的类别、目标掩膜、目标位置矩形框、目标深度信息和图像几何信息；预处理模块，用于对所述训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；特征提取模块，用于利用特征提取网络模型，对所述训练数据集进行特征提取，得到特征图；所述特征图包括下采样1/2倍特征图、下采样1/4倍特征图、下采样1/8倍特征图、下采样1/16倍特征图和下采样1/32倍特征图；特征融合模块，用于利用特征融合模型，对所述特征图进行处理，得到融合特征图；所述特征融合模型包括特征金字塔网络和路径聚合网络；所述特征金字塔网络由空间金字塔池化模块、上采样1/16倍模块、第一通道拼接模块、第一卷积层、上采样1/8倍模块和第二通道拼接模块串联构成；所述路径聚合网络由第二卷积层、下采样1/16倍模块、第三通道拼接模块、第三卷积
层、下采样1/32倍模块和第四通道拼接模块串联构成；预测模块，用于对所述融合特征图进行处理，得到目标分类预测结果和定位框回归预测结果；估计模块，用于对所述融合特征图进行处理，得到目标的实例分割和深度估计结果；训练模块，用于利用所述目标分类预测结果和定位框回归预测结果、所述目标的实例分割和深度估计结果、所述训练数据样本标签集，进行损失计算，采用反向传播梯度下降法使损失达到最小，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；目标检测和深度估计模块，用于获取待处理的红外图像，利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对所述待处理的红外图像进行处理，得到目标分类预测结果和定位框回归预测结果、目标的实例分割和深度估计结果。9.一种单目红外图像目标检测和深度估计装置，其特征在于，所述装置包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的单目红外图像目标检测和深度估计方法。10.一种计算机可存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的单目红外图像目标检测和深度估计方法。

技术总结
本发明公开了一种单目红外图像目标检测和深度估计方法及装置，该方法包括：获取训练数据样本集和训练数据样本标签集；对训练数据样本集进行数据预处理和数据增强处理，得到训练数据集；利用特征提取网络模型对训练数据集进行特征提取得到特征图；对特征图进行处理得到融合特征图；利用融合特征图对目标检测和深度估计网络模型进行训练，得到全局最优的目标检测模型和全局最优的实例分割深度估计模型；利用全局最优的目标检测模型和全局最优的实例分割深度估计模型对待处理的红外图像进行处理，得到目标预测结果、目标的实例分割和深度估计结果。本发明提升了红外图像深度估计的精度，在估计深度的同时实现红外图像目标的实例分割。例分割。例分割。


技术研发人员：马天 龙知洲 李伟萍 唐荣富
受保护的技术使用者：威海众合机电科技有限公司
技术研发日：2023.06.27
技术公布日：2023/9/19