一种基于U2Net的新型显著性目标检测网络的制作方法

一种基于u2net的新型显著性目标检测网络
技术领域
1.本发明涉及一种显著性检测网络，具体地说，是一种基于u2net的新型显著性目标检测网络。


背景技术：

2.轮胎外观视觉检测系统的开发是近年来的工业检测领域的研究热点，涉及到大量的视觉信息处理技术。人工智能技术在视觉检测领域的应用方案具备泛化能力较强的特点，在检测效果上优于传统图像算法，所以人工智能检测方案将逐步超越并替代现有的传统解决方案，并能够胜任更具挑战性的应用。
3.深度学习在视觉领域的应用是人工智能应用的分支，具有较为广阔的应用前景。但是，现有的深度学习检测算法(如yolo系列)在应对特征丰富度不足、数量较少的数据集时，往往无法发挥其优势；少数可以用在小数据集上发挥作用的模型(如unet及衍生模型)在应对特征丰富的场景时，往往无法达到理想的效果。为了改善上述问题，所以提出了一种基于u2net的新型显著性目标检测网络。


技术实现要素：

4.发明目的：本发明目的在于针对现有技术的不足，提供了一种针对小样本且丰富特征场景下的高准确性检测网络。
5.技术方案：本发明所述一种基于u2net的新型显著性目标检测网络，其运行流程包括以下步骤：
6.s1、对数据集进行増广处理，包括旋转、翻转、图像增强和去噪；
7.s2、基于u2net模型搭建网络，并对u2net网络进行改进，具体改进步骤如下：
8.s21、在大u型网络中增加短路连接操作，
9.s22、使用resnext的简化inception结构代替rsu模块中的3
×
3卷积，
10.s23、池化层均替换为resnext的简化inception结构，
11.s24、随机增大特征层尺寸并裁剪，防止发生过拟合，
12.将采用s21～s24改进后的网络模型称为res-u2next；
13.s3、将数据集输入网络中进行训练，并使用训练好的权重对测试集进行推理。
14.作为优选的，s2中，u2net结构是在unet基础上进行了两级嵌套的u形结构，其中，第一级为由11个阶段组成的大u型结构，第二级由rsu模块(residual u-blocks)填充，具体的，u2net的一次前向传播需要依次进行了六阶段编码器的编码(en_1至en_6)、五阶段解码器的解码(de_1至de_5)、显著图融合三个过程，损失函数与u2net保持一致。
15.作为优选的，在en_1阶段至en_4阶段过程中，对应的rsu分别为rsu_1(rsu-7)、rsu_2(rsu-6)、rsu_3(rsu-5)、rsu_4(rsu-4)；
16.在de_1阶段至de_5阶段对应的rsu分别为rsu_8(rsu-4)、rsu_9(rsu-5)、rsu_10(rsu-6)、rsu_11(rsu-7)；
17.在模块rsu-7、rsu-6、rsu-5、rsu-4中，rsu-后的数字分别代表根据特征图的空间分辨率配置的rsu的高度；
18.在en_5、en_6和de_5阶段中采用rsu-4f结构，该结构采用空洞卷积代替卷积和上采样操作。
19.作为优选的，s21中，在大u型网络中增加短路连接操作的具体步骤为：
20.输入层共有两个分支，一个分支进入rsu_1模块进行编码，另一分支跨过rsu_1模块与rsu_1模块的输出结果在深度方向进行拼接，作为en_1阶段的输出；
21.en_1阶段在前向传播时共有两个分支，一个分支进入rsu_2模块进行编码，另一分支跨过rsu_2模块与rsu_2模块的输出结果在深度方向进行拼接，作为en_2阶段的输出；
22.en_2阶段在前向传播时共有两个分支，一个分支进入rsu_3模块进行编码，另一分支跨过rsu_3模块与rsu_3模块的输出结果在深度方向进行拼接，作为en_3阶段的输出；
23.en_3阶段在前向传播时共有两个分支，一个分支进入rsu_4模块进行编码，另一分支跨过rsu_4模块与rsu_4模块的输出结果在深度方向进行拼接，作为en_4阶段的输出；
24.en_4阶段在前向传播时共有两个分支，一个分支进入rsu_5模块进行编码，另一分支跨过rsu_5模块与rsu_5模块的输出结果在深度方向进行拼接，作为en_5阶段的输出；
25.en_6阶段的输出与en_5阶段的输出在深度方向上进行拼接，即跳连，拼接后的信息作为de_5阶段的输入；
26.de_5阶段的输入在前向传播时共有两个分支，一个分支进入rsu_7模块进行编码，另一分支跨过rsu_7模块与rsu7模块的输出结果以及en_5阶段的输出三者在深度方向进行拼接，作为de_5阶段的输出；
27.de_4阶段的输入在前向传播时共有两个分支，一个分支进入rsu_8模块进行编码，另一分支跨过rsu_8模块与rsu_8模块的输出结果以及en_4阶段的输出三者在深度方向进行拼接，作为de_4阶段的输出；
28.de_3阶段的输入在前向传播时共有两个分支，一个分支进入rsu_9模块进行编码，另一分支跨过rsu_9模块与rsu_9模块的输出结果以及en_3阶段的输出三者在深度方向上进行拼接，作为de_3阶段的输出；de_2阶段的输入在前向传播时共有两个分支，一个分支进入rsu_10模块进行编码，另一分支跨过rsu_10模块与rsu_10模块的输出结果以及en_2阶段的输出三者在深度方向上进行拼接，作为de_2阶段的输出；
29.de_1阶段的输入在前向传播时共有两个分支，一个分支进入rsu_11模块进行编码，另一分支跨过rsu_11模块与rsu_11模块的输出结果以及en_1阶段的输出三者在深度方向上进行拼接，作为de_1阶段的输出。
30.作为优选的，s22中，使用resnext的简化inception结构代替rsu模块中的3*3卷积的具体步骤为：以“channel-d in”表示输入数据的深度为channel，“channel-d out”表示输出数据的深度为channel，在各模块rsu内部前向传播过程中，卷积操作通常用参数表示为“channel-in,k
×
k,channel-out”，“total cardinalitypaths”表示路径数量，随后在深度方向上进行两次合并，第一次合并是各个特征提取结果进行合并，第二次合并是原特征信息与特征提取结果进行合并。
31.作为优选的，s24中，随机增大特征层尺寸并裁剪的具体步骤为：
32.s241、使用基数为c的resnext网络的简化inception结构在进行卷积操作时，训练
图片会被提取特征，得到c条卷积路径，将各转换路径对应的特征图记为fi，i＝1，2...c，其大小为h
×
w，h、w分别表示特征图的高和宽；
33.s242、随机选定第n条路径上的特征图fn，n＝1，2，...c，将特征图使用双线性插值方法扩展为(2h)
×
(2w)的特征图f
n-2
，在扩展后的特征图上，在不超过特征图f
n-2
边界的情况下，随机裁剪出尺寸为h
×
w的新特征图，获得裁剪结果f
n-clip
；
34.s243、使用f
n-clip
替换原特征图fn。
35.本发明相比于现有技术具有以下有益效果：经过实验对比发现，这一技术方案所提供的新模型在处理特征丰富的小样本数据集时，效果优于传统的unet、u2net、resunet和unet++、attentionunet。
附图说明
36.图1为本发明一种针对小样本且丰富特征场景下的高准确性检测网络中s22中使用resnext的简化inception结构代替rsu模块中的3
×
3卷积的逻辑结构示意图。
具体实施方式
37.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
39.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，也可以是成一体；可以是机械连接，也可以是电连接，也可以是通讯连接；可以是直接连接，也可以通过中间媒介的间接连接，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
40.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
41.实施例1：一种基于u2net的新型显著性目标检测网络，其运行流程包括以下步骤：
42.s1、对数据集进行増广处理，包括旋转、翻转、图像增强和去噪；
43.s2、基于u2net模型搭建网络，并对u2net网络进行改进，u2net结构是在unet基础上进行了两级嵌套的u形结构，其中，第一级为由11个阶段组成的大u型结构，第二级由rsu模块(residual u-blocks)填充，具体的，u2net的一次前向传播需要依次进行了六阶段编码器的编码(en_1至en_6)、五阶段解码器的解码(de_1至de_5)、显著图融合三个过程，在en_1阶段至en_4阶段过程中，对应的rsu分别为rsu_1(rsu-7)、rsu_2(rsu-6)、rsu_3(rsu-5)、rsu_4(rsu-4)；在de_1阶段至de_5阶段对应的rsu分别为rsu_8(rsu-4)、rsu_9(rsu-5)、
rsu_10(rsu-6)、rsu_11(rsu-7)，损失函数与u2net保持一致，具体改进步骤如下：
44.s21、在大u型网络中增加短路连接操作，具体步骤为：
45.输入层共有两个分支，一个分支进入rsu_1模块进行编码，另一分支跨过rsu_1模块与rsu_1模块的输出结果在深度方向进行拼接，作为en_1阶段的输出；
46.en_1阶段在前向传播时共有两个分支，一个分支进入rsu_2模块进行编码，另一分支跨过rsu_2模块与rsu_2模块的输出结果在深度方向进行拼接，作为en_2阶段的输出；
47.en_2阶段在前向传播时共有两个分支，一个分支进入rsu_3模块进行编码，另一分支跨过rsu_3模块与rsu_3模块的输出结果在深度方向进行拼接，作为en_3阶段的输出；
48.en_3阶段在前向传播时共有两个分支，一个分支进入rsu_4模块进行编码，另一分支跨过rsu_4模块与rsu_4模块的输出结果在深度方向进行拼接，作为en_4阶段的输出；
49.en_4阶段在前向传播时共有两个分支，一个分支进入rsu_5模块进行编码，另一分支跨过rsu_5模块与rsu_5模块的输出结果在深度方向进行拼接，作为en_5阶段的输出；
50.en_6阶段的输出与en_5阶段的输出在深度方向上进行拼接，即跳连，拼接后的信息作为de_5阶段的输入；
51.de_5阶段的输入在前向传播时共有两个分支，一个分支进入rsu_7模块进行编码，另一分支跨过rsu_7模块与rsu7模块的输出结果以及en_5阶段的输出三者在深度方向进行拼接，作为de_5阶段的输出；
52.de_4阶段的输入在前向传播时共有两个分支，一个分支进入rsu_8模块进行编码，另一分支跨过rsu_8模块与rsu_8模块的输出结果以及en_4阶段的输出三者在深度方向进行拼接，作为de_4阶段的输出；
53.de_3阶段的输入在前向传播时共有两个分支，一个分支进入rsu_9模块进行编码，另一分支跨过rsu_9模块与rsu_9模块的输出结果以及en_3阶段的输出三者在深度方向上进行拼接，作为de_3阶段的输出；de_2阶段的输入在前向传播时共有两个分支，一个分支进入rsu_10模块进行编码，另一分支跨过rsu_10模块与rsu_10模块的输出结果以及en_2阶段的输出三者在深度方向上进行拼接，作为de_2阶段的输出；
54.de_1阶段的输入在前向传播时共有两个分支，一个分支进入rsu_11模块进行编码，另一分支跨过rsu_11模块与rsu_11模块的输出结果以及en_1阶段的输出三者在深度方向上进行拼接，作为de_1阶段的输出，
55.s22、使用resnext的简化inception结构代替rsu模块中的3
×
3卷积，具体步骤为：以“channel-d in”表示输入数据的深度为channel，“channel-dout”表示输出数据的深度为channel，在各模块rsu内部前向传播过程中，卷积操作通常用参数表示为“channel-in,k
×
k,channel-out”，“total cardinalitypaths”表示路径数量，随后在深度方向上进行两次合并，第一次合并是各个特征提取结果进行合并，第二次合并是原特征信息与特征提取结果进行合并，
56.s23、池化层均替换为resnext的简化inception结构，
57.s24、随机增大特征层尺寸并裁剪，防止发生过拟合，具体步骤为：
58.s241、使用基数为c的resnext网络的简化inception结构在进行卷积操作时，训练图片会被提取特征，得到c条卷积路径，将各转换路径对应的特征图记为fi，i＝1，2...c，其大小为h
×
w，h、w分别表示特征图的高和宽；
59.s242、随机选定第n条路径上的特征图fn，n＝1，2，...c，将特征图使用双线性插值方法扩展为(2h)
×
(2w)的特征图f
n-2
，在扩展后的特征图上，在不超过特征图f
n-2
边界的情况下，随机裁剪出尺寸为h
×
w的新特征图，获得裁剪结果f
n-clip
；
60.s243、使用f
n-clip
替换原特征图fn61.将采用s21～s24改进后的网络模型称为res-u2next；
62.s3、将数据集输入网络中进行训练，并使用训练好的权重对测试集进行推理。
63.实施例2：一种基于u2net的新型显著性目标检测网络，其运行流程包括以下步骤：
64.s1、对数据集进行増广处理，包括旋转、翻转、图像增强和去噪；
65.s2、基于u2net模型搭建网络，并对u2net网络进行改进，u2net结构是在unet基础上进行了两级嵌套的u形结构，其中，第一级为由11个阶段组成的大u型结构，第二级由rsu模块(residual u-blocks)填充，具体的，u2net的一次前向传播需要依次进行了六阶段编码器的编码(en_1至en_6)、五阶段解码器的解码(de_1至de_5)、显著图融合三个过程，在en_1阶段至en_4阶段过程中，对应的rsu分别为rsu_1(rsu-7)、rsu_2(rsu-6)、rsu_3(rsu-5)、rsu_4(rsu-4)；在de_1阶段至de_5阶段对应的rsu分别为rsu_8(rsu-4)、rsu_9(rsu-5)、rsu_10(rsu-6)、rsu_11(rsu-7)，损失函数与u2net保持一致，具体改进步骤如下：
66.s21、在大u型网络中增加短路连接操作，具体步骤为：
67.输入层共有两个分支，一个分支进入rsu_1模块进行编码，另一分支跨过rsu_1模块与rsu_1模块的输出结果在深度方向进行拼接，作为en_1阶段的输出；
68.en_1阶段在前向传播时共有两个分支，一个分支进入rsu_2模块进行编码，另一分支跨过rsu_2模块与rsu_2模块的输出结果在深度方向进行拼接，作为en_2阶段的输出；
69.en_2阶段在前向传播时共有两个分支，一个分支进入rsu_3模块进行编码，另一分支跨过rsu_3模块与rsu_3模块的输出结果在深度方向进行拼接，作为en_3阶段的输出；
70.en_3阶段在前向传播时共有两个分支，一个分支进入rsu_4模块进行编码，另一分支跨过rsu_4模块与rsu_4模块的输出结果在深度方向进行拼接，作为en_4阶段的输出；
71.en_4阶段在前向传播时共有两个分支，一个分支进入rsu_5模块进行编码，另一分支跨过rsu_5模块与rsu_5模块的输出结果在深度方向进行拼接，作为en_5阶段的输出；
72.en_6阶段的输出与en_5阶段的输出在深度方向上进行拼接，即跳连，拼接后的信息作为de_5阶段的输入；
73.de_5阶段的输入在前向传播时共有两个分支，一个分支进入rsu_7模块进行编码，另一分支跨过rsu_7模块与rsu7模块的输出结果以及en_5阶段的输出三者在深度方向进行拼接，作为de_5阶段的输出；
74.de_4阶段的输入在前向传播时共有两个分支，一个分支进入rsu_8模块进行编码，另一分支跨过rsu_8模块与rsu_8模块的输出结果以及en_4阶段的输出三者在深度方向进行拼接，作为de_4阶段的输出；
75.de_3阶段的输入在前向传播时共有两个分支，一个分支进入rsu_9模块进行编码，另一分支跨过rsu_9模块与rsu_9模块的输出结果以及en_3阶段的输出三者在深度方向上进行拼接，作为de_3阶段的输出；de_2阶段的输入在前向传播时共有两个分支，一个分支进入rsu_10模块进行编码，另一分支跨过rsu_10模块与rsu_10模块的输出结果以及en_2阶段的输出三者在深度方向上进行拼接，作为de_2阶段的输出；
76.de_1阶段的输入在前向传播时共有两个分支，一个分支进入rsu_11模块进行编码，另一分支跨过rsu_11模块与rsu_11模块的输出结果以及en_1阶段的输出三者在深度方向上进行拼接，作为de_1阶段的输出，
77.s22、使用resnext的简化inception结构代替rsu模块中的3
×
3卷积，具体步骤为：以输入256通道的输入信息为例，以“channel-d in”表示输入数据的深度为channel，这里channel为256，“channel-d out”表示输出数据的深度为channel，这里channel为256，
78.在各模块rsu内部前向传播过程中，卷积操作通常用参数表示为“channel-in,k
×
k,channel-out”，如上图所示，“256,1
×
1,4”表示输入通道数为256，卷积核大小为1
×
1，输出通道数为4；“4,1
×
1,256”表示输入通道数为4，卷积核大小为1
×
1，输出通道数为256，“total cardinality paths”表示路径数量，如上图所示，cardinality为32，
⊕
表示在深度方向上进行两次合并，第一次合并是各个特征提取结果进行合并，第二次合并是原特征信息与特征提取结果进行合并，在进行rsu模块的卷积结构替换时，仅需要需改上图中的channel-d in和channel-d out，使前后特征层的channel数量与上图中结构中的前后channel数量保持一致，
79.s23、池化层均替换为resnext的简化inception结构，
80.为了适度减少特征层尺寸，减小训练难度，防止过拟合，需要在卷积层后加入池化层对数据进行压缩。但是在使用池化层时，信息均被视为同等重要，存在着重要信息被过滤掉、不重要信息被保留的风险。为了避免上述风险，需要将下采样时各rsu之间的池化层改为上图结构。
81.在进行结构替换时，需要需改上图中的channel-d in和channel-d out，使前后特征层的channel数量与上图中结构中的前后channel数量保持一致，同时，将卷积核滑动尺寸stride更改为2，
82.s24、随机增大特征层尺寸并裁剪，防止发生过拟合，具体步骤为：
83.s241、使用基数为c的resnext网络的简化inception结构在进行卷积操作时，训练图片会被提取特征，得到c条卷积路径，将各转换路径对应的特征图记为fi，i＝1，2...c，其大小为h
×
w，h、w分别表示特征图的高和宽；
84.s242、随机选定第n条路径上的特征图fn，n＝1，2，...c，将特征图使用双线性插值方法扩展为(2h)
×
(2w)的特征图f
n-2
，在扩展后的特征图上，在不超过特征图f
n-2
边界的情况下，随机裁剪出尺寸为h
×
w的新特征图，获得裁剪结果f
n-clip
；
85.s243、使用f
n-clip
替换原特征图fn86.将采用s21～s24改进后的网络模型称为res-u2next；
87.s3、将数据集输入网络中进行训练，并使用训练好的权重对测试集进行推理。
88.针对上述实施例1和实施例2所获得的一种基于u2net的新型显著性目标检测网络，经过实验对比发现，这一技术方案所提供的新模型在处理特征丰富的小样本数据集时，效果优于传统的unet、u2net、resunet和unet++、attentionunet。
89.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一特征和第二特征直接接触，或第一特征和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下
面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述，意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。
90.而且，描述的具体特征、结构、材料或者特点可以在任意一个或者多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
91.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于u2net的新型显著性目标检测网络，其特征在于：其运行流程包括以下步骤：s1、对数据集进行増广处理，包括旋转、翻转、图像增强和去噪；s2、基于u2net模型搭建网络，并对u2net网络进行改进，具体改进步骤如下：s21、在大u型网络中增加短路连接操作，s22、使用resnext的简化inception结构代替rsu模块中的3
×
3卷积，s23、池化层均替换为resnext的简化inception结构，s24、随机增大特征层尺寸并裁剪，防止发生过拟合，将采用s21～s24改进后的网络模型称为res-u2next；s3、将数据集输入网络中进行训练，并使用训练好的权重对测试集进行推理。2.根据权利要求1所述的一种基于u2net的新型显著性目标检测网络，其特征在于：s2中，u2net结构是在unet基础上进行了两级嵌套的u形结构，其中，第一级为由11个阶段组成的大u型结构，第二级由rsu模块(residual u-blocks)填充，具体的，u2net的一次前向传播需要依次进行了六阶段编码器的编码(en_1至en_6)、五阶段解码器的解码(de_1至de_5)、显著图融合三个过程，损失函数与u2net保持一致。3.根据权利要求2所述的一种基于u2net的新型显著性目标检测网络，其特征在于：在en_1阶段至en_4阶段过程中，对应的rsu分别为rsu_1(rsu-7)、rsu_2(rsu-6)、rsu_3(rsu-5)、rsu_4(rsu-4)；在de_1阶段至de_5阶段对应的rsu分别为rsu_8(rsu-4)、rsu_9(rsu-5)、rsu_10(rsu-6)、rsu_11(rsu-7)；在模块rsu-7、rsu-6、rsu-5、rsu-4中，rsu-后的数字分别代表根据特征图的空间分辨率配置的rsu的高度；在en_5、en_6和de_5阶段中采用rsu-4f结构，该结构采用空洞卷积代替卷积和上采样操作。4.根据权利要求1所述的一种基于u2net的新型显著性目标检测网络，其特征在于：s21中，在大u型网络中增加短路连接操作的具体步骤为：输入层共有两个分支，一个分支进入rsu_1模块进行编码，另一分支跨过rsu_1模块与rsu_1模块的输出结果在深度方向进行拼接，作为en_1阶段的输出；en_1阶段在前向传播时共有两个分支，一个分支进入rsu_2模块进行编码，另一分支跨过rsu_2模块与rsu_2模块的输出结果在深度方向进行拼接，作为en_2阶段的输出；en_2阶段在前向传播时共有两个分支，一个分支进入rsu_3模块进行编码，另一分支跨过rsu_3模块与rsu_3模块的输出结果在深度方向进行拼接，作为en_3阶段的输出；en_3阶段在前向传播时共有两个分支，一个分支进入rsu_4模块进行编码，另一分支跨过rsu_4模块与rsu_4模块的输出结果在深度方向进行拼接，作为en_4阶段的输出；en_4阶段在前向传播时共有两个分支，一个分支进入rsu_5模块进行编码，另一分支跨过rsu_5模块与rsu_5模块的输出结果在深度方向进行拼接，作为en_5阶段的输出；en_6阶段的输出与en_5阶段的输出在深度方向上进行拼接，即跳连，拼接后的信息作为de_5阶段的输入；de_5阶段的输入在前向传播时共有两个分支，一个分支进入rsu_7模块进行编码，另一
分支跨过rsu_7模块与rsu7模块的输出结果以及en_5阶段的输出三者在深度方向进行拼接，作为de_5阶段的输出；de_4阶段的输入在前向传播时共有两个分支，一个分支进入rsu_8模块进行编码，另一分支跨过rsu_8模块与rsu_8模块的输出结果以及en_4阶段的输出三者在深度方向进行拼接，作为de_4阶段的输出；de_3阶段的输入在前向传播时共有两个分支，一个分支进入rsu_9模块进行编码，另一分支跨过rsu_9模块与rsu_9模块的输出结果以及en_3阶段的输出三者在深度方向上进行拼接，作为de_3阶段的输出；de_2阶段的输入在前向传播时共有两个分支，一个分支进入rsu_10模块进行编码，另一分支跨过rsu_10模块与rsu_10模块的输出结果以及en_2阶段的输出三者在深度方向上进行拼接，作为de_2阶段的输出；de_1阶段的输入在前向传播时共有两个分支，一个分支进入rsu_11模块进行编码，另一分支跨过rsu_11模块与rsu_11模块的输出结果以及en_1阶段的输出三者在深度方向上进行拼接，作为de_1阶段的输出。5.根据权利要求1所述的一种基于u2net的新型显著性目标检测网络，其特征在于：s22中，使用resnext的简化inception结构代替rsu模块中的3*3卷积的具体步骤为：以“channel-d in”表示输入数据的深度为channel，“channel-d out”表示输出数据的深度为channel，在各模块rsu内部前向传播过程中，卷积操作通常用参数表示为“channel-in,k
×
k,channel-out”，“total cardinalitypaths”表示路径数量，随后在深度方向上进行两次合并，第一次合并是各个特征提取结果进行合并，第二次合并是原特征信息与特征提取结果进行合并。6.根据权利要求1所述的一种基于u2net的新型显著性目标检测网络，其特征在于：s24中，随机增大特征层尺寸并裁剪的具体步骤为：s241、使用基数为c的resnext网络的简化inception结构在进行卷积操作时，训练图片会被提取特征，得到c条卷积路径，将各转换路径对应的特征图记为f
i
，i＝1，2...c，其大小为h
×
w，h、w分别表示特征图的高和宽；s242、随机选定第n条路径上的特征图f
n
，n＝1，2，...c，将特征图使用双线性插值方法扩展为(2h)
×
(2w)的特征图f
n-2
，在扩展后的特征图上，在不超过特征图f
n-2
边界的情况下，随机裁剪出尺寸为h
×
w的新特征图，获得裁剪结果f
n-clip
。s243、使用f
n-clip
替换原特征图f
n
。

技术总结
本发明公开了一种基于U2Net的新型显著性目标检测网络，首先对数据集进行増广处理，包括旋转、翻转、图像增强和去噪；随后基于U2Net模型搭建网络，并对U2Net网络进行改进，改进步骤包括在大U型网络中增加短路连接操作；使用ResNeXt的简化Inception结构代替RSU模块中的3


技术研发人员：杨尚朋 陈强 何鹏 张正罗 丁广伟 王增光 张达志 胡俊 王启迪 陆军 李文浩 苏志斌 赵鑫培 谭雨良 吴梦晨
受保护的技术使用者：华澳轮胎设备科技（苏州）股份有限公司
技术研发日：2022.11.11
技术公布日：2023/7/31