基于渐进式特征对齐的无监督域适应车道线检测方法

1.本发明属于图像处理技术领域，特别涉及一种无监督域适应车道线检测方法，可用于辅助驾驶或自动驾驶。


背景技术：

2.车道线检测是自动驾驶和辅助驾驶中自主巡航、车道保持等许多高级功能的实施前提。目前的车道线检测算法都依赖于大规模高质量的车道线标注数据集进行有监督训练，当将训练模型直接应用在训练集外的未知领域时往往会带来较大的检测性能退化。
3.近年来，无监督领域自适应算法和车道线检测算法的结合为该问题提供了一种解决思路。无监督领域自适应车道线检测算法旨在假设无标注目标域数据集可以访问的情况下，同有标注源域数据集共同训练车道线检测网络模型，使其在目标域仍有不错的检测性能。现有的域适应车道线检测算法通常使用ufld作为基础车道线检测器，采用对抗特征训练的方式以特征提取网络最后一层作为输入构建域判别器，从而使得网络能够倾向于域不变特征的学习，以提高车道线检测网络在目标域的检测精度。此外，基于伪标签自训练的方法也通常和基于对抗特征训练的方式相结合进一步提高在目标域的检测精度。
4.公开号为cn111340021a的专利文献中公开了一种《基于中心对齐和关系显著性的无监督域适应目标检测方法》，其将源域和目标域图像作为目标检测网络的输入，在特征提取网络的最后一层特征图上构建域对抗判别器以实现图像级特征的对齐，并针对目标区域提案进行类别中心的建模和对齐。但这种方法仅使用特征提取网络最后一层特征进行对抗训练，丢失了大部分域不变信息使得网络在目标域检测精度的提升并不理想。
5.公开号为cn112668594a的专利文献中公开了一种《基于对抗性域适应的无监督图像目标检测方法》，其将浅层特征、深层特征和实例特征用以对抗学习从而得到域不变特征。但是这种方法由于会强制性对齐域特有属性特征使得网络发生负迁移，进而导致了目标域检测精度的降低。
6.gebele等人在文献《carlane:a lane detection benchmark for unsupervised domain adaptation from simulation to multiple real-world domains》中提出了基于伪标签的方法进行辅助训练，同时通过原型聚类实现域内的对比学习和域间的自监督学习以提升车道线检测网络在目标域的检测精度。但这种基于伪标签方法的训练需要分步迭代完成，使得训练效率不高。


技术实现要素：

7.本发明的目的在于针对上述已有技术的不足，提出一种基于渐进式特征对齐的无监督域适应车道线检测方法，以通过在训练阶段渐进式引入图像级对齐网络分支和实例级对齐网络分支，结合域对抗和域联合学习，提高车道线检测网络在目标域的检测精度。
8.为实现上述目的，本发明技术方案的实现步骤包括如下：
9.(1)获取源域和目标域的训练数据集和测试数据集，其中源域训练数据集具有标
签，目标域训练数据集没有标签；
10.(2)构建域适应车道线检测网络da-ufld：
11.2a)建立依次由第一级图像级域判别器卷积块、梯度反转层和第二级图像级域判别器的级联组成的图像级特征对齐网络分支；
12.2b)建立依次由平均池化层、卷积块、梯度反转层和实例级域判别器的级联组成的实例级特征对齐网络分支；
13.2c)将图像级特征对齐网络分支和实例级特征对齐网络分支与现有的超快结构化车道线检测网络ufld中的主干网络第三个卷积块相并联，构成域适应车道线检测网络da-ufld；
14.(3)构建域适应车道线检测网络da-ufld总损失函数l:
15.3a)计算图像级域判别特征，将其与域标签构成图像级特征的域分类损失函数l
img
；
16.3b)获取实例级域判别特征，将其与域标签构成实例级特征的域分类损失函数l
ins
；
17.3c)使用图像级域判别特征和实例级域判别特征构成一致性与差异性联合正则化函数l
cst
；
18.3d)使用图像级特征的域分类损失函数l
img
、实例级特征的域分类损失函数l
ins
、一致性与差异性联合正则化函数l
cst
和现有的车道线检测网络ufld检测损失函数l
det
，构建总损失函数：l＝l
img
+l
ins
+l
cst
+l
det
；
19.(4)利用源域训练数据集和目标域训练数据集作为da-ufld的输入，采用反向传播法对其训练，直到损失函数l收敛，得到训练好的域适应车道线检测网络da-ufld；
20.(5)将目标域测试数据集输入到训练好的域适应车道线检测网络da-ufld中，得到车道线检测结果。
21.本发明与现有技术相比具有如下优点：
22.第一，本发明融合域属性特征和多尺度特征作为图像级域判别器的输入，以增加域不变信息，从而可在图像级特征对齐层面提升车道线检测网络在目标域的检测精度；
23.第二，本发明由于通过构建实例级对齐网络分支完成实例级域判别特征的提取和对齐，因而可在实例级特征对齐层面提升车道线检测网络在目标域的检测精度；
24.第三，本发明设计由图像级特征的域分类损失函数、实例级特征的域分类损失函数、一致性与差异性的联合正则化函数和已有车道线检测损失组成的总损失函数l对网络进行训练，进一步提升了车道线检测网络在目标域的检测精度。
附图说明
25.图1是本发明的实现总流程图；
26.图2是本发明中构建的基于渐进式特征对齐车道线检测网络的示意图；
27.图3是本发明中网络训练的实现子流程示意图；
28.图4是本发明中获取实例级特征的实现子流程示意图；
29.图5是用本发明对在tulane目标域数据集中的车道线进行检测的仿真实验结果图。
30.图6是用本发明对在molane目标域数据集中的车道线进行检测的仿真实验结果图。
具体实施方式
31.以下结合附图对本发明的实施例和效果作进一步详细描述。
32.参照图1，本实施例的实现步骤如下：
33.步骤1，获取源域和目标域数据。
34.从现有的公共数据库中获取不同域适应车道线检测数据集，该数据集中包含源域和目标域数据集，其中源域和目标域数据集均已划分好训练数据集和测试数据集。
35.本实例获取的训练数据集中其源域数据集具有标签而目标域数据集没有标签，从而形成无监督的学习范式。
36.步骤2，构建域适应车道线检测网络da-ufld。
37.参照图2，本步骤的具体实现如下：
38.2.1)建立图像级特征对齐网络分支：
39.2.1.1)建立由第一卷积层、第一批归一化层、第一relu激活函数、第二卷积层、第二批归一化层、第二relu激活函数和第三卷积层的级联组成的第一图像级域判别器
40.其中：
41.第一卷积层的卷积核大小为3x3，输出通道为32，步长为2，扩充为0；
42.第二卷积层的卷积核大小为1x1，输出通道为16，步长为1，扩充为0；
43.第三卷积层的卷积核大小为1x1，输出通道为1，步长为1，扩充为0。
44.2.1.2)建立由第一全连接层、第一relu激活函数、第二全连接层、第二relu激活函数、第三全连接层、第三relu激活函数和第四全连接的级联组成的第二图像级域判别器其中：
45.第一全连接层输出通道为1800；
46.第二全连接层输出通道为1024；
47.第三全连接层输出通道为1024；
48.第四全连接层输出通道为2。
49.2.1.3)建立由第一卷积层、第一批归一化层、第一relu激活函数、第二卷积层、第二批归一化层和第二relu激活函数级联组成的卷积块，其中：
50.第一卷积层的卷积核大小为3x3，输出通道为4，步长为2，扩充为1；
51.第二卷积层的卷积核大小为3x3，输出通道为4，步长为1，扩充为1。
52.2.1.4)建立梯度反转层，其在前向传播时，将输入权重乘以1；在反向传播时，将输入权重乘以-1。
53.2.1.5)将第一级图像级域判别器卷积块、梯度反转层和第二级图像级域判别器依次级联，构成的图像级特征对齐网络分支。
54.2.2)建立实例级特征对齐网络分支：
55.2.2.1)建立平均池化层，其平均池化核为3
×
3；
56.2.2.2)建立由第一卷积层、第一批归一化层、第一relu激活函数、第二卷积层、第
二批归一化层、第二relu激活函数、第三卷积层、第三批归一化层和第三relu激活函数的级联组成的卷积块，其中：
57.第一卷积层的卷积核大小为3x3，输出通道为32，步长为2，扩充为1；
58.第二卷积层的卷积核大小为3x3，输出通道为16，步长为2，扩充为1；
59.第三卷积层的卷积核大小为3x3，输出通道为8，步长为2，扩充为1。
60.2.2.3)建立梯度反转层，其在前向传播时，将输入权重乘以1；在反向传播时，将输入权重乘以-1。
61.2.2.4)建立由第1全连接层、第1relu激活函数、第2全连接层、第2relu激活函数和第三全连接层的级联组成的实例级域判别器，其中：
62.第1全连接层输出通道为1024，
63.第2全连接层输出通道为1024，
64.第3全连接层输出通道为2。
65.2.2.5)将由平均池化层、卷积块、梯度反转层和实例级域判别器依次的级联，组成实例级特征对齐网络分支。
66.2.3)选用现有的车道线检测网络ufld，其包括主干网络和检测网络：
67.主干网络为resnet卷积神经网络，其拥有5个串联的卷积块，每一个卷积块包含若干组卷积组，每一组卷积组包含一个卷积层、一个批归一化层和一个relu激活函数。本实例所使用的主干网络涉及resnet-18和resnet-34两个版本。
68.检测网络为两个串联组成的全连接层。
69.该车道线检测网络ufld结构及提取的特征如表1所示：
70.表1：车道线检测网络ufld网络结构及提取的图像特征
[0071][0072]
表1中f0为第一卷积块的输出特征，f1为最大池化层的输出特征，f2为第二卷积块的输出特征，f3为第三卷积块的输出特征、f4为第四卷积块的输出特征，f5为第五卷积块的输出特征。
[0073]
2.4)将图像级特征对齐网络分支和实例级特征对齐网络分支与ufld中主干网络的第三个卷积块相并联，构成域适应车道线检测网络da-ufld，其中图像级特征对齐网络分支的输入为f2和由f3、f4和f5相拼接的多尺度特征；实例级特征对齐网络分支的输入为f2。
[0074]
步骤3，构建域适应车道线检测网络da-ufld总损失函数l。
[0075]
3.1)计算图像级域判别特征，将其与域标签构成图像级特征的域分类损失函数l
img
：
[0076]
3.1.1)获取第i幅图像经第一级图像级域判别器输出的域判别特征f
si
和第i幅图像的域类别标签di,建立第一级图像级特征的域分类损失函数
[0077][0078]
3.1.2)获取第i幅图像经第二级图像级域判别器输出的域判别特征f
ti
和第i幅图像的域类别标签di，建立第二级图像级特征的域分类损失函数
[0079][0080]
3.1.3)根据第一级图像级特征的域分类损失函数和第二级图像级特征的域分类损失函数，得到图像级特征的域分类损失函数l
img
：
[0081][0082]
其中λ1和λ2分别表示和的调节参数，且λ1+λ2＝-1；
[0083]
3.2)获取实例级域判别特征，将其与域标签构成实例级特征的域分类损失函数l
ins
：
[0084]
3.2.1)获取第i幅图像经实例级域判别器d
ins
输出的域判别特征f
ni
和第i幅图像的域类别标签di；
[0085]
3.2.2)根据3.2.1)获取的参数，建立实例级特征的域分类损失函数l
ins
：
[0086][0087]
3.3)使用图像级域判别特征和实例级域判别特征构成一致性与差异性联合正则化函数l
cst
：
[0088][0089]
3.4)使用图像级特征的域分类损失函数l
img
、实例级特征的域分类损失函数l
ins
、一致性与差异性联合正则化函数l
cst
和现有的车道线检测网络ufld检测损失函数l
det
，构建总损失函数l：
[0090]
l＝l
img
+l
ins
+l
cst
+l
det
。
[0091]
步骤4，利用源域训练数据集和目标域训练数据集作为da-ufld的输入，采用反向传播法对其进行迭代训练，到训练好的域适应车道线检测网络da-ufld。
[0092]
参照图3，本步骤具体实现如下：
[0093]
4.1)初始化训练迭代次数e，设定加入实例级特征对齐网络时的训练迭代次数t，设定单批训练数据量b和总训练迭代次数e；
[0094]
4.2)依次读取b个源域数据和b个目标域数据，对其进行缩放和归一化的预处理,得到图像对应的张量数据；
[0095]
4.3)将第i幅图像张量数据输入到现有的车道线检测网络ufld的主干网络resnet中进行特征提取，得到第i幅图像经主干网络输出的后四个不同尺寸大小的特征f
2i
、f
3i
、f
4i
和f
5i
，将f
2i
作为浅层特征，并将f
3i
、f
4i
和f
5i
拼接构成多尺度特征f
ci
：
[0096]fci
＝[f3i,f
4i
,f
5i
]；
[0097]
4.4)将主干网络resnet中所提取的第i幅图像的输出特征f
5i
作为ufld检测网络的输入，得到第i幅图像的车道线位置期望loc
i，j
；
[0098]
4.5)利用浅层特征f2和多尺度特征fc提取图像级域判别特征：
[0099]
4.5.1)将第i幅图像的浅层特征f
2i
输入到第一级图像级域判别器得到第i幅图像的图像级域属性判别特征f
si
：
[0100]
[0101]
4.5.2)将4.5.1)中图像级域属性判别特征f
si
与4.3)中的多尺度特征f
ci
进行融合，得到第i幅图像的融合特征f
ri
：
[0102]fri
＝[f
ci
,f
si
]；
[0103]
4.5.3)将4.5.2)中融合特征f
ri
依次通过梯度反转层和第二级图像级域判别器得到第i幅图像的图像级域不变判别特征f
ti
：
[0104][0105]
4.6)判断训练迭代次数是否大于设定迭代次数t：
[0106]
若是，则执行步骤4.7)，
[0107]
否则，执行步骤4.8)；
[0108]
4.7)利用4.3)中的浅层特征f2和4.4)中的车道线位置期望loc
i,j
提取第i幅图像的实例级域判别特征f
ni
：
[0109]
参照图4，本步骤实现如下：
[0110]
4.7.1)将4.4)中loc
i,j
所对应的网格填充数值1，以表示车道线特征被此网格所包含，相反对于不包含车道线的网格填充数值0，以此生成车道线掩膜图f
mi
；
[0111]
4.7.2)以包含车道线的网格为中心在其上、下、左和右四个方向进行数值1的填充，以完成掩膜图f
mi
的膨胀更新；
[0112]
4.7.3)将膨胀后的车道线掩膜图f
mi
同浅层特征f
2i
逐元素相乘进行掩膜覆盖，并通过平均池化进一步提取得到第i幅图像的车道线特征f
lanei
：
[0113][0114]
4.7.4)将上述车道线特征f
lanei
依次输入到梯度反转层和实例级域判别器d
ins
，得到第i幅图像的实例级域判别特征f
ni
；
[0115]fni
＝d
ins
(grl(f
lanei
))；
[0116]
4.8)利用上述loc
i,j
、f
si
、f
ti
和f
ni
,计算总体损失函数l，根据损失函数l进行反向传播并更新网络参数；
[0117]
4.9)判断损失函数l是否收敛或者当前训练迭代次数e是否大于总迭代值e：
[0118]
若是，则结束训练，得到训练好的域适应车道线检网络da-ufld，
[0119]
否则，训练迭代次数e加1，返回步骤4.2)。
[0120]
步骤5，将目标域测试数据集输入到训练好的域适应车道线检测网络da-ufld中，得到车道线检测结果。
[0121]
下面结合仿真实验对本发明的效果做进一步的描述。
[0122]
1.实验条件：
[0123]
所用计算机中央处理器为intel xeon gold cpu，显卡为一块显存为24gb的nvidia rtx 3090gpu。
[0124]
操作系统为64位ubuntu 18.04，使用的深度学习框架为pytorch。
[0125]
训练超参数和车道线检测算法ufld的训练超参数保持一致以确保实验的公平性。
[0126]
实验采用carlane基准中所使用的tulane和molane数据集。
[0127]
tulane数据集的目标域数据为tusimple数据集，其训练集共包含3626个1秒时长的视频段，每一段视频按照时间顺序被分为20帧1280x720分辨率的图像，其中最后一帧带
有分割形式的标注；其测试集共包含2782段，数据形式与训练集相同。
[0128]
tulane数据集的源域数据为由carla仿真器内置的api随机生成的具有不同转弯角度的仿真图像，其训练集包含24000幅带标注图像。
[0129]
molane数据集的目标域数据由模型小车采集于模拟道路。该模型小车大小为真实车辆1/8，并搭载1280x720分辨率摄像头。该数据集最多包含2条车道线，其训练集包含43843幅无标注图像；其测试集包含1000幅带标注图像。
[0130]
molane数据集的源域数据为由carla仿真器内置的api随机生成的具有不同转弯角度的仿真图像，其训练集包含80000幅带标注图像。
[0131]
车道线检测的评价指标为la，fp和fn。
[0132]
所述la指标，用于评估车道线预测点的准确性，表示如下：
[0133][0134]
其中c
clip
和s
clip
分别代表预测正确的车道线点和真实标注中的车道线点，当预测车道线点和真实标注车道线点之间的距离小于设定阈值时，判定预测正确；当车道线la《85％，则为误检。
[0135]
所述fp指标，用于评估车道线预测点的误检率，表示如下：
[0136][0137]
其中，f
pred
代表误检的车道线预测点数量，n
pred
代表所有的车道线预测点总数。
[0138]
所述fn指标，用于评估车道线预测点的漏检率，表示如下：
[0139][0140]
其中，m
pred
是代表漏检的车道线预测点数量，n
gt
代表标注中所有真实车道线预测点数量。
[0141]
2.实验内容：
[0142]
实验1：在上述实验条件下使用本发明方法和carlane基准中的4种方法对tulane数据集车道线进行检测，其检测结果如表2所示。
[0143]
表2本发明和carlane基准中的4种方法在tulane数据集上的检测结果
[0144][0145]
表2中ufld-so代表仅使用源域训练集数据对ufld车道线检测网络进行监督训练并直接在目标域测试集上进行车道线检测所得的结果，可以将其视为实验结果的下界。
[0146]
ufld-to为使用目标域数据集中训练集数据进行监督训练并在目标域测试集上进行测试所得的结果，可以将其视为实验结果的上界。
[0147]
表2中的4种现有方法分别为：
[0148]
dann：ganin等人提出的一种基于对抗特征训练的域适应算法；
[0149]
adda：tzeng等人提出的一种基于gan的域适应算法；
[0150]
sgada：akkaya等人提出的一种基于adda的伪标签域适应算法；
[0151]
sgpcs：gebele等人提出的一种通过原型聚类实现域内的对比学习和域间的自监督学习算法；
[0152]
从表2可见，本发明方法在tulane数据集上以resnet18作为主干网络取得了最优的检测效果，以resnet34作为主干网络取得了次优的检测效果，证明了本发明方法的有效性。
[0153]
实验2，用本发明方法对tulane数据集中任意一幅图像进行检测，其检测结果如图5所示，从图5中可以看出本发明方法的检测结果几乎能完全覆盖到真实车道线。
[0154]
实验3：在上述实验条件下使用本发明方法和carlane基准中的4种方法对molane数据集车道线进行检测，其检测结果分别如表3所示。
[0155]
表3本发明和carlane基准中的4种方法在molane数据集上的检测结果
[0156][0157]
由于molane数据集中只有两条车道线，所以fp等于fn。
[0158]
表3中的4种现有方法与表2相同。
[0159]
从表3可见，本发明方法仅优于dann，证明了本发明方法相较于模拟场景更适合于真实场景下的车道线检测。
[0160]
实验4，用本发明方法对molane数据集中任意一幅图像进行检测，其检测结果如图6所示，从图6中可以看出本发明方法的检测结果和真实车道线仍有较高的重合度。

技术特征：
1.一种基于渐进式特征对齐的无监督域适应车道线检测方法，其特征在于，包括如下步骤：(1)获取源域和目标域的训练数据集和测试数据集，其中源域训练数据集具有标签，目标域训练数据集没有标签；(2)构建域适应车道线检测网络da-ufld：2a)建立依次由第一级图像级域判别器卷积块、梯度反转层和第二级图像级域判别器的级联组成的图像级特征对齐网络分支；2b)建立依次由平均池化层、卷积块、梯度反转层和实例级域判别器的级联组成的实例级特征对齐网络分支；2c)将图像级特征对齐网络分支和实例级特征对齐网络分支与现有的超快结构化车道线检测网络ufld中的主干网络第三个卷积块相并联，构成域适应车道线检测网络da-ufld；(3)构建域适应车道线检测网络da-ufld总损失函数l:3a)计算图像级域判别特征，将其与域标签构成图像级特征的域分类损失函数l
img
；3b)获取实例级域判别特征，将其与域标签构成实例级特征的域分类损失函数l
ins
；3c)使用图像级域判别特征和实例级域判别特征构成一致性与差异性联合正则化函数l
cst
；3d)使用图像级特征的域分类损失函数l
img
、实例级特征的域分类损失函数l
ins
、一致性与差异性联合正则化函数l
cst
和现有的车道线检测网络ufld检测损失函数l
det
，构建总损失函数：l＝l
img
+l
ins
+l
cst
+l
det
；(4)利用源域训练数据集和目标域训练数据集作为da-ufld的输入，采用反向传播法对其训练，直到损失函数l收敛，得到训练好的域适应车道线检测网络da-ufld；(5)将目标域测试数据集输入到训练好的域适应车道线检测网络da-ufld中，得到车道线检测结果。2.根据权利要求1所述的方法，其特征在于，步骤2a)中的两级图像级域判别器、卷积块、梯度反转层，其结构参数如下：所述第一图像级域判别器依次由第一卷积层、第一批归一化层、第一relu激活函数、第二卷积层、第二批归一化层、第二relu激活函数和第三卷积层的级联组成；该第一卷积层的卷积核大小为3x3，输出通道为32，步长为2，扩充为0；该第二卷积层的卷积核大小为1x1，输出通道为16，步长为1，扩充为0；该第三卷积层的卷积核大小为1x1，输出通道为1，步长为1，扩充为0；所述第二图像级域判别器依次由第一全连接层、第一relu激活函数、第二全连接层、第二relu激活函数、第三全连接层、第三relu激活函数和第四全连接的级联组成；该第一全连接层输出通道为1800；该第二全连接层输出通道为1024；该第三全连接层输出通道为1024；该第四全连接层输出通道为2；所述卷积块，其由第一卷积层、第一批归一化层、第一relu激活函数、第二卷积层、第二批归一化层和第二relu激活函数级联组成；该第一卷积层的卷积核大小为3x3，输出通道为4，步长为2，扩充为1；该第二卷积层的卷积核大小为3x3，输出通道为4，步长为1，扩充为1；所述梯度反转层，其在前向传播时，将输入权重乘以1；在反向传播时，将输入权重乘以-1。
3.根据权利要求1所述的方法，其特征在于，步骤2b)中的平均池化层、卷积块、梯度反转层和实例级域判别器，其结构参数如下：所述平均池化层，平均池化核为3
×
3；所述卷积块，其由第一卷积层、第一批归一化层、第一relu激活函数、第二卷积层、第二批归一化层、第二relu激活函数、第三卷积层、第三批归一化层和第三relu激活函数的级联组成；该第一卷积层卷积核大小为3x3，输出通道为32，步长为2，扩充为1；第二卷积层的卷积核大小为3x3，输出通道为16，步长为2，扩充为1；第三卷积层的卷积核大小为3x3，输出通道为8，步长为2，扩充为1；所述梯度反转层，其在前向传播时，将输入权重乘以1；在反向传播时，将输入权重乘以-1；所述实例级域判别器，其由第一全连接层、第一relu激活函数、第二全连接层、第二relu激活函数和第三全连接层的级联组成，该第一全连接层输出通道为1024，该第二全连接层输出通道为1024，该第三全连接层输出通道为2。4.根据权利要求1所述的方法，其特征在于，步骤3a)计算图像级域判别特征，将其与域标签构成图像级特征的域分类损失函数l
img
，实现如下：3a1)获取第i幅图像经第一级图像级域判别器输出的域判别特征f
si
和第i幅图像的域类别标签d
i
,建立第一级图像级特征的域分类损失函数,建立第一级图像级特征的域分类损失函数3a2)获取第i幅图像经第二级图像级域判别器输出的域判别特征f
ti
和第i幅图像的域类别标签d
i
，建立第二级图像级特征的域分类损失函数，建立第二级图像级特征的域分类损失函数3a3)根据3a1)和3a2)的结果构建图像级特征的域分类损失函数l
img
：其中λ1和λ2分别表示和的调节参数，且λ1+λ2＝-1。5.根据权利要求1所述的方法，其特征在于，步骤3b)中获取实例级域判别特征，将其与域标签构成实例级特征的域分类损失函数l
ins
，实现如下：3b1)获取第i幅图像经实例级域判别器d
ins
输出的域判别特征f
ni
和第i幅图像的域类别标签d
i
；3b2)根据3b1)获取的参数，建立实例级特征的域分类损失函数l
ins
：6.根据权利要求1所述的方法，其特征在于，步骤3c)中建立一致性与差异性联合正则化函数l
cst
，表示如下：f
si
表示第一级图像级域判别器输出的域判别特征，f
ti
表示第二级图像级域判别器输出的域判别特征，f
ni
表示实例级域判别器d
ins
输出的域判别特征。
7.根据权利要求1所述的方法，其特征在于，步骤(4)采用反向传播法对da-ufld网络进行训练，实现如下：4a)初始化训练迭代次数e，设定加入实例级特征对齐网络时的训练迭代次数t，设定单批训练数据量b和总训练迭代次数e；4b)依次读取b个源域数据和b个目标域数据，对其进行缩放和归一化的预处理,得到图像对应的张量数据；4c)将图像张量数据输入到现有的车道线检测网络ufld的主干网络resnet中进行特征提取，得到主干网络不同尺寸大小的五个输出特征f2、f3、f4和f5，将f2作为浅层特征，并将f3、f4和f5拼接构成多尺度特征f
c
；4d)将主干网络resnet中所提取的输出特征f5作为ufld检测网络的输入，得到车道线位置期望loc
i，j
；4e)利用浅层特征f2和多尺度特征f
c
提取图像级域判别特征：4e1)将浅层特征f2输入到第一级图像级域判别器得到图像级域属性判别特征f
s
,并将其与多尺度特征f
c
进行融合得到融合特征f
r
；4e2)将融合特征f
r
依次通过梯度反转层和第二级图像级域判别器得到图像级域不变判别特征f
t
；4f)判断训练迭代次数是否大于设定迭代次数t：若是，则执行步骤4g)，否则，执行步骤4h)；4g)利用4c)中的浅层特征f2和4d)中的车道线位置期望loc
i,j
提取实例级域判别特征f
n
：4g1)将4d)中loc
i,j
所对应的网格填充数值1以表示车道线特征被此网格所包含，相反对于不包含车道线的网格填充数值0，以此生成车道线掩膜图f
m
；4g2)以包含车道线的网格为中心在其上、下、左和右四个方向进行数值1的填充，以完成掩膜图f
m
的膨胀更新；4g3)将膨胀后的车道线掩膜图f
m
同浅层特征fl逐元素相乘进行掩膜覆盖，并通过平均池化进一步提取车道线特征f
lane
；4g4)将车道线特征f
lane
依次输入到梯度反转层和实例级域判别器d
ins
得到实例级域判别特征f
n
；4h)利用上述loc
i,j
、f
s
、f
t
和f
n
,计算总体损失函数l，根据损失函数l进行反向传播并更新网络参数；4i)判断损失函数l是否收敛或者当前训练迭代次数e是否大于总迭代值e：若是，则结束训练，得到训练好的域适应车道线检网络da-ufld，否则，训练迭代次数e加1，返回步骤4b)。

技术总结
本发明公开了一种基于渐进式特征对齐的无监督域适应车道线检测方法，主要解决现有技术在未标注现实场景下车道线检测精度下降的问题。其实现方案是：1)获取源域和目标域数据；2)构建由图像级特征对齐网络、实例级特征对齐网络和现有的车道线检测网络UFLD组成的域适应车道线检测网络DA-UFLD；3)构建DA-UFLD的总损失函数；4)将所获数据同时作为DA-UFLD的输入，以总损失函数收敛为目标，训练DA-UFLD，并在训练中渐进式完成图像级特征和实例级特征的提取和对齐；5)利用训练好的DA-UFLD在未标注场景下完成车道线检测。本发明显著提高了未标注现实场景下车道线检测的精度，可用于辅助驾驶和自动驾驶。驾驶和自动驾驶。驾驶和自动驾驶。


技术研发人员：韩冰 周洋 王海桐 高新波 施道典
受保护的技术使用者：西安电子科技大学
技术研发日：2023.04.12
技术公布日：2023/7/12