基于多任务的自动驾驶实时环境感知系统及方法

1.本发明涉及自动驾驶技术领域，特别涉及一种基于多任务的自动驾驶实时环境感知系统及方法。


背景技术：

2.自动驾驶作为人工智能和深度学习领域的焦点，其环境感知技术对确保安全驾驶至关重要。环境感知主要包括目标检测、可行驶区域分割、车道线检测等任务。这些任务在自动驾驶过程中发挥着关键作用。例如，目标检测有助于识别道路上的车辆、行人和障碍物，从而避免碰撞；车道线检测确保车辆沿着正确的轨迹行驶，维护道路秩序；可行驶区域分割则帮助车辆规划适当的行驶路线，避免进入非法或高风险区域。
3.近年来，深度学习技术在计算机视觉方面取得了重大突破，为自动驾驶环境感知技术的进步提供了有力支持。例如，采用卷积神经网络(cnn)的目标检测算法，如faster r-cnn和yolo系列，在各种自动驾驶数据集上表现出卓越的性能。然而，传统的深度学习方法往往只关注单一任务，难以满足自动驾驶在多环境因素下的综合感知需求。


技术实现要素：

4.本发明提供一种基于多任务的自动驾驶实时环境感知系统及方法，以解决传统的深度学习方法往往只关注单一任务，难以满足自动驾驶在多环境因素下的综合感知需求等问题。
5.本发明第一方面实施例提供一种基于多任务的自动驾驶实时环境感知系统，包括：特征提取模块，用于提取道路图像的多个特征信息；特征融合模块，用于根据不同目标任务对所述多个特征信息进行特征融合；检测头模块，用于利用不同目标任务对应的检测头对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果。
6.可选地，在本发明的一个实施例中，所述特征提取模块进一步用于，利用卷积神经网络提取所述道路图像的多个特征信息时，使用sppf((spatial pyramid pooling-fast)模块将卷积神经网络的输出变为固定大小的特征向量。
7.可选地，在本发明的一个实施例中，在所述目标任务为目标检测时，所述特征融合模块采用bifpn(bidirectional feature pyramid network)方法进行特征融合；在所述目标任务为车道线检测时，所述特征融合模块采用fpn(feature pyramid network)方法进行特征融合；在所述目标任务可行驶区域检测时，所述特征融合模块不进行融合，所述检测头模块直接对所述多个特征信息进行检测。
8.可选地，在本发明的一个实施例中，在所述目标任务为目标检测时，所述检测头模块采用yolo5s检测头；在所述目标任务为车道线检测时，所述检测头模块采用enet检测头；在所述目标任务可行驶区域检测时，所述检测头模块采用上采样检测头。
9.可选地，在本发明的一个实施例中，所述sppf模块包括两个标准cbs模块和三个最大池化层，其中，所述最大池化层通过级联的方式连接。
10.可选地，在本发明的一个实施例中，所述enet的检测头由bottleneck upsampling和bottleneck regular模块组成，bottleneck upsampling层包括卷积和上采样层，用于将低分辨率特征图上采样到高分辨率，bottleneck regular层由3层卷积、激活函数和dropout层构成用于提高模型的泛化能力和防止过拟合。
11.本发明第二方面实施例提供一种基于多任务的自动驾驶实时环境感知方法，包括以下步骤：获取自动驾驶实时环境的道路图像；将所述道路图像输出预先训练好的自动驾驶实时环境感知模型，其中，所述预先训练好的自动驾驶实时环境感知模型为通过道路图像训练集和不同目标任务下的道路图像检测结果训练得到；利用所述预先训练好的自动驾驶实时环境感知模型得到不同目标任务对应的环境感知结果。
12.可选地，在本发明的一个实施例中，所述自动驾驶实时环境感知模型包括：特征提取模块、特征融合模块和检测头模块，其中，特征提取模块，用于提取道路图像的多个特征信息；特征融合模块，用于根据不同目标任务对所述多个特征信息进行特征融合；检测头模块，用于对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果。
13.可选地，在本发明的一个实施例中，在不同目标任务为目标检测、车道线检测、可行驶区域检测时，所述自动驾驶实时环境感知模型的损失函数为目标检测损失、车道线检测损失和可行驶区域检测损失的加权和。
14.可选地，在本发明的一个实施例中，所述目标检测损失采用分类损失、回归损失和置信度损失的加权；所述车道线检测损失采用focal loss损失函数；所述可行驶区域检测损失采用交叉熵损失。
15.本发明实施例的基于多任务的自动驾驶实时环境感知系统及方法，能够同时进行目标检测、车道线检测、可行驶区域检测，并针对不同的任务设计了不同的特征融合方案和检测头，采用轻量化的主干网络，在保证准确率的同时提高速度，能够达到实时检测周围环境信息的目标，对自动驾驶领域可以提供帮助。
16.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
17.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
18.图1为根据本发明实施例提供的一种基于多任务的自动驾驶实时环境感知系统结构示意图；
19.图2为根据本发明实施例提供的进行实时环境感知的神经网络结构示意图；
20.图3为根据本发明实施例提供的sppf模块结构示意图；
21.图4为根据本发明实施例提供的bifpn结构示意图；
22.图5为根据本发明实施例提供的fpf结构示意图；
23.图6为根据本发明实施例提供的enet结构示意图；
24.图7为根据本发明实施例提供的一种基于多任务的自动驾驶实时环境感知方法的流程图。
具体实施方式
25.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
26.图1为根据本发明实施例提供的一种基于多任务的自动驾驶实时环境感知系统结构示意图。
27.如图1所示，该基于多任务的自动驾驶实时环境感知系统包括：特征提取模块100、特征融合模块200和检测头模块300。
28.其中，特征提取模块100用于提取道路图像的多个特征信息。特征融合模块200用于根据不同目标任务对多个特征信息进行特征融合。检测头模块300用于利用不同目标任务对应的检测头对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果。
29.本发明实施例的特征提取模块100可以采用yolov5s的主干网络cspdarknet53作为主干网络部分的特征提取网络，yolov5s是yolov5系列中最轻量级的模型，速度较快，适用于实时检测，加入focus模块在减少参数量的同时降低下采样过程中导致的信息损失。
30.可选地，特征提取模块进一步用于，利用卷积神经网络提取道路图像的多个特征信息时，使用sppf模块将卷积神经网络的输出变为固定大小的特征向量。
31.如图2所示，利用卷积网络提取到图像的多个特征后，加入一个sppf模块，使得卷积神经网络输出固定大小的特征向量，从而有效避免对图像区域裁剪、缩放操作导致的图像失真等问题。
32.如图3所示，sppf模块包括两个标准cbs模块和三个最大池化层，通过级联的方式链接3个最大池化层，可以大幅减少模型的计算量，提高模型速度。
33.本发明实施例的特征融合模块200可以根据不同的目标任务设计不同的特征融合方案。如图2所示，对于目标检测检测任务采用bifpn方法进行特征融合，可以在不增加太多成本的情况下融合更多特征；对于车道线检测任务采用fpn方法进行特征融合，车道线检测更关注深层次信息，使用fpn可以提高车道线检测的准确率；对于可行驶区域检测任务不设计特征融合方案，可行驶区域并不需要太多深层次信息，这样可以保证准确率的情况下减少运算量。
34.对于目标检测任务采用bifpn方法进行特征融合，bifpn结构如图4所示，对于目标检测，更加注重全局特征，bifpn删除只有一个输入边的节点，这些节点没有特征融合，对于融合不同特征的特征网络的贡献较小，从而形成一个简化的双向网络。如果节点处于同一级别，从原始输入到输出节点添加一条额外的边，在不增加太多成本的情况下融合更多特征。
35.对于车道线检测，由于车道线难以检测并且更关注深层次信息，使用fpn特征融合方法，融合深层次特征，fpn的结构图如图5所示。
36.对于可行驶区域不设计特征融合模块，检测头链接在特征融合模块之前，因为可行驶区域并不需要更深层的特征。
37.进行特征融合之后，利用检测头进行检测。目标检测任务的检测头采用yolov5s检测头，接在bifpn模块末端。车道线检测任务的检测头采用enet检测头，在保持速度的同时提高准确率。可行驶区域任务的检测头采用4次上采样，接在特征融合模块之前，保证正确
率的同时提高速度。
38.具体地，本发明的实施例采用3个检测头完成目标检测、车道线检测和可行驶区域分割任务。其中，目标检测任务的检测头与yolov5s保持一致。车道线检测被视为分割任务，采用类似于enet的检测头，由bottleneck upsampling和bottleneck regular模块组成。bottleneck upsampling层是将卷积和上采样层结合的模块，用于将低分辨率特征图上采样到高分辨率。bottleneck regular层由3层卷积、激活函数和dropout层构成，用于提高模型的泛化能力和防止过拟合。可行驶区域分割头的分支连接在fpn模块之前。为了弥补这种变化可能带来的损失，还应用了一个额外的上采样层，在解码器阶段总共使用了4个最近邻插值上采样。
39.对于特征提取模块、特征融合模块和检测头模块组成的神经网络模型，采集数据或者使用公开数据集进行模型训练，将待检测的视频流输入训练好的模型后，可以根据目标任务的不同输出对应的检测结果。
40.针对多目标任务的检测模型，在进行模型训练时，设计并改进损失函数，针对每个任务设计损失函数，总体损失函数为三种任务损失函数加权之和。具体为：损失函数包括三个分支的部分，分别记为目标检测损失l
det
、车道线检测损失l
ll
、可行驶区域损失l
da
，总体损失函数有三个任务加权。
41.目标检测损失包含分类损失l
class
，回归损失l
box
和置信度损失l
object
，三种损失加权构成目标检测损失，其表达式为l
det
＝α1l
class
+α2l
box
+α3l
object
。α为权重。
42.其中l
class
和l
obj
采用focal loss损失，计算公式如下：
43.l
fl
＝-(1-p
t
)
γ
log(p
t
)
[0044][0045]
边界框回归损失l
box
采用eiou代替ciou，ciou虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是通过其公式中反映的纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。eiou的惩罚项是在ciou的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，该损失函数包含三个部分：重叠损失，中心距离损失，宽高损失，前两部分延续ciou中的方法，但是宽高损失直接使目标盒与锚盒的宽度和高度之差最小，使得收敛速度更快。惩罚项公式如下:
[0046][0047]
交叉熵损失用于可行驶区域分割，旨在最小化网络输出和ground truth之间的分类误差。对于车道分割，使用focal loss而不是交叉熵损失。因为对于车道检测等困难分类任务，使用focal loss可以有效地引导模型专注于困难样本，从而提高检测精度。其公式表示如下:
[0048]
l
da
＝-ylog(p
t
)-(1-y)log(1-p
t
)
[0049]
l
ll
＝-(1-p
t
)
γ
log(p
t
)
[0050]
最后总体的损失由三个任务加权后的损失组成，计算如下所示:
[0051]
l
all
＝γ1l
det
+γ2l
da
+γ3l
ll
。
[0052]
根据本发明实施例提出的基于多任务的自动驾驶实时环境感知系统，能够同时进
行目标检测、车道线检测、可行驶区域检测，并针对不同的任务设计了不同的特征融合方案和检测头，采用轻量化的主干网络，在保证准确率的同时提高速度，能够达到实时检测周围环境信息的目标，对自动驾驶领域可以提供帮助。
[0053]
其次参照附图描述根据本发明实施例提出的基于多任务的自动驾驶实时环境感知方法。
[0054]
图7为根据本发明实施例提供的一种基于多任务的自动驾驶实时环境感知方法的流程图。
[0055]
如图7所示，该基于多任务的自动驾驶实时环境感知方法包括以下步骤：
[0056]
在步骤s101中，获取自动驾驶实时环境的道路图像。
[0057]
在步骤s102中，将道路图像输出预先训练好的自动驾驶实时环境感知模型，其中，预先训练好的自动驾驶实时环境感知模型为通过道路图像训练集和不同目标任务下的道路图像检测结果训练得到。
[0058]
在步骤s103中，利用预先训练好的自动驾驶实时环境感知模型得到不同目标任务对应的环境感知结果。
[0059]
可选地，在本发明的一个实施例中，自动驾驶实时环境感知模型包括：特征提取模块、特征融合模块和检测头模块，其中，特征提取模块，用于提取道路图像的多个特征信息；特征融合模块，用于根据不同目标任务对多个特征信息进行特征融合；检测头模块，用于对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果。
[0060]
可选地，在本发明的一个实施例中，在不同目标任务为目标检测、车道线检测、可行驶区域检测时，自动驾驶实时环境感知模型的损失函数为目标检测损失、车道线检测损失和可行驶区域检测损失的加权和。
[0061]
可选地，在本发明的一个实施例中，目标检测损失采用分类损失、回归损失和置信度损失的加权；车道线检测损失采用focal loss损失函数；可行驶区域检测损失采用交叉熵损失。
[0062]
需要说明的是，前述对基于多任务的自动驾驶实时环境感知系统实施例的解释说明也适用于该实施例的基于多任务的自动驾驶实时环境感知方法，此处不再赘述。
[0063]
根据本发明实施例提出的基于多任务的自动驾驶实时环境感知方法，能够同时进行目标检测、车道线检测、可行驶区域检测，并针对不同的任务设计了不同的特征融合方案和检测头，采用轻量化的主干网络，在保证准确率的同时提高速度，能够达到实时检测周围环境信息的目标，对自动驾驶领域可以提供帮助。
[0064]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0065]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括至少一个该特征。在本发明的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0066]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

技术特征：
1.一种基于多任务的自动驾驶实时环境感知系统，其特征在于，包括：特征提取模块，用于提取道路图像的多个特征信息；特征融合模块，用于根据不同目标任务对所述多个特征信息进行特征融合；检测头模块，用于利用不同目标任务对应的检测头对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果。2.根据权利要求1所述的系统，其特征在于，所述特征提取模块进一步用于，利用卷积神经网络提取所述道路图像的多个特征信息时，使用sppf模块将卷积神经网络的输出变为固定大小的特征向量。3.根据权利要求1所述的系统，其特征在于，在所述目标任务为目标检测时，所述特征融合模块采用bifpn方法进行特征融合；在所述目标任务为车道线检测时，所述特征融合模块采用fpn方法进行特征融合；在所述目标任务可行驶区域检测时，所述特征融合模块不进行融合，所述检测头模块直接对所述多个特征信息进行检测。4.根据权利要求1所述的系统，其特征在于，在所述目标任务为目标检测时，所述检测头模块采用yolo5s检测头；在所述目标任务为车道线检测时，所述检测头模块采用enet检测头；在所述目标任务可行驶区域检测时，所述检测头模块采用上采样检测头。5.根据权利要求2所述的系统，其特征在于，所述sppf模块包括两个标准cbs模块和三个最大池化层，其中，所述最大池化层通过级联的方式连接。6.根据权利要求4所述的系统，其特征在于，所述enet的检测头由bottleneck upsampling和bottleneck regular模块组成，bottleneck upsampling层包括卷积和上采样层，用于将低分辨率特征图上采样到高分辨率，bottleneck regular层由3层卷积、激活函数和dropout层构成用于提高模型的泛化能力和防止过拟合。7.一种基于多任务的自动驾驶实时环境感知方法，其特征在于，包括以下步骤：获取自动驾驶实时环境的道路图像；将所述道路图像输出预先训练好的自动驾驶实时环境感知模型，其中，所述预先训练好的自动驾驶实时环境感知模型为通过道路图像训练集和不同目标任务下的道路图像检测结果训练得到；利用所述预先训练好的自动驾驶实时环境感知模型得到不同目标任务对应的环境感知结果。8.根据权利要求7所述的方法，其特征在于，所述自动驾驶实时环境感知模型包括：特征提取模块、特征融合模块和检测头模块，其中，特征提取模块，用于提取道路图像的多个特征信息；特征融合模块，用于根据不同目标任务对所述多个特征信息进行特征融合；检测头模块，用于利用不同目标任务对应的检测头对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果。9.根据权利要求7所述的方法，其特征在于，在不同目标任务为目标检测、车道线检测、可行驶区域检测时，所述自动驾驶实时环境感知模型的损失函数为目标检测损失、车道线检测损失和可行驶区域检测损失的加权和。10.根据权利要求9所述的方法，其特征在于，
所述目标检测损失采用分类损失、回归损失和置信度损失的加权；所述车道线检测损失采用focal loss损失函数；所述可行驶区域检测损失采用交叉熵损失。

技术总结
本发明公开了一种基于多任务的自动驾驶实时环境感知系统及方法，属于自动驾驶领域，其中，系统包括：特征提取模块，用于提取道路图像的多个特征信息；特征融合模块，用于根据不同目标任务对多个特征信息进行特征融合；检测头模块，用于利用不同目标任务对应的检测头对融合后的特征信息进行检测，得到不同目标任务对应的环境感知结果，由此，能够实时检测自动驾驶车辆周围环境信息。驾驶车辆周围环境信息。驾驶车辆周围环境信息。


技术研发人员：刘升恒 李腾飞 黄永明 杨绿溪
受保护的技术使用者：东南大学
技术研发日：2023.04.18
技术公布日：2023/9/7