多任务交通全景感知方法、装置和计算机设备与流程

1.本技术涉及自动驾驶技术领域，特别是涉及一种多任务交通全景感知方法、装置和计算机设备。


背景技术：

2.交通全景感知作为自动驾驶的重要部分，在功能种类和性能指标上发展日渐成熟。交通全景感知是指汽车通过感知系统实时处理全景图像中大量路面信息和道路信息，帮助汽车在驾驶时做出安全合理的决策。自动驾驶一般采用神经网络模型进行交通全景感知设计，依赖于从车载感知传感器中提取的视觉图像信息进行分析，通过视觉图像理解交通场景，从而辅助决策系统控制车辆的动作，实现安全驾驶目的。
3.传统技术中的实时感知模型，包括单任务的感知模型和多任务的感知模型。单任务的感知模型只专注于目标检测的单独任务，因此对交通全景图像包含的信息提取有限。多任务的实现往往是使用各种感知模型串联的方式一个接一个做任务，但串联的感知模型各自分别进行特征提取，重复的特征提取操作会占用有限的车载计算资源和设备反应时间。
4.目前的多任务的交通全景感知对于复杂路况的分析仍然存在一定局限性，在性能指标上仍需进一步提升。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种提升感知模型性能的多任务交通全景感知方法、装置和计算机设备。
6.第一方面，本技术提供了一种多任务交通全景感知方法。该方法包括：
7.通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征；
8.通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；
9.基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态；
10.根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。
11.在其中一个实施例中，特征提取模型包括：特征图提取网络、特征金字塔网络和路径聚合网络；特征图提取网络中包含多个依次连接的第一下采样层，特征金字塔网络包含多个依次连接的上采样层，路径聚合网络中包含多个依次连接的第二下采样层；且各上采样层在特征图提取网络中均有对应的第一下采样层，在路径聚合网络中均有对应的第二下采样层；
12.通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语
义特征和多层定位特征，包括：
13.通过特征图提取网络中各第一下采样层，基于各第一下采样层的输入数据，对待处理图像进行多次下采样处理，得到各第一下采样层输出的多层图像特征；其中，首个第一下采样层的输入数据为待处理图像，其他各第一下采样层的输入数据为上一第一下采样层输出的多层图像特征；
14.通过特征金字塔网络中各上采样层，基于各上采样层的输入数据，对多层图像特征进行多次上采样处理，得到各上采样层输出的多层语义特征；其中，首个上采样层的输入数据为首个上采样层对应的第一下采样层输出的多层图像特征，其他各上采样层的输入数据为该上采样层对应的第一下采样层输出的多层图像特征和上一上采样层输出的多层语义特征；
15.通过路径聚合网络中的各第二下采样层，基于各第二下采样层的输入数据，对多层语义特征进行多次下采样处理，获取各第二下采样层输出的多层定位特征；其中，首个第二下采样层的输入数据为首个第二下采样层对应的上采样层输出的多层语义特征，其他各第二下采样层的输入数据为该第二下采样层对应的上采样层输出的多层语义特征和上一第二下采样层输出的多层定位特征。
16.在其中一个实施例中，特征图提取网络和特征金字塔网络中有至少一个第一下采样层和至少一个上采样层为进行多通道特征融合处理的多通道融合层。
17.在其中一个实施例中，目标检测模型包括：区域分割网络、车道线检测网络和目标物检测网络；
18.通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息，包括：
19.通过区域分割网络，基于多层图像特征，检测目标行驶区域信息；
20.通过车道线检测网络，基于多层图像特征和多层语义特征，检测目标车道线信息；
21.通过目标物检测网络，基于多层定位特征，检测目标物定位信息。
22.在其中一个实施例中，区域分割网络包括：通道注意力层、多通道融合层和上采样网络；
23.通过区域分割网络，基于多层图像特征，检测目标行驶区域信息，包括：
24.通过通道注意力层，对多层图像特征进行基于注意力机制的自适应特征优化处理，得到优化图像特征；
25.通过多通道融合层对优化图像特征进行特征融合处理，得到融合图像特征；
26.通过上采样网络对融合图像特征进行上采样处理，输出双通道的行驶区域灰度图；
27.根据行驶区域灰度图获取目标行驶区域信息。
28.在其中一个实施例中，车道线检测网络包括：通道注意力层、多通道融合层和反卷积采样网络；
29.通过车道线检测网络，基于多层图像特征和多层语义特征，检测目标车道线信息，包括：
30.通过通道注意力层，对多层图像特征和多层语义特征进行基于注意力机制的自适应特征优化，得到优化语义特征；
31.通过多通道融合层对优化语义特征进行特征融合处理，得到融合语义特征；
32.通过反卷积采样网络，对融合语义特征进行反卷积上采样处理，输出单通道的车道线灰度图；
33.根据单通道的车道线灰度图获取目标车道线信息。
34.在其中一个实施例中，多通道融合层用于对输入数据进行二分通道分割，获得第一二分通道数据和第二二分通道数据；对第二二分通道数据进行二分通道分割，获得第一四分通道数据和第二四分通道数据；对第二四分通道数据进行二分通道分割，获得第一八分通道数据和第二八分通道数据；将第一二分通道数据、第一四分通道数据、第一八分通道数据和第二八分通道数据进行特征聚合，得到多通道融合层的输出数据；
35.其中，若多通道融合层为第一下采样层，则多通道融合层的输入数据为第一下采样层的输入数据，多通道融合层的输出数据为第一下采样层输出的多层图像特征；
36.若多通道融合层为上采样层，则多通道融合层的输入数据为上采样层的输入数据，多通道融合层的输出数据为上采样层输出的多层语义特征；
37.若多通道融合层位于区域分割网络中，则多通道融合层的输入数据为优化图像特征，输出数据为融合图像特征；
38.若多通道融合层位于车道线检测网络中，则多通道融合层的输入数据为优化语义特征，输出数据为融合语义特征。
39.在其中一个实施例中，通道注意力层用于对输入数据进行特征二分类处理，得到细化特征通道信息和通道权重分配信息；根据细化特征通道信息和通道权重分配信息，进行基于注意力机制的自适应特征优化，得到输出数据；
40.其中，若通道注意力层位于区域分割网络中，则通道注意力层的输入数据为多层图像特征，输出数据为优化图像特征；
41.若通道注意力层位于车道线检测网络中，则通道注意力层的输入数据为多层图像特征和多层语义特征，输出数据为优化语义特征。
42.在其中一个实施例中，目标物检测网络包括：权重分配层、目标定位层、目标筛选层；
43.通过目标物检测网络，基于多层定位特征，检测目标物定位信息，包括：
44.通过权重分配层对多层定位特征进行加权分配，得到多层加权特征；
45.通过目标定位层，基于多层加权特征锁定目标物的初始定位信息，其中目标物包括行人、非机动车和机动车；
46.通过目标筛选层，利用非极大值抑制算法对目标物的初始定位信息进行筛选，获取目标物的最终定位信息。
47.在其中一个实施例中，区域分割网络基于二分类交叉熵损失优化得到。
48.在其中一个实施例中，车道线检测网络基于焦点损失、交并比损失和特沃斯基损失的组合优化得到。
49.在其中一个实施例中，目标物检测网络基于置信度损失、分类损失和交并比损失的组合优化得到。
50.第二方面，本技术还提供了一种多任务交通全景感知装置。该装置包括：
51.特征提取模块，用于通过特征提取模型，对待处理图像进行共享特征提取，获取多
层图像特征、多层语义特征和多层定位特征；
52.目标检测模块，用于通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；
53.追踪模块，用于基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态；
54.感知模块，用于根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。
55.第三方面，本技术还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
56.通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征；
57.通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；
58.基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态；
59.根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。
60.第四方面，本技术还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
61.通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征；
62.通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；
63.基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态；
64.根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。
65.上述多任务交通全景感知方法、装置和计算机设备，通过共享特征提取，获取多层图像特征、多层语义特征和多层定位特征，根据上述提取的各特征获取目标行驶区域信息、目标车道线信息和目标物定位信息，分别对应为行驶区域分割任务的输出、车道线检测任务的输出和目标物检测任务的输出，以便自动驾驶车辆据此规范行驶区域和避让障碍物。根据目标物定位信息进行目标物选取和追踪，获取被选取目标物的运动状态，对应为目标物追踪任务的输出，以便自动驾驶车辆据此避让运动的障碍物。最终根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息，从而辅助自动驾驶车辆的决策机构做出车辆控制动作。本技术中的行驶区域分割任务、车道线检测任务和目标物检测任务通过一次共享特征提取即可获得各自所需特征，相较于传统的单任务的感知模型，更全面地感知道路交通情况，有利于自动驾驶车辆做出精确决策；相较于传统的多任务的感知模型，降低了占用的车载计算资源和设备反应时间，从而有利于提升自动驾驶车辆的反应速度，进而提高自动驾驶安全性。同时，本技术在目标物检测任务基
础上串行目标物追踪任务，无需进行多一次特征提取步骤，在保持感知实时性的同时进一步扩展感知维度，从而提升交通全景感知性能，令自动驾驶车辆结合目标物的运动状态做好更精准的避障路线规划，从而保障行车安全。
附图说明
66.图1为一个实施例中多任务交通全景感知方法的应用环境图；
67.图2为一个实施例中多任务交通全景感知方法的流程示意图；
68.图3为一个实施例中共享特征提取的流程示意图；
69.图4为一个实施例中多通道融合层的数据处理流程示意图；
70.图5为一个实施例中区域分割网络的数据处理流程示意图；
71.图6为一个实施例中车道线检测网络的数据处理流程示意图；
72.图7为一个实施例中目标物检测网络的数据处理流程示意图；
73.图8为一个实施例中输出被选取目标物的运动状态的流程示意图；
74.图9为一个实施例中多任务交通全景感知方法的流程示意图；
75.图10为一个实施例中多任务交通全景感知装置的结构框图；
76.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
77.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
78.本技术实施例提供的多任务交通全景感知方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种智能汽车。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
79.在一个实施例中，如图2所示，提供了一种多任务交通全景感知方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
80.步骤202，通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征。
81.其中，待处理图像是车载传感器实时获取的高清交通全景图像，采用如torchvision.transforms函数等方法将图像转换变为tensor(张量)格式后的信息，其中包含机动车辆、非机动车辆、行人和交通路面等目标对象的大量交通信息。
82.将待处理图像输入特征提取模型中，经过特征提取模型进行共享特征提取，从而获得多层图像特征、多层语义特征和多层定位特征。其中，共享特征提取包括特征提取步骤和特征组合及混合步骤。多层图像特征为浅层特征信息，浅层特征信息包含更多的像素点的信息，是一些粗粒度的信息，如颜色、纹理、边缘、棱角信息等。多层语义特征和多层定位特征为深层特征信息，深层特征信息为一些细粒度的信息，包含更抽象的信息，如语义信息，利用深层特征信息可以对交通目标类别进行有效识别检测和分类。深层特征信息是对
浅层特征信息进行特征补充的，同时浅层特征信息也是深层特征信息的识别基础。多层语义特征中携带更强的语义，较弱的定位信息。多层定位特征中携带较强的定位信息和较弱的语义特征。多层图像特征、多层语义特征和多层定位特征之间通过卷积网络的非线性变化得到。
83.在本实施例中，为了满足实时预测效果达到28fps(frames per second，每秒帧数)，每秒将至少28张待处理图像输入感知模型中。
84.步骤204，通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息。
85.目标检测模型充当全景感知任务的检测头的角色，根据输入目标检测模型中的多层图像特征、多层语义特征和多层定位特征，输出预测结果，即目标行驶区域信息、目标车道线信息和目标物定位信息。
86.在本实施例中，目标行驶区域信息包括道路面积、道路边界，可以是指交通全景图像中目标对象的行驶区域位置、行驶区域范围、行驶区域方向等信息，例如可以是行人的人行道区域、车道的车道行驶区域的信息。目标车道线信息可以是指各种地面指示线条，包括车道线颜色、虚实、走向等信息，例如可以是黄实线、白虚线、直行车道线等。目标物定位信息可以是指目标对象在交通全景图像中的位置信息，目标对象可以为行人、机动车、非机动车等。
87.本实施例中，目标检测模型按照功能可以划分为三个检测头，分别为可行驶区域分割、车道线检测和目标物检测，代表了三个任务。特征提取模型将多层图像特征、多层语义特征和多层定位特征输入到目标检测模型，三个检测头基于多层图像特征、多层语义特征和多层定位特征，最终分别输出目标行驶区域信息、目标车道线信息和目标物定位信息。
88.步骤206，基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态。
89.在本实施例中，目标物可以是交通全景图像中任一种目标对象，目标物的运动状态可以是指目标物的运动轨迹、目标物的位姿、目标物的移动方向等。
90.交通全景图像为连续的图像帧，对其中单帧通过目标物检测任务获取目标定位信息。在目标定位信息的基础上对目标物进行选取，选取标准可以为目标物类型，如选取机动车或选取行人等。在选定目标物后，利用连续的图像帧对目标物进行追踪，从而提高自动驾驶车辆的避障准确性。
91.步骤208，根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。
92.整合目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，从而获得交通全景感知信息，包括当前车辆的可行驶区域、路面车道线、路障等目标物的位置、机动车等目标物的运动状态，从而辅助自动驾驶车辆中的决策机构做出安全合理的行驶规划。
93.具体地，利用可行驶区域和路面车道线可以辅助车辆约束行进方向和行驶规范，令车辆遵守法规和安全驾驶，通过路障等目标物的位置、机动车等目标物的运动状态，分析交通拥堵或畅通情况，帮助车辆有效避开障碍物。
94.本实施例中的行驶区域分割任务、车道线检测任务和目标物检测任务通过一次共
享特征提取即可获得各自所需特征，相较于传统的单任务的感知模型，更全面地感知道路交通情况，有利于自动驾驶车辆做出精确决策；相较于传统的多任务的感知模型，降低了占用的车载计算资源和设备反应时间，从而有利于提升自动驾驶车辆的反应速度，进而提高自动驾驶安全性。同时，本技术在目标物检测任务基础上串行目标物追踪任务，无需进行多一次特征提取步骤，在保持感知实时性的同时进一步扩展感知维度，提升对交通全景的感知性能，令自动驾驶车辆结合目标物的运动状态做好更精准的避障行驶规划，从而保障行车安全。
95.对于传统的单任务感知模型而言，通常进行特征提取后，直接连接检测头。因此当多个单任务串行时，需要对交通全景图像进行多次重复特征提取，占用了大量推理时间。基于此，本技术设计了特征提取模型，可在多任务间进行特征共享，从而在保障实时预测的同时，还可以适配可行驶区域分割、车道线检测和目标物检测的检测头。
96.不同任务检测头，适配不同的特征需求。在一个实施例中，为解决任务特征繁多的问题，在步骤202中，如图3所示，特征提取模型包括：特征图提取网络、特征金字塔网络(fpn，feature pyramid networks)和路径聚合网络(pan，path aggregation network)；其中，特征图提取网络中包含多个依次连接的第一下采样层，特征金字塔网络包含多个依次连接的上采样层，路径聚合网络中包含多个依次连接的第二下采样层；且各上采样层在特征图提取网络中均有对应的第一下采样层，在路径聚合网络中均有对应的第二下采样层。
97.步骤202中，通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征，包括：
98.通过特征图提取网络中各第一下采样层，对待处理图像进行多次下采样处理，得到各第一下采样层输出的多层图像特征；其中，首个第一下采样层的输入数据为待处理图像，其他各第一下采样层的输入数据为上一第一下采样层输出的多层图像特征；
99.通过特征金字塔网络中各上采样层，对多层图像特征进行多次上采样处理，得到各上采样层输出的多层语义特征；其中，首个上采样层的输入数据为首个上采样层对应的第一下采样层输出的多层图像特征，其他各上采样层的输入数据为该上采样层对应的第一下采样层输出的多层图像特征和上一上采样层输出的多层语义特征；
100.通过路径聚合网络中的各第二下采样层，对多层语义特征进行多次下采样处理，获取各第二下采样层输出的多层定位特征；其中，首个第二下采样层的输入数据为首个第二下采样层对应的上采样层输出的多层语义特征，其他各第二下采样层的输入数据为该第二下采样层对应的上采样层输出的多层语义特征和上一第二下采样层输出的多层定位特征。
101.具体地，特征图提取网络对待处理图像包括多个第一下采样层，进行多次下采样处理，例如此处取六次二倍下采样。原始的待处理图像为大尺寸图像，需要经过卷积网络进行压缩，下采样即为一种图像压缩的手段。通过第一下采样层可以有效提升卷积核的感受野，提升模型的全局识别能力，从而提取颜色、轮廓、边缘的浅层特征信息。每层均通过第一下采样层进行下采样处理，六次二倍下采样是迭代进行的，后续的二倍下采样均是基于上一次二倍下采样的结果进行的，即第一下采样层的输入数据为上一第一下采样层的输出，依次获取2倍下采样特征m1、4倍下采样特征m2、8倍下采样特征m3、16倍下采样特征m4、32倍下采样特征m5和64倍下采样特征m6。上述各下采样特征m1、m2、m3、m4、m5、m6即为多层图像
特征。
102.其中，“上”“下”指在数据传输顺序上的先后关系，将某第一下采样层的输出作为另一第一下采样层的输入，输出的第一下采样层即为输入的第一下采样层的“上一第一下采样层”，输入的第一下采样层即为输出的第一下采样层的“下一第一下采样层”。
103.对图像信息进行六次二倍下采样，获取的多层图像特征即为浅层特征信息。
104.特征金字塔网络包括多个上采样层，进行多次上采样，例如此处取3次二倍上采样。上采样是一种特征聚合手段，既可以对上采样获得的不同尺度特征进行通道拼接(concat)实现特征融合，又可以便于特征图进行热力点的分析。其中，热力点用于判断对最终影响结果影响较大的点。每个上采样层均对应有第一下采样层，将特征图提取网络输出的64倍下采样特征m6、32倍下采样特征m5、16倍下采样特征m4和8倍下采样特征m3依次输入特征金字塔网络中的对应上采样层，利用横向连接和三次二倍上采样获得初始特征p1、2倍上采样特征p2、4倍上采样特征p3和8倍上采样特征p4。上述各上采样特征p1、p2、p3和p4即为多层语义特征。
105.具体地，特征金字塔网络接收64倍下采样特征m6，获得初始特征p1。上采样层接收初始特征p1并进行二倍上采样，将上采样结果与32倍下采样特征m5进行通道拼接，获得2倍上采样特征p2。同样的，下一上采样层接收2倍上采样特征p2并进行二倍上采样，将采样结果与16倍下采样特征m4进行通道拼接，获得4倍上采样特征p3。下一上采样层接收4倍上采样特征p3并进行二倍上采样，将采样结果与8倍下采样特征m3进行通道拼接，获得8倍上采样特征p4。
106.每经过一次上采样，都会获得与上采样前不同尺度的特征图。通过通道拼接，实现不同尺度特征的融合，从而更好地利用不同特性的特征之间的互补性，融合特征之间的优点，提高模型性能。
107.其中，“上”“下”指在数据传输顺序上的先后关系，将某上采样层的输出作为另一上采样层的输入，输出的上采样层即为输入的上采样层的“上一上采样层”，输入的上采样层即为输出的上采样层的“下一上采样层”。
108.由于2倍下采样特征m1、4倍下采样特征m2的特征图尺寸较大且语义信息不足，因此本实施例不将其横向连接到特征金字塔网络。
109.对多层图像特征进行三次二倍上采样，获取的多层语义特征为深层特征信息。
110.路径聚合网络包括多个第二下采样层，进行多次下采样，例如此处取3次二倍下采样。通过第二下采样层进行特征压缩，可以有效提升卷积核的感受野，提升模型的全局识别能力，从而便于提取车型种类等深层特征信息。每个第二下采样层均与各上采样层对应，将8倍上采样特征p4、4倍上采样特征p3、2倍上采样特征p2和初始特征p1依次输入特征路径聚合网络中的对应第二下采样层进行处理，利用横向连接和三次二倍下采样获取初始特征n1、2倍下采样特征n2、4倍下采样特征n3和8倍下采样特征n4。上述各下采样特征n1、n2、n3和n4即为多层定位特征。
111.具体地，路径聚合网络接收8倍上采样特征p4，获得初始特征n1。第二下采样层接收初始特征n1并进行二倍下采样，下采样结果与4倍上采样特征p3进行通道拼接，得到2倍下采样特征n2。下一第二下采样层接收2倍下采样特征n2进行二倍下采样，与2倍上采样特征p2进行通道拼接，得到4倍下采样特征n3。下一第二下采样层接收4倍下采样特征n3行二
倍下采样，与初始特征p1进行通道拼接，得到8倍下采样特征n4。
112.每经过一次下采样，都会获得与下采样前不同尺度的特征图。通过通道拼接，实现不同尺度特征的融合，从而更好地利用不同特性的特征之间的互补性，融合特征之间的优点，提高模型性能。
113.其中，“上”“下”指在数据传输顺序上的先后关系，将某第二下采样层的输出作为另一第二下采样层的输入，输出的第二下采样层即为输入的第二下采样层的“上一第二下采样层”，输入的第二下采样层即为输出的第二下采样层的“下一第二下采样层”。
114.对多层语义特征进行三次二倍下采样，获取的多层定位特征也为深层特征信息。
115.本实施例公开的特征提取模型通过特征图提取网络提取浅层特征信息，再利用特征金字塔网络对浅层特征信息进行融合，以获取语义特征信息，利用路径聚合网络基于语义特征信息提取定位特征信息，与后续的不同任务检测头适配，从而实现特征共享，奠定了多任务连接的模型设计基础，避免了多次重复的特征提取，提升了模型感知效率。
116.在一个实施例中，特征图提取网络和特征金字塔网络中有至少一个第一下采样层和至少一个上采样层采用多通道融合层进行特征融合。
117.通过多通道融合层将不同采样层得到的不同尺度的特征图进行融合，以实现精细的语义分割。无论是上采样还是下采样，都要将不同层级(即不同尺度)的特征进行融合。特征融合中低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。因此，通过特征融合来弥合低层次和高层次特征之间的差距，从而可以显著提高分割效果。
118.在一个实施例中，如图4所示，为多通道融合层的数据处理流程示意图。多通道融合层用于对输入数据进行二分通道分割，获得第一二分通道数据和第二二分通道数据；对第二二分通道数据进行二分通道分割，获得第一四分通道数据和第二四分通道数据；对第二四分通道数据进行二分通道分割，获得第一八分通道数据和第二八分通道数据；将第一二分通道数据、第一四分通道数据、第一八分通道数据和第二八分通道数据进行特征聚合，得到多通道融合层的输出数据。
119.二分通道分割即利用两个卷积核对输入数据进行卷积操作，输出的通道数变为两个。如图4所示，假设c为输入数据，一次二分通道后获得两个c/2，即第一二分通道数据和第二二分通道数据。对第二二分通道数据再进行二分通道处理获得两个c/4，即第一四分通道数据和第二四分通道数据。对第二四分通道数据再进行二分通道获得两个c/8，即第一八分通道数据和第二八分通道数据。计算机视觉处理中，图片数据一般为单通道的灰度图片，或者rgb(三原色)三通道的彩色图片。对图片数据进行卷积操作后，根据卷积核的数量就可以产生更多的通道。因此，通过两个卷积核进行卷积，即可实现二分通道。在图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后，输出图像中的每个对应像素，其中权值由一个函数定义，这个函数就是卷积核。由此可见，通过两个不同卷积核进行二分通道，可以获取更丰富的特征信息。
120.将三次二分通道处理获得的两个c/8、二次二分通道处理获得的c/4和一次二分通道处理获得的c/2进行通道特征聚合，得到通道c。最后通过通道压缩，获取c/2的通道。多通道融合层对输入数据进行了三次二分通道处理，充分提取特征信息，更为细致地对输入进
行分层处理通道信息，以保持后续推理精度，同时通过通道特征聚合和通道压缩有效控制特征通道的数量，以保持后续的推理速度。
121.在一个实施例中，若多通道融合层为第一下采样层，则多通道融合层的输入数据为第一下采样层的输入数据，多通道融合层的输出数据为第一下采样层输出的多层图像特征。若多通道融合层为上采样层，则多通道融合层的输入数据为上采样层的输入数据，多通道融合层的输出数据为上采样层输出的多层语义特征。
122.在一个实施例中，如图3所示，特征图提取网络中64倍下采样特征m6、32倍下采样特征m5、16倍下采样特征m4和8倍下采样特征m3对应的第一下采样层采用多通道融合层，特征金字塔网络中的三个上采样层均采用多通道融合层。
123.特征图提取网络先利用常规特征提取技术初步获取2倍下采样特征m1、4倍下采样特征m2，再利用多通道融合层后续下采样处理。其中，常规特征提取技术可以根据具体需要，通过颜色或纹理等进行特征提取，抽取样本中最相关的特征，降低数据维数，并消除不相关特征和冗余特征，以便提高后续数据处理效率。
124.对于1张百万像素的交通全景图像，通常包含着大量的交通车辆、车道路况等信息。通常对于传统多任务的感知模型，会使用640
×
640分辨率作为模型的输入尺寸去满足实时预测的效果，实时预测的要求是达到每秒至少28张图像预测。本实施例利用多通道融合层，推理速度可以达到91fps，远超要求的28fps。于是在保证推理速度超过28fps的情况下，通过牺牲一定的推理速度，将输入尺寸扩充至1280
×
1280，同时在各个任务检测头的合理设置下，可以保证各项任务的推理精度。
125.与传统多任务的感知模型不同，本实施例中的特征提取模型将输入尺寸提升至1280
×
1280分辨率，去加强信息量，并采用多通道融合层维持实施推理速度。特征图提取网络通过6层2倍下采样进行特征提取，在其中四层使用多通道融合层进一步扩充模型结构，完善共享特征信息。在特征金字塔网络，利用通道融合层进行3次上采样，分别融合特征图提取网络输出的4层浅层特征信息，同时使用通道融合层促进模型高效获取更多不同特征层中的语义信息，将深层强语义信息传递下去。在路径聚合网络，使用3次下采样建立一个特征金字塔，用于分别提取不同尺寸的多层语义特征以进行各种尺寸目标的检测，将深层的强定位特征信息进行传递。
126.本实施例可以用于其他模型结构，不限于固定网络模型结构，可以基于各种神经网络进行本实施例所创新提出的多任务连接设计。例如，不限于上采样和下采样的次数，不限上采样或下采样的具体方法等。
127.在一个实施例中，目标检测模型包括：区域分割网络、车道线检测网络和目标物检测网络；通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息，包括：通过区域分割网络，基于多层图像特征，检测目标行驶区域信息；通过车道线检测网络，基于多层图像特征和多层语义特征，检测目标车道线信息；通过目标物检测网络，基于多层定位特征，检测目标物定位信息。
128.在本实施例中，如图3所示，目标行驶区域信息是根据多层图像特征获取的，具体可以为64倍下采样特征m6。将64倍下采样特征m6输入区域分割网络，区域分割网络检测获取目标行驶区域信息。目标车道线信息是根据多层图像特征和多层语义特征获取的，即深层特征信息和浅层特征信息结合获取，具体可以为32倍下采样特征m6和3倍上采样特征p2。
将32倍下采样特征m6和3倍上采样特征p2一起输入车道线检测网络中，检测获取目标车道线信息。目标物定位信息是通过多层定位特征获取的，具体为初始特征n1、2倍下采样特征n2、4倍下采样特征n3和8倍下采样特征n4。将初始特征n1、2倍下采样特征n2、4倍下采样特征n3和8倍下采样特征n4输入目标检测物网络，检测获取目标物定位信息。
129.在一个实施例中，如图5所示，区域分割网络包括：通道注意力层、多通道融合层和上采样网络；通过区域分割网络，基于多层图像特征，检测目标行驶区域信息，包括：通过通道注意力层，对多层图像特征进行基于注意力机制的自适应特征优化处理，得到优化图像特征；通过多通道融合层对优化图像特征进行特征融合处理，得到融合图像特征；通过上采样网络对融合图像特征进行上采样处理，输出双通道的行驶区域灰度图；根据行驶区域灰度图获取目标行驶区域信息。
130.其中，区域分割网络中的多通道融合层的输入数据为优化图像特征，输出数据为融合图像特征。
131.将多层图像特征输入区域分割网络。例如，1280
×
1280分辨率的3通道rgb图像在经过特征图提取网络处理后得到n
×
1024
×
20
×
20维度的多层图像特征，其中n为输入图片的数量。在区域分割网络的设计中，首先通过通道注意力层进行自适应权重分配的特征分析，并将通道压缩成512维度，获得优化图像特征。之后使用多通道融合层对优化图像特征进行特征聚合，对可行驶区域分割任务进行主要特征分析和处理，获取融合图像特征。最后通过上采样网络将融合图像特征变换至n
×2×
320
×
320维度，获得双通道可行驶区域灰度图。根据双通道可行驶区域灰度图上灰度等级的不同，即可获得目标行驶区域信息。
132.本实施例对浅层特征图中的多层图像特征进行区域分割，快速有效划分出道路区域，有效精简模型结构和减少推理耗时，提升模型速度，为规划车辆在道路中的行驶区域和方向给出参考。
133.在一个实施例中，如图6所示，车道线检测网络包括：通道注意力层、多通道融合层和反卷积采样网络；通过车道线检测网络，基于多层图像特征和多层语义特征，检测目标车道线信息，包括：通过通道注意力层，对多层图像特征和多层语义特征进行基于注意力机制的自适应特征优化，得到优化语义特征；通过多通道融合层对优化语义特征进行特征融合处理，得到融合语义特征；通过反卷积采样网络，对融合语义特征进行反卷积上采样处理，输出单通道的车道线灰度图；根据单通道的车道线灰度图获取目标车道线信息。
134.其中，车道线检测网络中的多通道融合层的输入数据为优化语义特征，输出数据为融合语义特征。
135.将多层图像特征和多层语义特征输入车道线检测网络。例如，1280
×
1280分辨率的3通道rgb图像在经过特征提取模型处理后得到n
×
512
×
40
×
40维度的多层图像特征和多层语义特征，其中n为输入图片的数量。通过通道注意力层对输入特征进行自适应权重分配的特征分析，并将通道压缩为256维度，获取优化语义特征。再使用多通道融合层对优化语义特征进行特征聚合，获取融合语义特征，实现特征细化，用于后续处理。最后通过反卷积采样网络将融合语义特征变换至n
×1×
320
×
320维度，获得单通道的车道线灰度图。根据车道线灰度图上灰度等级的不同，即可获得目标车道线信息。
136.本实施例同时联系浅层特征信息中的车道线特征纹理和深层特征信息中的隐式场景信息，对车道线进行精确的检测和划分，同时通过通道注意力层进行自适应权重分配，
识别得到准确的车道线特征，辅助决策系统遵守车道线的法律法规和安全驾驶。
137.在一个实施例中，通道注意力层用于对输入数据进行特征二分类处理，得到细化特征通道信息和通道权重分配信息；根据细化特征通道信息和通道权重分配信息，进行基于注意力机制的自适应特征优化，得到输出数据。
138.其中，若通道注意力层位于区域分割网络中，则通道注意力层的输入数据为多层图像特征，输出数据为优化图像特征；若通道注意力层位于车道线检测网络中，则通道注意力层的输入数据为多层图像特征和多层语义特征，输出数据为优化语义特征。
139.通道注意力层通过两个不同的卷积核进行特征提取，实现二分类处理，一个卷积核用于获取细化特征通道信息，另一个用于获取特征通道权重分配信息。再将通道权重分配信息通过展平层和全连接层处理，得到一维数据并与细化特征通道信息相乘，输出基于注意力机制的自适应特征优化的数据。
140.通道注意力层保持了特征之间的独立性，同时由于细化通道数，减少了计算参数，从而了提升运算速度。
141.在一个实施例中，如图7所示，目标物检测网络包括：权重分配层、目标定位层、目标筛选层；通过目标物检测网络，基于多层定位特征，检测目标物定位信息，包括：通过权重分配层对多层定位特征进行加权分配，得到多层加权特征；通过目标定位层，基于多层加权特征锁定目标物的初始定位信息，其中目标物包括行人、非机动车和机动车；通过目标筛选层，利用非极大值抑制算法对目标物的初始定位信息进行筛选，获取目标物的最终定位信息。
142.其中，非极大值抑制算法即找到局部极大值，并筛除邻域内其余的值。在目标物检测过程中会使用锚框预测目标物位置，同一目标物位置上会产生大量的锚框，这些锚框相互之间可能会有重叠，非极大抑制算法就是从所有锚框中根据置信度进行排序，然后将iou(intersection over union，交并比)超过预定阈值的其他锚框移除，即可找到目标锚框，消除冗余的锚框。
143.目标物检测网络使用多层定位特征，具体为图3中的初始特征n1、2倍下采样特征n2、4倍下采样特征n3和8倍下采样特征n4，从而丰富了目标检测的特征信息，对应了各种尺寸的目标信息，具有更好的特征提取能力。本实施例中输入目标物检测网络的特征图尺寸对应于多层定位特征n1、n2、n3、n4，分别为：n
×
128
×
160
×
160，n
×
256
×
80
×
80，n
×
512
×
40
×
40，n
×
1024
×
20
×
20，其中n为输入图片数。
144.本实施例中，权重分配层对输入目标物检测网络的多层定位特征按照尺寸大小进行权重分配，获得多层加权特征。在本实施例中，n1、n2、n 3和n 4的权重分别为：4.0、1.0、0.6和0.2。通过分配权重使目标物检测网络优先定位最明显的目标物，其次再丰富感知细节，对小目标物进行定位，从而提升目标物定位精度。通过目标定位层对多层加权特征进行目标物的位置锁定，本实施例具体在目标定位层使用锚框进行目标位定位，从而获取目标物的初始定位信息，初始定位信息为多个锚框圈定区域。目标筛选层通过非极大抑制算法选定目标锚框，从而确定目标物的最终定位信息。
145.目标物检测任务还包括对定位的目标物进行分类。在传统多任务模型中，目标物检测只考虑机动车。但在实际情况中，交通目标不仅类别繁多，并且行人和非机动车的数量在十字路口等场景分布密集，是非常重要的交通检测目标。若忽视行人和非机动车的检测，
自动驾驶存在较大安全威胁。因此在本实施例中，通过目标定位层对机动车、行人和非机动车进行分类，提升了感知维度。此外，利用锚框去检测各种尺寸的目标物信息，实现了高精度的目标检测，帮助车辆避开行人和保持车距。
146.在一个实施例中，区域分割网络基于二分类交叉熵损失优化得到。
147.具体地，在可行驶区域分割任务中，使用二分类交叉熵损失(binary cross entropy loss，bceloss)区分可行驶区域和其他区域。二分类交叉熵损失的计算公式为l(gt,pred)＝-(gt
×
ln(pred)+(1-gt)
×
ln(1-pred))，其中gt为可行驶区域真实分布值，pred为预测的可行驶区域分布。通过训练区域分割网络至二分类交叉熵损失收敛到一定阈值条件时结束收敛，从而提高区域分割网络对可行驶区域的预测准确率。
148.在一个实施例中，车道线检测网络基于焦点损失、交并比损失和特沃斯基损失的组合优化得到。
149.在车道线检测任务中，通过车道线检测网络的损失函数公式表示为：l＝a
×
l
focalloss
+b
×
l
iouloss
+
×
l
diceloss
，其中，l
focalloss
为焦点损失(focalloss)，l
iouloss
为交并比损失(iouloss)，l
diceloss
为特沃斯基损失(tversky loss)，a、b、c分别表示焦点损失、交并比损失和特沃斯基损失的权值。本实施例中，a、b、c的权值取值分别为1.0、0.2、0.2。通过调节焦点损失、交并比损失和特沃斯基损失的权值来控制正负样本对损失带来的不同缩放效果。例如，有100条正样本和10000条负样本，那么设置正样本的权值为10000/10100，那么正样本对损失的贡献值会乘以一个系数10000/10100，而负样本对损失的贡献值则会乘以一个比较小的系数100/10100，这样相当于控制模型更加关注正样本对损失函数的影响。通过加权的方式可以从正负样本的数量角度来控制损失值，从而一定程度上解决了正负样本不均衡的问题。
150.在一个实施例中，目标物检测网络基于置信度损失、分类损失和交并比损失的组合优化得到。
151.目标检测网络中，目标定位层在定位目标物后，还需要对目标物进行分类，具体分类方法为：对分类标签进行独热码编码，使用二分类交叉熵损失将目标物分类为机动车、行人和非机动车三种标签。
152.目标筛选层中的非极大抑制算法对每个目标物的初始定位信息都进行置信度排序，然后对iou大于0.7的锚框进行删除，去除重复锚框，最终获取目标锚框，即确定目标物的最终定位信息。
153.此外，目标定位层需经过训练以优化锚框锁定范围，在训练时，除了要求锚框满足iou大于阈值0.5以外，还要求适应度小于阈值4，即锚框的长和宽与真实目标物在相似度上达到一定条件，才算是匹配到正确的预测目标。适应度r的计算公式为其中，gt
(w,h)
代表实际目标物的长和宽，pred
(w,h)
代表模型锚框的长和宽。
154.目标物检测网络基于置信度损失、分类损失和交并比损失进行优化，实现对目标物进行分类的目的，并提高了目标物定位精度。
155.在一个实施例中，考虑到目标物检测网络还包括非机动车和行人的检测，因此不仅在目标检测网络中加入了多目标类别检测和二分类交叉熵损失，还在原始训练数据集bdd100k中加入自采训练数据集，大大丰富了非机动车和行人这一类检测别，填补了bdd100k数据集非机动车目标缺乏的问题，满足了更复杂交通情况的目标物检测需求。同
时，对训练数据进行数据增强，增加了样本数量均衡处理，同时改进了数据增强技术mosaci和mixup的使用策略。该策略为：使用random.random函数控制在每一次对样本进行数据增强处理时，60％的样本使用mosaic，在40％的样本使用mixup。例如，random.random函数定义随机数据“1”出现概率为60％，随机数据“0”出现概率为40％，当样本中的某待处理数据对应于随机数据为1时，则使用mosaic处理，当样本中的某待处理数据对应于随机数据为0时，则使用mixup处理。通过该策略，能够提升车道线检测、目标物检测和可行使区域分割任务的准确性，同时随机加入更简单的mixup与全部使用mosaci相比，可以加快训练速度。
156.在一个实施例中，如图8所示，步骤204中基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态，是通过与目标检测网络连接的目标追踪网络实现的。目标物追踪网络从目标物检测网络获取的目标物定位信息中，选择机动车作为追踪对象，提取机动车的运动状态。通过目标物追踪网络追踪目标物，从而在目标物检测良好的效果加持下，进一步定位目标物，排除了大量的错检漏检。
157.目标物追踪网络是基于yolov7_tiny模型改进获得的，即在yolov7_tiny模型中的特征提取部分使用了多通道融合层进行特征提取，从而加快了模型的推理速度。对目标物追踪网络进行训练时，将机动车图片尺寸调整为64
×
64后送入目标物追踪网络。使用交叉熵损失(celoss，cross entropy loss)对训练数据集中的700多种车辆进行分类，交叉熵损失函数表示为l(gt,pred)＝-gt
×
ln(pred)，其中gt为机动车真实标签，pred为模型预测机动车标签。经过训练后，提取目标物追踪网络中的特征信息，用于接下来特征比对。
158.特征比对采用余弦相似度进行比较，当两张图像中的机动车特征信息之间的余弦相似度小于0.2时，则认为两个机动车具有相似性，否则不具有相似性。余弦相似度的计算为：其中，x1和x2分别表示进行特征比对的两个图像的向量，dist(x1,x2)表示两个图片的余弦距离，通过余弦距离表征余弦相似度。
159.在本实施例中，对输入尺寸为1280
×
1280的图片通过特征提取模型和目标检测模型处理后，选择目标检测网络输出的目标物定位信息中的对应于机动车的目标物定位信息，据此从图像中选取机动车区域，扣取图片后通过调整图像大小，获取尺寸为64
×
64的图像送入目标物追踪网络。
160.在目标物追踪网络中，将检测出的机动车目标锚框进行记录，使用卡尔曼滤波进行记录和分析机动车的序号，基于目标物定位信息利用余弦相似度进行序号匹配，帮助记录间隔画面之间同一机动车的特征。即使机动车暂时消失在视野里，该机动车的信息依然会被记录。同时，使用卡尔曼滤波进行运动状态预测，实现机动车跟踪。卡尔曼滤波通过状态方程进行运动状态预测，状态方程为xk＝kx
k-1
+kuk。其中，xk表示当前时间目标物的状态；x
k-1
表示前一时间目标物的状态；fk表示状态转移矩阵，根据目标物的运动规律确定；bk为系统控制矩阵，uk为系统控制向量，bkuk表示外界动力影响导致的运动状态影响，如果没有任何外界动力影响，可以忽略该项。根据状态方程即可实现对机动车的运动估计，获取该机动车的运动状态。
161.在交通全景感知中，机动车跟踪除了能够帮助保持车辆安全距离和了解道路情况信息外，也能够对路面交通状况有一个良好的实时统计，实现交通拥挤路况的详细跟踪。
162.如图9所示，在一个实施例中，向特征提取模型中输入交通全景图像，在目标检测
模型中主要处理两个任务，一个是检测交通目标情况，另一个是检测交通路面情况。其中交通目标情况包括机动车检测、非机动车检测和行人检测，在机动车检测基础上增加机动车追踪任务。检测交通路面情况包括可行驶区域分割和车道线检测任务。上述所有任务输出对应检测信息，即为交通感知信息，用于辅助自动驾驶的决策系统做出安全驾驶决策。
163.与传统多任务网络模型相比，本技术能够保持实时推理的同时，创新地增加了机动车跟踪任务，以及对非机动车和行人的检测能力进行了提高，优化了数据增强策略，同时改进了特征提取方式，提出了多通道融合层，有效提升了模型的精度。本技术能够更好地满足实际交通情况的检测需求，更加充分地提供交通目标情况和交通路面情况，帮助车辆保持安全，避开行人和非机动车，帮助车辆规划行驶区域，遵守道路法规和实现安全驾驶。
164.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
165.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的多任务交通全景感知方法的多任务交通全景感知装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多任务交通全景感知装置实施例中的具体限定可以参见上文中对于多任务交通全景感知方法的限定，在此不再赘述。
166.在一个实施例中，如图10所示，提供了一种多任务交通全景感知装置，包括：特征提取模块1002、目标检测模块1004、追踪模块1006和感知模块1008，其中：
167.特征提取模块1002，用于通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征。
168.目标检测模块1004，用于通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息。
169.追踪模块1006，用于基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态。
170.感知模块1008，用于根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。
171.其中，特征提取模型包括：特征图提取网络、特征金字塔网络和路径聚合网络；特征图提取网络中包含多个依次连接的第一下采样层，特征金字塔网络包含多个依次连接的上采样层，路径聚合网络中包含多个依次连接的第二下采样层；且各上采样层在特征图提取网络中均有对应的第一下采样层，在路径聚合网络中均有对应的第二下采样层。
172.通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征，包括：通过特征图提取网络中各第一下采样层，基于各第一下采样层的输入数据，对待处理图像进行多次下采样处理，得到各第一下采样层输出的多层图像特征；其中，首个第一下采样层的输入数据为待处理图像，其他各第一下采样层的输入数据为上一第一下采样层输出的多层图像特征。
173.通过特征金字塔网络中各上采样层，基于各上采样层的输入数据，对多层图像特征进行多次上采样处理，得到各上采样层输出的多层语义特征；其中，首个上采样层的输入数据为首个上采样层对应的第一下采样层输出的多层图像特征，其他各上采样层的输入数据为该上采样层对应的第一下采样层输出的多层图像特征和上一上采样层输出的多层语义特征。
174.通过路径聚合网络中的各第二下采样层，基于各第二下采样层的输入数据，对多层语义特征进行多次下采样处理，获取各第二下采样层输出的多层定位特征；其中，首个第二下采样层的输入数据为首个第二下采样层对应的上采样层输出的多层语义特征，其他各第二下采样层的输入数据为该第二下采样层对应的上采样层输出的多层语义特征和上一第二下采样层输出的多层定位特征。
175.特征图提取网络和特征金字塔网络中有至少一个第一下采样层和至少一个上采样层为进行多通道特征融合处理的多通道融合层。
176.目标检测模型包括：区域分割网络、车道线检测网络和目标物检测网络；通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息，包括：通过区域分割网络，基于多层图像特征，检测目标行驶区域信息；通过车道线检测网络，基于多层图像特征和多层语义特征，检测目标车道线信息；通过目标物检测网络，基于多层定位特征，检测目标物定位信息。
177.区域分割网络包括：通道注意力层、多通道融合层和上采样网络；通过区域分割网络，基于多层图像特征，检测目标行驶区域信息，包括：通过通道注意力层，对多层图像特征进行基于注意力机制的自适应特征优化处理，得到优化图像特征；通过多通道融合层对优化图像特征进行特征融合处理，得到融合图像特征；通过上采样网络对融合图像特征进行上采样处理，输出双通道的行驶区域灰度图；根据行驶区域灰度图获取目标行驶区域信息。
178.车道线检测网络包括：通道注意力层、多通道融合层和反卷积采样网络；通过车道线检测网络，基于多层图像特征和多层语义特征，检测目标车道线信息，包括：通过通道注意力层，对多层图像特征和多层语义特征进行基于注意力机制的自适应特征优化，得到优化语义特征；通过多通道融合层对优化语义特征进行特征融合处理，得到融合语义特征；通过反卷积采样网络，对融合语义特征进行反卷积上采样处理，输出单通道的车道线灰度图；根据单通道的车道线灰度图获取目标车道线信息。
179.多通道融合层用于对输入数据进行二分通道分割，获得第一二分通道数据和第二二分通道数据；对第二二分通道数据进行二分通道分割，获得第一四分通道数据和第二四分通道数据；对第二四分通道数据进行二分通道分割，获得第一八分通道数据和第二八分通道数据；将第一二分通道数据、第一四分通道数据、第一八分通道数据和第二八分通道数据进行特征聚合，得到多通道融合层的输出数据；
180.其中，若多通道融合层为第一下采样层，则多通道融合层的输入数据为第一下采样层的输入数据，多通道融合层的输出数据为第一下采样层输出的多层图像特征。若多通道融合层为上采样层，则多通道融合层的输入数据为上采样层的输入数据，多通道融合层的输出数据为上采样层输出的多层语义特征。若多通道融合层位于区域分割网络中，则多通道融合层的输入数据为优化图像特征，输出数据为融合图像特征。若通道融合层位于车道线检测网络中，则多通道融合层的输入数据为优化语义特征，输出数据为融合语义特征。
181.通道注意力层用于对输入数据进行特征二分类处理，得到细化特征通道信息和通道权重分配信息；根据细化特征通道信息和通道权重分配信息，进行基于注意力机制的自适应特征优化，得到输出数据。
182.其中，若通道注意力层位于区域分割网络中，则通道注意力层的输入数据为多层图像特征，输出数据为优化图像特征；若通道注意力层位于车道线检测网络中，则通道注意力层的输入数据为多层图像特征和多层语义特征，输出数据为优化语义特征。
183.目标物检测网络包括：权重分配层、目标定位层、目标筛选层；通过目标物检测网络，基于多层定位特征，检测目标物定位信息，包括：通过权重分配层对多层定位特征进行加权分配，得到多层加权特征；通过目标定位层，基于多层加权特征锁定目标物的初始定位信息，其中目标物包括行人、非机动车和机动车；通过目标筛选层，利用非极大值抑制算法对目标物的初始定位信息进行筛选，获取目标物的最终定位信息。
184.区域分割网络基于二分类交叉熵损失优化得到。
185.车道线检测网络基于焦点损失、交并比损失和特沃斯基损失的组合优化得到。
186.目标物检测网络基于置信度损失、分类损失和交并比损失的组合优化得到。
187.上述多任务交通全景感知装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
188.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多任务交通全景感知方法。
189.本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
190.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例的步骤。
191.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的步骤。
192.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法实施例的步骤。
193.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户
授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
194.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
195.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
196.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种多任务交通全景感知方法，其特征在于，所述方法包括：通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征；通过目标检测模型，根据所述多层图像特征、所述多层语义特征和所述多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；基于所述目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的所述目标物的运动状态；根据所述目标行驶区域信息、所述目标车道线信息、所述目标物定位信息和所述目标物的运动状态，确定交通全景感知信息。2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括：特征图提取网络、特征金字塔网络和路径聚合网络；所述特征图提取网络中包含多个依次连接的第一下采样层，所述特征金字塔网络包含多个依次连接的上采样层，所述路径聚合网络中包含多个依次连接的第二下采样层；且各所述上采样层在所述特征图提取网络中均有对应的所述第一下采样层，在所述路径聚合网络中均有对应的所述第二下采样层；所述通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征，包括：通过所述特征图提取网络中各所述第一下采样层，基于各所述第一下采样层的输入数据，对所述待处理图像进行多次下采样处理，得到各所述第一下采样层输出的所述多层图像特征；其中，首个所述第一下采样层的输入数据为所述待处理图像，其他各所述第一下采样层的输入数据为上一所述第一下采样层输出的所述多层图像特征；通过所述特征金字塔网络中各所述上采样层，基于各所述上采样层的输入数据，对所述多层图像特征进行多次上采样处理，得到各所述上采样层输出的所述多层语义特征；其中，首个所述上采样层的输入数据为首个所述上采样层对应的所述第一下采样层输出的所述多层图像特征，其他各所述上采样层的输入数据为该所述上采样层对应的所述第一下采样层输出的所述多层图像特征和上一所述上采样层输出的所述多层语义特征；通过所述路径聚合网络中的各所述第二下采样层，基于各所述第二下采样层的输入数据，对所述多层语义特征进行多次下采样处理，获取各所述第二下采样层输出的所述多层定位特征；其中，首个所述第二下采样层的输入数据为首个所述第二下采样层对应的所述上采样层输出的所述多层语义特征，其他各所述第二下采样层的输入数据为该所述第二下采样层对应的所述上采样层输出的所述多层语义特征和上一所述第二下采样层输出的所述多层定位特征。3.根据权利要求2所述的方法，其特征在于，所述特征图提取网络和所述特征金字塔网络中有至少一个所述第一下采样层和至少一个所述上采样层采用多通道融合层实现。4.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括：区域分割网络、车道线检测网络和目标物检测网络；所述通过目标检测模型，根据所述多层图像特征、所述多层语义特征和所述多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息，包括：通过所述区域分割网络，基于所述多层图像特征，检测所述目标行驶区域信息；通过所述车道线检测网络，基于所述多层图像特征和所述多层语义特征，检测所述目
标车道线信息；通过所述目标物检测网络，基于所述多层定位特征，检测所述目标物定位信息。5.根据权利要求4所述的方法，其特征在于，所述区域分割网络包括：通道注意力层、多通道融合层和上采样网络；所述通过所述区域分割网络，基于所述多层图像特征，检测所述目标行驶区域信息，包括：通过所述通道注意力层，对所述多层图像特征进行基于注意力机制的自适应特征优化处理，得到优化图像特征；通过所述多通道融合层对所述优化图像特征进行特征融合处理，得到融合图像特征；通过所述上采样网络对所述融合图像特征进行上采样处理，输出双通道的行驶区域灰度图；根据所述行驶区域灰度图获取所述目标行驶区域信息。6.根据权利要求4所述的方法，其特征在于，所述车道线检测网络包括：通道注意力层、多通道融合层和反卷积采样网络；所述通过所述车道线检测网络，基于所述多层图像特征和所述多层语义特征，检测所述目标车道线信息，包括：通过所述通道注意力层，对所述多层图像特征和多层语义特征进行基于注意力机制的自适应特征优化，得到优化语义特征；通过所述多通道融合层对所述优化语义特征进行特征融合处理，得到融合语义特征；通过所述反卷积采样网络，对所述融合语义特征进行反卷积上采样处理，输出单通道的车道线灰度图；根据所述单通道的车道线灰度图获取所述目标车道线信息。7.根据权利要求3、5或6所述的方法，其特征在于，所述多通道融合层用于对输入数据进行二分通道分割，获得第一二分通道数据和第二二分通道数据；对所述第二二分通道数据进行二分通道分割，获得第一四分通道数据和第二四分通道数据；对所述第二四分通道数据进行二分通道分割，获得第一八分通道数据和第二八分通道数据；将所述第一二分通道数据、所述第一四分通道数据、所述第一八分通道数据和所述第二八分通道数据进行特征聚合，得到所述多通道融合层的输出数据；其中，若所述多通道融合层为所述第一下采样层，则所述多通道融合层的输入数据为所述第一下采样层的输入数据，所述多通道融合层的输出数据为所述第一下采样层输出的所述多层图像特征；若所述多通道融合层为所述上采样层，则所述多通道融合层的输入数据为所述上采样层的输入数据，所述多通道融合层的输出数据为所述上采样层输出的所述多层语义特征；若所述多通道融合层位于所述区域分割网络中，则所述多通道融合层的输入数据为所述优化图像特征，输出数据为所述融合图像特征；若所述多通道融合层位于所述车道线检测网络中，则所述多通道融合层的输入数据为所述优化语义特征，输出数据为所述融合语义特征。8.根据权利要求5或6所述的方法，其特征在于，所述通道注意力层用于对输入数据进行特征二分类处理，得到细化特征通道信息和通道权重分配信息；根据所述细化特征通道
信息和所述通道权重分配信息，进行基于注意力机制的自适应特征优化，得到输出数据；其中，若所述通道注意力层位于所述区域分割网络中，则所述通道注意力层的输入数据为多层图像特征，输出数据为优化图像特征；若所述通道注意力层位于所述车道线检测网络中，则所述通道注意力层的输入数据为多层图像特征和多层语义特征，输出数据为优化语义特征。9.根据权利要求4所述的方法，其特征在于，所述目标物检测网络包括：权重分配层、目标定位层、目标筛选层；通过所述目标物检测网络，基于所述多层定位特征，检测所述目标物定位信息，包括：通过所述权重分配层对所述多层定位特征进行加权分配，得到多层加权特征；通过所述目标定位层，基于所述多层加权特征锁定所述目标物的初始定位信息，其中所述目标物包括行人、非机动车和机动车；通过所述目标筛选层，利用非极大值抑制算法对所述目标物的初始定位信息进行筛选，获取所述目标物的最终定位信息。10.根据权利要求4所述的方法，其特征在于，所述区域分割网络基于二分类交叉熵损失优化得到。11.根据权利要求4所述的方法，其特征在于，所述车道线检测网络基于焦点损失、交并比损失和特沃斯基损失的组合优化得到。12.根据权利要求4所述的方法，其特征在于，所述目标物检测网络基于置信度损失、分类损失和交并比损失的组合优化得到。13.一种多任务交通全景感知装置，其特征在于，所述装置包括：特征提取模块，用于通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征；目标检测模块，用于通过目标检测模型，根据所述多层图像特征、所述多层语义特征和所述多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；追踪模块，用于基于所述目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的所述目标物的运动状态；感知模块，用于根据所述目标行驶区域信息、所述目标车道线信息、所述目标物定位信息和所述目标物的运动状态，确定交通全景感知信息。14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

技术总结
本申请涉及一种多任务交通全景感知方法、装置和计算机设备。所述方法包括通过特征提取模型，对待处理图像进行共享特征提取，获取多层图像特征、多层语义特征和多层定位特征；通过目标检测模型，根据多层图像特征、多层语义特征和多层定位特征，确定目标行驶区域信息、目标车道线信息和目标物定位信息；基于目标物定位信息进行目标物的选取和追踪，并根据追踪结果，获取被选取的目标物的运动状态；根据目标行驶区域信息、目标车道线信息、目标物定位信息和目标物的运动状态，确定交通全景感知信息。采用本方法能够提升感知速度和扩展感知维度。度。度。


技术研发人员：韩成
受保护的技术使用者：中汽创智科技有限公司
技术研发日：2023.06.05
技术公布日：2023/9/7