一种自动驾驶仿真中多模态融合方法、装置、设备及介质与流程

1.本技术涉及自动驾驶技术领域，具体而言，涉及一种自动驾驶仿真中多模态融合方法、装置、设备及介质。


背景技术：

2.在自动驾驶仿真过程中，传感器数据感知技术是必不可少的存在。传感器数据感知中包括单模态数据感知，单模态数据感知存在固有的缺陷，例如：摄像机数据主要在前视图的位置捕获，在复杂环境中目标物可能会被遮挡，给目标检测和语义分割带来严峻挑战；激光雷达在不同距离处具有不同的分辨率，并且容易受到雨雾等极端天气的影响。尽管单模态的数据在各自领域都有优秀表现，但传感器之间的互补性使得多模态融合可以取得更好的精度和性能，多模态融合可以分为多模态前融合、多模态中融合及多模态后融合，多模态前融合是对原始数据进行融合，多模态中融合是在特征空间中对特征进行融合，多模态后融合是对多个检测模型的预测结果进行融合。
3.然而，多模态前融合存在数据域不对齐和格式不统一的问题，会对融合结果的精度造成影响。多模态中融合存在融合过程不稳定，且因模态间相干性出现强模态抢占弱模态的问题，也会影响融合结果精度。多模态后融合中，当各个模态对应的检测模型的预测结果较差时，最终的融合结果精度也较低。可见上述不同的多模态融合方法，均会导致融合结果精度低的问题。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种自动驾驶仿真中多模态融合方法、装置、设备及介质，以解决自动驾驶仿真过程中，融合结果精度低的问题。
5.第一方面，本技术实施例提供了一种自动驾驶仿真中多模态融合方法，包括：
6.在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；
7.对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；
8.将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；
9.将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。
10.可选地，对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据，包括：通过空间对齐及投影对不同感知传感器对应的多种原始数据进行多模态前融合处理，获得第一融合数据；在特征空间中，通过级联或者元素相乘对不同感知传感器对应的多种原始数据进行多模态中融合处理，获得第二融合数据。
11.可选地，目标感知模型包括单模态感知模型、多模态前融合感知模型及多模态后
融合感知模型；将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，包括：针对每个感知传感器，将该感知传感器对应的原始数据输入至该感知传感器对应的单模态感知模型，获得该感知传感器对应的第一感知结果的取值；将第一融合数据输入多模态前融合感知模型，获得第二感知结果的取值；将第二融合数据输入多模态中融合检测模型，获得第三感知结果的取值。
12.可选地，在将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值之前，还包括：将多个后验概率的乘积作为联合概率，每个感知结果对应一个后验概率，每个后验概率均为计算中间量；根据不同感知传感器对应的感知结果互相独立的性质，建立最终融合结果与感知结果之间的正比关系，感知结果是根据所述联合概率及先验值确定的；根据正比关系构建多模态后融合模型。
13.可选地，根据不同感知传感器对应的感知结果互相独立的性质，建立最终融合结果与感知结果之间的正比关系，包括：将联合概率与先验值的乘积作为第一乘积；将第一乘积与不相关概率的比值作为第一比值；建立第一比值与最终融合结果之间的等式关系；根据不同感知传感器对应的感知结果互相独立的性质，将等式关系转化为最终融合结果与感知结果之间的正比关系。
14.可选地，将等式关系转化为最终融合结果与感知结果之间的正比关系，包括：根据不同感知传感器对应的感知结果互相独立的性质，将等式关系转化为最终融合结果与第一乘积之间的第一正比关系；针对每个后验概率，将该后验概率与先验值的乘积作为该后验概率对应的感知结果；将第一正比关系转换为最终融合结果与感知结果比值之间的正比关系，感知结果比值是多个感知结果的乘积与先验值的设定数量次幂的比值，设定数量相比于感知结果的数量少一。
15.可选地，在将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值之前，还包括：针对每个感知传感器，对该感知传感器对应的单模态感知模型进行训练，得到该感知传感器对应的目标感知模型；对多模态前融合感知模型进行训练，得到第一融合数据对应的目标感知模型；对多模态中融合检测模型进行训练，得到第二融合数据对应的目标感知模型。
16.第二方面，本技术实施例还提供了一种自动驾驶仿真中多模态融合装置，所述装置包括：
17.数据获取模块，用于在自动驾驶仿真中，获取不同感知传感器对应的多种原始数据；
18.数据融合模块，用于对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；
19.结果预测模块，用于将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；
20.结果融合模块，用于将每个第一感知结果的取值、第二感知结果的取值及第三感
知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。
21.第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的自动驾驶仿真中多模态融合方法的步骤。
22.第四方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的自动驾驶仿真中多模态融合方法的步骤。
23.本技术实施例带来了以下有益效果：
24.本技术实施例提供的一种自动驾驶仿真中多模态融合方法、装置、设备及介质，能够对多种原始数据分别进行多模态前融合处理及多模态中融合处理，以获得第一融合数据及第二融合数据，再将第一融合数据及第二融合数据及多种原始数据输入各自的目标感知模型中得到多个感知结果的取值，将每个感知结果的取值输入至多模态后融合模型中获得最终感知结果的取值，可见，本技术能够将单模态下的原始数据与多模态下的融合数据相结合使用，弥补了多模态前融合及中融合各自融合过程的不足，并通过构建的多模态后融合模型对感知结果进行融合，进一步提高融合结果的精度，与现有技术中的自动驾驶仿真中多模态融合方法相比，解决了自动驾驶仿真过程中，融合结果精度低的问题。
25.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
26.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
27.图1示出了本技术实施例所提供的自动驾驶仿真中多模态融合方法的流程图；
28.图2示出了本技术实施例所提供的自动驾驶仿真中多模态融合装置的结构示意图；
29.图3示出了本技术实施例所提供的电子设备的结构示意图。
具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本技术保护的范围。
31.值得注意的是，在本技术提出之前，在自动驾驶仿真过程中，传感器数据感知技术
是必不可少的存在。传感器数据感知中包括单模态数据感知，单模态数据感知存在固有的缺陷，例如：摄像机数据主要在前视图的位置捕获，在复杂环境中目标物可能会被遮挡，给目标检测和语义分割带来严峻挑战；激光雷达在不同距离处具有不同的分辨率，并且容易受到雨雾等极端天气的影响。尽管单模态的数据在各自领域都有优秀表现，但传感器之间的互补性使得多模态融合可以取得更好的精度和性能，多模态融合可以分为多模态前融合、多模态中融合及多模态后融合，多模态前融合是对原始数据进行融合，多模态中融合是在特征空间中对特征进行融合，多模态后融合是对多个检测模型的预测结果进行融合。然而，多模态前融合过程中，由于不同类型的传感器之间数据格式和分辨率差异大，存在数据域不对齐和格式不统一的问题，会对融合结果的精度造成影响。多模态中融合存在融合过程不稳定，且因模态间相干性出现强模态抢占弱模态的问题，也会影响融合结果精度。多模态后融合过程中，通常采用对预测结果进行加权平均或者最大选票法来确定最终融合结果，但当各个模态对应的检测模型的预测结果较差时，最终的融合结果精度也较低。可见上述不同的多模态融合方法，均导致融合结果精度低的问题。
32.基于此，本技术实施例提供了一种自动驾驶仿真中多模态融合方法，以提高融合结果的精度。
33.请参阅图1，图1为本技术实施例所提供的一种自动驾驶仿真中多模态融合方法的流程图。如图1所示，本技术实施例提供的自动驾驶仿真中多模态融合方法，包括：
34.步骤s101，在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据。
35.该步骤中，不同类型感知传感器用于对待检测物进行检测，获取待检测物对应的原始数据。每种类型的感知传感器对应一种原始数据。
36.示例性的，不同类型的感知传感器可以是激光雷达传感器，也可以是摄像机，还可以是毫米波雷达。
37.待检测物可指自动驾驶仿真场景中的人、车或者其他物体。
38.在本技术实施例中，在自动驾驶仿真中，需要确定自动驾驶车辆周围物体的所属类别或者所在位置，为此，可利用感知传感器对待检测物进行检测，并对检测获得的多种原始数据进行融合，以根据融合结果确定待检测物所属类别或者位置。
39.为了对待检测物进行检测，可在自动驾驶车辆上安装多种不同类型的感知传感器，这些感知传感器分别对自动驾驶仿真场景的目标区域中的物体进行检测，该物体即为待检测物。每个感知传感器在对待检测物检测后都会获得对应的原始数据。
40.步骤s102，对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据。
41.该步骤中，多模态前融合处理可指在数据层级的处理，即在获取原始数据后，直接对原始数据进行融合。
42.多模态中融合处理可指在特征层级的处理，即在特征空间中对特征进行融合。
43.第一融合数据可指多模态前融合处理后获得的融合数据。
44.第二融合数据可指多模态中融合处理后获得的融合数据。
45.在一可选实施例中，对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据，包括：通过空间对齐及投影对不同感知传感器对应的多种原始数据进行多模态前融合处理，获得第一融合数据；在特征空间中，通过级联
或者元素相乘对不同感知传感器对应的多种原始数据进行多模态中融合处理，获得第二融合数据。
46.具体的，以不同类型感知传感器分别为激光雷达、摄像机及毫米波雷达为例，激光雷达对应的原始数据为第一原始数据，摄像机对应的原始数据为第二原始数据，毫米波雷达对应的原始数据为第三原始数据，则在原始数据层级，通过空间对齐及投影对第一原始数据、第二原始数据及第三原始数进行融合处理，获得第一融合数据。在特征空间中通过级联或者元素相乘对第一原始数据、第二原始数据及第三原始数对应的特征进行融合处理，获得第二融合数据。
47.步骤s103，将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值。
48.该步骤中，第一感知结果的数据量与原始数据的种类对应，每种原始数据对应一个第一感知结果。
49.第一感知结果可指原始数据对应的目标感知模型的预测结果。
50.第二感知结果可指第一融合数据对应的目标感知模型的预测结果。
51.第三感知结果可指第二融合数据对应的目标感知模型的预测结果。
52.目标感知模型可指神经网络模型，示例性的，目标感知模型可以是卷积神经网络模型。
53.在本技术实施例中，目标感知模型会输出感知结果，将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型即可得到各自对应的感知结果的取值。将原始数据对应的目标感知模型的输出作为第一感知结果，将第一融合数据对应的目标感知模型的输出作为第二感知结果，将第二融合数据对应的目标感知模型的输出作为第三感知结果。
54.在确定待检测物所属类别的应用场景中，每个目标感知模型可以是图像识别模型，在确定待检测物所在位置的应用场景中，每个目标感知模型可以是位置识别模型。
55.在一可选实施例中，目标感知模型包括单模态感知模型、多模态前融合感知模型及多模态后融合感知模型；将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，包括：针对每个感知传感器，将该感知传感器对应的原始数据输入至该感知传感器对应的单模态感知模型，获得该感知传感器对应的第一感知结果的取值；将第一融合数据输入多模态前融合感知模型，获得第二感知结果的取值；将第二融合数据输入多模态中融合检测模型，获得第三感知结果的取值。
56.以上述示例为例，第一原始数据、第二原始数据及第三原始数分别对应一个目标感知模型，即分别对应一个单模态感知模型，第一融合数据对应多模态前融合感知模型，第二融合数据对应多模态中融合感知模型，因此，共有5个目标感知模型，且这5个目标感知模型都是已训练好的感知模型。根据不同的应用场景，这5个目标感知模型会输出不同的感知结果，以确定待检测物的所属类别为例，待检测物可以是人，也可以是车辆，则每个目标感知模型都会输出一个待检测物为人或者车的概率是多少，目标感知模型的输出即为感知结果的取值。例如：第一融合数据对应的目标感知模型输出的是待检测物为人的概率为50％，
得到第二识别结果的取值。第二融合数据对应的目标感知模型输出的是待检测物为车的概率为30％，得到第三识别结果的取值。
57.在一可选实施例中，在将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值之前，还包括：针对每个感知传感器，对该感知传感器对应的单模态感知模型进行训练，得到该感知传感器对应的目标感知模型；对多模态前融合感知模型进行训练，得到第一融合数据对应的目标感知模型；对多模态中融合检测模型进行训练，得到第二融合数据对应的目标感知模型。
58.以上述示例为例，在确定应用场景后，会对上述5个目标感知模型进行训练。以应用场景为确定待检测物所属分类为例，则针对摄像机这一感知传感器为例，可选取图像识别模型作为单模态感知模型，并对该单模态感知模型进行训练，以利用训练后的单模态感知模型确定第一感知结果。针对其他传感器，可选取与传感器类型对应的感知模型作为目标感知模型并对目标感知模型进行训练。同样地，选取图像识别模型作为多模态前融合感知模型及多模态中融合感知模型，对选取的图像识别模型进行训练得到第一融合数据及第二融合数据分别对应的目标感知模型。
59.步骤s104，将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。
60.该步骤中，多模态后融合模型可指用于对感知结果进行融合的模型，多模态后融合模型是已构建好的模型。
61.最终融合结果可指对多个感知结果进行融合后获得的结果。
62.在本技术实施例中，共有3个第一感知结果，1个第二感知结果及1个第三感知结果，将这5个感知结果的取值一起输入到多模态后融合模型中，得到最终融合结果的取值。
63.在一可选实施例中，在将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值之前，还包括：将多个后验概率的乘积作为联合概率，每个感知结果对应一个后验概率，每个后验概率均为计算中间量；根据不同感知传感器对应的感知结果互相独立的性质，建立最终融合结果与感知结果之间的正比关系，感知结果是根据联合概率及先验值确定的；根据正比关系构建多模态后融合模型。
64.具体的，在使用多模态后融合模型之前，首先需要构建该多模态后融合模型。为了计算方便，以一个第一感知结果及一个第二感知结果及一个第三感知结果为例，介绍多模态后融合模型的构建过程。第一感知结果对应的后验概率记作：p(y1|x)，第二感知结果对应的后验概率记作：p(y2|x)，第三感知结果对应的后验概率记作：p(y3|x)，联合概率记作p(y1,y2,y3|x)。将三个后验概率的乘积作为联合概率，可得：p(y1|x)
×
p(y2|x)
×
p(y3|x)＝p(y1,y2,y3|x)。其中，后验概率为构建多模态后融合模型所引入的中间量。
65.另外，由于不同感知结果是相互独立的，互不影响感知模型的预测结果，因此，可将感知结果不相关性质以不相关概率来表示，即为：p(y1,y2,y3)＝1。然后，根据不相关概率及贝叶斯公式，可以得到最终融合结果与感知结果之间的正比关系。
66.在一可选实施例中，根据不同感知传感器对应的感知结果互相独立的性质，建立最终融合结果与感知结果之间的正比关系，包括：将联合概率与先验值的乘积作为第一乘
积；将第一乘积与不相关概率的比值作为第一比值；建立第一比值与最终融合结果之间的等式关系；根据不同感知传感器对应的感知结果互相独立的性质，将等式关系转化为最终融合结果与感知结果之间的正比关系。
67.这里，先验值是通过计算获得的，以应用场景为确定待检测物所属类别为例，则先验值是根据训练数据中有目标类型的数量量与训练数据的数据量的比值确定的，例如：训练数据为100万张图片，其中有目标物人的图片为10万张，则先验值为0.1。先验值的确定无需借助感知传感器，它是一个计算出来的固定结果，训练数据的数据量越大，结果越准确。
68.具体的，先验值记作：p(x)，则第一乘积为p(y1,y2,y3|x)
×
p(x)，第一比值为p(y1,y2,y3|x)
×
p(x)/p(y1,y2,y3)。根据贝叶斯公式可建立第一比值与最终融合结果之间的等式关系，等式关系为：p(x|y1,y2,y3)＝p(y1,y2,y3|x)
×
p(x)/p(y1,y2,y3)，最终融合结果以p(x|y1,y2,y3)表示。然后，根据该等式关系确定最终融合结果与感知结果之间的正比关系。
69.在一可选实施例中，将等式关系转化为最终融合结果与感知结果之间的正比关系，包括：根据不同感知传感器对应的感知结果互相独立的性质，将等式关系转化为最终融合结果与第一乘积之间的第一正比关系；针对每个后验概率，将该后验概率与先验值的乘积作为该后验概率对应的感知结果；将第一正比关系转换为最终融合结果与感知结果比值之间的正比关系，感知结果比值是多个感知结果的乘积与先验值的设定数量次幂的比值，设定数量相比于感知结果的数量少一。
70.具体的，根据不同感知传感器对应的感知结果互相独立的性质，即p(y1,y2,y3)＝1，可以对上述的等式关系进行转换。首先得到p(x|y1,y2,y3)
∝
p(y1,y2,y3|x)
×
p(x)，然后，将联合概率的计算公式代入上式中可得第一正比关系：
71.p(x|y1,y2,y3)
∝
p(y1|x)
×
p(y2|x)
×
p(y3|x)
×
p(x)；
72.针对每个后验概率，将该后验概率与先验值相乘得到感知结果，即，p(x|yk)＝p(yk|x)
×
p(x)，其中，p(x|yk)指的是第k个后验概率对应的感知结果。于是，可对第一正比关系进行转换可得：
73.p(x|y1,y2,y3)
∝
p(y1|x)
×
p(x)
×
p(y2|x)
×
p(x)
×
p(y3|x)
×
74.p(x)/p(x)2∝
p(x|y1)
×
p(x|y2)
×
p(x|y3)/p(x)2；
75.当感知结果的数量为j个时，可将上式扩展为：
[0076][0077]
上式中，表示最终融合结果，k表示第几个，k的范围为[1,j]，j表示输入的感知结果的数量，j-1表示设定数量，x表示目标检测物，p(x|yk)表示第k个感知结果，感知结果比值指的是果，感知结果比值指的是
[0078]
这里，当输入多模态后融合模型的感知结果的数量为10时，设定数量为9。
[0079]
与现有技术中自动驾驶仿真中多模态融合方法相比，本技术能够将单模态下的原始数据与多模态下的融合数据相结合使用，弥补了多模态前融合及中融合各自融合过程的不足，并通过构建的多模态后融合模型对感知结果进行融合，进一步提高融合结果的精度，解决了自动驾驶仿真过程中，融合结果精度低的问题。
[0080]
基于同一发明构思，本技术实施例中还提供了与自动驾驶仿真中多模态融合方法对应的自动驾驶仿真中多模态融合装置，由于本技术实施例中的装置解决问题的原理与本技术实施例上述自动驾驶仿真中多模态融合方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0081]
请参阅图2，图2为本技术实施例所提供的一种自动驾驶仿真中多模态融合装置的结构示意图。如图2中所示，所述自动驾驶仿真中多模态融合装置200包括：
[0082]
数据获取模块201，用于在自动驾驶仿真中，获取不同感知传感器对应的多种原始数据；
[0083]
数据融合模块202，用于对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；
[0084]
结果预测模块203，用于将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；
[0085]
结果融合模块204，用于将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。
[0086]
请参阅图3，图3为本技术实施例所提供的一种电子设备的结构示意图。如图3中所示，所述电子设备300包括处理器310、存储器320和总线330。
[0087]
所述存储器320存储有所述处理器310可执行的机器可读指令，当电子设备300运行时，所述处理器310与所述存储器320之间通过总线330通信，所述机器可读指令被所述处理器310执行时，可以执行如上述图1所示方法实施例中的自动驾驶仿真中多模态融合方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
[0088]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的自动驾驶仿真中多模态融合方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
[0089]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0090]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0091]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0092]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0093]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以
存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0094]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种自动驾驶仿真中多模态融合方法，其特征在于，包括：在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；对所述多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；将所述多种原始数据、所述第一融合数据及所述第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；将所述每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。2.根据权利要求1所述的方法，其特征在于，所述对所述多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据，包括：通过空间对齐及投影对不同感知传感器对应的多种原始数据进行多模态前融合处理，获得第一融合数据；在特征空间中，通过级联或者元素相乘对不同感知传感器对应的多种原始数据进行多模态中融合处理，获得第二融合数据。3.根据权利要求1所述的方法，其特征在于，所述目标感知模型包括单模态感知模型、多模态前融合感知模型及多模态后融合感知模型；所述将所述多种原始数据、所述第一融合数据及所述第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，包括：针对每个感知传感器，将该感知传感器对应的原始数据输入至该感知传感器对应的单模态感知模型，获得该感知传感器对应的第一感知结果的取值；将所述第一融合数据输入所述多模态前融合感知模型，获得第二感知结果的取值；将所述第二融合数据输入所述多模态中融合检测模型，获得第三感知结果的取值。4.根据权利要求1所述的方法，其特征在于，在所述将所述每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值之前，还包括：将多个后验概率的乘积作为联合概率，每个感知结果对应一个后验概率，每个后验概率均为计算中间量；根据不同感知传感器对应的感知结果互相独立的性质，建立所述最终融合结果与感知结果之间的正比关系，所述感知结果是根据所述联合概率及先验值确定的；根据所述正比关系构建多模态后融合模型。5.根据权利要求4所述的方法，其特征在于，所述根据不同感知传感器对应的感知结果互相独立的性质，建立所述最终融合结果与感知结果之间的正比关系，包括：将所述联合概率与先验值的乘积作为第一乘积；将所述第一乘积与不相关概率的比值作为第一比值；建立所述第一比值与最终融合结果之间的等式关系；根据不同感知传感器对应的感知结果互相独立的性质，将所述等式关系转化为所述最终融合结果与感知结果之间的正比关系。
6.根据权利要求5所述的方法，其特征在于，所述将所述等式关系转化为所述最终融合结果与感知结果之间的正比关系，包括：根据不同感知传感器对应的感知结果互相独立的性质，将所述等式关系转化为最终融合结果与所述第一乘积之间的第一正比关系；针对每个后验概率，将该后验概率与先验值的乘积作为该后验概率对应的感知结果；将所述第一正比关系转换为最终融合结果与感知结果比值之间的正比关系，所述感知结果比值是多个感知结果的乘积与先验值的设定数量次幂的比值，所述设定数量相比于感知结果的数量少一。7.根据权利要求1所述的方法，其特征在于，在所述将所述多种原始数据、所述第一融合数据及所述第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值之前，还包括：针对每个感知传感器，对该感知传感器对应的单模态感知模型进行训练得到该感知传感器对应的目标感知模型；对多模态前融合感知模型进行训练，得到第一融合数据对应的目标感知模型；对多模态中融合检测模型进行训练，得到第二融合数据对应的目标感知模型。8.一种自动驾驶仿真中多模态融合装置，其特征在于，包括：数据获取模块，用于在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；数据融合模块，用于对所述多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；结果预测模块，用于将所述多种原始数据、所述第一融合数据及所述第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；结果融合模块，用于将所述每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7中任一项所述的自动驾驶仿真中多模态融合方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的自动驾驶仿真中多模态融合方法的步骤。

技术总结
本申请提供了一种自动驾驶仿真中多模态融合方法、装置、设备及介质，该方法包括：在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值；将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。通过采用上述自动驾驶仿真中多模态融合方法、装置、设备及介质，解决了自动驾驶仿真中，融合结果精度低的问题。低的问题。低的问题。


技术研发人员：胡大林 徐显涛 叶云飞 杨强
受保护的技术使用者：北京赛目科技股份有限公司
技术研发日：2023.06.19
技术公布日：2023/9/16