目标检测方法、装置、电子设备和介质与流程

1.本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉等技术领域。


背景技术：

2.随着自动驾驶感知领域的发展，人们可以通过目标检测实现对车辆周围环境内存在的障碍物的感知。其中，可以获取车辆周围环境的点云数据、图像数据以及毫米波数据，并对采集到的数据进行分析，实现对车辆周围环境内存在的障碍物的感知。


技术实现要素：

3.本公开提出了一种目标检测方法、装置、电子设备和介质。
4.根据本公开的第一方面，提出了一种目标检测方法，方法包括：采集检测区域的检测数据集合，并提取所述检测数据集合中各检测数据的第一特征序列，其中，所述检测数据为多模态数据；获取所述检测区域的bev空间，将所述检测区域采集的图像数据投射至所述bev空间得到所述图像数据的bev图像数据；提取所述bev图像数据的第二特征序列，并基于所述第二特征序列获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图；对各检测数据的三维融合特征图分别进行目标检测，以获取所述检测区域的目标检测结果。
5.根据本公开的第二方面，提出了一种目标检测装置，装置包括采集模块，用于采集检测区域的检测数据集合，并提取所述检测数据集合中各检测数据的第一特征序列，其中，所述检测数据为多模态数据；投射模块，用于获取所述检测区域的bev空间，将所述检测区域采集的图像数据投射至所述bev空间得到所述图像数据的bev图像数据；融合模块，用于提取所述bev图像数据的第二特征序列，并基于所述第二特征序列获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图；检测模块，用于对各检测数据的三维融合特征图分别进行目标检测，以获取所述检测区域的目标检测结果。
6.根据本公开的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面提出的目标检测方法。
7.根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面提出的目标检测方法。
8.根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面提出的目标检测方法。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：
11.图1为本公开一实施例的目标检测方法的流程示意图；
12.图2为本公开另一实施例的目标检测方法的流程示意图；
13.图3为本公开另一实施例的目标检测方法的流程示意图；
14.图4为本公开另一实施例的目标检测方法的流程示意图；
15.图5为本公开另一实施例的目标检测方法的流程示意图；
16.图6为本公开一实施例的坐标校正的示意图；
17.图7为本公开一实施例的目标检测装置的结构示意图；
18.图8为本公开一实施例的电子设备的示意性框图。
具体实施方式
19.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
20.深度学习(deep learning，dl)，是机器学习领域中一个新的研究方向，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
21.计算机视觉(computer vision)，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取
‘
信息’的人工智能系统，它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。
22.人工智能(artificial intelligence，ai)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。
23.图1为本公开一实施例的目标检测方法的流程示意图，该方法适用于服务器，如图1所示，该方法包括：
24.s101，采集检测区域的检测数据集合，并提取检测数据集合中各检测数据的第一特征序列，其中，检测数据为多模态数据。
25.本公开实施例中，车辆在自动驾驶过程中，需要对车辆周围环境中的障碍物进行识别，从而保证车辆的驾驶安全。
26.在一些实现中，可以对车辆周围环境进行多模态数据的采集，并采取前融合、中融合或者后融合中任一的融合方式，对采集到的多模态数据进行融合，从而实现对车辆周围环境内存在的障碍物的感知，在该场景下，采集到的数据的准确程度以及采集到的数据是否出现数据异常，对于最终得到的障碍物感知识别的准确程度存在一定程度的影响，稳定性欠佳。
27.本公开实施例中，可以将车辆周围需要进行障碍物识别的区域，标记为车辆的检测区域。
28.可选地，可以在车辆上设置多模态的检测数据采集设备，可以包括激光雷达设备和毫米波雷达设备等。
29.其中，通过车辆上设置的多模态的检测数据采集设备对检测区域内进行监测数据的采集，可以通过激光雷达设备对检测区域进行数据采集，也可以通过车辆上设置的毫米波雷达设备对检测区域进行数据采集，进而得到检测区域内设置的检测设备采集到的检测数据集合。
30.在该场景下，可以对检测数据集合中的各检测数据进行特征提取，从而实现对检测区域中的障碍物识别。
31.可选地，可以基于相关技术中的特征提取算法，对检测数据集合中各检测数据进行算法处理，从而得到各检测数据提取出的特征序列，并将提取到的各检测数据的特征序列标记为各检测数据的第一特征序列。
32.s102，获取检测区域的bev空间，将检测区域采集的图像数据投射至bev空间得到图像数据的bev图像数据。
33.本公开实施例中，检测区域存在对应的鸟瞰(bird’s eye view,bev)空间，其中，可以基于相关技术中的bev空间构建算法，对检测区域进行空间构建，从而得到检测区域的bev空间。
34.可选地，可以在车辆上设置对应的图像采集设备，从而得到检测区域内采集的图像数据。
35.在该场景下，可以将检测区域的图像数据投射至检测区域对应的bev空间中，将采集到的二维图像数据转化为三维图像数据，并将投射至bev空间后得到的三维图像数据，确定为图像数据的bev图像数据。
36.s103，提取bev图像数据的第二特征序列，并基于第二特征序列获取检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图。
37.本公开实施例中，可以基于相关技术中的特征提取算法，对bev图像数据进行算法处理，从而实现对bev图像数据的特征提取，并将提取到的bev图像数据中的特征序列，标记为bev图像数据的第二特征序列。
38.可选地，可以将检测数据集合中包括的各检测数据的第一特征序列分别与第二特征序列进行特征融合处理，进而得到各第一特征序列分别与第二特征序列融合后的特征序列。
39.可以理解为，获取检测数据集合中的检测数据a的第一特征序列并将其与基于bev图像数据提取到的第二特征序列进行特征融合，从而得到检测数据a对应的融合后的特征序列。
40.以及，获取检测数据集合中的检测数据b的第一特征序列，并将其与基于bev图像数据提取到的第二特征序列进行特征融合，从而得到检测数据b对应的融合后的特征序列。
41.进一步地，基于相关技术中的三维特征图的生成算法，分别对检测数据a对应的融合后的特征序列以及检测数据b对应的融合后的特征序列进行算法处理，并基于算法处理的结果得到包括检测数据a和检测数据b各自的三维特征图，进而得到检测数据集合中包括的各检测数据与图像数据进行特征融合得到的三维融合特征图。
42.s104，对各检测数据的三维融合特征图分别进行目标检测，以获取检测区域的目标检测结果。
43.本公开实施例中，可以对各检测数据的三维融合特征图分别进行目标检测，进而得到各检测数据的三维融合特征图的检测结果。
44.可以理解为，可以获取任一检测数据的第一特征序列和第二特征序列进行特征融合得到的三维特征融合图，并对该三维特征融合图进行目标检测，得到该检测数据对应的三维特征融合图的进行目标检测的检测结果。
45.以及，获取另一检测数据的第一特征序列和第二特征序列进行特征融合得到的三维特征融合图，并对该三维特征融合图进行目标检测，得到该检测数据对应的三维特征融合图的进行目标检测的检测结果。
46.进一步地，获取预设的检测结果的融合策略，并基于获取到的融合策略对点云数据对应的三维融合特征图的检测结果和毫米波数据对应的三维融合特征图的检测结果进行融合，并将融合后得到的检测结果确定为检测区域的目标检测结果。
47.其中，预设的检测结果的融合策略可以为加权融合策略，基于预设的权重对点云数据对应的三维融合特征图的检测结果和毫米波数据对应的三维融合特征图的检测结果进行加权融合，进而得到检测区域的目标检测结果。
48.本公开提出的目标检测方法，采集检测区域的包括点云数据和毫米波数据的检测数据集合，并提取各检测数据的第一特征序列，相应地，采集检测区域的图像数据，并将图像数据投射至检测区域构建的bev空间中，得到图像数据bev图像数据后，提取bev图像数据的第二特征序列。进一步地，将检测数据集合中各检测数据的第一特征序列分别与第二特征序列进行特征融合，从而得到检测数据集合中各检测数据的三维融合特征图。分别对各检测数据的三维融合特征图进行目标检测，进而根据各三维特征图的目标检测的结果得到检测区域的目标检测结果。本公开中，将检测数据集合中各检测数据分别与图像数据进行融合，得到各检测数据的三维融合特征图，并分别对各三维融合特征图进行目标检测，从而得到检测区域的目标检测结果，通过对各检测数据和图像数据的分组分析，在各检测数据和图像数据出现异常的情况下，降低了异常数据对于目标检测结果的准确率的影响程度，提高了目标检测结果的准确率以及目标检测方法的稳定性，进而优化了车辆驾驶过程中障碍物识别的准确率，提高了车辆驾驶的安全性。
49.上述实施例中，关于各检测数据的三维融合特征图的获取，可结合图2进一步理解，图2为本公开另一实施例的目标检测方法的流程示意图，如图2所示，该方法包括：
50.s201，采集检测区域的检测数据集合，并提取检测数据集合中各检测数据的第一特征序列，其中，检测数据为多模态数据。
51.本公开实施例中，检测数据集合中包括的各检测数据至少包括点云数据和毫米波
数据。
52.可选地，可以提取检测数据集合中的点云数据的点云特征，以及检测数据集合中的毫米波数据的毫米波特征。
53.如图3所示，可以将点云数据输入图3所示的特征提取网络1中，基于特征提取网络1对点云数据进行特征提取，从而得到点云数据中携带的点云特征。
54.以及，将毫米波数据输入图3所示的特征提取网络3中，基于特征提取网络3对毫米波数据进行特征提取，从而得到毫米波数据中携带的毫米波特征。
55.可选地，可以对点云特征和毫米波特征分别进行特征拉伸，得到点云特征以及毫米波特征各自的第一特征序列，以得到检测数据集合中各检测数据的第一特征序列。
56.其中，可以获取bev空间的空间参数，并基于空间参数确定进行特征拉伸时所需的特征拉伸长度。
57.本公开实施例中，可以获取bev空间的空间参数，并从bev空间的空间参数中获取bev空间的长度值、宽度值和高度值，进一步地，获取长度值、宽度值和高度值的乘积值，并将乘积值确定为待处理特征的特征拉伸长度。
58.可选地，基于特征拉伸长度对待处理特征进行特征拉伸，得到拉伸后的特征序列，其中，特征序列包括点云特征和毫米波特征进行特征拉伸后得到的各自的第一特征序列。
59.本公开实施例中，确定点云特征和毫米波特征的特征拉伸长度后，可以基于该特征拉伸长度将点云特征进行特征拉伸，从而得到一个特征拉伸长度的特征序列，可以将该特征序列确定为点云数据的第一特征序列。
60.相应地，可以基于该特征拉伸长度将毫米波特征进行特征拉伸，从而得到一个特征拉伸长度的特征序列，可以将该特征序列确定为毫米波数据的第一特征序列。
61.作为一种示例，设定bev空间的长度值、宽度值和高度值的乘积值为m，则点云特征和毫米波特征的特征拉伸长度即为m。
62.在该示例中，可以将点云特征进行拉伸得到一个长度为m的特征序列，该特征序列即为点云数据的第一特征序列，以及，将毫米波特征进行拉伸得到一个长度为m的特征序列，该特征序列即为毫米波数据的第一特征序列。
63.s202,获取检测区域的bev空间，将检测区域采集的图像数据投射至bev空间得到图像数据的bev图像数据。
64.可选地，可以提取图像数据的图像特征，并确定图像特征在bev空间中的第三投射位置。
65.如图3所示，可以将图像数据输入至图3所示的特征提取网络2中，基于特征提取网络2的输出结果，得到图像数据的图像特征。
66.其中，可以获取图像特征在图像数据中的第三提取位置，确定第三提取位置在bev空间中对应的第三匹配位置，并将第三匹配位置确定为图像特征在所述bev空间中的第三投射位置。
67.本公开实施例中，可以获取图像特征在图像数据中的提取位置并标记为第三提取位置，其中，可以确定第三提取位置在bev空间中的对应位置，并将其标记为第三匹配位置。
68.进一步地，将第三匹配位置确定为图像特征在bev空间中的第三投射位置。
69.其中，可以获取第三提取位置基于图像数据的相对位置关系，并将bev空间中，与
bev空间处于相同相对位置关系的位置，确定为第三提取位置在bev空间中对应的第三匹配位置。
70.进一步地，将第三匹配位置确定为图像数据在第三提取位置上的图像特征在bev空间中的投射位置，并将该投射位置标记为图像数据在第三提取位置上的图像特征在bev空间中的第三投射位置。
71.可选地，基于第三投射位置，将图像特征投射至bev空间中，以得到图像数据的bev图像数据。
72.在该场景下，确定第三提取位置上的图像特征在bev空间中的第三投射位置后，可以将第三提取位置上的图像特征基于第三投射位置投射至bev空间中。
73.进一步地，基于全部的图像特征的投射，将全部的图像特征投射至bev空间后所得到的图像数据确定为图像数据的bev图像数据。
74.s203，提取bev图像数据的bev图像特征，并对bev图像特征进行拉伸，得到bev图像数据的第二特征序列。
75.本公开实施例中，可以基于相关技术中的特征提取算法对bev图像数据进行算法处理，进而基于算法处理结果提取bev图像数据中的bev图像特征。
76.进一步地，对bev图像特征进行特征拉伸，从而得到bev图像数据的第二特征序列。
77.其中，可以将bev图像特征视为待处理特征，基于特征拉伸长度对待处理特征进行特征拉伸，得到拉伸后的特征序列，其中，特征序列包括bev图像特征进行特征拉伸后得到的第二特征序列。
78.作为一种示例，设定特征拉伸长度为m，则可以将bev图像特征拉伸成一个长度为m的特征序列，该特征序列即为bev图像数据的第二特征序列。
79.s204，提取图像数据的图像特征并对图像特征进行拉伸，得到图像数据的第三特征序列。
80.如图3所示，可以将图像数据输入至图3示出的特征提取网络2中，基于特征提取网络2对图像数据进行特征提取，得到图像数据的图像特征。
81.进一步地，基于特征拉伸长度对图像特征进行特征拉伸，其中，将图像特征视为待处理特征，基于特征拉伸长度对待处理特征进行特征拉伸，得到拉伸后的特征序列，其中，特征序列包括图像特征进行特征拉伸后得到的第三特征序列。
82.作为一种示例，设定特征拉伸长度为m，则可以将图像特征拉伸成一个长度为m的特征序列，该特征序列即为图像数据的第三特征序列。
83.s205，对第二特征序列和第三特征序列进行特征融合，获取与各第一特征序列进行特征融合的第四特征序列。
84.可选地，可以获取预配置的第一特征融合网络，其中，第一特征融合网络为两端注意力机制网络。
85.如图4所示，第一特征融合网络可以为两端注意力机制网络(cross attention)，获取第二特征序列和第三特征序列后，可以将第二特征序列和第三特征序列输入至图4示出的第一特征融合网络中，基于第一特征融合网络对第二特征序列和第三特征序列进行特征融合，进而得到与各检测数据的第一特征序列分别进行特征融合的第四特征序列。
86.可选的，可以基于第二特征序列得到第一q值，基于第三特征序列得到第一k值和
第一v值，并将第一k值、第一v值和第一q值输入至第一特征融合网络中，得到第一特征融合网络的输出的第四特征序列。
87.本公开实施例中，第一特征融合网络可以为两端注意力机制网络，其中，两端注意力机制网络的输入数据包括k值、v值和q值。
88.在该场景下，可以将第二特征序列作为输入第一特征融合网络的q值，并标记为第一q值，相应地，可以将第三特征序列作为输入第一特征融合网络的k值和v值，并标记为第一k值和第一v值。
89.如图4所示，可以将第一k值、第一v值和第一q值输入至图4示出的作为第一特征融合网络的两端注意力机制网络中，并基于该作为第一特征融合网络的两端注意力机制网络的输出结果，得到与第一特征序列进行特征融合的特征序列，并标记为第四特征序列。
90.s206，将各第一特征序列与第四特征序列分别进行特征融合，得到各检测数据的第一融合特征序列，其中，各检测数据至少包括点云数据和毫米波数据。
91.本公开实施例中，可以将各检测数据的第一特征序列，分别与第四特征序列进行特征融合，其中，各检测数据至少包括点云数据和毫米波数据。
92.可选地，可以获取预配置的第二特征融合网络，其中，第二特征融合网络为两端注意力机制网络。
93.针对任一第一特征序列，基于第一特征序列得到第二k值和第二v值，基于第四特征序列得到第二q值，并将第二k值、第二v值和第二q值输入第二特征融合网络，得到第二特征网络输出的第一融合特征序列。
94.本公开实施例中，第二特征融合网络可以为两端注意力机制网络，其中，两端注意力机制网络的输入数据包括有k值、v值和q值。
95.在该场景下，可以将需要进行特征融合处理的第一特征序列作为输入第二特征融合网络的k值和v值，并标记为第二k值和第二v值，以及，将第四特征序列作为输入第二特征融合网络的q值，并标记为第二q值。
96.如图4所示，可以将点云数据的第一特征序列作为第二k值和第二v值，并将其与第二q值输入至图4所示的作为第二特征融合网络的两端注意力机制网络中，进而得到两端注意力机制网络输出的点云数据与图像数据之间的第一融合特征序列。
97.以及，可以将毫米波数据的第一特征序列作为第二k值和第二v值，并将其与第二q值输入至图4所示的作为第二特征融合网络的两端注意力机制网络中，进而得到两端注意力机制网络输出的毫米波数据与图像数据之间的第一融合特征序列。
98.进一步地，得到各检测数据的第一融合特征序列。
99.s207，基于第一融合特征序列，获取检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图。
100.如图3所示，可以对基于点云数据进行特征提取所得到的特征与基于图像数据进行特征提取所得到的特征进行融合，从而得到点云数据对应的三维融合特征图。
101.以及，基于毫米波数据进行特征提取所得到的特征与基于图像数据进行特征提取所得到的特征进行融合，从而得到毫米波数据对应的三维融合特征图。
102.可选地，可以将点云数据和毫米波数据各自的第一融合特征序列分别投射至检测区域的bev空间中，进而得到点云数据和毫米波数据各自的三维融合特征图。
103.其中，可以获取第一融合特征序列在检测数据集合中的点云数据中的第一提取位置，和检测数据集合中的毫米波数据中的第二提取位置。
104.本公开实施例中，针对检测数据集合中包括的点云数据，可以将点云数据中提取到的点云特征的位置，确定为点云特征在点云数据中的第一提取位置。
105.以及，针对检测数据集合中包括的毫米波数据，可以将毫米波数据中提取到毫米波特征的位置，确定为毫米波特征在毫米波数据中的第二提取位置。
106.可选地，确定第一提取位置在bev空间中对应的第一匹配位置，以及第二提取位置在bev空间中对应的第二匹配位置。
107.本公开实施例中，针对检测数据集合中包括的点云数据，获取第一融合特征序列在点云数据中的第一提取位置基于点云数据的相对位置关系，并将bev空间中处于该相对位置关系的位置，确定为点云数据中的第一提取位置在bev空间中的第一匹配位置。
108.以及，针对检测数据集合中包括的毫米波数据，获取第一融合特征序列在毫米波数据中的第二提取位置基于毫米波数据的相对位置关系，并将bev空间中处于该相对位置关系的位置，确定为毫米波数据中的第二提取位置在bev空间中的第二匹配位置。
109.可选地，将第一匹配位置确定为点云数据的第一融合特征序列在bev空间中的第一投射位置，将第二匹配位置确定为毫米波数据的第一融合特征序列在bev空间中的第二投射位置。
110.本公开实施例中，针对检测数据集合中包括的点云数据，可以将点云特征在点云数据中的第一提取位置在bev空间中的第一匹配位置，确定为点云数据在第一提取位置上的第一融合特征序列在bev空间中的第一投射位置。
111.以及，针对检测数据集合中包括的毫米波数据，可以将毫米波特征在毫米波数据中的第二提取位置在bev空间中的第二匹配位置，确定为毫米波数据在第二提取位置上的第一融合特征序列在bev空间中的第二投射位置。
112.可选地，基于第一投射位置，将点云数据的第一融合特征序列投射至bev空间，得到点云数据对应的三维融合特征图。
113.本公开实施例中，可以将点云数据在第一提取位置上的第一融合特征序列，投射至bev空间中的第一投射位置上，进而实现点云数据的全部的第一融合特征序列向bev空间的投射，以得到点云数据和图像数据进行特征融合后得到的三维融合特征图。
114.如图4所示，可以将点云数据的全部的第一融合特征序列投射至bev空间后所组成的特征图，确定为点云数据和图像数据进行特征融合后得到的三维融合特征图。
115.可选地，基于第二投射位置，将毫米波数据的第一融合特征序列投射至bev空间，得到毫米波数据对应的三维融合特征图。
116.本公开实施例中，可以将毫米波数据在第二提取位置上的第一融合特征序列，投射至bev空间中的第二投射位置上，进而实现毫米波数据的全部的第一融合特征序列向bev空间的投射，以得到毫米波数据和图像数据进行特征融合后得到的三维融合特征图。
117.如图4所示，可以将毫米波数据的全部的第一融合特征序列投射至bev空间后所组成的特征图，确定为毫米波数据和图像数据进行特征融合后得到的三维融合特征图。
118.s208，对各检测数据的三维融合特征图分别进行目标检测，以获取检测区域的目标检测结果。
119.本公开实施例中，可以分别对检测数据集合中包括的全部的检测数据各自的三维融合特征图进行目标检测。
120.其中，可以将各检测数据的三维融合特征图分别输入3d检测头进行目标检测，得到3d检测头输出的各三维融合特征图的候选检测结果。
121.作为一种示例，如图3所示，可以将各检测数据中包括的点云数据和图像数据进行融合所得到的三维融合特征图输入至3d检测头进行目标检测，以及将各检测数据中包括的毫米波数据和图像数据进行融合所得到的三维融合特征图输入至3d检测头进行目标检测，并分别得到点云数据和图像数据进行融合所得到的三维融合特征图进行目标检测的检测结果作为候选检测结果，以及毫米波数据和图像数据进行融合所得到的三维融合特征图进行目标检测的检测结果作为候选检测结果。
122.作为另一种示例，如图4所示，可以将检测数据集合中的点云数据的三维融合特征图输入至3d检测头中，基于3d检测头对点云数据的三维融合特征图进行目标检测，并将该目标检测得到的结果确定为点云数据的三维融合特征图的候选检测结果。
123.以及，如图4所示，可以将检测数据集合中的毫米波数据的三维融合特征图输入至3d检测头中，基于3d检测头对毫米波数据的三维融合特征图进行目标检测，并将该目标检测得到的结果确定为毫米波数据的三维融合特征图的候选检测结果。
124.可选地，可以基于卡尔曼滤波对全部的候选检测结果进行融合，得到检测区域的目标检测结果。
125.作为一种示例，如图3所示，3d检测头后设置有卡尔曼滤波器，可以将获取到的全部的候选检测结果输入至图3示出的卡尔曼滤波器中，基于卡尔曼滤波器的输出结果得到检测区域最终的目标检测结果。
126.作为另一种示例，如图4所示，可以将点云数据的三维融合特征图进行目标检测得到的候选检测结果，以及毫米波数据的三维融合特征图进行目标检测得到的候选检测结果输入至图4示出的卡尔曼滤波器中。
127.进一步地，基于卡尔曼滤波对候选检测结果进行融合，进而输出检测区域最终的目标检测结果。
128.本公开提出的目标检测方法，提取bev图像数据的bev图像特征并对其进行特征拉伸得到第二特征序列，以及提取图像数据的图像特征并对其进行特征拉伸得到第三特征序列，对第二特征序列与第三特征序列进行特征融合，得到与各第一特征序列分别进行特征融合的第四特征序列。进一步地，将检测数据集合中包括的点云数据的第一特征序列与第四特征序列融合，得到点云数据与图像数据进行融合后得到的三维融合特征图，以及将毫米波数据的第一特征序列与第四特征序列融合，得到毫米波数据与图像数据进行融合后得到的三维融合特征图，分别对包括点云数据和毫米波数据的各检测数据的三维融合特征图进行目标检测，得到各检测数据的三维融合特征图的候选检测结果，进而基于卡尔曼滤波对全部的候选检测结果进行融合，得到检测区域的目标检测结果。本公开中，通过对点云数据、毫米波数据和图像数据的分组分析，在点云数据、图像数据以及毫米波数据出现异常的情况下，降低了异常数据对于目标检测结果的准确率的影响程度，提高了目标检测结果的准确率以及目标检测方法的稳定性，进而优化了车辆驾驶过程中障碍物识别的准确率，提高了车辆驾驶的安全性。
129.本公开提出的目标检测方法，在对点云数据、毫米波数据和图像数据进行特征提取之前，还需要对点云数据、毫米波数据和图像数据中的特征提取的坐标进行识别校正，可结合图5进一步理解，图5为本公开另一实施例的目标检测方法的流程示意图，如图5所示，该方法包括：
130.s501，获取检测区域的特征提取对象以及预配置的多层感知器。
131.如图4所示，在进行点云数据、毫米波数据和图像数据的特征提取时，可以基于图4示出的多层感知器(mlp)实现。
132.可选地，可以将点云数据、毫米波数据和图像数据分别输入各自的多层感知器中，基于多层感知器的输出结果，得到点云数据的点云特征，毫米波数据的毫米波特征以及图像数据的图像特征。
133.其中，可以将检测区域内需要进行特征提取的对象标记为检测区域的特征提取对象。
134.s502，将点云数据、毫米波数据和图像数据分别输入多层感知器，得到多层感知器输出的特征提取对象在点云数据的第一感知坐标、毫米波数据的第二感知坐标和图像数据的第三感知坐标。
135.如图4所示，可以将点云数据输入预配置的mlp中，获取mlp识别的特征提取对象在点云数据中对应位置的坐标，作为mlp输出的特征提取对象在点云数据的第一感知坐标。
136.相应地，可以将毫米波数据输入预配置的mlp中，获取mlp识别的特征提取对象在毫米波数据中对应位置的坐标，作为mlp输出的特征提取对象在毫米波数据的第二感知坐标。
137.以及，可以将图像数据输入预配置的mlp中，获取mlp识别的特征提取对象在图像数据中对应位置的坐标，作为mlp输出的特征提取对象在图像数据的第三感知坐标。
138.s503，识别多层感知器的输出结果是否存在误差。
139.可选地，响应于点云数据在第一感知坐标上的点云对象与特征提取对象不同，和/或毫米波数据在第二感知坐标上的毫米波对象与特征提取对象不同，和/或图像数据在第三感知坐标上的图像对象与特征提取对象不同，确定识别到多层感知器的输出结果存在误差。
140.其中，可以获取点云数据采集到的第一感知坐标上的点云数据在检测区域内对应的对象，并将该对象确定为点云数据在第一感知坐标上的点云对象。
141.相应地，可以获取毫米波数据采集到的第二感知坐标上的毫米波数据在检测区域内对应的对象，并将该对象确定为毫米波数据在第为感知坐标上的毫米波对象，以及，获取图像数据采集到的第三感知坐标上的图像数据在检测区域内对应的对象，并将该对象确定为图像数据在第三感知坐标上的图像对象。
142.在该场景下，可以将点云数据在第一感知坐标上的点云对象、毫米波数据在第二感知坐标上的毫米波对象以及图像数据在第三感知坐标上的图像对象，分别与检测区域内的特征提取对象进行对比，进而根据对比结果识别mlp的输出结果是否存在误差。
143.可选地，当点云数据在第一感知坐标上的点云对象与检测区域内的特征提取对象不同，和/或毫米波数据在第二感知坐标上的毫米波对象与检测区域内的特征提取对象不同，和/或图像数据在第三感知坐标上的图像对象与检测区域内的特征提取对象不同时，即
可确定，当前mlp的输出结果存在误差。
144.s504，响应于识别到多层感知器的输出结果存在误差，获取第一感知坐标、第二感知坐标和第三感知坐标中的误差坐标，并对误差坐标进行坐标校正，得到校正后的第一目标特征提取坐标。
145.可选地，可以获取所述点云对象、所述毫米波对象和所述图像对象中与所述特征提取对象不同的误差对象，并将误差对象对应的感知坐标确定为误差坐标。
146.本公开实施例中，可以将第一感知坐标上的点云对象、第二感知坐标上的毫米波对象和第三感知坐标上的图像对象中，与检测区域的特征提取对象不同的对象，标记为误差对象。
147.在该场景下，可以获取误差对象对应的感知坐标，并将其确定为第一感知坐标、第二感知坐标和第三感知坐标中的误差坐标。
148.可以理解为，若误差对象对应的感知坐标为第一感知坐标，则可以将第一感知坐标确定为误差坐标，若误差对象对应的感知坐标为第二感知坐标，则可以将第二感知坐标确定为误差坐标，以及，若误差对象对应的感知坐标为第三感知坐标，则可以将第三感知坐标确定为误差坐标。
149.可选地，可以获取点云数据、毫米波数据和图像数据之间的相对坐标关系。
150.本公开实施例中，可以根据历史时间范围内的点云数据、毫米波数据以及图像数据，得到三者之间的相对坐标关系。
151.可选地，可以获取历史检测区域的历史参考对象，以及历史检测区域采集的历史点云数据、历史毫米波数据和历史图像数据。
152.本公开实施例中，可以基于车辆的历史检测区域的采集到的历史数据，获取点云数据、毫米波数据以及图像数据之间的相对坐标关系，其中，可以获取历史检测区域的历史参考对象，以及历史检测区域采集的历史点云数据、历史毫米波数据和历史图像数据。
153.其中，可以获取历史时间范围内车辆的检测区域，标记为车辆的历史检测区域。
154.进一步地，基于车辆上设置的激光雷达设备、毫米波雷达设备以及图像采集设备对历史检测区域进行数据采集，并将激光雷达设备采集到的点云数据标记为历史检测区域的历史点云数据、毫米波雷达采集到的毫米波数据标记为历史检测区域的历史毫米波数据以及图像采集设备采集到的图像数据标记为历史检测区域的历史图像数据。
155.在该场景下，可以获取检测区域内的需要进行特征提取的对象，作为历史检测区域的历史参考对象。
156.可选地，将历史点云数据、历史毫米波数据和历史图像数据分别输入多层感知器中，得到多层感知器输出的历史参考对象在历史点云数据中的第一历史感知坐标、历史毫米波数据中的第二历史感知坐标以及历史图像数据中的第三历史感知坐标。
157.本公开实施例中，可以将历史点云数据、历史毫米波数据和历史图像数据分别输入多层感知器中，得到多层感知器识别的历史参考对象在历史点云数据中的对应位置坐标作为第一历史感知坐标、历史参考对象在历史毫米波数据中的对应位置坐标作为第二历史感知坐标，以及历史参考对象在历史图像数据中的对应位置坐标作为第三历史感知坐标。
158.可选地，获取历史参考对象在历史点云数据中的第一历史提取坐标、毫米波数据中的第二历史提取坐标和历史图像数据中的第二历史提取坐标。
159.本公开实施例中，可以获取历史参考对象在历史点云数据中的实际所处位置的坐标，作为历史参考对象在历史点云数据中的第一历史提取坐标，以及，历史参考对象在历史毫米波数据中实际所处位置的坐标，作为历史参考对象在历史毫米波数据中的第二历史感知坐标，以及历史参考对象在历史图像数据中实际所处位置的坐标，作为历史参考对象在历史图像数据中的第三历史感知坐标。
160.进一步地，基于第一历史感知坐标、第一历史提取坐标、第二历史感知坐标、第二历史提取坐标、第三历史感知坐标和第三历史提取坐标，获取点云数据、毫米波数据和图像数据之间的相对坐标关系。
161.可选地，可以基于相关技术中的坐标关系的学习算法，对第一历史感知坐标、第一历史提取坐标、第二历史感知坐标、第二历史提取坐标、第三历史感知坐标和第三历史提取坐标进行算法处理，并基于算法处理的结果获取点云数据、毫米波数据和图像数据之间的相对坐标关系。
162.可选地，基于相对坐标关系确定误差坐标的校正参数，并基于校正参数调整误差坐标，得到校正后的第一目标特征提取坐标。
163.本公开实施例中，可以基于相对坐标关系对误差坐标进行校正，并将校正后得到的坐标确定为特征提取对象的目标特征提取坐标，并标记为第一目标特征提取坐标。
164.其中，可以根据相对坐标关系，确定误差坐标的校正距离以及校正方向等相关参数，并将该部分参数确定为误差坐标的校正参数。
165.在该场景下，可以基于获取到的校正参数对误差坐标中的校正距离和校正方向移动误差坐标，从而得到误差坐标校正后的坐标，并将该坐标确定为第一目标特征提取坐标。
166.在误差坐标为第一感知坐标的场景下，如图6所示，设定图6中的点1对应的第一感知坐标为误差坐标，则可以基于校正参数对作为误差坐标的第一感知坐标进行校正，并将校正后得到的点1’对应的坐标确定为特征提取对象在点云数据中的第一目标特征提取坐标。
167.以及，设定图6中的点2对应的第一感知坐标为误差坐标，则可以基于校正参数对作为误差坐标的第一感知坐标进行校正，并将校正后得到的点2’对应的坐标确定为特征提取对象在点云数据中的第一目标特征提取坐标。
168.在误差坐标为第二感知坐标的场景下，如图6所示，设定图6中的点1对应的第二感知坐标为误差坐标，则可以基于校正参数对作为误差坐标的第二感知坐标进行校正，并将校正后得到的点1’对应的坐标确定为特征提取对象在毫米波数据中的第一目标特征提取坐标。
169.以及，设定图6中的点2对应的第二感知坐标为误差坐标，则可以基于校正参数对作为误差坐标的第二感知坐标进行校正，并将校正后得到的点2’对应的坐标确定为特征提取对象在毫米波数据中的第一目标特征提取坐标。
170.在误差坐标为第三感知坐标的场景下，如图6所示，设定图6中的点1对应的第三感知坐标为误差坐标，则可以基于校正参数对作为误差坐标的第三感知坐标进行校正，并将校正后得到的点1’对应的坐标确定为特征提取对象在图像数据中的第一目标特征提取坐标。
171.以及，设定图6中的点2对应的第三感知坐标为误差坐标，则可以基于校正参数对
作为误差坐标的第三感知坐标进行校正，并将校正后得到的点2’对应的坐标确定为特征提取对象在图像数据中的第一目标特征提取坐标。
172.需要说明的是，在对误差坐标进行坐标校正后，还可以获取第一感知坐标、第二感知坐标和第三感知坐标中，除误差坐标之外的剩余感知坐标，确定剩余感知坐标对应的采样数据，并将剩余感知坐标确定为特征提取对象在采样数据的第二目标特征提取坐标，其中，采样数据包括检测区域的点云数据、毫米波数据和图像数据中的至少一种。
173.本公开实施例中，可以将第一感知坐标、第二感知坐标和第三感知坐标中，未被认定为误差坐标的感知坐标，标记为剩余感知坐标。
174.在该场景下，当剩余感知坐标为第一感知坐标时，则其对应的采样数据为点云数据，当剩余感知坐标为第二感知坐标时，则其对应的采样数据为毫米波数据，以及当剩余感知坐标为第三感知坐标时，则其对应的采样数据为图像数据。
175.本公开实施例中，剩余感知坐标是未被确定为误差坐标的感知坐标，由此可知，mlp输出的剩余感知坐标上的对象与特征提取对象是相同的，在该场景下，可以将剩余感知坐标确定为特征提取对象在其对应的采样数据中的目标特征提取坐标，并标记为第二目标特征提取坐标。
176.可以理解为，当剩余感知坐标为第一感知坐标时，可以将第一感知坐标确定为特征提取对象在点云数据中的第二目标特征提取坐标，并基于该第二目标特征提取坐标从点云数据中得到特征提取对象的点云特征。
177.相应地，当剩余感知坐标为第二感知坐标时，可以将第二感知坐标确定为特征提取对象在毫米波数据中的第二目标特征提取坐标，并基于该第二目标特征提取坐标从毫米波数据中得到特征提取对象的毫米波特征。
178.以及，当剩余感知坐标为第三感知坐标时，可以将第三感知坐标确定为特征提取对象在图像数据中的第二目标特征提取坐标，并基于该第二目标特征提取坐标从图像数据中得到特征提取对象的图像特征。
179.本公开提出的目标检测方法，将点云数据、毫米波数据和图像数据分别输入多层感知器中，得到多层感知器输出的特征提取对象在点云数据中的第一感知坐标、在毫米波数据中的第二感知坐标以及在图像数据中的第三感知坐标，并对多层感知器的输出结果进行误差识别，当识别到多层感知器的输出结果存在误差时，获取第一感知坐标、第二感知坐标和第三感知坐标中的误差坐标，并对误差坐标进行校正，得到校正后的第一目标特征提取坐标。本公开中，通过对点云数据中的第一感知坐标、毫米波数据中的第二感知坐标以及图像数据中的第三感知坐标进行误差识别和校正，提高了点云数据、毫米波数据和图像数据进行特征提取所得到的特征的准确性，以及后续进行bev空间的投射的准确性，进而提高了目标检测结果的准确程度，优化了目标检测方法的稳定性以及车辆驾驶过程中障碍物识别的准确率，提高了车辆驾驶的安全性。
180.上述几种实施例提出的目标检测方法相对应，本公开的一个实施例还提出了一种目标检测装置，适用于服务器，由于本公开实施例提出的适用于服务器的目标检测装置与上述几种实施例提出的适用于服务器的目标检测方法相对应，因此上述适用于服务器的目标检测方法的实施方式也适用于本公开实施例提出的适用于服务器的目标检测装置，在下述实施例中不再详细描述。
181.图7为本公开一实施例的目标检测装置的结构示意图，如图7所示，目标检测装置700，包括采集模块71、投射模块72、融合模块73和检测模块74，其中：
182.采集模块71，用于采集检测区域的检测数据集合，并提取检测数据集合中各检测数据的第一特征序列，其中，检测数据为多模态数据；
183.投射模块72，用于获取检测区域的bev空间，将检测区域采集的图像数据投射至bev空间得到图像数据的bev图像数据；
184.融合模块73，用于提取bev图像数据的第二特征序列，并基于第二特征序列获取检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图；
185.检测模块74，用于对各检测数据的三维融合特征图分别进行目标检测，以获取检测区域的目标检测结果。
186.本公开实施例中，融合模块73，还用于：提取bev图像数据的bev图像特征，并对bev图像特征进行拉伸，得到bev图像数据的第二特征序列；提取图像数据的图像特征并对图像特征进行拉伸，得到图像数据的第三特征序列；对第二特征序列和第三特征序列进行特征融合，获取与各第一特征序列进行特征融合的第四特征序列；将各第一特征序列与第四特征序列分别进行特征融合，得到各检测数据的第一融合特征序列，其中，各检测数据至少包括点云数据和毫米波数据；基于第一融合特征序列，获取检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特图。
187.本公开实施例中，融合模块73，还用于：获取预配置的第一特征融合网络，其中，第一特征融合网络为两端注意力机制网络；基于第二特征序列得到第一q值，基于第三特征序列得到第一k值和第一v值；将第一k值、第一v值和第一q值输入至第一特征融合网络中，得到第一特征融合网络的输出的第四特征序列。
188.本公开实施例中，融合模块73，还用于：获取预配置的第二特征融合网络，其中，第二特征融合网络为两端注意力机制网络；针对任一第一特征序列，基于第一特征序列得到第二k值和第二v值，基于第四特征序列得到第二q值；将第二k值、第二v值和第二q值输入第二特征融合网络，得到第二特征网络输出的第一融合特征序列。
189.本公开实施例中，融合模块73，还用于：获取第一融合特征序列在检测数据集合中的点云数据中的第一提取位置，和检测数据集合中的毫米波数据中的第二提取位置；确定第一提取位置在bev空间中对应的第一匹配位置，以及第二提取位置在bev空间中对应的第二匹配位置；将第一匹配位置确定为点云数据的第一融合特征序列在bev空间中的第一投射位置，将第二匹配位置确定为毫米波数据的第一融合特征序列在bev空间中的第二投射位置；基于第一投射位置，将点云数据的第一融合特征序列投射至bev空间，得到点云数据对应的三维融合特征图；基于第二投射位置，将毫米波数据的第一融合特征序列投射至bev空间，得到毫米波数据对应的三维融合特征图。
190.本公开实施例中，采集模块71，还用于：提取检测数据集合中的点云数据的点云特征，以及检测数据集合中的毫米波数据的毫米波特征；对点云特征和毫米波特征分别进行特征拉伸，得到点云特征以及毫米波特征各自的第一特征序列，以得到检测数据集合中各检测数据的第一特征序列。
191.本公开实施例中，投射模块72，还用于：提取图像数据的图像特征，并确定图像特征在bev空间中的第三投射位置；基于第三投射位置，将图像特征投射至bev空间中，以得到
图像数据的bev图像数据。
192.本公开实施例中，投射模块72，还用于：获取图像特征在图像数据中的第三提取位置；确定第三提取位置在bev空间中对应的第三匹配位置，并将第三匹配位置确定为图像特征在bev空间中的第三投射位置。
193.本公开实施例中，检测模块74，还用于：将各检测数据的三维融合特征图分别输入3d检测头进行目标检测，得到3d检测头输出的各三维融合特征图的候选检测结果；基于卡尔曼滤波对全部的候选检测结果进行融合，得到检测区域的目标检测结果。
194.本公开实施例中，装置还包括，拉伸模块，用于：获取bev空间的空间参数，并基于空间参数确定进行特征拉伸时所需的特征拉伸长度；基于特征拉伸长度对待处理特征进行特征拉伸，得到拉伸后的特征序列，其中，特征序列包括点云特征和毫米波特征进行特征拉伸后得到的各自的第一特征序列，bev图像特征进行特征拉伸后得到的第二特征序列和图像特征进行特征拉伸后得到的第三特征序列。
195.本公开实施例中，拉伸模块，还用于：从bev空间的空间参数中获取bev空间的长度值、宽度值和高度值；获取长度值、宽度值和高度值的乘积值，并将乘积值确定为待处理特征的特征拉伸长度。
196.本公开实施例中，装置还包括，校正模块，用于：获取检测区域的特征提取对象以及预配置的多层感知器；将点云数据、毫米波数据和图像数据分别输入多层感知器，得到多层感知器输出的特征提取对象在点云数据的第一感知坐标、毫米波数据的第二感知坐标和图像数据的第三感知坐标；识别多层感知器的输出结果是否存在误差；响应于识别到多层感知器的输出结果存在误差，获取第一感知坐标、第二感知坐标和第三感知坐标中的误差坐标，并对误差坐标进行坐标校正，得到校正后的第一目标特征提取坐标。
197.本公开实施例中，校正模块，还用于：响应于点云数据在第一感知坐标上的点云对象与特征提取对象不同，和/或毫米波数据在第二感知坐标上的毫米波对象与特征提取对象不同，和/或图像数据在第三感知坐标上的图像对象与特征提取对象不同，确定识别到多层感知器的输出结果存在误差。
198.本公开实施例中，校正模块，还用于：获取点云对象、毫米波对象和图像对象中与特征提取对象不同的误差对象，并将误差对象对应的感知坐标确定为误差坐标；获取点云数据、毫米波数据和图像数据之间的相对坐标关系；基于相对坐标关系确定误差坐标的校正参数，并基于校正参数调整误差坐标，得到校正后的第一目标特征提取坐标。
199.本公开实施例中，校正模块，还用于：获取历史检测区域的历史参考对象，以及历史检测区域采集的历史点云数据、历史毫米波数据和历史图像数据；将历史点云数据、历史毫米波数据和历史图像数据分别输入多层感知器中，得到多层感知器输出的历史参考对象在历史点云数据中的第一历史感知坐标、历史毫米波数据中的第二历史感知坐标以及历史图像数据中的第三历史感知坐标；获取历史参考对象在历史点云数据中的第一历史提取坐标、毫米波数据中的第二历史提取坐标和历史图像数据中的第二历史提取坐标；基于第一历史感知坐标、第一历史提取坐标、第二历史感知坐标、第二历史提取坐标、第三历史感知坐标和第三历史提取坐标，获取点云数据、毫米波数据和图像数据之间的相对坐标关系。
200.本公开实施例中，校正模块，还用于：获取第一感知坐标、第二感知坐标和第三感知坐标中，除误差坐标之外的剩余感知坐标；确定剩余感知坐标对应的采样数据，并将剩余
感知坐标确定为特征提取对象在采样数据的第二目标特征提取坐标，其中，采样数据包括检测区域的点云数据、毫米波数据和图像数据中的至少一种。
201.本公开提出的目标检测装置，采集检测区域的包括点云数据和毫米波数据的检测数据集合，并提取各检测数据的第一特征序列，相应地，采集检测区域的图像数据，并将图像数据投射至检测区域构建的bev空间中，得到图像数据bev图像数据后，提取bev图像数据的第二特征序列。进一步地，将检测数据集合中各检测数据的第一特征序列分别与第二特征序列进行特征融合，从而得到检测数据集合中各检测数据各自的三维融合特征图。分别对各检测数据的三维融合特征图进行目标检测，进而根据各三维特征图的目标检测的结果得到检测区域的目标检测结果。本公开中，将检测数据集合中各检测数据分别与图像数据进行融合，得到检测数据集合中各检测数据的三维融合特征图，并分别对各三维融合特征图进行目标检测，从而得到检测区域的目标检测结果，通过对检测数据集合中各检测数据和图像数据的分组分析，在检测数据集合中各检测数据和图像数据出现异常的情况下，降低了异常数据对于目标检测结果的准确率的影响程度，提高了目标检测结果的准确率以及目标检测方法的稳定性，进而优化了车辆驾驶过程中障碍物识别的准确率，提高了车辆驾驶的安全性。
202.根据本公开的实施例，本公开还提出了一种电子设备、一种可读存储介质和一种计算机程序产品。
203.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
204.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
205.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元806，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
206.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如目标检测方法。例如，在一些实施例中，目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程
序加载到ram 803并由计算单元801执行时，可以执行上文描述的目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测方法。
207.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
208.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提出给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
209.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
210.为了提出与用户账号的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户账号显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户账号可以通过该键盘和该指向装置来将输入提出给计算机。其它种类的装置还可以用于提出与用户账号的交互；例如，提出给用户账号的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户账号的输入。
211.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户账号界面或者网络浏览器的用户账号计算机，用户账号可以通过该图形用户账号界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
212.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通
过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
213.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
214.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种目标检测方法，其中，所述方法包括：采集检测区域的检测数据集合，并提取所述检测数据集合中各检测数据的第一特征序列，其中，所述检测数据为多模态数据；获取所述检测区域的bev空间，将所述检测区域采集的图像数据投射至所述bev空间得到所述图像数据的bev图像数据；提取所述bev图像数据的第二特征序列，并基于所述第二特征序列获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图；对各检测数据的三维融合特征图分别进行目标检测，以获取所述检测区域的目标检测结果。2.根据权利要求1所述的方法，其中，所述提取所述bev图像数据的第二特征序列，并基于所述第二特征序列获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图，包括：提取所述bev图像数据的bev图像特征，并对所述bev图像特征进行拉伸，得到所述bev图像数据的所述第二特征序列；提取所述图像数据的图像特征并对所述图像特征进行拉伸，得到所述图像数据的第三特征序列；对所述第二特征序列和所述第三特征序列进行特征融合，获取与各第一特征序列进行特征融合的第四特征序列；将各第一特征序列与所述第四特征序列分别进行特征融合，得到各检测数据的第一融合特征序列，其中，各检测数据至少包括点云数据和毫米波数据；基于所述第一融合特征序列，获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图。3.根据权利要求2所述的方法，其中，所述对所述第二特征序列和所述第三特征序列进行特征融合，获取与各第一特征序列进行特征融合的第四特征序列，包括：获取预配置的第一特征融合网络，其中，所述第一特征融合网络为两端注意力机制网络；基于所述第二特征序列得到第一q值，基于所述第三特征序列得到第一k值和第一v值；将所述第一k值、所述第一v值和所述第一q值输入至所述第一特征融合网络中，得到所述第一特征融合网络的输出的所述第四特征序列。4.根据权利要求2所述的方法，其中，所述将各第一特征序列与所述第四特征序列分别进行特征融合，得到各检测数据的第一融合特征序列，包括：获取预配置的第二特征融合网络，其中，所述第二特征融合网络为两端注意力机制网络；针对任一第一特征序列，基于所述第一特征序列得到第二k值和第二v值，基于所述第四特征序列得到第二q值；将所述第二k值、所述第二v值和所述第二q值输入所述第二特征融合网络，得到所述第二特征网络输出的所述第一融合特征序列。5.根据权利要求2所述的方法，其中，所述基于所述第一融合特征序列，获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图，包括：
获取所述第一融合特征序列在所述检测数据集合中的点云数据中的第一提取位置，和所述检测数据集合中的毫米波数据中的第二提取位置；确定所述第一提取位置在所述bev空间中对应的第一匹配位置，以及所述第二提取位置在所述bev空间中对应的第二匹配位置；将所述第一匹配位置确定为所述点云数据的第一融合特征序列在所述bev空间中的所述第一投射位置，将所述第二匹配位置确定为所述毫米波数据的第一融合特征序列在所述bev空间中的所述第二投射位置；基于所述第一投射位置，将所述点云数据的第一融合特征序列投射至所述bev空间，得到所述点云数据对应的所述三维融合特征图；基于所述第二投射位置，将所述毫米波数据的第一融合特征序列投射至所述bev空间，得到所述毫米波数据对应的所述三维融合特征图。6.根据权利要求1所述的方法，其中，所述采集检测区域的检测数据集合，并提取所述检测数据集合中各检测数据的第一特征序列，其中，所述检测数据为多模态数据，包括：提取所述检测数据集合中的点云数据的点云特征，以及所述检测数据集合中的毫米波数据的毫米波特征；对所述点云特征和所述毫米波特征分别进行特征拉伸，得到所述点云特征以及所述毫米波特征各自的第一特征序列，以得到所述检测数据集合中各检测数据的第一特征序列。7.根据权利要求1所述的方法，其中，所述获取所述检测区域的bev空间，将所述检测区域采集的图像数据投射至所述bev空间得到所述图像数据的bev图像数据，包括：提取所述图像数据的图像特征，并确定所述图像特征在所述bev空间中的第三投射位置；基于所述第三投射位置，将所述图像特征投射至所述bev空间中，以得到所述图像数据的所述bev图像数据。8.根据权利要求7所述的方法，其中，所述提取所述图像数据的图像特征，并确定所述图像特征在所述bev空间中的第三投射位置，包括：获取所述图像特征在所述图像数据中的第三提取位置；确定所述第三提取位置在所述bev空间中对应的第三匹配位置，并将所述第三匹配位置确定为所述图像特征在所述bev空间中的所述第三投射位置。9.根据权利要求1所述的方法，其中，所述对各检测数据的三维融合特征图分别进行目标检测，以获取所述检测区域的目标检测结果，包括：将各检测数据的三维融合特征图分别输入3d检测头进行目标检测，得到所述3d检测头输出的各三维融合特征图的候选检测结果；基于卡尔曼滤波对全部的候选检测结果进行融合，得到所述检测区域的所述目标检测结果。10.根据权利要求1-9任一项所述的方法，其中，所述方法还包括：获取所述bev空间的空间参数，并基于所述空间参数确定进行特征拉伸时所需的特征拉伸长度；基于所述特征拉伸长度对待处理特征进行特征拉伸，得到拉伸后的特征序列，其中，所述特征序列包括点云特征和毫米波特征进行特征拉伸后得到的各自的第一特征序列，bev
图像特征进行特征拉伸后得到的第二特征序列和图像特征进行特征拉伸后得到的第三特征序列。11.根据权利要求10所述的方法，其中，所述获取所述bev空间的空间参数，并基于所述空间参数确定进行特征拉伸时所需的特征拉伸长度，包括：从所述bev空间的所述空间参数中获取所述bev空间的长度值、宽度值和高度值；获取所述长度值、所述宽度值和所述高度值的乘积值，并将所述乘积值确定为所述待处理特征的所述特征拉伸长度。12.根据权利要求1-9任一项所述的方法，其中，所述方法还包括：获取所述检测区域的特征提取对象以及预配置的多层感知器；将点云数据、毫米波数据和所述图像数据分别输入所述多层感知器，得到所述多层感知器输出的所述特征提取对象在所述点云数据的第一感知坐标、所述毫米波数据的第二感知坐标和所述图像数据的第三感知坐标；识别所述多层感知器的输出结果是否存在误差；响应于识别到所述多层感知器的输出结果存在误差，获取所述第一感知坐标、所述第二感知坐标和所述第三感知坐标中的误差坐标，并对所述误差坐标进行坐标校正，得到校正后的第一目标特征提取坐标。13.根据权利要求12所述的方法，其中，所述识别所述多层感知器的输出结果是否存在误差，包括：响应于所述点云数据在所述第一感知坐标上的点云对象与所述特征提取对象不同，和/或所述毫米波数据在所述第二感知坐标上的毫米波对象与所述特征提取对象不同，和/或所述图像数据在所述第三感知坐标上的图像对象与所述特征提取对象不同，确定识别到所述多层感知器的输出结果存在误差。14.根据权利要求12所述的方法，其中，所述响应于识别到所述多层感知器的输出结果存在误差，获取所述第一感知坐标、所述第二感知坐标和所述第三感知坐标中的误差坐标，并对所述误差坐标进行坐标校正，得到校正后的第一目标特征提取坐标，包括：获取点云对象、毫米波对象和图像对象中与所述特征提取对象不同的误差对象，并将所述误差对象对应的感知坐标确定为所述误差坐标；获取所述点云数据、所述毫米波数据和所述图像数据之间的相对坐标关系；基于所述相对坐标关系确定所述误差坐标的校正参数，并基于所述校正参数调整所述误差坐标，得到校正后的第一目标特征提取坐标。15.根据权利要求14所述的方法，其中，所述获取所述点云数据、所述毫米波数据和所述图像数据之间的相对坐标关系，包括：获取历史检测区域的历史参考对象，以及所述历史检测区域采集的历史点云数据、历史毫米波数据和历史图像数据；将所述历史点云数据、所述历史毫米波数据和所述历史图像数据分别输入所述多层感知器中，得到所述多层感知器输出的所述历史参考对象在所述历史点云数据中的第一历史感知坐标、所述历史毫米波数据中的第二历史感知坐标以及所述历史图像数据中的第三历史感知坐标；获取所述历史参考对象在所述历史点云数据中的第一历史提取坐标、所述毫米波数据
中的第二历史提取坐标和所述历史图像数据中的第二历史提取坐标；基于所述第一历史感知坐标、所述第一历史提取坐标、所述第二历史感知坐标、所述第二历史提取坐标、所述第三历史感知坐标和所述第三历史提取坐标，获取所述点云数据、所述毫米波数据和所述图像数据之间的所述相对坐标关系。16.根据权利要求12所述的方法，其中，所述响应于识别到所述多层感知器的输出结果存在误差，获取所述第一感知坐标、所述第二感知坐标和所述第三感知坐标中的误差坐标，并对所述误差坐标进行坐标校正，得到校正后的第一目标特征提取坐标之后，包括：获取所述第一感知坐标、所述第二感知坐标和所述第三感知坐标中，除所述误差坐标之外的剩余感知坐标；确定所述剩余感知坐标对应的采样数据，并将所述剩余感知坐标确定为所述特征提取对象在所述采样数据的第二目标特征提取坐标，其中，所述采样数据包括所述检测区域的所述点云数据、所述毫米波数据和所述图像数据中的至少一种。17.一种目标检测装置，其中，所述装置包括：采集模块，用于采集检测区域的检测数据集合，并提取所述检测数据集合中各检测数据的第一特征序列，其中，所述检测数据为多模态数据；投射模块，用于获取所述检测区域的bev空间，将所述检测区域采集的图像数据投射至所述bev空间得到所述图像数据的bev图像数据；融合模块，用于提取所述bev图像数据的第二特征序列，并基于所述第二特征序列获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图；检测模块，用于对各检测数据的三维融合特征图分别进行目标检测，以获取所述检测区域的目标检测结果。18.根据权利要求17所述的装置，其中，所述融合模块，还用于：提取所述bev图像数据的bev图像特征，并对所述bev图像特征进行拉伸，得到所述bev图像数据的所述第二特征序列；提取所述图像数据的图像特征并对所述图像特征进行拉伸，得到所述图像数据的第三特征序列；对所述第二特征序列和所述第三特征序列进行特征融合，获取与各第一特征序列进行特征融合的第四特征序列；将各第一特征序列与所述第四特征序列分别进行特征融合，得到各检测数据的第一融合特征序列，其中，各检测数据至少包括点云数据和毫米波数据；基于所述第一融合特征序列，获取所述检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图。19.根据权利要求18所述的装置，其中，所述融合模块，还用于：获取预配置的第一特征融合网络，其中，所述第一特征融合网络为两端注意力机制网络；基于所述第二特征序列得到第一q值，基于所述第三特征序列得到第一k值和第一v值；将所述第一k值、所述第一v值和所述第一q值输入至所述第一特征融合网络中，得到所述第一特征融合网络的输出的所述第四特征序列。20.根据权利要求18所述的装置，其中，所述融合模块，还用于：
获取预配置的第二特征融合网络，其中，所述第二特征融合网络为两端注意力机制网络；针对任一第一特征序列，基于所述第一特征序列得到第二k值和第二v值，基于所述第四特征序列得到第二q值；将所述第二k值、所述第二v值和所述第二q值输入所述第二特征融合网络，得到所述第二特征网络输出的所述第一融合特征序列。21.根据权利要求18所述的装置，其中，所述融合模块，还用于：获取所述第一融合特征序列在所述检测数据集合中的点云数据中的第一提取位置，和所述检测数据集合中的毫米波数据中的第二提取位置；确定所述第一提取位置在所述bev空间中对应的第一匹配位置，以及所述第二提取位置在所述bev空间中对应的第二匹配位置；将所述第一匹配位置确定为所述点云数据的第一融合特征序列在所述bev空间中的所述第一投射位置，将所述第二匹配位置确定为所述毫米波数据的第一融合特征序列在所述bev空间中的所述第二投射位置；基于所述第一投射位置，将所述点云数据的第一融合特征序列投射至所述bev空间，得到所述点云数据对应的所述三维融合特征图；基于所述第二投射位置，将所述毫米波数据的第一融合特征序列投射至所述bev空间，得到所述毫米波数据对应的所述三维融合特征图。22.根据权利要求17所述的装置，其中，所述采集模块，还用于：提取所述检测数据集合中的点云数据的点云特征，以及所述检测数据集合中的毫米波数据的毫米波特征；对所述点云特征和所述毫米波特征分别进行特征拉伸，得到所述点云特征以及所述毫米波特征各自的第一特征序列，以得到所述检测数据集合中各检测数据的第一特征序列。23.根据权利要求17所述的装置，其中，所述投射模块，还用于：提取所述图像数据的图像特征，并确定所述图像特征在所述bev空间中的第三投射位置；基于所述第三投射位置，将所述图像特征投射至所述bev空间中，以得到所述图像数据的所述bev图像数据。24.根据权利要求23所述的装置，其中，所述投射模块，还用于：获取所述图像特征在所述图像数据中的第三提取位置；确定所述第三提取位置在所述bev空间中对应的第三匹配位置，并将所述第三匹配位置确定为所述图像特征在所述bev空间中的所述第三投射位置。25.根据权利要求17所述的装置，其中，所述检测模块，还用于：将各检测数据的三维融合特征图分别输入3d检测头进行目标检测，得到所述3d检测头输出的各三维融合特征图的候选检测结果；基于卡尔曼滤波对全部的候选检测结果进行融合，得到所述检测区域的所述目标检测结果。26.根据权利要求17-25任一项所述的装置，其中，所述装置还包括，拉伸模块，用于：获取所述bev空间的空间参数，并基于所述空间参数确定进行特征拉伸时所需的特征
拉伸长度；基于所述特征拉伸长度对待处理特征进行特征拉伸，得到拉伸后的特征序列，其中，所述特征序列包括点云特征和毫米波特征进行特征拉伸后得到的各自的第一特征序列，bev图像特征进行特征拉伸后得到的第二特征序列和图像特征进行特征拉伸后得到的第三特征序列。27.根据权利要求26所述的装置，其中，所述拉伸模块，还用于：从所述bev空间的所述空间参数中获取所述bev空间的长度值、宽度值和高度值；获取所述长度值、所述宽度值和所述高度值的乘积值，并将所述乘积值确定为所述待处理特征的所述特征拉伸长度。28.根据权利要求17-25任一项所述的装置，其中，所述装置还包括，校正模块，用于：获取所述检测区域的特征提取对象以及预配置的多层感知器；将点云数据、毫米波数据和所述图像数据分别输入所述多层感知器，得到所述多层感知器输出的所述特征提取对象在所述点云数据的第一感知坐标、所述毫米波数据的第二感知坐标和所述图像数据的第三感知坐标；识别所述多层感知器的输出结果是否存在误差；响应于识别到所述多层感知器的输出结果存在误差，获取所述第一感知坐标、所述第二感知坐标和所述第三感知坐标中的误差坐标，并对所述误差坐标进行坐标校正，得到校正后的第一目标特征提取坐标。29.根据权利要求28所述的装置，其中，所述校正模块，还用于：响应于所述点云数据在所述第一感知坐标上的点云对象与所述特征提取对象不同，和/或所述毫米波数据在所述第二感知坐标上的毫米波对象与所述特征提取对象不同，和/或所述图像数据在所述第三感知坐标上的图像对象与所述特征提取对象不同，确定识别到所述多层感知器的输出结果存在误差。30.根据权利要求28所述的装置，其中，所述校正模块，还用于：获取点云对象、毫米波对象和图像对象中与所述特征提取对象不同的误差对象，并将所述误差对象对应的感知坐标确定为所述误差坐标；获取所述点云数据、所述毫米波数据和所述图像数据之间的相对坐标关系；基于所述相对坐标关系确定所述误差坐标的校正参数，并基于所述校正参数调整所述误差坐标，得到校正后的第一目标特征提取坐标。31.根据权利要求30所述的装置，其中，所述校正模块，还用于：获取历史检测区域的历史参考对象，以及所述历史检测区域采集的历史点云数据、历史毫米波数据和历史图像数据；将所述历史点云数据、所述历史毫米波数据和所述历史图像数据分别输入所述多层感知器中，得到所述多层感知器输出的所述历史参考对象在所述历史点云数据中的第一历史感知坐标、所述历史毫米波数据中的第二历史感知坐标以及所述历史图像数据中的第三历史感知坐标；获取所述历史参考对象在所述历史点云数据中的第一历史提取坐标、所述毫米波数据中的第二历史提取坐标和所述历史图像数据中的第二历史提取坐标；基于所述第一历史感知坐标、所述第一历史提取坐标、所述第二历史感知坐标、所述第
二历史提取坐标、所述第三历史感知坐标和所述第三历史提取坐标，获取所述点云数据、所述毫米波数据和所述图像数据之间的所述相对坐标关系。32.根据权利要求28所述的装置，其中，所述校正模块，还用于：获取所述第一感知坐标、所述第二感知坐标和所述第三感知坐标中，除所述误差坐标之外的剩余感知坐标；确定所述剩余感知坐标对应的采样数据，并将所述剩余感知坐标确定为所述特征提取对象在所述采样数据的第二目标特征提取坐标，其中，所述采样数据包括所述检测区域的所述点云数据、所述毫米波数据和所述图像数据中的至少一种。33.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-16中任一项所述的方法。34.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-16中任一项所述的方法。35.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-16中任一项所述的方法。

技术总结
本公开提出了一种目标检测方法、装置、电子设备和介质，涉及深度学习、计算机视觉等人工智能领域，可应用于基于大模型的自动感知、自动驾驶等场景，方法包括采集检测区域的检测数据集合，并提取检测数据集合中各检测数据的第一特征序列；获取检测区域的BEV空间，将检测区域采集的图像数据投射至BEV空间得到图像数据的BEV图像数据；提取BEV图像数据的第二特征序列，并获取检测数据集合中各检测数据与图像数据进行特征融合得到的三维融合特征图；对各检测数据的三维融合特征图分别进行目标检测，以获取检测区域的目标检测结果。以获取检测区域的目标检测结果。以获取检测区域的目标检测结果。


技术研发人员：鞠波 叶晓青 谭啸 李莹莹
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.06.30
技术公布日：2023/10/7