一种自动驾驶多模态数据存储管理方法和系统

1.本发明涉及智能驾驶和数据管理技术领域，更具体地，涉及一种自动驾驶多模态数据存储管理方法和系统。


背景技术：

2.近年来，随着大数据与人工智能的不断发展，自动驾驶逐渐与其进行融合，自动驾驶时的交通安全、出行效率和节能减排等问题日益突出，提高自动驾驶的真实性和准确率、建立高精度的驾驶场景库数据以及获取充足的真实有效的多模态数据已成为解决上述问题的重要方案。
3.目前，数据已成为国家基础性战略资源，多模态数据的存储和管理是支撑上层数据融合管理和分析等服务的基础。在自动驾驶发展进程中，实际应用中的数据具有的海量、复杂和多源异构的特征，随着用户数据不断增加和数据采集渠道不断丰富，自动驾驶的多模态数据规模增长不受限制，而且数据信息的载体也愈发多样化。研究海量不确定的自动驾驶多模态数据的存储管理技术是海量自动驾驶多模态数据分析、共享和开发的必要前提，分布式存储和管理自动驾驶多模态数据是研究过程中的关键技术问题之一。
4.随着互联网的广泛应用，数据量的指数级增长使数据存储和计算的压力越来越大，单机存储系统已无法满足实际存储和计算的需求，分布式存储和管理技术或将成为解决大数据问题的有效方式。hadoop分布式文件系统(hdfs)通常用于大文件的存储和管理，hdfs作为底层的存储和管理系统，能够有效地存储较大的文件，分布式数据库hbase主要解决实时数据查询问题，数据仓库hive和mapreduce主要解决数据处理和计算问题。
5.多模态数据在自动驾驶领域采集到的点云数据、图像数据、车辆姿态数据等数据，不仅能够丰富自动驾驶场景库，而且有效提高了自动驾驶的准确率和真实性。但由于自动驾驶多模态数据仍存在数据量庞大且存储、管理难的问题，考虑到hadoop是一种以可靠、高效、可伸缩的方式进行数据处理的存储系统、计算框架的分布式系统基础架构，且在处理海量数据中具有高可靠性、高扩展性、高效性、高容错性、低成本的优点，针对数据量大且复杂的问题，基于hadoop对自动驾驶多模态数据进行分布式存储、管理十分必要。
6.现有技术公开了多模态数据存储管理的方法及系统，该方法包括：首先，对来源多样化、结构差异化的数据进行统一描述，规范和驱动各类数据访问过程，获得统一结构的元数据，提取各异构数据的特征，再分析和存储，将多源异构数据的特征进行串联；其次，将高效访问机制建立在分布式文件系统的客户端/服务器模式架构基础之上，设计客户端缓存层和服务器端缓存层，提供两阶段的存取性能加速；最后，通过对文件元数据进行分析、预取和缓存操作，减少系统中元数据的访问请求数量，得到在分布式文件系统中优化元数据的访问过程和元数据访问效率；现有的自动驾驶采集的多模态数据的传输方案，基本是先对多模态数据进行融合再传输，这样虽然减少了网络能耗，却让多模态数据无法灵活存储并取用，降低了多模态数据应用的宽度；另外，现有技术中的方法主要聚焦在如何提升模态数据的存取效率，而对于自动驾驶多模态数据之间存在的关联信息的存储以及不同模态数
据的分类存储及数据对齐欠缺考虑。


技术实现要素：

7.本发明为克服上述现有技术中自动驾驶多模态数据应用宽度低和不同模态数据之间关联信息较少的缺陷，提供一种自动驾驶多模态数据存储管理方法和系统，能够在降低网络能耗的基础上保证数据不失帧，同时，在将多模态数据入库时，对不同模态数据进行数据对齐，并在数据库中存储不同模态数据的关联信息，使多模态数据的联合存取更为高效。
8.为解决上述技术问题，本发明的技术方案如下：
9.一种自动驾驶多模态数据存储管理方法，包括以下步骤：
10.s1：获取自动驾驶多模态数据并封装；
11.所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；
12.s2：对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；
13.s3：建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理。
14.优选地，所述步骤s1中，获取自动驾驶多模态数据的具体方法为：
15.在ros系统中利用ros节点程序分别连接雷达、相机和imu，读取数据，分别获取雷达点云数据、图像数据和车辆姿态数据，完成自动驾驶多模态数据的获取。
16.优选地，所述步骤s1中封装的具体方法为：
17.在ros系统中利用rosbag命令将获取到的自动驾驶多模态数据封装为bag格式文件，完成封装。
18.优选地，所述步骤s2中，对封装后的自动驾驶多模态数据进行解析的具体方法为：
19.对封装的bag格式的自动驾驶多模态数据进行格式转换：
20.将bag格式的雷达点云数据进行格式转换，获取pcd格式的雷达点云数据；
21.将bag格式的图像数据进行格式转换，获取jpeg格式的图像数据；
22.将bag格式的车辆姿态数据进行格式转换，获取json格式的车辆姿态数据。
23.优选地，所述步骤s2中数据对齐的具体方法为：
24.对解析后的自动驾驶多模态数据依次进行时间对齐和内外参数标定；
25.所述时间对齐的具体方法为：
26.对解析后的多模态数据进行插值操作，使每一帧解析后的雷达点云数据、解析后的图像数据和解析后的车辆姿态数据的时间戳对齐，获取不同模态数据之间的时间对齐信息；
27.所述内外参标定的具体方法为：
28.将时间对齐后的图像数据、雷达点云数据和车辆姿态数据使用张正友标定法进行联合标定；在标定过程中，利用最小二乘法进行优化求解，同时优化相机的内参和外参、雷达的内参和外参以及车辆坐标系和世界坐标系之间的转换关系，获取最优的标定结果；
29.使用最优的标定结果对时间对齐后的数据进行校正和坐标系的对齐，获取数据对
齐后的自动驾驶多模态数据以及不同模态数据之间的标定信息；
30.使用标定板采集数据对齐后的自动驾驶多模态数据，将采集到的结果转换到标定后的坐标系下并保存为待存储的自动驾驶多模态数据；
31.将不同模态数据之间的标定信息和时间对齐信息共同保存为多模态数据关联信息。
32.优选地，所述步骤s2中的数据对齐操作之后还包括数据清洗操作和数据集成操作。
33.优选地，所述步骤s3中建立的基于hbase的分布式存储的多模态数据库具体为：
34.所述多模态数据库利用hdfs作为数据文件存储系统，zookeeper作为协同服务，多模态数据库中包括雷达点云数据存储表、图像数据存储表和车辆姿态数据存储表，每个存储表至少包括两个列族。
35.优选地，所述步骤s3中，将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，具体为：
36.利用bulkload将待存储的自动驾驶多模态数据和多模态数据关联信息分别存储到多模态数据库中对应存储表的不同列族中。
37.本发明还提供一种自动驾驶多模态数据存储管理系统，应用上述的自动驾驶多模态数据存储管理方法，包括：
38.数据获取和封装模块：用于获取自动驾驶多模态数据并封装；
39.所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；
40.数据解析和对齐模块：用于对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；
41.数据存储模块：用于建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理。
42.优选地，所述系统还包括：数据应用模块，用于提供智能检索功能，根据多模态数据的多个特征关键词进行综合检索。
43.与现有技术相比，本发明技术方案的有益效果是：
44.本发明提供一种自动驾驶多模态数据存储管理方法和系统，该方法通过获取自动驾驶多模态数据并封装；对封装后的自动驾驶多模态数据进行数据解析和对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理；
45.本发明所构建的基于hbase的分布式存储的数据库不仅保存了多模态数据的基础信息，还开辟了空间用于存放多模态数据之间的标定信息以及时间对齐信息等数据关联信息，保证了多模态数据的准确性和精确度；另外，本发明中的数据封装过程能够在提高传输效率的同时降低传输的网络能耗，而且能够使得自动驾驶多模态数据在传输过程中不失帧，保证数据准确性，实现了多模态数据的高效存储、管理和应用。
附图说明
46.图1为实施例1所提供的一种自动驾驶多模态数据存储管理方法流程图。
47.图2为实施例2所提供的一种自动驾驶多模态数据存储管理方法流程图。
48.图3为实施例2所提供的多模态数据库示意图。
49.图4为实施例3所提供的一种自动驾驶多模态数据存储管理系统结构图。
具体实施方式
50.附图仅用于示例性说明，不能理解为对本专利的限制；
51.为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
52.对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
53.下面结合附图和实施例对本发明的技术方案做进一步的说明。
54.实施例1
55.如图1所示，本实施例提供一种自动驾驶多模态数据存储管理方法，包括以下步骤：
56.s1：获取自动驾驶多模态数据并封装；
57.所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；
58.s2：对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；
59.s3：建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理。
60.在具体实施过程中，首先获取自动驾驶多模态数据并封装；对封装后的自动驾驶多模态数据进行数据解析和对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理；
61.本方法所构建的基于hbase的分布式存储的数据库不仅保存了多模态数据的基础信息，还开辟了空间用于存放多模态数据之间的标定信息以及时间对齐信息等数据关联信息，保证了多模态数据的准确性和精确度；另外，本方法中的数据封装过程能够在提高传输效率的同时降低传输的网络能耗，而且能够使得自动驾驶多模态数据在传输过程中不失帧，保证数据准确性，实现了多模态数据的高效存储、管理和应用。
62.实施例2
63.如图2所示，本实施例提供一种自动驾驶多模态数据存储管理方法，包括以下步骤：
64.s1：获取自动驾驶多模态数据并封装；
65.所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；
66.s2：对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据
进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；
67.s3：建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理；
68.所述步骤s1中，获取自动驾驶多模态数据的具体方法为：
69.在ros系统中利用ros节点程序分别连接雷达、相机和imu，读取数据，分别获取雷达点云数据、图像数据和车辆姿态数据，完成自动驾驶多模态数据的获取；
70.所述步骤s1中封装的具体方法为：
71.在ros系统中利用rosbag命令将获取到的自动驾驶多模态数据封装为bag格式文件，完成封装；
72.所述步骤s2中，对封装后的自动驾驶多模态数据进行解析的具体方法为：
73.对封装的bag格式的自动驾驶多模态数据进行格式转换：
74.将bag格式的雷达点云数据进行格式转换，获取pcd格式的雷达点云数据；
75.将bag格式的图像数据进行格式转换，获取jpeg格式的图像数据；
76.将bag格式的车辆姿态数据进行格式转换，获取json格式的车辆姿态数据；
77.所述步骤s2中数据对齐的具体方法为：
78.对解析后的自动驾驶多模态数据依次进行时间对齐和内外参数标定；
79.所述时间对齐的具体方法为：
80.对解析后的多模态数据进行插值操作，使每一帧解析后的雷达点云数据、解析后的图像数据和解析后的车辆姿态数据的时间戳对齐，获取不同模态数据之间的时间对齐信息；
81.所述内外参标定的具体方法为：
82.将时间对齐后的图像数据、雷达点云数据和车辆姿态数据使用张正友标定法进行联合标定；在标定过程中，利用最小二乘法进行优化求解，同时优化相机的内参和外参、雷达的内参和外参以及车辆坐标系和世界坐标系之间的转换关系，获取最优的标定结果；
83.使用最优的标定结果对时间对齐后的数据进行校正和坐标系的对齐，获取数据对齐后的自动驾驶多模态数据以及不同模态数据之间的标定信息；
84.使用标定板采集数据对齐后的自动驾驶多模态数据，将采集到的结果转换到标定后的坐标系下并保存为待存储的自动驾驶多模态数据；
85.将不同模态数据之间的标定信息和时间对齐信息共同保存为多模态数据关联信息；
86.所述步骤s2中的数据对齐操作之后还包括数据清洗操作和数据集成操作；
87.所述步骤s3中建立的基于hbase的分布式存储的多模态数据库具体为：
88.所述多模态数据库利用hdfs作为数据文件存储系统，zookeeper作为协同服务，多模态数据库中包括雷达点云数据存储表、图像数据存储表和车辆姿态数据存储表，每个存储表至少包括两个列族；
89.所述步骤s3中，将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，具体为：
90.利用bulkload将待存储的自动驾驶多模态数据和多模态数据关联信息分别存储
到多模态数据库中对应存储表的不同列族中。
91.在具体实施过程中，首先获取自动驾驶多模态数据并进行封装；
92.在ros系统启动roscore，创建一个ros工作空间并初始化catkin，并创建一个ros包并在包中创建一个launch文件，启动ros节点和话题，在ros系统中利用ros节点程序分别连接雷达、相机和imu，读取数据，分别获取雷达点云数据、图像数据和车辆姿态数据，完成自动驾驶多模态数据的获取；
93.之后在ros系统中利用rosbag命令将获取到的自动驾驶多模态数据保存为bag格式文件，获取封装后的rosbag包，该封装过程能够减少网络传输能耗并且保证后期数据对齐时不缺失、不丢帧；
94.由于bag格式文件是不可读取的，因此需要将rosbag包进行解析和格式转换：对bag格式的自动驾驶多模态数据进行格式转换：
95.所述格式转换的具体方法为：
96.将bag格式的雷达点云数据进行格式转换，获取pcd格式的雷达点云数据；
97.将bag格式的图像数据进行格式转换，获取jpeg格式的图像数据；
98.将bag格式的车辆姿态数据进行格式转换，获取json格式的车辆姿态数据；
99.之后对解析后的自动驾驶多模态数据依次进行数据提取、数据对齐、数据清洗、数据集成操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；
100.对解析后的自动驾驶多模态数据依次进行时间对齐和内外参数标定；
101.所述时间对齐的具体方法为：
102.对解析后的多模态数据进行插值操作，使每一帧解析后的雷达点云数据、解析后的图像数据和解析后的车辆姿态数据的时间戳对齐，获取不同模态数据之间的时间对齐信息，算法如下：
103.1)、读取图像、雷达点云、车辆姿态数据；
104.2)、将三种数据的时间戳转换为datetime格式pd.to_datetime(data[0],unit＝'ms')；
[0105]
3)、合并数据pd.merge(image_data,point_cloud_data,on＝0)；
[0106]
4)、对数据进行插值、使得每个数据点在同一时间戳下data.set_index(0).resample('1ms').ffill().reset_index()；
[0107]
5)、导出对齐后的数据，以及不同模态数据之间的时间对齐信息；
[0108]
所述内外参标定的具体方法为：
[0109]
将时间对齐后的图像数据、雷达点云数据和车辆姿态数据使用张正友标定法进行联合标定；在标定过程中，利用最小二乘法进行优化求解，同时优化相机的内参和外参、雷达的内参和外参以及车辆坐标系和世界坐标系之间的转换关系，获取最优的标定结果；
[0110]
使用最优的标定结果对时间对齐后的数据进行校正和坐标系的对齐，获取数据对齐后的自动驾驶多模态数据以及不同模态数据之间的标定信息；
[0111]
使用标定板采集数据对齐后的自动驾驶多模态数据，将采集到的结果转换到标定后的坐标系下并保存为待存储的自动驾驶多模态数据；
[0112]
将不同模态数据之间的标定信息和时间对齐信息共同保存为多模态数据关联信息；
[0113]
之后建立基于hbase的分布式存储的多模态数据库，如图3所示，多模态数据库利用hdfs作为数据文件存储系统，zookeeper作为协同服务，多模态数据库中包括雷达点云数据存储表、图像数据存储表和车辆姿态数据存储表，每个存储表包括两个列族，分别用来保存待存储的自动驾驶多模态数据和多模态数据关联信息；
[0114]
最后利用bulkload将待存储的自动驾驶多模态数据和多模态数据关联信息分别存储到多模态数据库中对应存储表的不同列族中，完成自动驾驶多模态数据的存储管理；
[0115]
由于多模态数据库中保存有自动驾驶多模态数据的基本信息和关联信息，因此该多模态数据库还可用于智能检索，支持根据多模态数据的多个特征进行综合检索；
[0116]
与现有技术相比，本实施例中的方法具有高效能性，由于hbase bulkload对于多模态及海量数据的一次性导入具有较高优势，利用bulkload在多模态数据库中对原始数据进行特征提取、自动分类入库、分级分类管理、存储对应数据关联信息，由此用户可以根据数据需求对数据进行智能检索，系统支持根据多模态数据的多个特征进行综合检索，在短时间内提供给用户所需数据，解决了传统数据管理系统对于多模态数据管理存在的不足，实现了多模态数据的高效存储、管理和应用；
[0117]
另外，保存的数据还具有准确真实性，由于ros系统具有架构精简、集成度高、工具包丰富、多语言支持、点对点设计等特点，基于ros系统采集的数据通过rosbag的形式传输，可以使多模态数据对齐并保证数据不失帧，对其进行数据解析时，根据不同的多模态数据解析成不同的格式再次进行数据对齐、数据清洗、数据集成，为后续检索的多模态数据真实准确性提供了保证，给用户提供高精度仿真场景数据；
[0118]
本方法所构建的基于hbase的分布式存储的数据库不仅保存了多模态数据的基础信息，还开辟了空间用于存放多模态数据之间的标定信息以及时间对齐信息等数据关联信息，保证了多模态数据的准确性和精确度；另外，本方法中的数据封装过程能够在提高传输效率的同时降低传输的网络能耗，而且能够使得自动驾驶多模态数据在传输过程中不失帧，保证数据准确性，实现了多模态数据的高效存储、管理和应用。
[0119]
实施例3
[0120]
如图4所示，本实施例提供一种自动驾驶多模态数据存储管理系统，应用实施例1或2所示的自动驾驶多模态数据存储管理方法，包括：
[0121]
数据获取和封装模块301：用于获取自动驾驶多模态数据并封装；
[0122]
所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；
[0123]
数据解析和对齐模块302：用于对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；
[0124]
数据存储模块303：用于建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理；
[0125]
数据应用模块304：用于提供智能检索功能，根据多模态数据的多个特征关键词进行综合检索。
[0126]
在具体实施过程中，首先数据获取和封装模块301获取自动驾驶多模态数据并进行封装；数据解析和对齐模块302对封装后的自动驾驶多模态数据进行解析，之后对解析后
的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；最后数据存储模块303建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理；
[0127]
本实施例中的系统还包括数据应用模块304，可提供智能检索功能，根据多模态数据的多个特征关键词进行综合检索；
[0128]
本系统所构建的基于hbase的分布式存储的数据库不仅保存了多模态数据的基础信息，还开辟了空间用于存放多模态数据之间的标定信息以及时间对齐信息等数据关联信息，保证了多模态数据的准确性和精确度；另外，本系统中的数据封装过程能够在提高传输效率的同时降低传输的网络能耗，而且能够使得自动驾驶多模态数据在传输过程中不失帧，保证数据准确性，实现了多模态数据的高效存储、管理和应用。
[0129]
相同或相似的标号对应相同或相似的部件；
[0130]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0131]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

技术特征：
1.一种自动驾驶多模态数据存储管理方法，其特征在于，包括以下步骤：s1：获取自动驾驶多模态数据并封装；所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；s2：对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；s3：建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理。2.根据权利要求1所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s1中，获取自动驾驶多模态数据的具体方法为：在ros系统中利用ros节点程序分别连接雷达、相机和imu，读取数据，分别获取雷达点云数据、图像数据和车辆姿态数据，完成自动驾驶多模态数据的获取。3.根据权利要求2所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s1中封装的具体方法为：在ros系统中利用rosbag命令将获取到的自动驾驶多模态数据封装为bag格式文件，完成封装。4.根据权利要求3所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s2中，对封装后的自动驾驶多模态数据进行解析的具体方法为：对封装的bag格式的自动驾驶多模态数据进行格式转换：将bag格式的雷达点云数据进行格式转换，获取pcd格式的雷达点云数据；将bag格式的图像数据进行格式转换，获取jpeg格式的图像数据；将bag格式的车辆姿态数据进行格式转换，获取json格式的车辆姿态数据。5.根据权利要求4所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s2中数据对齐的具体方法为：对解析后的自动驾驶多模态数据依次进行时间对齐和内外参数标定；所述时间对齐的具体方法为：对解析后的多模态数据进行插值操作，使每一帧解析后的雷达点云数据、解析后的图像数据和解析后的车辆姿态数据的时间戳对齐，获取不同模态数据之间的时间对齐信息；所述内外参标定的具体方法为：将时间对齐后的图像数据、雷达点云数据和车辆姿态数据使用张正友标定法进行联合标定；在标定过程中，利用最小二乘法进行优化求解，同时优化相机的内参和外参、雷达的内参和外参以及车辆坐标系和世界坐标系之间的转换关系，获取最优的标定结果；使用最优的标定结果对时间对齐后的数据进行校正和坐标系的对齐，获取数据对齐后的自动驾驶多模态数据以及不同模态数据之间的标定信息；使用标定板采集数据对齐后的自动驾驶多模态数据，将采集到的结果转换到标定后的坐标系下并保存为待存储的自动驾驶多模态数据；将不同模态数据之间的标定信息和时间对齐信息共同保存为多模态数据关联信息。6.根据权利要求5所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s2中的数据对齐操作之后还包括数据清洗操作和数据集成操作。
7.根据权利要求6所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s3中建立的基于hbase的分布式存储的多模态数据库具体为：所述多模态数据库利用hdfs作为数据文件存储系统，zookeeper作为协同服务，多模态数据库中包括雷达点云数据存储表、图像数据存储表和车辆姿态数据存储表，每个存储表至少包括两个列族。8.根据权利要求7所述的一种自动驾驶多模态数据存储管理方法，其特征在于，所述步骤s3中，将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，具体为：利用bulkload将待存储的自动驾驶多模态数据和多模态数据关联信息分别存储到多模态数据库中对应存储表的不同列族中。9.一种自动驾驶多模态数据存储管理系统，应用权利要求1～8任意一条中所述的自动驾驶多模态数据存储管理方法，其特征在于，包括：数据获取和封装模块：用于获取自动驾驶多模态数据并封装；所述自动驾驶多模态数据包括雷达点云数据、图像数据和车辆姿态数据；数据解析和对齐模块：用于对封装后的自动驾驶多模态数据进行解析，对解析后的自动驾驶多模态数据进行数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；数据存储模块：用于建立基于hbase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理。10.根据权利要求9所述的一种自动驾驶多模态数据存储管理系统，其特征在于，所述系统还包括：数据应用模块，用于提供智能检索功能，根据多模态数据的多个特征关键词进行综合检索。

技术总结
本发明提供一种自动驾驶多模态数据存储管理方法和系统，涉及智能驾驶和数据管理技术领域，该方法包括获取自动驾驶多模态数据并封装；对封装后的自动驾驶多模态数据进行数据解析和数据对齐操作，获取待存储的自动驾驶多模态数据和多模态数据关联信息；建立基于HBase的分布式存储的多模态数据库，并将待存储的自动驾驶多模态数据和多模态数据关联信息共同存储到多模态数据库中，完成自动驾驶多模态数据的存储管理；本发明能够在降低网络能耗的基础上保证数据不失帧，同时，在将多模态数据入库时，对不同模态数据进行数据对齐，并在数据库中存储不同模态数据的关联信息，使多模态数据的联合存取更为高效。据的联合存取更为高效。据的联合存取更为高效。


技术研发人员：李咏诗 陈钰琳 戴观红 袁蔼茵 黄艺林 陈晓雪 邓润荣 李智欣 张扬 车紫珊 吴明超 于欣蕾 陈红标 陈思永 许俊鹏
受保护的技术使用者：广东工业大学
技术研发日：2023.05.12
技术公布日：2023/8/24