基于数字证书的车载传感器融合感知同步测量系统的制作方法

1.本发明涉及一种基于数字证书的车载传感器融合感知同步测量系统，属于计量测试技术领域。


背景技术：

2.多传感器融合能够有效提升自动驾驶、智能机器人、多旋翼无人机等智能系统的环境感知能力，为高效、可信的决策提供信息支撑。传感器数据的时间同步是实现多模态数据的可靠融合的必备条件。
3.在设备运行过程中，由于各个传感器独立封装并按照自己的时钟基准运行，往往采样频率也不尽不同，这些将导致种采样数据时间上不同步。加之各传感器的时钟源都有钟漂，即使把各传感器时间戳在初始时刻对齐，运行一段时间之后，之前对齐的结果仍会偏离。对各传感器的时间进行同步处理虽然能够一定程度上降低这一影响，但是仍不能完全消除。目前常见的同步方法有软同步和硬同步。软同步提供一个相同的时间源(一般都是主控电脑utc时间)给相机和lidar等传感器，在各传感器记录的数据中打上时间戳，但是因为周期不同，不同传感器之间的数据帧不是完全对应的。硬同步就是用一个硬件触发器，直接通过物理信号，触发相机、lidar等传感器，常用的是采用gnss信号进行触发，但是在隧道、山林等gnss信号不好的场景，时间有反复跳变，半个小时可能有上百毫秒之巨。
4.实现用于多传感器融合的智能系统时间同步信息的高精度测量，明确各传感器获取数据的时间偏差，提升深度学习算法和数据融合算法的性能，对于实现环境的智能感知具有重要的意义。为此，从数据的机器可读角度出发，提出以基于xml的数字证书的形式实现时间同步的测量。


技术实现要素：

5.本发明的主要目的是提供一种基于数字证书的车载传感器融合感知同步测量系统，通过引入高精度时钟源，并通过对智能系统车载传感器数据增加参考时间戳的方法，实现多传感器时间同步性的高精度测量，解决多模态数据时间同步性差导致的环境感知性能下降的问题。
6.本发明的目的是通过下述技术方案实现的。
7.本发明公开的基于数字证书的车载传感器融合感知时间同步测量系统，包括高精度时钟源、时间戳处理模块、基于数字证书的数据生成模块、数据解析模块、时间同步分析模块。
8.所述的传感器模组为智能系统所搭载的传感器模块，且至少包含两种不同类型的传感器，所述的传感器模组与时间戳模块上对应的传感器接口相连接。所述传感器类型包括lidar、相机、imu。
9.所述的高精度时钟源主要用于为感知流提供标准的、参考的时间信息，其精度需优于1μs，通过具有高稳定性的时间设备充当时间源。作为优选，高稳定性的时间设备选用
原子钟。
10.所述的时间戳模块主要用于接收外部时钟源的精确时间信息，并将相关的时间信息转化为时间戳，为多模态传感器的时间同步性测量提供统一的时基信息，时间戳的格式包括日期和时间，格式采用“年-月-日t时-分-秒”的格式，如“2023-09-05t09:15:03.000001”。其中对于时间戳中数据测得时刻的精度能够根据高精度时钟源的精度进行设定。
11.所述的基于数字证书的数据生成模块采用异步多线程模式，不同模态的传感器通过相应的接口连接至基于数字证书的数据生成模块，不同传感器模组分别设有专用的线程，所有线程在各自线程运行，互不干扰。
12.所述的基于数字证书的数据生成模块为不同的传感器模块命名，并生成相应的标签，考虑到智能系统存在同时部署多个同类型的传感器的情况，对所搭载的传感器进行统一的命名，如lidar 1、lidar2、
…
、lidar n，camera 1、camera 2、
…
、camera n。
13.所述的基于数字证书的数据生成模块将不同时刻的传感器测量数据与时间戳关联，并与传感器标签、单位进行封装，生成相应的数据包。对于特定的激光雷达j而言，其数据类型为{(lidar j,l1,m,t1),(lidar j,l2,m,t2),
…
(lidar j,ln,m,tn)}。其中，li特定时刻激光雷达的数据，m为激光雷达测量值的单位，t2为激光雷达数据所对应的时刻。
14.所述的基于数字证书的数据生成模块基于xml语句生成机器可读的传感器数据格式，且保留不同传感器的测量精度。
15.所述的数据解析模块对基于数字证书的传感器信息进行解析，将解析得到的各传感器的信息通过串口形式传输至智能系统相应的接口，确保其可靠运行；将解析得到的不同模态传感器的时间信息进行提取并进行分析，得到不同模态传感器的时间偏差，进而明确智能系统多模态数据的同步信息，并以可视化的形式将同步信息显示出来。
16.本发明公开的基于数字证书的车载传感器融合感知同步测量系统的工作方法为：
17.步骤一：确定需要测量的智能系统车载传感器的种类、数量和接口类型，同时确保车载传感器融合感知同步测量系统的供电电压满足不同类型传感器的供电需求。
18.步骤二：将不同类型的传感器连接至车载传感器融合感知同步测量系统相应的传感器接口，同时将车载传感器融合感知同步测量系统连接至电源，通过相应的电压转换模块实现不同传感器的供电需求。
19.步骤三：基于数字证书的数据生成模块通过机器可读的xml语言，按照预设的数据格式将传感器的测量数据封装入专用的数据包，并保持传感器原有的测量精度。
20.步骤四：数据解析模块将数据生成模块产生的数据包进行解析，提取不同模态传感器数据所对应的准确时间戳。同时，产生与不经数据生成模块一致的数据格式，确保智能系统的有效运行。
21.步骤五：选取用以参考的基准传感器的时间戳作为基准，进而分析不同传感器之间的时间同步性。
22.步骤六：基于所计算的时间同步偏差从算法的角度，对不同传感器的时间偏差进行修正，进而提升智能系统的环境感知能力。
23.有益效果：
24.1、本发明公开的一种基于高精度时钟源的时间同步测量方法，采用高精度的时钟
源作为时间基准，解决智能系统、不同传感器晶振提供的时间精度不一致、时间不同步的问题，为不同模态传感器、同类型不同传感器之间的时间同步性的计算提供基础。
25.2、本发明公开的一种基于机器可读的传感器数据包封装方法，采用机器可读的xml格式实现传感器测量数据的封装，包含传感器对应的标签、测量数据、数据单位和数据时间等信息，为不同类型传感器时间戳信息的集成和解析提供了基础。
26.3、本发明公开了一种面向多模态、多数量传感器数据解析方法，通过采用多线程的方式对多维时空数据包进行解析，确保不同传感器数据包的解析不串扰，从原理上保证时间同步的高精度测量。
27.4、本发明公开了一种时间戳构建方法，采用“年-月-日t时-分-秒”的格式，将日期和时间集合在一起，确保传感器测量数据的时间追溯，且可通过数据格式与高精度时钟源的时间精度确保时间戳的精度，远优于现有的智能系统时间同步的测量精度。
28.5、本发明公开了一种基于时间同步测量的补偿方法，通过对传感器数据包中解析出相应的时间戳信息，获得不同传感器的时间偏差，进而对传感器融合时的时间偏差进行补偿，为传感器数据的融合提供基础保障。
附图说明
29.图1为车载融合感知传感器时间同步测量方法原理图。
30.图2为基于xml的传感器测量数据表示格式。
31.图3为基于数字证书的传感器数据生成及解析方法。
32.图4为智能系统激光雷达和相机时间同步测量方法的其中一个示例原理图。
33.图5为智能系统激光雷达和相机时间同步测量方法的其中一个示例原理图。
具体实施方式
34.下面结合附图和实施例对本发明作进一步详述。本实施例以本发明技术方案为前提，给出了具体的实施方式，但本发明的保护范围不限于下述的实施例。具体方法为：
35.如图1所示，本实施例公开的基于数字证书的车载传感器融合感知时间同步测量系统，包括高精度时钟源、时间戳处理模块、基于数字证书的数据生成模块、数据解析模块、时间同步分析模块。
36.所述的传感器模组为智能系统所搭载的传感器模块，且至少包含两种不同类型的传感器，常见的传感器有lidar、相机、imu等，所述的传感器模组与时间戳模块上对应的传感器接口相连接。
37.所述的高精度时钟源主要用于为感知流提供标准的、可参考的时间信息，其精度应优于1μs，可由原子钟等具有高稳定性的时间设备充当时间源。
38.所述的时间戳模块主要用于接收外部时钟源的精确时间信息，并将相关的时间信息转化为时间戳，为多模态传感器的时间同步性测量提供统一的时基信息，时间戳的格式包括日期和时间等(如图2所示)，格式采用“年-月-日t时-分-秒”的格式，如“2023-09-05t09:15:03.000001”。其中对于时间戳中数据测得时刻的精度可根据高精度时钟源的精度进行设定，以避免数据格式造成的精度损失。。
39.所述的基于数字证书的数据生成模块采用异步多线程模式，不同模态的传感器通
过相应的接口连接至基于数字证书的数据生成模块，不同传感器模组分别设有专用的线程，所有线程在各自线程运行，互不干扰，其工作流程见图3。
40.所述的基于数字证书的数据生成模块为不同的传感器模块命名，并生成相应的标签，考虑到智能系统可能会同时部署多个同类型的传感器，可对所搭载的传感器进行统一的命名，如lidar 1、lidar2、
…
、lidar n，camera 1、camera 2、
…
、camera n等。
41.所述的基于数字证书的数据生成模块将不同时刻的传感器测量数据与时间戳关联，并与传感器标签、单位进行封装，生成相应的数据包。对于特定的激光雷达j而言，其数据类型为{(lidar j,l1,m,t1),(lidar j,l2,m,t2),
…
(lidar j,ln,m,tn)}。其中,li特定时刻激光雷达的数据，m为激光雷达测量值的单位，t2为激光雷达数据所对应的时刻。
42.所述的基于数字证书的数据生成模块基于xml语句生成机器可读的传感器数据格式。
43.所述的数据解析模块对基于数字证书的传感器信息进行解析，将解析得到的各传感器的信息通过串口形式传输至智能系统相应的接口，确保其可靠运行；将解析得到的不同模态传感器的时间信息进行提取并进行分析，得到不同模态传感器的时间偏差，进而明确智能系统多模态数据的同步信息，并以可视化的形式将同步信息显示出来。
44.具体的，智能系统在启动并开始运行后，智能系统为所搭载的机载传感器供电，并通过发送指令启动相应的传感器模块，不同传感器模块的测量数据包通过串口连接至所述的基于数字证书的数据生成模块，外接的高精度时钟源通过相应接口接入时间戳模块为传感器的数据包提供高精度的时钟信息，基于数字证书的数据生成模块按照xml语句格式将各传感器对应的标签、测量数据、数据单位和数据时间封装成机器可读的数据包。随后对数据包进行解析，获取不同模态传感器数据的获取时刻，得到不同传感器之间的时间偏差。
45.在其中一个实施例中，传感器模组包括激光雷达lidar、camera和imu，如图4所示。
46.具体的，所述的激光雷达可获取周围环境中的3d点云数据，相机可以是单目相机也可以是双目相机，图像的类型可以为黑白图像，也可以为彩色图像。
47.智能系统运行后，lidar、camera和imu通过相应的传感器接口与高精度时间同步测量系统连接，时间同步测量模块将时间信息与传感器测量信息封装成机器可读的数字证书形式。以lidar点云数据的数字证书的格式为例，具体如下所示
48.《si:real》
49.《si:label》lidar《/si:label》
50.《si:value》data《/si:value》
51.《si:unit》\metre《/si:unit》
52.《si:datetime》
53.《si:date》2023-09-05《/si:date》
54.《si:time》09:15:03.000001《/si:time》
55.《si:datetime》
56.《si:real》
57.经时间同步测量系统中数据解析模块后获取传感器数据融合时不同传感器数据帧所对应的时间戳信息。
58.以获取激光雷达数据所对应的时刻为基准，分别解算相机和imu数据帧相对于激
光雷达的时间偏差，即d
t1
＝t
l-tc、d
t2
＝t
i-tc。其中，t
l
为数据融合时lidae数据帧的时间戳，tc为数据融合时camera数据帧的时间戳，ti为数据融合时imu数据帧的时间戳。
59.在其中一个实施例中，用于感知的传感器模组包含多个lidar(即lidar 1、lidar 2、
…
、lidar n)实现空间点云信息的补盲，多个camera(即camera 1、camera 2、
…
、camera n)以实现智能系统周围的大范围感知，此外还包含用于位姿测量的imu。如图5所示。
60.不同模态的传感器分别连接至高精度的时间同步测量系统，获得数据融合时空不同模态传感器信息的时间戳。各激光雷达lidar数据帧的时间戳分别为t
l1
、t
l2
、
…
、t
ln
，各相机camera数据帧的时间戳分别为t
c1
、t
c2
、
…
、t
cn
和imu数据的时间戳ti。
61.在此基础上，以激光雷达lidar 1数据帧的时间戳为基准，进而获得各其他lidar、camera和imu的时间偏差。将所获得时间偏差传输至智能系统，实现智能系统融合感知过程中时间偏差的修正，进而提升融合感知的性能。
62.在其中一个实施例中，传感器模组还可包含gnss、毫米波雷达等传感器，以实现不同模态感知数据时间偏差的修正。
63.以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于数字证书的车载传感器融合感知时间同步测量系统，其特征在于：包括高精度时钟源、时间戳处理模块、基于数字证书的数据生成模块、数据解析模块、时间同步分析模块；所述的传感器模组为智能系统所搭载的传感器模块，且至少包含两种不同类型的传感器，所述的传感器模组与时间戳模块上对应的传感器接口相连接；所述的高精度时钟源主要用于为感知流提供标准的、参考的时间信息，其精度需优于1μs，通过具有高稳定性的时间设备充当时间源；所述的时间戳模块主要用于接收外部时钟源的精确时间信息，并将相关的时间信息转化为时间戳，为多模态传感器的时间同步性测量提供统一的时基信息，时间戳的格式包括日期和时间，格式采用“年-月-日t时-分-秒”的格式；其中对于时间戳中数据测得时刻的精度能够根据高精度时钟源的精度进行设定；所述的基于数字证书的数据生成模块采用异步多线程模式，不同模态的传感器通过相应的接口连接至基于数字证书的数据生成模块，不同传感器模组分别设有专用的线程，所有线程在各自线程运行，互不干扰；所述的基于数字证书的数据生成模块为不同的传感器模块命名，并生成相应的标签，考虑到智能系统存在同时部署多个同类型的传感器的情况，对所搭载的传感器进行统一的命名；所述的基于数字证书的数据生成模块将不同时刻的传感器测量数据与时间戳关联，并与传感器标签、单位进行封装，生成相应的数据包；对于激光雷达j而言，其数据类型为{(lidar j,l1,m,t1),(lidar j,l2,m,t2),
…
(lidar j,l
n
,m,t
n
)}；其中，l
i
特定时刻激光雷达的数据，m为激光雷达测量值的单位，t2为激光雷达数据所对应的时刻；所述的基于数字证书的数据生成模块基于xml语句生成机器可读的传感器数据格式；所述的数据解析模块对基于数字证书的传感器信息进行解析，将解析得到的各传感器的信息通过串口形式传输至智能系统相应的接口，确保其可靠运行；将解析得到的不同模态传感器的时间信息进行提取并进行分析，得到不同模态传感器的时间偏差，进而明确智能系统多模态数据的同步信息，并以可视化的形式将同步信息显示出来。2.如权利要求1所述的基于数字证书的车载传感器融合感知时间同步测量系统，其特征在于：所述传感器类型包括lidar、相机、imu。3.如权利要求1所述的基于数字证书的车载传感器融合感知时间同步测量系统，其特征在于：高稳定性的时间设备选用原子钟。4.如权利要求1所述的基于数字证书的车载传感器融合感知时间同步测量系统，其特征在于：对所搭载的传感器进行统一的命名方式为lidar 1、lidar2、
…
、lidar n，camera 1、camera 2、
…
、camera n。5.本发明公开的基于数字证书的车载传感器融合感知时间同步测量系统的工作方法，基于如权利要求1、2、3或4所述的基于数字证书的车载传感器融合感知时间同步测量系统实现，其特征在于：包括如下步骤，步骤一：确定需要测量的智能系统车载传感器的种类、数量和接口类型，同时确保车载传感器融合感知同步测量系统的供电电压满足不同类型传感器的供电需求。步骤二：将不同类型的传感器连接至车载传感器融合感知同步测量系统相应的传感器
接口，同时将车载传感器融合感知同步测量系统连接至电源，通过相应的电压转换模块实现不同传感器的供电需求。步骤三：基于数字证书的数据生成模块通过机器可读的xml语言，按照预设的数据格式将传感器的测量数据封装入专用的数据包，并保持传感器原有的测量精度。步骤四：数据解析模块将数据生成模块产生的数据包进行解析，提取不同模态传感器数据所对应的准确时间戳。同时，产生与不经数据生成模块一致的数据格式，确保智能系统的有效运行。步骤五：选取用以参考的基准传感器的时间戳作为基准，进而分析不同传感器之间的时间同步性。步骤六：基于所计算的时间同步偏差从算法的角度，对不同传感器的时间偏差进行修正，进而提升智能系统的环境感知能力。

技术总结
本发明公开的基于数字证书的车载传感器融合感知同步测量系统，属于计量测试技术领域。本发明包括传感器模组、高精度时钟源、时间戳处理模块、基于数字证书的数据生成模块、数据解析模块、时间同步测量模块。车载多模态传感器测量数据结合高精度时间信息生成机器可读的数字证书格式，通过对数据的解析将传感器信息传至智能移动机器人、无人车等智能系统确保信息的运行，通过时间同步测量模块实现不同传感器时间延迟的测量。通过引入高精度时钟源并为传感器数据增加时间戳的方式，实现多模态感知数据的时基统一。基于测量得到的多模态传感器数据的同步信息，通过补偿算法实现各模态数据的时域对齐，进而确保多模态数据融合的有效性。效性。效性。


技术研发人员：姜延欢 徐永 孙景亭 崔佳慧 张昱
受保护的技术使用者：中国航空工业集团公司北京长城计量测试技术研究所
技术研发日：2023.05.25
技术公布日：2023/9/12