基于营运载具的地图生成方法及系统与流程

1.本技术涉及道路交通技术领域，尤其涉及一种基于营运载具的地图生成方法及系统。


背景技术：

2.地图是根据一定的数学法则，将自然地理的自然现象通过符号缩绘在平面上的图形。电子地图则是以地图数据库为基础，在适当尺寸的屏幕上按照一定比例显示的地图。三维地图是以三维电子地图数据库为基础，按照一定比例对现实世界或其中一部分的进行三维模型的描述，其形象性、功能性远强于二维电子地图。
3.在实现现有技术的过程中，发明人发现：三维地图的更新频率较慢，通常以年度更新，时效性差。究其原因，正是由于地图数据的采集需要耗费大量人力、财力，且后期数据校验流程中也较为繁琐。
4.因此，需要提供一种新的地图生成方案，用以解决地图更新频率较慢的技术问题。


技术实现要素：

5.本技术实施例提供一种新的体素地图生成方案，用以解决地图更新频率较慢的技术问题。
6.具体的，一种基于营运载具的地图生成方法，应用于包括若干营运载具、遥端服务器的地图生成系统；所述营运载具具有单目摄影模块、边缘处理模块、定位模块、通信模块；所述地图生成方法包括以下步骤：营运载具执行巡航任务，基于定位模块采集具有时间序列的位置信息；基于通信模块获取定位误差；基于边缘处理模块，根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息；基于单目摄影模块采集具有时间序列的环境图像；基于边缘处理模块，根据具有时间序列的环境图像，生成深度点云特征图；基于边缘处理模块，根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图；基于边缘处理模块，根据具有时间序列的环境图像，分割具有语义的环境对象；基于边缘处理模块，根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语义深度点云；基于通信模块，发送三维语义深度点云至遥端服务器；遥端服务器根据三维语义深度点云，以三维体素块重建环境，生成环境地图。
7.进一步的，营运载具于第一周期执行第一巡航任务，于第二周期执行第二巡航任务；所述第一巡航任务对应的巡航路径与所述第二巡航任务对应的巡航路径相同；
所述营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述营运载具基于通信模块，发送对应第二巡航任务的三维语义深度点云至遥端服务器；所述方法还包括：所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
8.进一步的，所述若干营运载具至少包括执行第一巡航任务的第一营运载具、执行第二巡航任务的第二营运载具；所述第一巡航任务对应的巡航路径与所述第三巡航任务对应的巡航路径不完全相同；所述第一营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述第二营运载具基于通信模块，发送对应第三巡航任务的三维语义深度点云至遥端服务器；所述方法还包括：所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
9.进一步的，所述基于边缘处理模块，根据具有时间序列的环境图像，生成深度点云特征图，具体包括：输入具有时间序列的环境图像至预训练单目深度估计模型，得到图像深度信息；输入具有时间序列的环境图像至预训练运动结构恢复模型，得到视觉位姿信息；根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。
10.进一步的，所述遥端服务器根据三维语义深度点云，以三维体素块重建环境，生成环境地图，具体包括：记录环境对象的结构关系；根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型；以环境对象的结构关系，拼接预设主体模型、预设部件模型，生成环境模型；根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。
11.本技术实施例还提供一种地图生成系统。
12.具体的，一种地图生成系统，包括：若干营运载具，用于执行巡航任务，采集环境信息；遥端服务器，用于根据所述环境信息生成环境地图；所述营运载具包括：定位模块，用于采集具有时间序列的位置信息；单目摄影模块，用于采集具有时间序列的环境图像；通信模块，用于获取定位误差；还用于发送三维语义深度点云至遥端服务器；边缘处理模块，用于根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息；还用于根据具有时间序列的环境图像，生成深度点云特征图；还用于根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图；还用于根据具有时间序列的环境图像，分割具有语义的环境对象；还用于根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语义深度点云；所述遥端服务器用于根据所述环境信息生成环境地图，具体用于根据三维语义深度点云，以三维体素块重建环境，生成环境地图。
13.进一步的，所述营运载具被配置为：于第一周期执行第一巡航任务，于第二周期执行第二巡航任务；所述第一巡航任务对应的巡航路径与所述第二巡航任务对应的巡航路径相同；所述营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述营运载具基于通信模块，发送对应第二巡航任务的三维语义深度点云至遥端服务器；所述遥端服务器还用于：根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
14.进一步的，所述若干营运载具至少包括执行第一巡航任务的第一营运载具、执行第二巡航任务的第二营运载具；所述第一巡航任务对应的巡航路径与所述第三巡航任务对应的巡航路径不完全相同；所述第一营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述第二营运载具基于通信模块，发送对应第三巡航任务的三维语义深度点云至遥端服务器；所述遥端服务器还用于：根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度
点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
15.进一步的，所述边缘处理模块用于根据具有时间序列的环境图像，生成深度点云特征图，具体包括：输入具有时间序列的环境图像至预训练单目深度估计模型，得到图像深度信息；输入具有时间序列的环境图像至预训练运动结构恢复模型，得到视觉位姿信息；根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。
16.进一步的，所述遥端服务器用于根据三维语义深度点云，以三维体素块重建环境，生成环境地图，具体包括：记录环境对象的结构关系；根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型；以环境对象的结构关系，拼接预设主体模型、预设部件模型，生成环境模型；根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。
17.本技术实施例提供的技术方案，至少具有如下有益效果：通过对营运载具进行改造，赋予营运载具周边环境对象三维信息采集能力，降低了地图数据的采集成本。通过利用营运载具覆盖范围广、覆盖频次高的公众服务属性，提高了地图数据的采集频率，进而提高了地图更新频率。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本技术实施例提供的一种基于营运载具的地图生成方法的流程框图；图2为本技术实施例提供的一种地图生成系统的结构示意图。
19.图中附图标记表示为：100
ꢀꢀꢀꢀꢀꢀꢀ
地图生成系统11
ꢀꢀꢀꢀꢀꢀꢀꢀ
营运载具111
ꢀꢀꢀꢀꢀꢀꢀ
定位模块112
ꢀꢀꢀꢀꢀꢀꢀ
单目摄影模块113
ꢀꢀꢀꢀꢀꢀꢀ
通信模块114
ꢀꢀꢀꢀꢀꢀꢀ
边缘处理模块12
ꢀꢀꢀꢀꢀꢀꢀꢀ
遥端服务器。
具体实施方式
20.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及
相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.为解决地图更新频率较慢的技术问题，本技术提供一种基于营运载具的地图生成方法，应用于包括若干营运载具、遥端服务器的地图生成系统。可以理解的是，所述营运载具在具体的应用场景中表现为公交车。所述遥端服务器不设置于公交车内部。
22.发明人发现，由于地图数据的采集需要改装专门的采集载具、采集设备昂贵、待采集覆盖面广泛、需多次采集等硬性指标，使得人力、财力的开销巨大，进而导致地图更新频率较慢。
23.而公交车具有覆盖范围广、覆盖频次高的公众服务属性。举例来说，公交车的营运路线覆盖城市区域主要的商业区、学校、医院和住宅区，营运路线稳定、清晰，且同一路线会多次巡航。即使是不同营运路线也存在部分路径重合，依然会对重合路径进行多次巡航。如果针对公交车进行采集改造，则能充分发挥上述属性，在日常服务公众途中完成地图数据的采集任务，实现可持续发展。
24.在本技术提供的一种优选实施方式，发明人对所述营运载具进行改造。考虑到营运载具为公交车的场景下，传统雷达多传感器融合方案比较笨重，不适合安装在公交车上，不然公交车不能通过安全审核。且雷达多传感器融合方案使用成本高，数据融合复杂，激光雷达的点云具有稀疏性，难以识别远处的环境对象，对于算力要求高，公交车本身无法安装如此规模的服务设备。
25.优选的，改造的营运载具采用视觉三维重建方案。所述视觉三维重建方案依托于摄影模块，双目摄像头和多目摄像头在理论上可精确恢复环境对象的深度信息。但在实际采集过程中，受拍摄条件的影响，双目摄像头和多目摄像头的精度无法得到保证。在设备管理角度上，营运载具也无法安装更多的摄像头。
26.因此，发明人采用基于单目视觉的三维重建方案。具体的，改造后的营运载具具有单目摄影模块、边缘处理模块、定位模块、通信模块。所述单目摄影模块在具体的应用场景中表现为单目摄像头。单目摄像头安装、布线简单，安全风险低，安装方案更容易通过营运载具的安全审核。
27.所述边缘处理模块在具体的应用场景中表现为微型边缘计算设备，可用于根据所述单目摄像头采集到的图像数据，生成环境对象的三维信息数据。单目摄像头采集到的图像数据拥有丰富的画面信息，微型边缘计算设备足以满足纯图像处理的算力要求。
28.所述定位模块在具体的应用场景中表现为gnss传感器，可以直接测得营运载具在世界坐标系移动时的位置信息。
29.所述通信模块在具体的应用场景中表现为sim卡，用于传输环境对象的三维信息数据至遥端服务器。
30.需要指出的是，所述营运载具仅用于采集环境对象的三维信息数据，而不进行地图生成。这样，单辆营运载具仅关注营运路线周边环境对象的三维信息数据，后续对环境对象的三维信息数据进行筛选、去重、匹配等数据校验流程均由遥端服务器集中处理。
31.改造后的营运载具具有单目摄影模块、边缘处理模块、定位模块、通信模块，已然能够对营运载具周边环境对象进行三维信息数据采集。换句话说，赋予营运载具周边环境
对象三维信息采集能力，即可降低地图数据的采集成本。具体的，上述模块的供电由公交车自身配置的低压配电箱提供，单目摄影模块与边缘处理模块通过传输线传输数据。所述传输线的布线与车内监控的走线相同。
32.请参照图1，下面介绍基于营运载具的地图生成方法的具体步骤：s110：营运载具执行巡航任务，基于定位模块采集具有时间序列的位置信息。
33.s120：基于通信模块获取定位误差。
34.s130：基于边缘处理模块，根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息。
35.可以理解的是，所述营运载具具有巡航任务。所述巡航任务指定营运载具的途径点。在所述营运载具表现为公交车的应用场景中，所述巡航任务表现为公交车的营运路线。所述定位模块在具体的应用场景中表现为gnss传感器，可以直接测得营运载具在世界坐标系的位置信息。在具体的应用中，所述位置信息包括经度、纬度等坐标信息。通常，所述坐标信息具有时间戳。根据所述坐标信息对应的时间戳，以时间序列排列若干坐标信息，即构成所述营运载具的移动轨迹信息。
36.但在实际采集过程中，发明人发现gnss传感器的定位精度只能达到米级，因为gnss传感器的工作原理依托于卫星定位，存在轨道误差。为提高营运载具的位置信息精度，本技术还基于通信模块获取定位误差。
37.具体的，所述通信模块在具体的应用场景中表现为sim卡，可以与地面基站传输定位误差。可以理解的是，由于地面基站位置固定，因此可以由地面基站检测卫星定位与真实位置的定位误差。
38.在获得定位误差后，则可以将所述定位误差补偿至具有时间序列的位置信息，从而得到具有时间序列的优化位置信息。
39.s140：基于单目摄影模块采集具有时间序列的环境图像。
40.s150：基于边缘处理模块，根据具有时间序列的环境图像，生成深度点云特征图。
41.s160：基于边缘处理模块，根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图。
42.可以理解的是，所述单目摄影模块在具体的应用场景中表现为单目摄像头。所述环境图像记录所述营运路线周边的环境对象，例如路灯、马路、建筑、树木、绿化等。通常，所述环境图像具有时间戳。根据所述环境图像对应的时间戳，以时间序列排列若干环境图像，将构成记录所述营运路线周边环境的内容视频流。
43.所述边缘处理模块在具体的应用场景中表现为微型边缘计算设备，可用于根据所述单目摄像头采集到的图像数据，生成对应环境对象的深度点云特征图。
44.进一步的，所述基于边缘处理模块，根据具有时间序列的环境图像，生成深度点云特征图，具体包括：输入具有时间序列的环境图像至预训练单目深度估计模型，得到图像深度信息；输入具有时间序列的环境图像至预训练运动结构恢复模型，得到视觉位姿信息；根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。
45.需要指出的是，所述预训练单目深度估计模型是利用极线几何约束，在图像重建丢失的情况下，通过训练网络生成视差图像的预训练卷积神经网络模型。它的训练原理可
以简单表示为：首先将双目摄像头的真实左图作为输入，经过卷积神经网络，输出两张分别对应双目摄像头左图和右图的视差图。之后再将真实右图作为输入，通过预测得到的视差图与真实右图进行处理，生成估计左图。然后将估计左图与真实左图作对比，通过loss损失函数进一步反向传播训练网络。在训练期间，不需要任何深度数据，而是将深度作为中间值。
46.训练完成的单目深度估计模型可以用来通过单张图片预测深度信息。
47.所述预训练运动结构恢复模型基于structure from motion(sfm)算法，用于从时间序列上相邻的环境图像提取环境对象的图像特征，之后根据视频流中相邻帧的图像特征，进行对极约束与三角测量，恢复环境对象的三维信息，作为视觉位姿信息。
48.需要指出的是，仅由预训练运动结构恢复模型得到的视觉位姿信息的深度并不是实际的物理尺度，虽然与环境对象的形状吻合，但尺寸大小却不是实际尺寸。
49.因此需要根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。这样，深度点云特征图中环境对象的形状、尺寸均与实际环境对象的形状、尺寸吻合。
50.进一步的，在引入图像深度信息后，也可根据优化位置信息，判断特征对象相对营运载具的距离，从而推算出环境对象的位置信息，即得到具有优化位置信息的深度点云特征图。
51.s170：基于边缘处理模块，根据具有时间序列的环境图像，分割具有语义的环境对象。
52.s180：基于边缘处理模块，根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语义深度点云。
53.可以理解的是，所述环境对象还具有语义，所述环境对象的语义定义环境对象的类型。例如，所述环境对象的语义可以表现为路灯、马路、建筑、树木、绿化等。在本技术提供的一种具体实施方式中，所述环境对象的语义通过segnet网络模型对记录环境对象的环境图像进行语义分割得到。之后使用记录环境对象的环境图像，映射对应该环境图像的深度点云特征图，从而赋予对应环境对象的点云语义特征，形成三维语义深度点云。
54.s190：基于通信模块，发送三维语义深度点云至遥端服务器。
55.可以理解的是，所述通信模块在具体的应用场景中表现为sim卡，可以传输三维语义深度点云至遥端服务器。优选的，所述通信模块通过接入euht-5g（超高速无线局域网），以毫秒级数据同步传输三维语义深度点云至遥端服务器。
56.s200：遥端服务器根据三维语义深度点云，以三维体素块重建环境，生成环境地图。
57.需要指出的是，所述遥端服务器接收来自若干营运载具的三维语义深度点云后，还需要进行筛选、去重、匹配等数据校验流程。
58.具体的，以同一营运载具在不同时间段采集同一巡航路径的周边环境对象为例。营运载具于第一周期执行第一巡航任务，于第二周期执行第二巡航任务；所述第一巡航任务对应的巡航路径与所述第二巡航任务对应的巡航路径相同；所述营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述营运载具基于通信模块，发送对应第二巡航任务的三维语义深度点云至遥端
服务器；所述方法还包括：所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
59.可以理解的是，在所述营运载具为公交车的应用场景中，所述营运载具于第一周期执行第一巡航任务表现为，公交车根据排班表在第一周期执行第一线路的客运。所述营运载具于第二周期执行第二巡任务表现为，公交车根据排班表在第二周期执行第一线路的客运。所述巡航路径即是营运路线。在本例中巡航路径均为第一线路。这样，巡航路径周边的环境对象应该大致相同。也就是说，遥端服务器接收的对应第一巡航任务的三维语义深度点云与对应第二巡航任务的三维语义深度点云应当大致相同。
60.但在实际采集过程中，可能由于路况原因导致采集出现遗漏、环境对象在不同周期发生变化、三维语义深度点云中的位置信息出现偏差等情况。因此，需要所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组。
61.所述争议三维语义深度点云组即是对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云中不同的环境对象。
62.之后以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果。
63.所述预设评分策略实际是将环境对象的属性量化为指标参数，之后以时间、置信度等评价维度进行权重赋值。举例来说，环境对象的属性包括形状、尺寸、位置、语义等。通常第二周期的时间较新，与第二周期有关的时间权重会较高，例如绿化在第一周期的形状与在第二周期的形状不同，其他属性相同，则第二周期的时间权重更高。此时该路灯对应第二周期三维语义深度点云的评分结果更高。意味着绿化在第二周期已被修剪。
64.但如果同一路灯在第一周期的位置与在第二周期的位置不同，其他属性相同，则通过比对其他参照物的位置，可以确定第一周期的采集置信度更高。此时该路灯对应第一周期三维语义深度点云的评分结果更高。
65.之后以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
66.进一步的，以不同营运载具在不同时间段采集不完全相同巡航路径的周边环境对象为例。所述若干营运载具至少包括执行第一巡航任务的第一营运载具、执行第二巡航任务的第二营运载具；所述第一巡航任务对应的巡航路径与所述第三巡航任务对应的巡航路径不完全相同；所述第一营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；
所述第二营运载具基于通信模块，发送对应第三巡航任务的三维语义深度点云至遥端服务器；所述方法还包括：所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
67.可以理解的是，在所述营运载具为公交车的应用场景中，所述营运载具可能有不同型号，例如市区公交的额定载客量较多、尺寸较大，社区公交的额定载客量较少、尺寸较小。不同尺寸的营运载具的单目摄像头的安装角度可能不同，因此即使二者的营运路线存在部分重合。在重合路径下的实际采集过程中，也可能出现采集遗漏、环境对象在不同周期发生变化、三维语义深度点云中的位置信息出现偏差等情况。
68.因此，需要所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组。
69.所述争议三维语义深度点云组即是对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云中不同的环境对象。
70.之后以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果。所述预设评分策略实际是将环境对象的属性量化为指标参数，之后以时间、置信度等评价维度进行权重赋值。之后以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
71.在遥端服务器完成进行筛选、去重后，所述遥端服务器根据三维语义深度点云，以三维体素块重建环境，生成环境地图，具体包括：记录环境对象的结构关系；根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型；以环境对象的结构关系，拼接预设主体模型、预设部件模型，生成环境模型；根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。
72.可以理解的是，为降低三维模型的载负量，本技术采用模型拼接的方式生成环境模型。具体的，所述三维语义深度点云还可进一步进行语义划分，进而得到环境对象主体和环境对象部件。所述环境对象主体和环境对象部件具有结构关系。同时记录所述环境对象主体和环境对象部件的结构关系。
73.之后根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型。所述预设模型库存储若干预设主体模型、若干预设部件模型。所述若干预设主体模型、若干预设部件模型采用三维体素块构建，在保证还原对象真实形状的同时也能保证建模速度。
74.之后根据所述环境对象主体和环境对象部件的结构关系，拼接预设主体模型、预设部件模型，得到环境模型。最后根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。同时建立环境模型的网格索引，在地图渲染时根据环境模型的网格索引加载环境模型。
75.综上所述，本技术提供的基于营运载具的地图生成方法，通过对营运载具进行改造，赋予营运载具周边环境对象三维信息采集能力，降低了地图数据的采集成本。通过利用营运载具覆盖范围广、覆盖频次高的公众服务属性，提高了地图数据的采集频率，进而提高了地图更新频率。
76.请参照图2，为支持基于营运载具11的地图生成方法，本技术还提供一种地图生成系统100，包括：若干营运载具11，用于执行巡航任务，采集环境信息；遥端服务器12，用于根据所述环境信息生成环境地图。
77.其中，所述若干营运载具11为上文发明人所改造的营运载具11。具体的，所述营运载具11包括：定位模块111，用于采集具有时间序列的位置信息；单目摄影模块112，用于采集具有时间序列的环境图像；通信模块113，用于获取定位误差；还用于发送三维语义深度点云至遥端服务器12；边缘处理模块114，用于根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息；还用于根据具有时间序列的环境图像，生成深度点云特征图；还用于根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图；还用于根据具有时间序列的环境图像，分割具有语义的环境对象；还用于根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语义深度点云；所述遥端服务器12用于根据所述环境信息生成环境地图，具体用于根据三维语义深度点云，以三维体素块重建环境，生成环境地图。
78.下面介绍地图生成系统100的具体实现过程：定位模块111采集具有时间序列的位置信息。通信模块113获取定位误差。边缘处理模块114根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息。
79.可以理解的是，所述营运载具11具有巡航任务。所述巡航任务指定营运载具11的途径点。在所述营运载具11表现为公交车的应用场景中，所述巡航任务表现为公交车的营运路线。所述定位模块111在具体的应用场景中表现为gnss传感器，可以直接测得营运载具11在世界坐标系的位置信息。在具体的应用中，所述位置信息包括经度、纬度等坐标信息。通常，所述坐标信息具有时间戳。根据所述坐标信息对应的时间戳，以时间序列排列若干坐标信息，即构成所述营运载具11的移动轨迹信息。
80.但在实际采集过程中，发明人发现gnss传感器的定位精度只能达到米级，因为gnss传感器的工作原理依托于卫星定位，存在轨道误差。为提高营运载具11的位置信息精度，本技术还基于通信模块113获取定位误差。
81.具体的，所述通信模块113在具体的应用场景中表现为sim卡，可以与地面基站传
输定位误差。可以理解的是，由于地面基站位置固定，因此所述通信模块113可以由地面基站检测卫星定位与真实位置的定位误差。
82.在获得定位误差后，则边缘处理模块114可以将所述定位误差补偿至具有时间序列的位置信息，从而得到具有时间序列的优化位置信息。
83.单目摄影模块112采集具有时间序列的环境图像。边缘处理模块114根据具有时间序列的环境图像，生成深度点云特征图。边缘处理模块114根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图。
84.可以理解的是，所述单目摄影模块112在具体的应用场景中表现为单目摄像头。所述环境图像记录所述营运路线周边的环境对象，例如路灯、马路、建筑、树木、绿化等。通常，所述环境图像具有时间戳。根据所述环境图像对应的时间戳，以时间序列排列若干环境图像，将构成记录所述营运路线周边环境的内容视频流。
85.所述边缘处理模块114在具体的应用场景中表现为微型边缘计算设备，可用于根据所述单目摄像头采集到的图像数据，生成对应环境对象的深度点云特征图。
86.进一步的，所述边缘处理模块114根据具有时间序列的环境图像，生成深度点云特征图，具体包括：输入具有时间序列的环境图像至预训练单目深度估计模型，得到图像深度信息；输入具有时间序列的环境图像至预训练运动结构恢复模型，得到视觉位姿信息；根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。
87.需要指出的是，所述预训练单目深度估计模型是利用极线几何约束，在图像重建丢失的情况下，通过训练网络生成视差图像的预训练卷积神经网络模型。它的训练原理可以简单表示为：首先将双目摄像头的真实左图作为输入，经过卷积神经网络，输出两张分别对应双目摄像头左图和右图的视差图。之后再将真实右图作为输入，通过预测得到的视差图与真实右图进行处理，生成估计左图。然后将估计左图与真实左图作对比，通过loss损失函数进一步反向传播训练网络。在训练期间，不需要任何深度数据，而是将深度作为中间值。
88.训练完成的单目深度估计模型可以用来通过单张图片预测深度信息。
89.所述预训练运动结构恢复模型基于structure from motion(sfm)算法，用于从时间序列上相邻的环境图像提取环境对象的图像特征，之后根据视频流中相邻帧的图像特征，进行对极约束与三角测量，恢复环境对象的三维信息，作为视觉位姿信息。
90.需要指出的是，仅由预训练运动结构恢复模型得到的视觉位姿信息的深度并不是实际的物理尺度，虽然与环境对象的形状吻合，但尺寸大小却不是实际尺寸。
91.因此需要边缘处理模块114根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。这样，深度点云特征图中环境对象的形状、尺寸均与实际环境对象的形状、尺寸吻合。
92.进一步的，在引入图像深度信息后，边缘处理模块114也可根据优化位置信息，判断特征对象相对营运载具11的距离，从而推算出环境对象的位置信息，即得到具有优化位置信息的深度点云特征图。
93.边缘处理模块114根据具有时间序列的环境图像，分割具有语义的环境对象。边缘处理模块114根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语
义深度点云。
94.可以理解的是，所述环境对象还具有语义，所述环境对象的语义定义环境对象的类型。例如，所述环境对象的语义可以表现为路灯、马路、建筑、树木、绿化等。在本技术提供的一种具体实施方式中，所述边缘处理模块114通过segnet网络模型对记录环境对象的环境图像进行语义分割，得到环境对象的语义。之后边缘处理模块114使用记录环境对象的环境图像，映射对应该环境图像的深度点云特征图，从而赋予对应环境对象的点云语义特征，形成三维语义深度点云。
95.通信模块113发送三维语义深度点云至遥端服务器12。
96.可以理解的是，所述通信模块113在具体的应用场景中表现为sim卡，可以传输三维语义深度点云至遥端服务器12。优选的，所述通信模块113通过接入euht-5g（超高速无线局域网），以毫秒级数据同步传输三维语义深度点云至遥端服务器12。
97.遥端服务器12根据三维语义深度点云，以三维体素块重建环境，生成环境地图。
98.需要指出的是，所述遥端服务器12接收来自若干营运载具11的三维语义深度点云后，还需要进行筛选、去重、匹配等数据校验流程。
99.具体的，以同一营运载具11在不同时间段采集同一巡航路径的周边环境对象为例。营运载具11于第一周期执行第一巡航任务，于第二周期执行第二巡航任务；所述第一巡航任务对应的巡航路径与所述第二巡航任务对应的巡航路径相同；所述营运载具11基于通信模块113，发送对应第一巡航任务的三维语义深度点云至遥端服务器12；所述营运载具11基于通信模块113，发送对应第二巡航任务的三维语义深度点云至遥端服务器12；所述遥端服务器12还用于：根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
100.可以理解的是，在所述营运载具11为公交车的应用场景中，所述营运载具11于第一周期执行第一巡航任务表现为，公交车根据排班表在第一周期执行第一线路的客运。所述营运载具11于第二周期执行第二巡任务表现为，公交车根据排班表在第二周期执行第一线路的客运。所述巡航路径即是营运路线。在本例中巡航路径均为第一线路。这样，巡航路径周边的环境对象应该大致相同。也就是说，遥端服务器12接收的对应第一巡航任务的三维语义深度点云与对应第二巡航任务的三维语义深度点云应当大致相同。
101.但在实际采集过程中，可能由于路况原因导致采集出现遗漏、环境对象在不同周期发生变化、三维语义深度点云中的位置信息出现偏差等情况。因此，需要所述遥端服务器12根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组。
102.所述争议三维语义深度点云组即是对应第一巡航任务的三维语义深度点云、对应
第二巡航任务的三维语义深度点云中不同的环境对象。
103.之后以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果。
104.所述预设评分策略实际是将环境对象的属性量化为指标参数，之后以时间、置信度等评价维度进行权重赋值。举例来说，环境对象的属性包括形状、尺寸、位置、语义等。通常第二周期的时间较新，与第二周期有关的时间权重会较高，例如绿化在第一周期的形状与在第二周期的形状不同，其他属性相同，则第二周期的时间权重更高。此时该路灯对应第二周期三维语义深度点云的评分结果更高。意味着绿化在第二周期已被修剪。
105.但如果同一路灯在第一周期的位置与在第二周期的位置不同，其他属性相同，则通过比对其他参照物的位置，可以确定第一周期的采集置信度更高。此时该路灯对应第一周期三维语义深度点云的评分结果更高。
106.之后所述遥端服务器12以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
107.进一步的，以不同营运载具11在不同时间段采集不完全相同巡航路径的周边环境对象为例。所述若干营运载具11至少包括执行第一巡航任务的第一营运载具11、执行第二巡航任务的第二营运载具11；所述第一巡航任务对应的巡航路径与所述第三巡航任务对应的巡航路径不完全相同；所述第一营运载具11基于通信模块113，发送对应第一巡航任务的三维语义深度点云至遥端服务器12；所述第二营运载具11基于通信模块113，发送对应第三巡航任务的三维语义深度点云至遥端服务器12；所述遥端服务器12还用于：根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
108.可以理解的是，在所述营运载具11为公交车的应用场景中，所述营运载具11可能有不同型号，例如市区公交的额定载客量较多、尺寸较大，社区公交的额定载客量较少、尺寸较小。不同尺寸的营运载具11的单目摄像头的安装角度可能不同，因此即使二者的营运路线存在部分重合。在重合路径下的实际采集过程中，也可能出现采集遗漏、环境对象在不同周期发生变化、三维语义深度点云中的位置信息出现偏差等情况。
109.因此，需要所述遥端服务器12根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组。
110.所述争议三维语义深度点云组即是对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云中不同的环境对象。
111.之后以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果。所述预设评分策略实际是将环境对象的属性量化为指标参数，之后以时间、置信度等评价维度进行权重赋值。之后以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。
112.在遥端服务器12完成进行筛选、去重后，所述遥端服务器12根据三维语义深度点云，以三维体素块重建环境，生成环境地图，具体包括：记录环境对象的结构关系；根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型；以环境对象的结构关系，拼接预设主体模型、预设部件模型，生成环境模型；根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。
113.可以理解的是，为降低三维模型的载负量，所述遥端服务器12采用模型拼接的方式生成环境模型。具体的，所述三维语义深度点云还可进一步进行语义划分，进而得到环境对象主体和环境对象部件。所述环境对象主体和环境对象部件具有结构关系。所述遥端服务器12记录所述环境对象主体和环境对象部件的结构关系。
114.之后所述遥端服务器12根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型。所述预设模型库存储若干预设主体模型、若干预设部件模型。所述若干预设主体模型、若干预设部件模型采用三维体素块构建，在保证还原对象真实形状的同时也能保证建模速度。
115.之后所述遥端服务器12根据所述环境对象主体和环境对象部件的结构关系，拼接预设主体模型、预设部件模型，得到环境模型。最后所述遥端服务器12根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。同时所述遥端服务器12建立环境模型的网格索引，在地图渲染时根据环境模型的网格索引加载环境模型。
116.综上所述，本技术提供的地图生成系统100，通过对营运载具11进行改造，赋予营运载具11周边环境对象三维信息采集能力，降低了地图数据的采集成本。通过利用营运载具11覆盖范围广、覆盖频次高的公众服务属性，提高了地图数据的采集频率，进而提高了地图更新频率。
117.需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
118.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
119.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员
来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种基于营运载具的地图生成方法，其特征在于，应用于包括若干营运载具、遥端服务器的地图生成系统；所述营运载具具有单目摄影模块、边缘处理模块、定位模块、通信模块；所述地图生成方法包括以下步骤：营运载具执行巡航任务，基于定位模块采集具有时间序列的位置信息；基于通信模块获取定位误差；基于边缘处理模块，根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息；基于单目摄影模块采集具有时间序列的环境图像；基于边缘处理模块，根据具有时间序列的环境图像，生成深度点云特征图；基于边缘处理模块，根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图；基于边缘处理模块，根据具有时间序列的环境图像，分割具有语义的环境对象；基于边缘处理模块，根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语义深度点云；基于通信模块，发送三维语义深度点云至遥端服务器；遥端服务器根据三维语义深度点云，以三维体素块重建环境，生成环境地图。2.如权利要求1所述的基于营运载具的地图生成方法，其特征在于，营运载具于第一周期执行第一巡航任务，于第二周期执行第二巡航任务；所述第一巡航任务对应的巡航路径与所述第二巡航任务对应的巡航路径相同；所述营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述营运载具基于通信模块，发送对应第二巡航任务的三维语义深度点云至遥端服务器；所述方法还包括：所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。3.如权利要求1所述的基于营运载具的地图生成方法，其特征在于，所述若干营运载具至少包括执行第一巡航任务的第一营运载具、执行第二巡航任务的第二营运载具；所述第一巡航任务对应的巡航路径与所述第三巡航任务对应的巡航路径不完全相同；所述第一营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述第二营运载具基于通信模块，发送对应第三巡航任务的三维语义深度点云至遥端服务器；所述方法还包括：
所述遥端服务器根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。4.如权利要求1所述的基于营运载具的地图生成方法，其特征在于，所述基于边缘处理模块，根据具有时间序列的环境图像，生成深度点云特征图，具体包括：输入具有时间序列的环境图像至预训练单目深度估计模型，得到图像深度信息；输入具有时间序列的环境图像至预训练运动结构恢复模型，得到视觉位姿信息；根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。5.如权利要求1所述的基于营运载具的地图生成方法，其特征在于，所述遥端服务器根据三维语义深度点云，以三维体素块重建环境，生成环境地图，具体包括：记录环境对象的结构关系；根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型；以环境对象的结构关系，拼接预设主体模型、预设部件模型，生成环境模型；根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。6.一种地图生成系统，其特征在于，包括：若干营运载具，用于执行巡航任务，采集环境信息；遥端服务器，用于根据所述环境信息生成环境地图；所述营运载具包括：定位模块，用于采集具有时间序列的位置信息；单目摄影模块，用于采集具有时间序列的环境图像；通信模块，用于获取定位误差；还用于发送三维语义深度点云至遥端服务器；边缘处理模块，用于根据定位误差补偿具有时间序列的位置信息，生成具有时间序列的优化位置信息；还用于根据具有时间序列的环境图像，生成深度点云特征图；还用于根据具有时间序列的优化位置信息、深度点云特征图，生成具有优化位置信息的深度点云特征图；还用于根据具有时间序列的环境图像，分割具有语义的环境对象；还用于根据具有优化位置信息的深度点云特征图、具有语义的环境对象，生成三维语义深度点云；所述遥端服务器用于根据所述环境信息生成环境地图，具体用于根据三维语义深度点云，以三维体素块重建环境，生成环境地图。7.如权利要求6所述的地图生成系统，其特征在于，所述营运载具被配置为：于第一周期执行第一巡航任务，于第二周期执行第二巡航任务；所述第一巡航任务对应的巡航路径与所述第二巡航任务对应的巡航路径相同；所述营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述营运载具基于通信模块，发送对应第二巡航任务的三维语义深度点云至遥端服务器；
所述遥端服务器还用于：根据对应第一巡航任务的三维语义深度点云、对应第二巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。8.如权利要求6所述的地图生成系统，其特征在于，所述若干营运载具至少包括执行第一巡航任务的第一营运载具、执行第二巡航任务的第二营运载具；所述第一巡航任务对应的巡航路径与所述第三巡航任务对应的巡航路径不完全相同；所述第一营运载具基于通信模块，发送对应第一巡航任务的三维语义深度点云至遥端服务器；所述第二营运载具基于通信模块，发送对应第三巡航任务的三维语义深度点云至遥端服务器；所述遥端服务器还用于：根据对应第一巡航任务的三维语义深度点云、对应第三巡航任务的三维语义深度点云，确定不同的三维语义深度点云作为争议三维语义深度点云组；以预设评分策略，对争议三维语义深度点云组中的三维语义深度点云进行评分，生成评分结果；以三维体素块重建争议三维语义深度点云组中评分结果较高的三维语义深度点云，更新环境地图。9.如权利要求6所述的地图生成系统，其特征在于，所述边缘处理模块用于根据具有时间序列的环境图像，生成深度点云特征图，具体包括：输入具有时间序列的环境图像至预训练单目深度估计模型，得到图像深度信息；输入具有时间序列的环境图像至预训练运动结构恢复模型，得到视觉位姿信息；根据所述图像深度信息、所述视觉位姿信息，构建深度点云特征图。10.如权利要求6所述的地图生成系统，其特征在于，所述遥端服务器用于根据三维语义深度点云，以三维体素块重建环境，生成环境地图，具体包括：记录环境对象的结构关系；根据三维语义深度点云的语义信息，在预设模型库确定对应环境对象的预设主体模型、预设部件模型；以环境对象的结构关系，拼接预设主体模型、预设部件模型，生成环境模型；根据三维语义深度点云的位置信息，在预设地图空间放置环境模型，生成环境地图。

技术总结
本申请公开了一种基于营运载具的地图生成方法及系统，用以解决地图更新频率较慢的技术问题。其中，一种体素地图生成方案，应用于包括若干营运载具、遥端服务器的地图生成系统。所述营运载具具有单目摄影模块、边缘处理模块、定位模块、通信模块。通过对营运载具进行改造，赋予营运载具周边环境对象三维信息采集能力，降低了地图数据的采集成本。通过利用营运载具覆盖范围广、覆盖频次高的公众服务属性，提高了地图数据的采集频率，进而提高了地图更新频率。新频率。新频率。


技术研发人员：严传斌 张学森 訾连祥
受保护的技术使用者：北京道仪数慧科技有限公司
技术研发日：2023.06.26
技术公布日：2023/9/20