地图处理方法、装置及自移动设备与流程

1.本发明涉及智能设备技术领域，尤其涉及一种地图处理方法、装置及自移动设备。


背景技术：

2.现有的自移动的园艺设备(也可以称为自助园艺设备或者智能园艺设备或者自动园艺设备等)，如自动割草机，可以在无人照看或者控制的情况下进行自动割草，从而减少对使用者时间的占用，也可以减少使用者的重复劳动。
3.为了保证自移动设备可以在工作区域内工作，而不会走出工作区域造成工作时间浪费或者损伤自移动设备，或者是防止自移动设备碰撞到工作区域内的障碍物，需要建立工作区域的地图。例如，通过卫星定位、激光雷达、相机、轮速计和惯性测量单元(imu)等进行视觉建图。
4.现有的建图存在的问题在于，随着时间的推移，工作区域的结构、环境等可能出现变化，导致基于建立的地图不能准确地对自移动设备进行定位，导致自移动设备无法可靠地工作。


技术实现要素：

5.鉴于上述问题，提出了本发明实施例，其提供一种地图处理方法、及自移动设备，以至少解决现有的地图容易与真实工作区域的环境不符的问题。
6.本发明的一个或者多个实施例提供一种地图处理方法，其包括：获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一，所述工作状态信息包括下述至少之一：定位质量和工作区域覆盖率，所述定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数与所述自移动设备的总定位次数的比值、以及通过所述原始视觉特征地图成功定位时匹配的内点占总内点的比值中至少之一确定，实时障碍地图基于在移动过程中采集的实时图像获得；根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，所述原始视觉特征地图用于所述自移动设备在所述工作区域内的定位，所述原始障碍地图用于所述自移动设备的路径规划；若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。
7.根据本发明的另一方面，提供一种地图处理装置，其特征在于，包括：获取模块，用于获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一，所述工作状态信息包括下述至少之一：定位质量和工作区域覆盖率，所述定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数与所述自移动设备的总定位次数的比值、以及通过所述原始视觉特征地图成功定位时匹配的内点占总内点的比值中至少之一确定，实时障碍地图基于在移动过程中采集的实时图像获得；确定模块，用于根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，所述原始视觉特征地图用于所述自移动设
备在所述工作区域内的定位，所述原始障碍地图用于所述自移动设备的路径规划；更新模块，用于若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。
8.根据本发明的另一方面，提供一种自移动设备，其包括控制器，所述控制器用于执行前述的地图处理方法。
9.通过本实施例，基于自移动设备的当前次工作过程的工作状态信息和实时障碍地图确定是否对定位和导航用的原始视觉特征地图或者原始障碍地图进行更新，由于工作状态信息中包含定位质量和工作区域覆盖率且可以结合实时障碍地图确定障碍变化情况，因此保证了更新判断的准确性，既保证了能够及时更新原始视觉特征地图或者原始障碍地图，又避免了频繁更新造成的计算负载和资源浪费。在确定需要更新时，基于获取的工作区域的图像帧进行更新，从而保证了更新的原始视觉特征地图或者原始障碍地图的准确性，以此保证自移动设备可以及时适应环境变化，在环境产生变化时进行可靠地定位和导航。
附图说明
10.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1a为本技术的实施例一提供的地图处理方法的步骤流程图；
12.图1b为本技术的实施例一的自移动设备行走覆盖率示意图；
13.图2a为本技术的实施例二提供的地图处理方法的步骤流程图；
14.图2b为本技术的实施例二的原有障碍地图、实时障碍地图、以及障碍变化的示意图；
15.图3为本发明的实施例三的地图处理装置的结构框图。
具体实施方式
16.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.为了便于说明和理解，在对自移动设备的控制方法进行说明之前，对自移动设备的结构和工作场景进行简略说明如下：
18.在本实施例中，自移动设备可以是自动割草机，当然，在其他实施例中，该自移动设备还可以是其他自助园艺设备。或者，自移动设备其他可以实现自行走的设备。
19.自动割草机可以用于对草坪进行修剪，以保证草坪内的草的高度满足需求。自动割草机包括定位组件。定位组件可以包括卫星定位、超宽带无线通信定位(uwb)、相机、惯性测量单元(imu)和轮速计中的一种或几种。通过定位组件可以检测出自动割草机当前时刻的位姿。位姿包括其位置和姿态。位置可以采用其在定位坐标系的x轴、y轴和z轴的坐标表示。姿态可以采用其相对x轴、y轴和z轴的角度确定。
20.以通过相机进行视觉三维重建(structure from motion，sfm)建图为例，自动割草机在工作区域内移动，且每隔一段时间相机采集一次所在位置处的图像帧。移动后，基于采集的图像帧，通过训练的第一神经网络模型对实时图像进行特征提取，以获得该图像帧的视觉特征，同时基于视觉三维重建算法计算出采集该图像帧时自动割草机的位姿，根据该位姿和视觉特征确定原始视觉特征地图，这样在自动割草机于工作区域内移动完成后就可以获得完整的原始视觉特征地图。
21.在视觉三维重建建图过程中，可以使用其他传感器(如卫星定位传感器、激光雷达、相机、轮速计和imu等)，协助进行定位，从而实现建图。
22.类似地，针对采集的图像帧还可以通过训练的第二神经网络模型对实时图像进行障碍物识别，从而确定图像帧中各像素的通行状态，如障碍物(如树、石头、坑、人、动物或者不可通行的边界)对应的像素为不可通行状态，草坪对应的像素为可通行状态。根据图像对应的位姿确定图像的像素在原始障碍地图中对应的像素，以图像的像素的通行状态作为其在原始障碍地图中对应像素的通行状态。这样在自动割草机于工作区域内移动完成后就可以获得完整的原始障碍地图。
23.在建立原始视觉特征地图和原始障碍地图后，原始视觉特征地图用于自动割草机在所述工作区域内的定位，原始障碍地图用于对自动割草机进行路径规划。
24.如，后续自动割草机再次在工作区域内工作时，根据原始障碍地图确定规划路径。在沿着规划路径移动的过程中，相机采集所在位置的图像帧，并使用第一神经网络模型提取图像帧的特征数据，并根据特征数据和原始视觉特征地图确定自动割草机的实时位姿。根据实时位姿可以对自移动割草机进行导航，从而使其沿着规划路径移动。
25.为了确保原始障碍地图和原始视觉特征地图能够满足使用需求，可以在适当的时机执行地图处理方法，以在需要时对地图进行更新。
26.下面对地图处理方法的实现过程进行说明如下：
27.实施例一
28.参照图1a，示出了本技术的实施例一的地图处理方法的步骤流程示意图。
29.该方法包括以下步骤：
30.步骤s102：获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一。
31.所述工作状态信息包括下述至少之一：定位质量和工作区域覆盖率。
32.其中，定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数与所述自移动设备的总定位次数的比值确定。
33.自移动设备在工作过程每隔一段时间会进行一次视觉定位，如采集所在环境的实时图像，将实时图像的特征数据和原始视觉特征数据进行匹配，根据匹配的特征点确定自移动设备当前时刻的位姿。若这种方式未能匹配出当前时刻的位姿，则视觉定位失败，可以通过惯性测量单元、轮速计或者卫星定位等方式确定自移动设备当前时刻的位姿。
34.自移动设备在一个完整的工作过程中可能进行n次定位，其中，通过原始视觉特征地图成功定位的次数与总定位次数(即n)的比值可以作为成功定位频率，该成功定位频率可以作为定位质量。
35.或者，定位质量可以通过所述原始视觉特征地图成功定位时匹配的内点占总内点
的比值确定。例如，在通过原始视觉特征地图成功定位时，将匹配上的内点数量与总内点数量的比值作为定位质量。
36.或者，可以将前述的两种方式结合，以确定定位质量。例如，将匹配的内点数量映射到[0-1]之间，然后将映射值与成功频率相乘，以相乘结果作为定位质量。
[0037]
在一示例中，可以直接计算整个工作区域的定位质量，也可以将工作区域划分为多个分区，分别计算每个分区的定位质量。
[0038]
所述工作区域覆盖率为所述当前次工作过程中所述自移动设备在工作区域内移动覆盖的面积与工作区域总面积之间的比值。如图1b所示，其示出了一次工作过程自移动设备在工作区域内移动覆盖位置的示意图。图1b中灰色部分表示自移动设备到达的位置，黑色部分表示工作区域可通行但未到达位置，白色部分表示边界或者障碍物等不可通行位置。
[0039]
将灰色位置对应的面积即为移动覆盖面积，其与工作区域总面积(即所有可通行面积)的比值可以作为工作区域覆盖率。工作区域覆盖率和定位质量可以在一定程度上反映工作区域的环境变化，因此根据工作区域覆盖率和定位质量可以确定是否需要更新原始视觉特征地图。
[0040]
当前次工作过程中的实时障碍地图基于在移动过程中采集的实时图像进行视觉定位获得。例如，通过对实时图像进行图像识别确定实时图像中各像素的通行状态，再根据实时图像对应的实时位姿，将各像素映射到实时障碍地图中，从而确定实时障碍地图中像素的通行状态。通行状态包括可通行状态和不可通行状态。
[0041]
步骤s104：根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一。
[0042]
如前所述，所述原始视觉特征地图用于所述自移动设备在所述工作区域内的定位。所述原始障碍地图用于所述自移动设备的路径规划。
[0043]
一种情况中，若工作状态信息的定位质量低于质量阈值或者工作区域覆盖率低于覆盖阈值，则确定对原始视觉特征地图进行更新。需要说明的是，质量阈值和覆盖阈值可以根据需要确定。例如，原始视觉特征数据首次使用时的定位质量为0.8，则质量阈值可以为0.4，原始视觉特征数据首次使用时的定位质量为0.5，则质量阈值可以为0.3，也即质量阈值可以根据原始视觉特征数据首次使用时的定位质量确定。
[0044]
覆盖阈值与质量阈值类似，其也可以根据原始视觉特征数据和实时障碍地图首次使用时的覆盖率确定，故不再赘述。
[0045]
在另一种情况中，若实时障碍地图和原始障碍地图之间的障碍变化面积大于面积阈值，则确定更新原始障碍地图。
[0046]
当然，在其他实施例中，确定是否更新原始障碍地图或者原始视觉特征地图还可以采用其他方式，对此不作限制。
[0047]
若确定更新原始障碍地图和原始视觉特征地图中至少之一，则执行步骤s106，反之，若确定不更新，则可以终止。
[0048]
步骤s106：若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。
[0049]
一种情况中，若确定更新原始障碍地图，则可以驱动自移动设备在工作区域内移
动，移动后基于视觉三维重建算法建立新的原始障碍地图。类似地，若确定更新原始视觉特征地图，也可以采用视觉三维重建算法建图，故不再赘述。
[0050]
在另一种情况中，若确定更新原始障碍地图或者原始视觉特征地图，也可以根据已有的视觉障碍地图规划出一个规划路径，并控制自移动设备按照规划路径移动，在移动后使用视觉三维重建算法建立新的原始障碍地图或者原始视觉特征数据。
[0051]
当然，也可以采用其他方式对原始视觉特征地图或者原始障碍地图进行更新，对此不作限制。
[0052]
通过本实施例，基于自移动设备的当前次工作过程的工作状态信息和实时障碍地图确定是否对定位和导航用的原始视觉特征地图或者原始障碍地图进行更新，由于工作状态信息中包含定位质量和工作区域覆盖率且可以结合实时障碍地图确定障碍变化情况，因此保证了更新判断的准确性，既保证了能够及时更新原始视觉特征地图或者原始障碍地图，又避免了频繁更新造成的计算负载和资源浪费。在确定需要更新时，基于获取的工作区域的图像帧进行更新，从而保证了更新的原始视觉特征地图或者原始障碍地图的准确性，以此保证自移动设备可以及时适应环境变化，在环境产生变化时进行可靠地定位和导航。
[0053]
实施例二
[0054]
参照图2a，示出了本技术实施例二的地图处理方法的步骤流程图。
[0055]
在本实施例中，所述方法包括以下步骤：
[0056]
步骤s202：获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一。
[0057]
所述工作状态信息包括下述至少之一：定位质量和工作区域覆盖率。如前一实施例所述，定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数、以及通过所述原始视觉特征地图成功定位时匹配的内点占总内点的比值中至少之一与所述自移动设备的总定位次数的比值确定。
[0058]
例如，定位质量可以通过下述方式获取：将工作区域划分为多个分区，每次工作过程完成后，统计各分区的视觉定位的成功频率和匹配质量，根据其计算该分区在当前次工作过程的定位质量。其中，成功频率可以为该分区进行视觉定位的成功次数与总视觉定位次数的比值。匹配质量可以根据每次进行匹配时实时图像的特征数据与原始特征数据地图中匹配的内点(也称特征点)数量或者匹配的内点占总内点的比值确定，以此保证定位质量的准确性。
[0059]
工作区域覆盖率为所述当前次工作过程中所述自移动设备在工作区域内移动覆盖的面积与工作区域总面积之间的比值。
[0060]
实时障碍地图基于在移动过程中采集的实时图像获得，这样可以确保障碍识别的准确性。例如，其可以通过下述过程实现：
[0061]
过程a1：在当前次工作过程中，所述自移动设备采集所述工作区域的实时图像，并将所述实时图像的特征数据和所述原始视觉特征地图匹配。
[0062]
针对采集的实时图像可以将其输入到第一神经网络模型中获得对应的特征数据，然后将特征数据和原始视觉特征地图进行匹配，获得匹配结果。匹配结果可以指示匹配到的特征点。
[0063]
过程b1：根据匹配结果，确定所述自移动设备在所述原始视觉特征地图的坐标系
下的实时位姿。
[0064]
基于匹配的特征点在建立原始视觉特征地图时采集的图像帧中的位置、采集该图像帧时自移动设备的位姿，特征数据中的特征点与匹配的特征点之间的关系，可以计算出自移动设备的实时位姿。这样就实现了基于原始视觉特征数据对自移动设备进行定位。
[0065]
过程c1：根据所述实时位姿和所述实时图像，确定当前次工作过程获得的实时障碍地图。
[0066]
在一示例中，过程c1可以实现为：对所述实时图像进行可通行区域识别，以确定所述实时图像中像素的通行状态；根据所述实时位姿，将所述实时图像映射到所述原始障碍地图所在坐标系中，以确定所述实时图像中像素在所述原始障碍地图所在坐标系中对应像素的通行状态；根据所述实时图像中像素在所述原始障碍地图所在坐标系中各像素新的通行状态，确定所述实时障碍地图。这种方式可以快速地确定实时障碍地图，且保证了实时障碍地图的准确性。
[0067]
可通行区域识别可以使用训练的第二神经网络模型，对实时图像进行语义分割，即确定出实时图像中的可通行区域和不可通行区域。其可以识别出实时图像中的草、坑、树木、石头、人、动物等等。其中，草等对应的像素的通行状态为可通行状态，坑、树木等障碍物或者边界对应的像素的通行状态为不可通行状态。
[0068]
根据实时位姿可以将实时图像中的像素映射到原始障碍地图的坐标系中，确定实时图像的像素在原始障碍地图的坐标系中对应的像素，并以实时图像中像素的通行状态作为原始障碍地图坐标系中相应像素新的通行状态，这样新的障碍地图就是实时障碍地图。
[0069]
例如，实时图像中的像素1的通行状态为可通行状态，将其映射到原始障碍地图坐标系统中对应为像素a，则将像素a的通行状态确定为可通行状态。
[0070]
步骤s204：根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一。
[0071]
在一种可行方式中，根据所述实时障碍地图，确定是否更新所述自移动设备使用的原始障碍地图可以通过下述子步骤实现：
[0072]
子步骤s2041：根据所述原始障碍地图和所述实时障碍地图，确定所述实时障碍地图的障碍变化面积。
[0073]
其中，障碍变化面积可以通过下述过程实现：
[0074]
过程a2：对所述原始障碍地图和所述实时障碍地图进行分区，以获得所述原始障碍地图对应的至少一个第一分区和所述实时障碍地图对应的至少一个第二分区。
[0075]
分区方式可以根据需要确定，例如，将原始障碍地图和实时障碍地图切分为多个矩形的分区，为了便于描述原始障碍地图切分出的分区记作第一分区，实时障碍地图切分出的分区记作第二分区。
[0076]
或者，在其他切分方式中，切分出的分区形状可以和相机采集的实时图像在原始障碍地图中映射出的形状一致，如映射为扇形，则按照扇形切分出分区。
[0077]
过程b2：根据第一分区和第二分区中指示同一位置的像素的通行状态，确定各所述第二分区相对相应的所述第一分区通行状态不同的像素数量。
[0078]
针对每个第二分区，确定第二分区相对第一分区的通行状态不同的像素数量。如第二分区1和原始障碍地图中的第一分区1指示同一位置，可以比较第二分区1中各像素的
通行状态和第一分区1中对应像素的通行状态，进而确定先有后无的障碍物(如图2b中左下角图所示，即其中白色部分)、以及先无后有的障碍物(如图2b中右下角图所示，即其中白色部分)，先有后无的障碍物的像素数量加上先无后有的障碍物的像素数量即为通行状态不同的像素数量。图2b中原始障碍地图如图2b中左上角图所示，实时障碍地图如图2b中右上角图所示，图2b中灰色部分为可通行区域，白色为障碍物对应的不可通行区域，黑色为未知区域。
[0079]
在一具体示例中，第二分区1中的像素a和第一分区1中的像素a’对应，若第一分区1中的像素a’的通行状态为可通行(也就是该位置没有障碍物)，而第二分区1中的像素a的通行状态为不可通行(也就是该位置出现了障碍物)，则确定像素a为通行状态不同的像素。
[0080]
过程c2：根据各所述第二分区的通行状态变化的像素数量，确定所述实时障碍地图的障碍变化面积。
[0081]
通行状态变化的像素数量乘以像素对应的实际面积就可以作为所述实时障碍地图的障碍变化面积。若每个像素对应的实际面积相同，则可以将像素数量等同于实时障碍地图的障碍变化面积。
[0082]
子步骤s2042：若所述障碍变化面积超过面积阈值，则确定更新所述原始障碍地图。
[0083]
面积阈值可以根据需要确定，面积阈值可以根据经验确定，或者，面积阈值可以根据工作区域内所有障碍物的总面积确定，如，面积阈值为总面积的十分之一等。
[0084]
若障碍变化面积超过面积阈值，则表示障碍物可能有新增或者减少，或者障碍物的位置发生了移动，此种情况下可以确定更新原始障碍地图，或者，确定更新原始障碍地图和原始视觉特征地图，以便更好地规划路径。
[0085]
通过对工作区域分区，并设置面积阈值可以有效避免由于位姿误差造成的障碍物的位置微小变化导致误判和误更新。也就是说，如果某个分区内的障碍面积变化较小，可能是由于位姿误差造成，则该变化可以不计入这个分区的变化面积，以避免多个分区的较小变化加起来变化面积较大但实际没有明显的障碍变化。这样提升了准确性。
[0086]
可选地，在障碍变化面积超过面积阈值，且定位质量大于或等于质量阈值，则确定仅更新原始障碍地图。这样保证了能够及时、准确地进行更新，又不需要频繁地进行更新和计算，减少了计算负载，节省了能源。
[0087]
在另一种可行方式中，也可以将实时障碍地图发送给用户，由用户确定是否需要更新原始障碍地图，这样可以更好地规避工作区域内出现临时障碍物时，频繁地更新原始障碍地图造成资源浪费的问题。为此，确定是否更新原始障碍地图和原始视觉特征地图可以通过下述过程实现：
[0088]
过程a3：根据所述实时障碍地图生成更新请求指令，并将所述更新请求指令发送至智能终端，以指示所述智能终端展示所述实时障碍地图和用于请求确认是否更新原始视觉特征地图和原始障碍地图中的至少之一的请求信息。
[0089]
为了便于用户查看，自移动设备可以通过有线网络或者无线网络与智能终端(如智能手机、个人电脑等等)连接，并向智能终端发送更新请求指令，更新请求指令中可以携带实时障碍地图的相关信息，以便智能终端上展示实时障碍地图和相关的请求信息。请求信息例如询问用户是否更新原始视觉特征地图或者是否更新原始障碍地图的说明文字以
及控制按钮等。
[0090]
用户通过观察实时障碍地图可以确定工作区域内变化的障碍是否是临时障碍，若是则可以不更新原始视觉特征地图和原始障碍地图，此时其可以通过智能终端输入指示不更新的操作，智能终端根据用户的操作生成用于指示不更新原始视觉特征地图和原始障碍地图的响应消息，并发送给自移动设备。
[0091]
或者，用户确定工作区域内的障碍变化需要更新，则可以通过智能终端输入指示更新原始视觉特征地图、或者原始障碍地图或者两个均更新的操作，智能终端接收到用户的操作，并根据该操作生成用于指示更新原始视觉特征地图、或者原始障碍地图或者两个均更新的响应消息，并发送给自移动设备。
[0092]
过程b3：获取基于所述请求信息的反馈操作生成的响应消息。
[0093]
过程c3：根据所述响应消息确定是否更新所述原始视觉特征地图和原始障碍地图中的至少之一。
[0094]
自移动设备接收到响应消息，从而更加响应消息的指示确定是否更新，以及在更新时更新哪个地图。
[0095]
在又一种可行方式中，确定是否更新原始视觉特征地图和原始障碍地图中的至少之一，可以实现为：若所述工作状态信息中定位质量低于质量阈值或者工作区域覆盖率低于覆盖阈值，则确定更新所述自移动设备使用的原始视觉特征地图和原始障碍地图。
[0096]
在定位质量较低或者工作区域覆盖率较低的情况下，表示自移动设备难以通过原始视觉特征地图和原始障碍地图进行较好的定位和工作，因此需要对其进行更新，以保证工作效果。
[0097]
或者，也可以通过当前时刻的时间和天气信息，确定是否需要更新。如，时间可以确定季节，若季节相差比较大可以进行更新。若天气变化较大，也可以进行更新，如当天天气为雪天，会导致环境变化较大，则可以确定更新。
[0098]
不论通过上述的那种方式，若确定更新原始视觉特征地图和原始障碍地图中的至少之一，则执行步骤s206，反之，若确定不更新，则可以终止。
[0099]
步骤s206：若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。
[0100]
一种可行的对原始视觉特征地图或者原始障碍地图进行更新的方式可以通过下述子步骤实现：
[0101]
子步骤s2061：获取所述工作区域的多个图像帧。
[0102]
一种情况中，图像帧可以是驱动自移动设备在所述工作区域内随机移动，并在移动过程中采集所述工作区域的图像帧，也就是通过相机拍摄的所在位置处的实时图像。
[0103]
或者，在另一种情况中，图像帧可以是在所述工作区域内按照规划路线移动，并在移动过程中采集所述工作区域的图像帧。所述规划路线为根据所述原始视觉特征地图和原始障碍地图规划的路径。这样可以提升自移动设备在工作区域内的移动效率，尽量用最短的路径覆盖工作区域的所有面积，从而提升了图像帧的采集效率，并提升更新的速度。
[0104]
或者，在又一种情况中，选取历史工作过程的已有图像帧。这种已有图像帧可以是最近一次工作过程中获得的实时图像的部分或者全部。或者，这种已有图像帧可以是保存的多次工作过程中获得的图像帧，可以从多次工作过程中选取覆盖率较高的一个或多个工
作过程中的部分或全部图像帧作为本次更新使用的图像帧。
[0105]
或者，在选取图像帧时也可以确定所述工作区域中障碍物位置变化或者视觉定位失败的目标区域，在所述目标区域内采集新的图像帧，并选取与所述目标区域之外的剩余区域对应的已有图像帧。如，工作区域内划分为多个区域，其中一些区域有障碍物变化，或者在该区域内视觉定位失败的概率较高，则将其确定为目标区域，并采集目标区域内的新的图像帧。对于目标区域之外的剩余区域，可以使用前一次工作过程或者当前次工作过程采集的实时图像作为图像帧，这样可以提升效率，并充分利用已有图像帧。
[0106]
子步骤s2062：根据所述多个图像帧，确定所述图像帧的采集位姿、所述图像帧中像素的通行状态、新的所述原始视觉特征地图和新的原始障碍地图。
[0107]
基于获取的图像帧可以使用第一神经网络模型对其进行识别，从而获得视觉定位特征图。基于视觉定位特征图中各特征点之间的位置关系可以采用定位准确度较高的sfm方式计算出该图像帧对应的自移动设备的采集位姿。同时在计算采集位姿的过程中也就确定了图像帧中各特征点在原始视觉特征地图中的位置，也即获得了新的原始视觉特征地图。
[0108]
类似地，针对获取的图像帧通过第二神经网络模型可以对图像帧进行特征识别，从而确定图像帧中各像素的通行状态，其中，障碍物对应的像素的通行状态为不可通行，障碍物之外的草地等区域对应的像素的通行状态为可通行等。基于图像帧中各像素的通行状态和采集位姿可以确定各像素在原始障碍地图中对应的像素，并以图像帧中像素的通行状态更新原始障碍地图中对应的像素的通行状态，以此获得新的原始障碍地图。
[0109]
可选地，若更新的原始障碍地图和原始视觉特征地图的坐标系相对更新前的原始障碍地图或者原始视觉特征地图的坐标系发生变化，则该方法还可以包括以下步骤，以对坐标系进行对齐。
[0110]
步骤s208：对更新的地图与原始的地图进行坐标对齐。
[0111]
为了便于描述，所述更新的地图可以为更新的所述原始视觉特征地图或者更新的原始障碍地图。所述原始的地图可以为更新前的原始视觉特征地图或者更新前的原始障碍地图。
[0112]
在一种可行方式中，在原始的地图建立过程中若未使用卫星定位将原始的地图对应在卫星定位坐标系内，则进行坐标对齐的方式可以通过下述子步骤实现：
[0113]
子步骤s2081：选取用于生成所述原始的地图的第一图像帧和用于生成所述更新的地图的第二图像帧，进行视觉建图生成参考地图。
[0114]
例如，原始的地图通过第一图像帧1～5生成，更新的地图通过第二图像帧a～h生成，在生成参考地图时，可以从第一图像帧1～5中选取部分或者全部，在第二图像帧a～h中选取部分或全部。例如，选取第一图像帧1、3，第二图像帧e、f和h。基于选取出的第一图像帧1、3以及第二图像帧e、f和h采用与生成原始的地图相同或类似的视觉三维重建算法，建立参考地图。
[0115]
子步骤s2082：根据所述第一图像帧在所述参考地图中的第一参考位姿、所述第一图像帧在所述原始的地图中的第一位姿、所述第二图像帧在所述参考地图中的第二参考位姿、以及所述第二图像帧在所述更新的地图中的第二位姿，确定所述更新的地图的坐标系与所述原始的地图的坐标系的映射关系。
[0116]
被选取的第一图像帧在原始的地图中具有对应的位姿，为了便于描述将其记作第一位姿，其在参考地图中也有对应的位姿，记作第一参考位姿。类似地，被选取的第二图像帧在更新的地图中具有对应的位姿，记作第二位姿，其在参考地图中也有对应的位姿，记作第二参考位姿。
[0117]
由于第一参考位姿和第二参考位姿在同一坐标系下，而第一位姿和第一参考位姿是同一物体或者同样几个物体在不同坐标系下的表示，第二位姿和第二参考位姿也是同一物体或者同样几个物体在不同坐标系下的表示，而第一位姿对应的物体和第二位姿对应的物体在空间上的相对位姿是固定的，因此，基于第一参考位姿和第一位姿之间的转换关系，第一参考位姿和第二参考位姿之间的关系、以及第二参考位姿和第二位置之间的转换关系就可以确定第一位姿和第二位姿之间的转换关系，从而实现原始的地图和更新的地图之间的坐标对齐。
[0118]
在另一种可行方式中，在原始的地图建立过程中若使用卫星定位将原始的地图对应在卫星定位坐标系内，则进行坐标对齐的方式可以实现为：根据所述更新的地图在卫星定位坐标系内的位姿和所述原始的地图在所述卫星定位坐标系内的位姿，确定所述更新的地图的坐标系和所述原始的地图的坐标系之间的映射关系。
[0119]
在已经将原始的地图的坐标系映射到卫星定位坐标系内的情况下，可以将更新的地图也映射到卫星定位坐标系内，再根据两者映射到卫星定位坐标系内的位姿的转换关系，确定原始的地图与更新的地图之间的映射关系，以此实现坐标对齐。
[0120]
或者，在又一种可行方式中，若更新的地图中使用了工作过程中采集的图像帧(也就是实时图像)，而在工作过程中在根据图像帧进行定位时会计算图像帧在原始的地图中的实时位姿，则可以根据该实时位姿和该图像帧在更新的地图中的位姿，确定原始的地图和更新的地图之间的映射关系，进而实现原始的地图和更新的地图之间的坐标系对齐。
[0121]
该方法可以解决工作区域的场景随季节时令变化或者随工作区域中障碍物的移动而变化时导致的无法定位的问题，由于该原始视觉特征地图和原始障碍地图通过视觉建图和定位，因此不需要铺设定位用线缆，而基于定位和图像语义分割识别工作区域的变化，用自移动设备工作过程中的实时图像自动判断场景变化并自动更新实时障碍地图等，从而提升了智能性。
[0122]
通过本实施例，基于实时障碍地图和原始障碍地图的障碍物面积变化判断工作区域内是否发生障碍物变化，其中，实时障碍地图根据对自移动设备的视觉定位和对采集的实时图像进行语义分割产生的，保证了准确性和判断的及时性。
[0123]
在建立原始视觉特征地图和原始障碍地图时使用定位精度较高的计算方法，从而保证建立的原始视觉特征地图和原始障碍地图的准确度，同样的，在更新原始障碍地图或者原始视觉特征地图时也采用精度较高的定位计算方法，而在基于原始视觉特征地图进行定位时可以采用定位精度稍低但算力负载较小的计算方法，以保证定位快速。
[0124]
实施例三
[0125]
参照图3，示出了本技术实施例三的地图处理装置的结构框图。
[0126]
该装置包括：
[0127]
获取模块302，用于获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一，所述工作状态信息包括下述至少之一：定位质量和工作区
域覆盖率，实时障碍地图基于在移动过程中采集的实时图像获得；
[0128]
确定模块304，用于根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，所述原始视觉特征地图用于所述自移动设备在所述工作区域内的定位，所述原始障碍地图用于所述自移动设备的路径规划；
[0129]
更新模块306，用于若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。
[0130]
可选地，所述获取模块302用于在获取自移动设备在工作区域内当前次工作过程的实时障碍地图时，在当前次工作过程中，所述自移动设备采集所述工作区域的实时图像，并将所述实时图像的特征数据和所述原始视觉特征地图匹配；根据匹配结果，确定所述自移动设备在所述原始视觉特征地图的坐标系下的实时位姿；根据所述实时位姿和所述实时图像，确定当前次工作过程获得的实时障碍地图。
[0131]
可选地，所述获取模块302用于在根据所述实时位姿和所述实时图像，确定当前次工作过程获得的实时障碍地图时，对所述实时图像进行可通行区域识别，以确定所述实时图像中像素的通行状态；根据所述实时位姿，将所述实时图像映射到所述原始障碍地图所在坐标系中，以确定所述实时图像中像素在所述原始障碍地图中对应像素的通行状态；根据所述原始障碍地图中对应像素的通行状态，确定所述实时障碍地图。
[0132]
可选地，确定模块304用于在根据所述实时障碍地图，确定是否更新所述自移动设备使用的原始障碍地图时，根据所述原始障碍地图和所述实时障碍地图，确定所述实时障碍地图的障碍变化面积；若所述障碍变化面积超过面积阈值，则确定更新所述原始障碍地图。
[0133]
可选地，所述确定模块304用于在根据所述原始障碍地图和所述实时障碍地图，确定所述实时障碍地图的障碍变化面积时，对所述原始障碍地图和所述实时障碍地图进行分区，以获得所述原始障碍地图对应的至少一个第一分区和所述实时障碍地图对应的至少一个第二分区；根据第一分区和第二分区中指示同一位置的像素的通行状态，确定各所述第二分区相对相应的所述第一分区通行状态变化的像素数量；根据各所述第二分区的通行状态变化的像素数量，确定所述实时障碍地图的障碍变化面积。
[0134]
可选地，所述定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数与所述自移动设备的总定位次数的比值确定；所述工作区域覆盖率为所述当前次工作过程中所述自移动设备在工作区域内移动覆盖的面积与工作区域总面积之间的比值。
[0135]
可选地，所述确定模块304用于在根据所述工作状态信息，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一时，若所述工作状态信息中定位质量低于质量阈值或者工作区域覆盖率低于覆盖阈值，则确定更新所述自移动设备使用的原始视觉特征地图和原始障碍地图。
[0136]
可选地，确定模块304，用于在根据所述实时障碍地图，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一时，根据所述实时障碍地图生成更新请求指令，并将所述更新请求指令发送至智能终端，以指示所述智能终端展示所述实时障碍地图和用于请求确认是否更新原始视觉特征地图和原始障碍地图中的至少之一的请求信息；获取基于所述请求信息的反馈操作生成的响应消息；根据所述响应消息确定
是否更新所述原始视觉特征地图和原始障碍地图中的至少之一。
[0137]
可选地，所述更新模块306包括：获取所述工作区域的多个图像帧；根据所述多个图像帧，确定所述图像帧的采集位姿、所述图像帧中像素的通行状态、新的所述原始视觉特征地图和新的原始障碍地图。
[0138]
可选地，更新模块306用于在获取所述工作区域的多个图像帧时，在所述工作区域内随机移动，并在移动过程中采集所述工作区域的图像帧；或者，在所述工作区域内按照规划路线移动，并在移动过程中采集所述工作区域的图像帧，所述规划路线为根据所述原始视觉特征地图和原始障碍地图规划的路径；或者，选取历史工作过程的已有图像帧。
[0139]
可选地，所述更新模块306在选取历史工作过程的已有图像帧时，确定所述工作区域中障碍物位置变化或者视觉定位失败的目标区域，在所述目标区域内采集新的图像帧，并选取与所述目标区域之外的剩余区域对应的已有图像帧。
[0140]
可选地，所述装置还包括：
[0141]
对齐模块308，用于对更新的地图与原始的地图进行坐标对齐，所述更新的地图可以为更新的所述原始视觉特征地图或者更新原始障碍地图，所述原始的地图可以为更新前的原始视觉特征地图或者更新前的原始障碍地图。
[0142]
可选地，所述对齐模块308用于在对更新的地图与原始的地图进行坐标对齐时，选取用于生成所述原始的地图的第一图像帧和用于生成所述更新的地图的第二图像帧，进行视觉建图生成参考地图；根据所述第一图像帧在所述参考地图中的第一参考位姿、所述第一图像帧在所述原始的地图中的第一位姿、所述第二图像帧在所述参考地图中的第二参考位姿、以及所述第二图像帧在所述更新的地图中的第二位姿，确定所述更新的地图的坐标系与所述原始的地图的坐标系的映射关系。
[0143]
可选地，所述对齐模块308用于在对更新的地图与原始的地图进行坐标对齐时，根据所述更新的地图在卫星定位坐标系内的位姿和所述原始的地图在所述卫星定位坐标系内的位姿，确定所述更新的地图的坐标系和所述原始的地图的坐标系之间的映射关系。
[0144]
该装置能够实现上述方法对应的效果，故不再赘述。
[0145]
实施例四
[0146]
本实施例中，提供一种自移动设备，其包括控制器，所述控制器用于执行前述的地图处理方法，并实现相应的效果，对此不再赘述。
[0147]
需要说明的是，在本发明的描述中，术语“第一”、“第二”仅用于方便描述不同的部件或名称，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
[0148]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0149]
需要说明的是，虽然结合附图对本发明的具体实施例进行了详细地描述，但不应理解为对本发明的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属于本发明的保护范围。
[0150]
本发明实施例的示例旨在简明地说明本发明实施例的技术特点，使得本领域技术人员能够直观了解本发明实施例的技术特点，并不作为本发明实施例的不当限定。
[0151]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种地图处理方法，其特征在于，包括：获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一，所述工作状态信息包括下述至少之一：定位质量和工作区域覆盖率，所述定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数与所述自移动设备的总定位次数的比值、以及通过所述原始视觉特征地图成功定位时匹配的内点占总内点的比值中至少之一确定，实时障碍地图基于在移动过程中采集的实时图像获得；根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，所述原始视觉特征地图用于所述自移动设备在所述工作区域内的定位，所述原始障碍地图用于所述自移动设备的路径规划；若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。2.根据权利要求1所述的方法，其特征在于，所述获取自移动设备在工作区域内当前次工作过程的实时障碍地图，包括：在当前次工作过程中，所述自移动设备采集所述工作区域的实时图像，并将所述实时图像的特征数据和所述原始视觉特征地图匹配；根据匹配结果，确定所述自移动设备在所述原始视觉特征地图的坐标系下的实时位姿；根据所述实时位姿和所述实时图像，确定当前次工作过程获得的实时障碍地图。3.根据权利要求2所述的方法，其特征在于，所述根据所述实时位姿和所述实时图像，确定当前次工作过程获得的实时障碍地图，包括：对所述实时图像进行可通行区域识别，以确定所述实时图像中像素的通行状态；根据所述实时位姿，将所述实时图像映射到所述原始障碍地图所在坐标系中，以确定所述实时图像中像素在所述原始障碍地图所在坐标系中对应像素的通行状态；根据所述实时图像中像素在所述原始障碍地图所在坐标系中对应像素的通行状态，确定所述实时障碍地图。4.根据权利要求1-3中任一项所述的方法，其特征在于，根据所述实时障碍地图，确定是否更新所述自移动设备使用的原始障碍地图，包括：根据所述原始障碍地图和所述实时障碍地图，确定所述实时障碍地图的障碍变化面积；若所述障碍变化面积超过面积阈值，则确定更新所述原始障碍地图。5.根据权利要求4所述的方法，其特征在于，所述根据所述原始障碍地图和所述实时障碍地图，确定所述实时障碍地图的障碍变化面积，包括：对所述原始障碍地图和所述实时障碍地图进行分区，以获得所述原始障碍地图对应的至少一个第一分区和所述实时障碍地图对应的至少一个第二分区；根据第一分区和第二分区中指示同一位置的像素的通行状态，确定各所述第二分区相对相应的所述第一分区通行状态不同的像素数量；根据各所述第二分区的通行状态变化的像素数量，确定所述实时障碍地图的障碍变化面积。
6.根据权利要求1所述的方法，其特征在于，所述定位质量所述工作区域覆盖率为所述当前次工作过程中所述自移动设备在工作区域内移动覆盖的面积与工作区域总面积之间的比值。7.根据权利要求1所述的方法，其特征在于，所述根据所述工作状态信息，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，包括：若所述工作状态信息中定位质量低于质量阈值或者工作区域覆盖率低于覆盖阈值，则确定更新所述自移动设备使用的原始视觉特征地图和原始障碍地图。8.根据权利要求1所述的方法，其特征在于，根据所述实时障碍地图，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，包括：根据所述实时障碍地图生成更新请求指令，并将所述更新请求指令发送至智能终端，以指示所述智能终端展示所述实时障碍地图和用于请求确认是否更新原始视觉特征地图和原始障碍地图中的至少之一的请求信息；获取基于所述请求信息的反馈操作生成的响应消息；根据所述响应消息确定是否更新所述原始视觉特征地图和原始障碍地图中的至少之一。9.根据权利要求1所述的方法，其特征在于，所述获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新，包括：获取所述工作区域的多个图像帧；根据所述多个图像帧，确定所述图像帧的采集位姿、所述图像帧中像素的通行状态、新的所述原始视觉特征地图和新的原始障碍地图。10.根据权利要求9所述的方法，其特征在于，所述获取所述工作区域的多个图像帧，包括：在所述工作区域内随机移动，并在移动过程中采集所述工作区域的图像帧；或者，在所述工作区域内按照规划路线移动，并在移动过程中采集所述工作区域的图像帧，所述规划路线为根据所述原始视觉特征地图和原始障碍地图规划的路径；或者，选取历史工作过程的已有图像帧。11.根据权利要求10所述的方法，其特征在于，所述选取历史工作过程的已有图像帧，包括：确定所述工作区域中障碍物位置变化或者视觉定位失败的目标区域，在所述目标区域内采集新的图像帧，并选取与所述目标区域之外的剩余区域对应的已有图像帧。12.根据权利要求1所述的方法，其特征在于，所述方法还包括：对更新的地图与原始的地图进行坐标对齐，所述更新的地图可以为更新的所述原始视觉特征地图或者更新原始障碍地图，所述原始的地图可以为更新前的原始视觉特征地图或者更新前的原始障碍地图。13.根据权利要求12所述的方法，其特征在于，所述对更新的地图与原始的地图进行坐标对齐，包括：选取用于生成所述原始的地图的第一图像帧和用于生成所述更新的地图的第二图像帧，进行视觉建图生成参考地图；根据所述第一图像帧在所述参考地图中的第一参考位姿、所述第一图像帧在所述原始
的地图中的第一位姿、所述第二图像帧在所述参考地图中的第二参考位姿、以及所述第二图像帧在所述更新的地图中的第二位姿，确定所述更新的地图的坐标系与所述原始的地图的坐标系的映射关系。14.根据权利要求12所述的方法，其特征在于，所述对更新的地图与原始的地图进行坐标对齐，包括：根据所述更新的地图在卫星定位坐标系内的位姿和所述原始的地图在所述卫星定位坐标系内的位姿，确定所述更新的地图的坐标系和所述原始的地图的坐标系之间的映射关系。15.一种地图处理装置，其特征在于，包括：获取模块，用于获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一，所述工作状态信息包括下述至少之一：定位质量和工作区域覆盖率，所述定位质量根据当前次工作过程中通过原始视觉特征地图成功定位的次数与所述自移动设备的总定位次数的比值、以及通过所述原始视觉特征地图成功定位时匹配的内点占总内点的比值中至少之一确定，实时障碍地图基于在移动过程中采集的实时图像获得；确定模块，用于根据所述工作状态信息和所述实时障碍地图中至少之一，确定是否更新所述自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，所述原始视觉特征地图用于所述自移动设备在所述工作区域内的定位，所述原始障碍地图用于所述自移动设备的路径规划；更新模块，用于若更新，则获取所述工作区域的图像帧，并使用所述图像帧对所述原始视觉特征地图和原始障碍地图中的至少之一进行更新。16.一种自移动设备，其特征在于，包括控制器，所述控制器用于执行权利要求1-14中任一项所述的地图处理方法。

技术总结
本发明实施例提供一种地图处理方法、装置及自移动设备。地图处理方法包括：获取自移动设备在工作区域内当前次工作过程的工作状态信息和实时障碍地图中至少之一，工作状态信息包括下述至少之一：定位质量和工作区域覆盖率，实时障碍地图基于在移动过程中采集的实时图像获得；根据工作状态信息和实时障碍地图中至少之一，确定是否更新自移动设备使用的原始视觉特征地图和原始障碍地图中的至少之一，原始视觉特征地图用于自移动设备在工作区域内的定位，原始障碍地图用于自移动设备的路径规划；若更新，则获取工作区域的图像帧，并使用图像帧对原始视觉特征地图和原始障碍地图中的至少之一进行更新。该方法可以及时更新地图。该方法可以及时更新地图。该方法可以及时更新地图。


技术研发人员：请求不公布姓名
受保护的技术使用者：未岚大陆（北京）科技有限公司
技术研发日：2022.01.06
技术公布日：2023/7/21