自主移动机器人及利用其进行车道线检测的方法与流程

1.本技术涉及机器人技术领域，具体涉及一种自主移动机器人、利用自主移动机器人进行车道线检测的方法、基于该方法对机器人在车道线内进行横向定位的方法、电子设备以及非瞬时性计算机可读存储介质。


背景技术：

2.目前，自主移动机器人(autonomous mobile robot，amr)已经大量地应用于自动化仓储等场景中，以执行搬运、拣选等工作。为完成自身任务，机器人可使用多种方式进行定位和导航，例如二维码方式、激光方式、视觉方式等。机器人通常还使用附着于地面的车道线进行辅助定位和导航。
3.如果利用附着于地面的车道线进行辅助定位和导航，那么首先需要通过机器人上搭载的摄像头对车道线进行识别和检测，然后再根据检测到的车道线对机器人进行定位和导航。
4.然而，现有技术对车道线的检测并不准确，从而影响了定位和导航结果。例如，在自动化仓储场景中使用的自主移动机器人通常高度较矮(例如低于20或30厘米)，所以机器人上搭载的摄像头距离地面较近。由于透视效应，地面上的车道线在图像里的近大远小效果很严重，远处点测距的误差较大，但是如果只用近处点进行检测，则点数较少，拟合不稳，从而影响了车道线的检测结果。


技术实现要素：

5.为了解决现有技术中出现的上述问题，本技术提供了一种自主移动机器人、利用自主移动机器人进行车道线检测的方法、基于该方法对机器人在车道线内进行横向定位的方法、电子设备以及非瞬时性计算机可读存储介质。
6.根据本技术的一个方面，提供了一种利用自主移动机器人进行车道线检测的方法，其中所述机器人搭载有摄像头，所述方法包括：
7.连续获取所述摄像头拍摄的输入图像，所述输入图像包括当前帧图像和历史帧图像；
8.根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值；
9.将所述候选车道的端点在所述机器人坐标系的坐标值转换为odom坐标系的坐标值；
10.基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配；以及
11.将匹配成功的候选车道的端点进行合并，并将合并后的端点拟合为当前车道线段。
12.根据一个实施方式，根据连续获取的输入图像中的当前帧图像，确定候选车道的
端点在机器人坐标系的坐标值包括：
13.根据连续获取的输入图像中的当前帧图像，确定候选车道碎片在摄像头坐标系的坐标值；
14.根据所述候选车道碎片在所述摄像头坐标系的坐标值，确定所述候选车道碎片的端点在所述机器人坐标系的坐标值；以及
15.将同一车道的候选车道碎片合并为候选车道，并确定所述候选车道的端点在所述机器人坐标系的坐标值。
16.根据一个实施方式，根据连续获取的输入图像中的当前帧图像，确定候选车道碎片在摄像头坐标系的坐标值包括：
17.利用预设的神经网络模型获取所述当前帧图像中车道的mask二值图；
18.利用canny算法提取所述mask二值图的边缘图像；以及
19.通过hough直线检测算法处理所提取的边缘图像，以得到候选车道碎片的坐标值。
20.根据一个实施方式，根据所述候选车道碎片在所述摄像头坐标系的坐标值，确定所述候选车道碎片的端点在所述机器人坐标系的坐标值包括：
21.根据所述候选车道碎片在所述摄像头坐标系的坐标值，获取所述候选车道碎片的端点在所述摄像头坐标系的坐标值；以及
22.基于所述摄像头坐标系和所述机器人坐标系之间的变换关系，确定所述候选车道碎片的端点在所述机器人坐标系的坐标值。
23.根据一个实施方式，根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值还包括：
24.在合并前，去除在所述机器人坐标系中距离原点超过预设的第一阈值的候选车道碎片；和/或
25.在合并后，去除长度小于预设的第二阈值的候选车道。
26.根据一个实施方式，将同一车道的候选车道碎片合并为候选车道包括：
27.利用每个候选车道碎片的方向和/或每两个候选车道碎片之间的距离进行拟合。
28.根据一个实施方式，基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配包括：
29.计算所述当前帧图像中的每条候选车道与所述历史帧图像中的多条候选车道的距离；
30.对于所述当前帧图像中的每条候选车道，确定所述距离中的最小值；
31.若所述最小值小于或等于预定的第三阈值，则匹配成功；以及
32.若所述最小值大于所述第三阈值，则匹配失败。
33.根据一个实施方式，计算所述当前帧图像中的每条候选车道与所述历史帧图像中的每条候选车道的距离包括：
34.计算所述当前帧图像中的每条候选车道与所述历史帧图像中的每条候选车道的斜率差值；和/或
35.计算所述当前帧图像中的每条候选车道与所述历史帧图像中的每条候选车道的端点的距离。
36.根据一个实施方式，基于odom坐标系的坐标值，将所述当前帧图像中的候选车道
与历史帧图像中的候选车道进行匹配还包括：
37.对于所述当前帧图像中的候选车道，若与所述历史帧图像中所有候选车道均匹配失败，则作为新增候选车道，并加入所述历史帧图像的候选车道集合中。
38.根据一个实施方式，基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配还包括：
39.对于所述历史帧图像中的候选车道，若与所述当前帧图像中所有候选车道均匹配失败，则作为已到尽头的候选车道，并从所述历史帧图像的候选车道集合中删除。
40.根据一个实施方式，该方法还包括：
41.将合并后的端点加入所述历史帧图像的候选车道集合中。
42.根据一个实施方式，将匹配成功的候选车道的端点进行合并，并将合并后的端点拟合为当前车道线段包括：
43.利用ransac算法过滤掉所述候选车道的端点中的异常点。
44.根据一个实施方式，该方法还包括：
45.将所述当前车道线段从所述odom坐标系变换至所述机器人坐标系。
46.根据本技术的另一方面，提供了一种基于如上所述的车道线检测的方法对机器人在车道线内进行横向定位的方法，包括：
47.基于所述当前车道线段，确定机器人在车道线内的横向位置。
48.根据一个实施方式，基于所述当前车道线段，确定机器人在车道线内的横向位置包括：
49.根据所述机器人的位置信息，对所述当前车道线段和预设的地图中对应位置的车道线进行匹配；以及
50.根据匹配结果确定所述机器人在所述地图中的车道线内的横向位置。
51.根据一个实施方式，根据匹配结果确定所述机器人在所述地图中的车道线内的横向位置包括：
52.基于所述地图中匹配的多条车道线，确定多个候选位置；以及
53.根据所述多个候选位置，确定所述机器人的横向位置。
54.根据一个实施方式，所述横向位置包括所述机器人的坐标位置和朝向。
55.根据本技术的另一方面，提供了一种自主移动机器人，包括：
56.车身；
57.处理器；
58.驱动装置，驱动所述车身进行移动；
59.摄像头，安装在所述车身上，并具有相对于所述车身的侧向视野；以及
60.存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的方法。
61.根据一个实施方式，所述摄像头包括第一摄像头，安装在所述车身的车头位置，并与所述车身的车头方向呈第一夹角。
62.根据一个实施方式，所述摄像头还包括第二摄像头，安装在所述车身的车头位置，并与所述车身的车头方向呈第二夹角，所述第一摄像头与所述第二摄像头间隔预定距离，并且所述第一夹角与所述第二夹角相对于所述车头方向对称。
63.根据本技术的另一方面，提供了一种电子设备，包括：
64.处理器；以及
65.存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的方法。
66.根据本技术的另一方面，提供了一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上所述的方法。
67.由此，由于本技术对自主移动机器人摄像头的设置，便于在机器人的移动过程中通过单目相机对车道线进行检测，而利用odom坐标系并通过历史帧匹配的方式更有助于提高检测准确度和精度。
附图说明
68.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
69.图1示出了根据本技术一个实施方式的自主移动机器人的侧视示意图。
70.图2示出了根据本技术一个实施例的摄像头的视野示意图。
71.图3示出了根据本技术一个实施方式利用自主移动机器人进行车道线检测的方法的流程图。
72.图4示出了根据本技术一个实施方式根据当前帧图像确定候选车道的端点在机器人坐标系的坐标值的流程图。
73.图5示出了根据本技术一个实施例将同一车道的候选车道碎片合并为候选车道的示意图。
74.图6示出了根据本技术一个实施方式根据当前帧图像确定候选车道碎片在摄像头坐标系的坐标值的流程图。
75.图7示出了根据本技术一个实施方式根据候选车道碎片在摄像头坐标系的坐标值确定候选车道碎片的端点在机器人坐标系的坐标值的流程图。
76.图8示出了根据本技术另一实施方式根据当前帧图像确定候选车道的端点在机器人坐标系的坐标值的流程图。
77.图9示出了根据本技术一个实施方式基于odom坐标系的坐标值将当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配的流程图。
78.图10示出了根据本技术另一实施方式利用自主移动机器人进行车道线检测的方法的流程图。
79.图11示出了根据本技术又一实施方式利用自主移动机器人进行车道线检测的方法的流程图。
80.图12示出了根据本技术一个实施方式基于当前车道线段确定机器人在车道线内的横向位置的流程图。
81.图13示出了根据本技术一个实施方式根据匹配结果确定机器人在地图中的车道线内的横向位置的流程图。
具体实施方式
82.为了更好地理解本技术的技术方案及优点，下面结合附图和具体实施例对本技术的内容做进一步详细说明。但此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。此外，以下所描述的本技术的各实施方式中所涉及到的技术特征除彼此构成冲突的情况外均可以组合使用，从而构成本技术范围内的其他实施方式。
83.下文中描述的内容提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开内容，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
84.图1示出了根据本技术一个实施方式的自主移动机器人的侧视示意图。如图1所示，自主移动机器人100可包括车身110、驱动装置120、摄像头130。驱动装置120可安装在车身110的下部，从而驱动车身110进行移动。摄像头130安装在车身110上，并具有相对于车身110的侧向视野。例如，摄像头130可设置为朝向车身110的侧面的位姿安装，与车身110的正前方夹角可设为yaw。图2示出了根据本技术一个实施例的摄像头的视野示意图。如图2所示，以yaw设为30度为例，图2中的坐标原点o为摄像头所在位置，x轴方向为车身的正前方，虚线oa方向为摄像头的朝向。由此，该摄像头的设置便于检测到位于车身侧面的车道线，同时兼顾车身正前方。例如，摄像头的视场角度为120度，则c
11
oc
12
即为摄像头的视场fov。如此设置的摄像头可使车道线最近可视点p距离摄像头更近。如图2所示，ldist为摄像头到车道线的真实距离，fov范围内为摄像头的可见车道线，则车道线最近可视点p距离摄像头op＝ldist/acos(π/2-fov/2-yaw)，其中yaw越大，则op越小，且满足0
°
《fov/2+yaw《90
°
。
85.再例如，可在车身110的车头两侧分别设置摄像头，图2中原点o处为右侧摄像头，cm为两摄像头的中点，ocm为6厘米，则车身110正前方的盲区为ocm*tan(π/2-(fov/2-yaw))《12厘米，因此该盲区可忽略。虽然在本例中，自主移动机器人搭载有两个摄像头，但本技术不限于此，由于每个摄像头均可独立地完成车道线的检测，因此本技术可实现通过单目相机实现。
86.由此，根据本实施方式的自主移动机器人上的摄像头的设置，可以提高车身侧面的车道线的检测识别能力，同时兼顾了车身正前方。
87.此外，自主移动机器人100还可包括处理器和存储器(图中未示出)，该存储器上存储有计算机程序，当该计算机程序被处理器执行时，使得处理器执行如下所述的方法。
88.图3示出了根据本技术一个实施方式利用自主移动机器人进行车道线检测的方法的流程图。如图3所示，该方法200可包括步骤s210、s220、s230、s240、s250。在步骤s210中，连续获取摄像头拍摄的输入图像。在自主移动机器人的行进过程中，其上搭载的摄像头进行连续拍摄，因此可获得连续拍摄的多帧输入图像，输入图像可包括当前帧图像和历史帧图像。
89.在步骤s220中，根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值。在输入图像中，可以在当前帧中确定候选车道的端点在机器人坐标系的坐标值，候选车道即为在图像中识别出的有可能是车道线的部分。具体确定方式将在下文中进行详细描述。
90.在步骤s230中，将候选车道的端点在机器人坐标系的坐标值转换为odom坐标系的坐标值。odom坐标系即里程计坐标系，它是一个世界固定坐标系，在自主移动机器人刚开始运动时，odom坐标系与map坐标系是重合的，但是随着时间的推移，出现了偏差，出现的偏差也就是里程计的累计误差，如果里程计精确度很高，没有计算误差，那么map坐标系与odom坐标系会一直是重合的。然而实际情况中，里程计是有偏差的。在odom坐标系中移动平台的位姿可以任意移动，没有任何界限。这种移动使得odom坐标系不能作为长期的全局参考。然而，在odom坐标系中的机器人的姿态能够保证是连续的，这意味着在odom坐标系中的移动平台的姿态总是平滑变化，没有跳变。在一个典型设置中，odom坐标系是基于测距源来计算的，如车轮里程计，视觉里程计或惯性测量单元。odom坐标系作为一种精确，作为短期的本地参考是很有用的，但偏移使得它不能作为长期参考。而在本技术的应用中，考虑的是连续获取的输入图像中相邻的数帧图像，因此采用odom坐标系进行计算可以确保结果是精确的。
91.在步骤s240中，基于odom坐标系的坐标值，将当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配。在自主移动机器人刚刚开始运行时，摄像头也刚刚开始获取输入图像，在处理第一帧时，还没有历史帧图像，在处理到第二帧、第三帧等等后续帧时，历史帧图像中即已有候选车道，此时可在odom坐标系下将当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配。
92.在步骤s250中，将匹配成功的候选车道的端点进行合并，并将合并后的端点拟合为当前车道线段。如果匹配成功，则可将该候选车道的端点进行合并、拟合，形成当前车道线段，从而完成对车道线的检测。根据一个实施例，在进行合并、拟合前，可利用ransac算法过滤掉候选车道的端点中的异常点。
93.由此，由于本技术对自主移动机器人摄像头的设置，便于在机器人的移动过程中通过单目相机对车道线进行检测，而利用odom坐标系并通过历史帧匹配的方式更有助于提高检测准确度和精度。
94.图4示出了根据本技术一个实施方式根据当前帧图像确定候选车道的端点在机器人坐标系的坐标值的流程图。如图4所示，上述步骤s220可包括子步骤s221、s222、s223。在子步骤s221中，根据连续获取的输入图像中的当前帧图像，确定候选车道碎片在摄像头坐标系的坐标值。在获取到每一帧图像时，首先得到的坐标值是在摄像头坐标系下的坐标值。具体如何确定候选车道碎片在摄像头坐标系的坐标值，将在下文中进行详细描述。
95.在子步骤s222中，根据候选车道碎片在摄像头坐标系的坐标值，确定候选车道碎片的端点在机器人坐标系的坐标值。在子步骤s221确定了候选车道碎片在摄像头坐标系的坐标值后，在子步骤s222可利用该坐标值确定候选车道碎片的端点在机器人坐标系的坐标值，例如可定义为laneseg3dlist。具体如何实现从摄像头坐标系到机器人坐标系的变换，将在下文中进一步详述。
96.在子步骤s223中，将同一车道的候选车道碎片合并为候选车道，并确定候选车道的端点在机器人坐标系的坐标值。对于在子步骤s222中确定了端点坐标值的多个候选车道碎片，可以通过该坐标值确定哪些候选车道碎片属于同一车道以进行合并，得到lane3dlist，如图5所示。图5示出了根据本技术一个实施例将同一车道的候选车道碎片合并为候选车道的示意图。合并后，可确定候选车道的端点在机器人坐标系的坐标值。随后，
在步骤s230中将lane3dlist变换到odom坐标系，可得到lane3dlistinodom。
97.根据本技术一个实施例，在子步骤s223中，在将同一车道的候选车道碎片合并为候选车道时，可利用每个候选车道碎片的方向和/或每两个候选车道碎片之间的距离进行拟合。
98.由此，可通过坐标变换和车道碎片的合并，实现在当前帧图像中确定候选车道的端点在机器人坐标系的坐标值。
99.图6示出了根据本技术一个实施方式根据当前帧图像确定候选车道碎片在摄像头坐标系的坐标值的流程图。如图6所示，上述子步骤s221可包括子步骤s221a、s221b、s221c。在子步骤s221a中，利用预设的神经网络模型获取当前帧图像中车道的mask二值图。该神经网络模型可以是已经训练好的神经网络模型，从而可以直接用于获取mask的二值图。
100.在子步骤s221b中，利用canny算法提取mask二值图的边缘图像。随后，在子步骤s221c中，通过hough直线检测算法处理所提取的边缘图像，从而可以得到候选车道碎片在摄像头坐标系的坐标值。
101.图7示出了根据本技术一个实施方式根据候选车道碎片在摄像头坐标系的坐标值确定候选车道碎片的端点在机器人坐标系的坐标值的流程图。如图7所示，上述子步骤s222可包括子步骤s222a和s222b。在子步骤s222a中，根据候选车道碎片在摄像头坐标系的坐标值，获取候选车道碎片的端点在摄像头坐标系的坐标值。随后，在子步骤s222b中，基于摄像头坐标系和机器人坐标系之间的变换关系，确定候选车道碎片的端点在机器人坐标系的坐标值laneseg3dlist。根据本技术，由于摄像头是事先安装在自主移动机器人的车身上的，并且其参数已知，因此摄像头坐标系和机器人坐标系之间的变换关系可以是预设的或者已知的。因此，可以将子步骤s222a中得到的车道碎片端点在摄像头坐标系的坐标值变换为机器人坐标系的坐标值。
102.图8示出了根据本技术另一实施方式根据当前帧图像确定候选车道的端点在机器人坐标系的坐标值的流程图。如图8所示，除了子步骤s221、s222、s223之外，上述步骤s220还可包括子步骤s224和/或s225。
103.在子步骤s224中，在子步骤s223进行合并前，去除在机器人坐标系中距离原点超过预设的第一阈值的候选车道碎片。根据该子步骤，如果检测到的某个候选车道碎片距离过远(即，超出了预设的第一阈值)，则为了避免远处点测距误差大的问题，可将该候选车道碎片删除，以实现降噪。也就是说，去除了laneseg3dlist中距离过远的点，得到laneseg3dlistfiltered。
104.在子步骤s225中，在子步骤s223进行合并后，去除长度小于预设的第二阈值的候选车道。根据该子步骤，如果合并后，某个候选车道的长度过短(即，不及预设的第二阈值)，则也可将其认为是噪声，从而删除掉。
105.通过上述子步骤s224和s225，可去除距离过远和长度过短的噪声，从而提高检测准确度和精度。
106.图9示出了根据本技术一个实施方式基于odom坐标系的坐标值将当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配的流程图。如图9所示，上述步骤s240可包括子步骤s241、s242、s243、s244。在子步骤s241中，计算当前帧图像中的每条候选车道与历史帧图像中的多条候选车道的距离。
107.在计算当前帧的候选车道与历史帧的候选车道的距离时，可以计算当前帧图像中的每条候选车道与历史帧图像中的每条候选车道的斜率差值作为二者的距离，还可以计算当前帧图像中的每条候选车道与历史帧图像中的每条候选车道的端点的距离作为二者的距离。
108.在子步骤s242中，对于当前帧图像中的每条候选车道，确定其与历史帧图像中所有候选车道距离中的最小值matchdistmin。也就是说，遍历历史帧图像中的候选车道，确定出距离最近的那一条。并且，事先预设第三阈值，如果该最小值matchdistmin小于或等于第三阈值，则匹配成功(子步骤s243)；如果该最小值matchdistmin大于第三阈值，则匹配失败(子步骤s244)。以当前帧lane3dlistinodom中的第j个候选车道和历史帧histlist中的第i个候选车道为例，匹配histlist[i]和lane3dlistinodom[j]的距离，如果小于或等于预设的第三阈值，则认为匹配，记为histlist[i].matchdist。如果多个j都与i相匹配，则可取matchdist最小的lane3dlistinodom[j]，拼接histlist[i]得到更新的histlist[i]。
[0109]
根据一个实施例，对于当前帧图像中的候选车道，如果其与历史帧图像中所有候选车道均匹配失败，则说明该候选车道是在当前帧图像中新增的候选车道，那么可将其加入到历史帧图像的候选车道集合中(由于在处理下一帧时，目前的当前帧将成为历史帧)。例如，可遍历histlist，从而得到更新的histlist。由此，在自主移动机器人的行进过程中，摄像头拍摄到的新出现的车道，将能够添加至历史帧图像的候选车道集合中，以用于后续帧的计算处理。
[0110]
根据另一实施例，对于历史帧图像中的候选车道，如果其与当前帧图像中所有候选车道均匹配失败，则说明该候选车道已在当前帧中消失(例如，该车道在上一帧已走到尽头)，那么可从历史帧图像的候选车道集合中将其删除。例如，对于历史帧中的某个候选车道，遍历lane3dlistinodom，都无法找到与其匹配的候选车道，则可认为该车道已到尽头，可从histlist中删掉。由此，在自主移动机器人的行进过程中，当某条车道从摄像头的视野中消失时，可将该车道从历史帧的候选车道集合中删除，从而避免影响后续的计算处理。
[0111]
图10示出了根据本技术另一实施方式利用自主移动机器人进行车道线检测的方法的流程图。如图10所示，除了步骤s210至s250，该方法200还可包括步骤s260。在步骤s260中，将合并后的端点加入历史帧图像的候选车道集合中。由此，当自主移动机器人继续行进并由摄像头继续拍摄图像时，在处理下一帧图像的过程中，当前帧即已成为历史帧，所以在处理当前帧图像是合并的端点可加入历史帧图像的候选车道集合中，以用于后续帧的计算处理。
[0112]
图11示出了根据本技术又一实施方式利用自主移动机器人进行车道线检测的方法的流程图。如图11所示，除了步骤s210至s250，该方法200还可包括步骤s270。在步骤s270中，将当前车道线段从odom坐标系变换至机器人坐标系。由此，可便于后续的定位程序对自主移动机器人进行横向定位。
[0113]
如上所述，对于histlist[i]，可利用ransac算法过滤掉候选车道的端点中的异常点，再拟合得到histlist[i].fitline，然后再经由步骤s270，把odom坐标系下的histlist[i].fitline变换为机器人坐标系下的histlist[i].fitlineinbase。最终取所有候选车道的fitlineinbase，以用于后续的定位程序对自主移动机器人进行横向定位。
[0114]
根据本技术，基于上述方法200的车道线检测结果，可对机器人在车道线内进行横
向定位。对机器人在车道线内进行横向定位的方法可包括步骤s310，在步骤s310中，利用方法200中得到的当前车道线段，可确定机器人在车道线内的横向位置。例如，可在机器人系统中预设一些与车道线呈不同角度和/或不同距离拍摄的车道线图片。随后，将方法200中得到的当前车道线段与预设的车道线图片进行匹配，并根据匹配结果获得机器人的横向坐标和方向。
[0115]
如果考虑车道线的种类不同，还可根据不同种类的车道线预设不同的图片。例如，车道线可能包括单实线、单虚线、双实线等不同种类。那么，可根据这些不同种类的车道线预设不同的图片，以便于匹配。
[0116]
图12示出了根据本技术一个实施方式基于当前车道线段确定机器人在车道线内的横向位置的流程图。如图12所示，上述步骤s310可包括子步骤s311和s312。在子步骤s311中，根据机器人的位置信息，对当前车道线段和预设的地图中对应位置的车道线进行匹配。具体的匹配方式可参照上述子步骤s241至s244的方式，在此不再赘述。
[0117]
随后在子步骤s312中，根据匹配结果确定机器人在地图中的车道线内的横向位置。
[0118]
由此，可利用上述方法200的车道线检测结果，对机器人在车道线内进行横向定位。
[0119]
图13示出了根据本技术一个实施方式根据匹配结果确定机器人在地图中的车道线内的横向位置的流程图。如图13所示，上述子步骤s312可包括子步骤s312a和s312b。在子步骤s312a中，基于地图中匹配的多条车道线，确定多个候选位置。随后，在子步骤s312b中，根据多个候选位置，确定机器人的横向位置。如上所述，在自主移动机器人的车身上可设置有两个或者更多个摄像头，每个摄像头均可独立地拍摄输入图像，并可利用其拍摄的输入图像进行车道线的检测。那么也就是说，借助两个或更多个摄像头，可以检测出多条当前车道线(例如，一左一右两个摄像头，可分别检测出车身左侧和右侧的车道线)，并可利用这些车道线分别对机器人进行横向定位。因此，将有可能出现多个候选位置的情况，也就是说，利用各摄像头拍摄的输入图像所检测出的不同车道线，所得到的机器人的横向位置可能有所偏差。可利用任何已知的技术，根据多个候选位置来确定机器人的横向位置，例如，可对多个候选位置求平均。
[0120]
根据一个实施例，上述横向位置可包括机器人的坐标位置(x，y)和朝向θ。
[0121]
根据本技术的另一方面，提供了一种电子设备，其包括处理器和存储器，该存储器存储有计算机程序，当该计算机程序被该处理器执行时，使得该处理器执行如以上任一个实施方式所述的方法。
[0122]
根据本技术的另一方面，提供了一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当该指令被处理器执行时，能够使得该处理器执行如以上任一个实施方式所述的方法。
[0123]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过其通信部件从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法中限定的上述功
能。需要说明的是，本技术的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0124]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0125]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0126]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。
[0127]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置执行如上所述的方法。
[0128]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部
分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0129]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本技术的方法及其核心思想。同时，本领域技术人员依据本技术的思想，基于本技术的具体实施方式及应用范围上做出的改变或变形之处，都属于本技术保护的范围。综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种利用自主移动机器人进行车道线检测的方法，其中所述机器人搭载有摄像头，所述方法包括：连续获取所述摄像头拍摄的输入图像，所述输入图像包括当前帧图像和历史帧图像；根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值；将所述候选车道的端点在所述机器人坐标系的坐标值转换为odom坐标系的坐标值；基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配；以及将匹配成功的候选车道的端点进行合并，并将合并后的端点拟合为当前车道线段。2.如权利要求1所述的方法，其中，根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值包括：根据连续获取的输入图像中的当前帧图像，确定候选车道碎片在摄像头坐标系的坐标值；根据所述候选车道碎片在所述摄像头坐标系的坐标值，确定所述候选车道碎片的端点在所述机器人坐标系的坐标值；以及将同一车道的候选车道碎片合并为候选车道，并确定所述候选车道的端点在所述机器人坐标系的坐标值。3.如权利要求2所述的方法，其中根据连续获取的输入图像中的当前帧图像，确定候选车道碎片在摄像头坐标系的坐标值包括：利用预设的神经网络模型获取所述当前帧图像中车道的mask二值图；利用canny算法提取所述mask二值图的边缘图像；以及通过hough直线检测算法处理所提取的边缘图像，以得到候选车道碎片的坐标值。4.如权利要求2所述的方法，其中根据所述候选车道碎片在所述摄像头坐标系的坐标值，确定所述候选车道碎片的端点在所述机器人坐标系的坐标值包括：根据所述候选车道碎片在所述摄像头坐标系的坐标值，获取所述候选车道碎片的端点在所述摄像头坐标系的坐标值；以及基于所述摄像头坐标系和所述机器人坐标系之间的变换关系，确定所述候选车道碎片的端点在所述机器人坐标系的坐标值。5.如权利要求2所述的方法，其中，根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值还包括：在合并前，去除在所述机器人坐标系中距离原点超过预设的第一阈值的候选车道碎片；和/或在合并后，去除长度小于预设的第二阈值的候选车道。6.如权利要求2所述的方法，其中，将同一车道的候选车道碎片合并为候选车道包括：利用每个候选车道碎片的方向和/或每两个候选车道碎片之间的距离进行拟合。7.如权利要求1所述的方法，其中，基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配包括：计算所述当前帧图像中的每条候选车道与所述历史帧图像中的多条候选车道的距离；对于所述当前帧图像中的每条候选车道，确定所述距离中的最小值；
若所述最小值小于或等于预定的第三阈值，则匹配成功；以及若所述最小值大于所述第三阈值，则匹配失败。8.如权利要求7所述的方法，其中，计算所述当前帧图像中的每条候选车道与所述历史帧图像中的每条候选车道的距离包括：计算所述当前帧图像中的每条候选车道与所述历史帧图像中的每条候选车道的斜率差值；和/或计算所述当前帧图像中的每条候选车道与所述历史帧图像中的每条候选车道的端点的距离。9.如权利要求7所述的方法，基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配还包括：对于所述当前帧图像中的候选车道，若与所述历史帧图像中所有候选车道均匹配失败，则作为新增候选车道，并加入所述历史帧图像的候选车道集合中。10.如权利要求7所述的方法，基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配还包括：对于所述历史帧图像中的候选车道，若与所述当前帧图像中所有候选车道均匹配失败，则作为已到尽头的候选车道，并从所述历史帧图像的候选车道集合中删除。11.如权利要求1所述的方法，还包括：将合并后的端点加入所述历史帧图像的候选车道集合中。12.如权利要求1所述的方法，其中，将匹配成功的候选车道的端点进行合并，并将合并后的端点拟合为当前车道线段包括：利用ransac算法过滤掉所述候选车道的端点中的异常点。13.如权利要求1所述的方法，还包括：将所述当前车道线段从所述odom坐标系变换至所述机器人坐标系。14.一种基于如权利要求1-13中任一项所述的车道线检测的方法对机器人在车道线内进行横向定位的方法，包括：基于所述当前车道线段，确定机器人在车道线内的横向位置。15.如权利要求14所述的横向定位的方法，其中基于所述当前车道线段，确定机器人在车道线内的横向位置包括：根据所述机器人的位置信息，对所述当前车道线段和预设的地图中对应位置的车道线进行匹配；以及根据匹配结果确定所述机器人在所述地图中的车道线内的横向位置。16.如权利要求15所述的横向定位的方法，其中，根据匹配结果确定所述机器人在所述地图中的车道线内的横向位置包括：基于所述地图中匹配的多条车道线，确定多个候选位置；以及根据所述多个候选位置，确定所述机器人的横向位置。17.如权利要求15或16所述的横向定位的方法，其中，所述横向位置包括所述机器人的坐标位置和朝向。18.一种自主移动机器人，包括：车身；
处理器；驱动装置，驱动所述车身进行移动；摄像头，安装在所述车身上，并具有相对于所述车身的侧向视野；以及存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-17中任一项所述的方法。19.如权利要求18所述的自主移动机器人，其中所述摄像头包括第一摄像头，安装在所述车身的车头位置，并与所述车身的车头方向呈第一夹角。20.如权利要求19所述的自主移动机器人，其中所述摄像头还包括第二摄像头，安装在所述车身的车头位置，并与所述车身的车头方向呈第二夹角，所述第一摄像头与所述第二摄像头间隔预定距离，并且所述第一夹角与所述第二夹角相对于所述车头方向对称。21.一种电子设备，包括：处理器；以及存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-17中任一项所述的方法。22.一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如权利要求1-17中任一项所述的方法。

技术总结
本申请提供了一种自主移动机器人、利用自主移动机器人进行车道线检测的方法、基于该方法对机器人在车道线内进行横向定位的方法、电子设备以及非瞬时性计算机可读存储介质。利用自主移动机器人进行车道线检测的方法包括：连续获取所述摄像头拍摄的输入图像，所述输入图像包括当前帧图像和历史帧图像；根据连续获取的输入图像中的当前帧图像，确定候选车道的端点在机器人坐标系的坐标值；将所述候选车道的端点在所述机器人坐标系的坐标值转换为odom坐标系的坐标值；基于odom坐标系的坐标值，将所述当前帧图像中的候选车道与历史帧图像中的候选车道进行匹配；以及将匹配成功的候选车道的端点进行合并，并将合并后的端点拟合为当前车道线段。前车道线段。前车道线段。


技术研发人员：李乐 潘金凤 程今 暴印行
受保护的技术使用者：灵动科技（北京）有限公司
技术研发日：2022.01.28
技术公布日：2023/8/9