障碍物识别方法及装置、运动控制方法及装置与流程
未命名
10-08
阅读:116
评论:0

1.本发明涉及机器人控制技术领域,特别涉及一种障碍物识别方法。本发明同时涉及一种运动控制方法、一种障碍物识别装置、一种运动控制装置、一种计算设备,以及一种计算机可读存储介质。
背景技术:
2.随着机器人技术的发展,越来越多的可运动机器人在货运、仓储、物流、餐饮等产业服务中得到应用,极大方便了人类的生产生活,在这些产业服务中,机器人需要按照既定路线运动以完成调度任务。
3.在机器人执行调度任务运动过程中为保证行驶安全,需要对行驶路径上前方的障碍物进行检测,进行障碍物检测,是需要通过机器人采集到的图像,确定是否存在障碍物,但在障碍物的尺寸小、过于低或者过于矮时,比如,散落在地上的书本或衣物,相机采集到的图像会存在不清楚的情况,导致基于不清楚的图像进行障碍物检测,得到的结果较为不准确,也即检测精度较差,因此,亟需一种提高对机器人在行驶过程遇到的地面上尺寸较小的障碍物的识别精度的方法。
技术实现要素:
4.有鉴于此,本发明实施例提供了一种障碍物识别方法,以解决现有技术中存在的技术缺陷。本发明实施例同时提供了一种运动控制方法,一种障碍物识别装置,一种运动控制装置,一种计算设备,以及一种计算机可读存储介质。
5.根据本发明实施例的第一方面,提供了一种障碍物识别方法,应用于机器人,机器人包括纹理相机和深度相机;
6.获取纹理相机采集的地面障碍物图像;
7.根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;
8.基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;
9.根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。
10.根据本发明实施例的第二方面,提供了一种运动控制方法,包括:
11.获取机器人运动前方的地面障碍物的目标位置信息,其中,目标位置信息利用如上述的障碍物识别方法确定;
12.基于机器人的当前位置信息、运动目的地信息以及目标位置信息,确定机器人的运动路径;
13.控制机器人按照运动路径运动。
14.根据本发明实施例的第三方面,提供了一种障碍物识别装置,应用于机器人,所述机器人包括纹理相机和深度相机;
15.图像获取模块,被配置为获取纹理相机采集的地面障碍物图像;
16.投影模块,被配置为根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;
17.信息对齐模块,被配置为基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;
18.信息确定模块,被配置为根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。
19.根据本发明实施例的第四方面,提供了一种运动控制装置,包括:
20.信息获取模块,被配置为获取机器人运动前方的地面障碍物的目标位置信息,其中,目标位置信息利用如上述的障碍物识别方法确定;
21.路径确定模块,被配置为基于机器人的当前位置信息、运动目的地信息以及目标位置信息,确定机器人的运动路径;
22.控制模块,被配置为控制机器人按照运动路径运动。
23.根据本发明实施例的第五方面,提供了一种计算设备,包括:
24.存储器和处理器;
25.所述存储器用于存储计算机可执行指令,所述处理器执行所述计算机可执行指令时实现所述障碍物识别方法、运动控制方法的步骤。
26.根据本发明实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述障碍物识别方法、运动控制方法的步骤。
27.本发明提供的障碍物识别方法,应用于机器人,机器人包括纹理相机和深度相机;获取纹理相机采集的地面障碍物图像;根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。通过将纹理相机采集到的地面障碍物图像投影至预置平面,获得地面障碍物的第一位置信息;通过纹理相机和深度相机之间的相对位置参数,获得地面障碍物的深度信息,根据深度信息确定地面障碍物的第二位置信息;基于第一位置信息和第二位置信息获得地面障碍物的目标位置信息,也即是通过纹理相机采集到包含地面障碍物纹理信息的地面障碍物图像,并通过深度的转换,获得地面障碍物准确的深度信息,基于纹理相机和深度相机分别获得的结果,进行融合,使得融合获得地面障碍物的目标位置信息更为准确,提高了对地面障碍物进行识别的准确度和精度。
附图说明
28.图1是本发明一实施例提供的一种障碍物识别方法的流程图;
29.图2是本发明一实施例提供的一种运动控制方法的流程图;
30.图3a是本发明一实施例提供的一种障碍物识别方法的处理流程图;
31.图3b是本发明实施例提供的一种障碍物识别方法中纹理图像示意图;
32.图4是本发明一实施例提供的一种障碍物识别装置的结构示意图;
33.图5是本发明一实施例提供的一种运动控制装置的结构示意图;
34.图6是本发明一实施例提供的一种计算设备的结构框图。
具体实施方式
35.在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施的限制。
36.在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
37.应当理解,尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
38.首先,对本发明一个或多个实施例涉及的名词术语进行解释。
39.鸟瞰图(bev,bird eye view):是根据透视原理,从高处某一点俯视地面起伏绘制成的立体图,比平面图更有真实感。
40.机器人:是一种能够半自主或全自主工作的智能机器,机器人能够通过编程和自动控制来执行诸如作业或移动等任务,比如,机器人有拣选机器人、物流机器人等。
41.深度相机:又称3d相机,就是通过该相机能检测出拍摄空间的景深距离。
42.纹理相机:是拍摄并记录视角内的物体的纹理的相机,但是其所记录的数据不包含这些物体距离相机的距离,纹理是影像中大量规律性很强或很弱的相似元素或者图形结构,一般理解为影像灰度在空间上的变化和重复,或影像中反复出现的局部模式(纹理单元)和它们的排列规则,比如,纹理相机可以是rgb相机、灰度相机和单目相机等。
43.随着机器人技术的发展,越来越多的可运动机器人在货运、仓储、物流、餐饮等产业服务中得到应用,极大方便了人类的生产生活。
44.在该些产业服务,机器人需要按照既定路线运动以完成调度任务,在运动过程中为保证行驶安全,需要对行驶路径上前方的障碍物进行检测。
45.当前在自主移动机器人(amr,autonomous mobile robot)领域进行障碍物检测使用的是深度相机检测或单线激光雷达检测,其中,深度相机的探测范围大,探测结果稳定,但是需要障碍物的尺寸不能太小,对尺寸较小的障碍物无法进行检测,比如超低矮障碍物(散落在地上的衣服或书本);单线激光雷达仅能检测固定高度的障碍物,对固定高度之外的其他障碍物无法进行检测,因此,亟需一种提高对机器人在行驶过程遇到的地面上尺寸较小的障碍物的识别精度的方法,以为机器人执行任务规划合理的运动路径,保证机器人运动的安全性。
46.在本发明中,提供了一种障碍物识别方法。本发明同时涉及一种运动控制方法,一种障碍物识别装置,一种运动控制装置,一种计算设备,以及一种计算机可读存储介质,在
下面的实施例中逐一进行详细说明。
47.图1示出了根据本发明一实施例提供的一种障碍物识别方法的流程图,应用于机器人,机器人包括纹理相机和深度相机,具体包括以下步骤:
48.步骤102:获取纹理相机采集的地面障碍物图像。
49.在有对机器人的行驶安全进行检测,或安全路径规划的需求时,会获取纹理相机采集的地面障碍物,其中,获取障碍物的方式有很多种,可以是机器人基于预设的程序进行获取的,也可以是通过工作人员的点击,进行获取的。
50.具体地,地面障碍物图像是指地面障碍物对应的影像或图像,地面障碍物图像中包括地面障碍物的轮廓、形态、颜色、灰度以及相对于地面的位置等信息,比如,地面障碍物图像可以是散落在地面的衣物的图像、掉落在地上的书本的图像。
51.获取纹理相机采集的地面障碍物图像的实现方式,可以是纹理相机聚焦地面障碍物进行拍摄获得图像,图像被上传到机器人,机器人进行路径规划或避障时,获取纹理相机采集的地面障碍物图像。
52.纹理相机采集到纹理图像后,可以对纹理图像进行纹理信息的识别处理,并根据识别结果,对纹理图像进行处理,获得地面障碍物图像。
53.通过获取纹理相机采集地面障碍物图像,以使后续可以利用地面障碍物图像进行相应处理,以检测到地面障碍物的位置信息。
54.可选地,上述步骤获取纹理相机采集的地面障碍物图像,包括如下步骤:
55.获取纹理相机采集的纹理图像,并根据纹理图像,获得纹理图像中的纹理信息;
56.基于纹理信息,对纹理图像进行区域检测,确定地面障碍物图像。
57.具体地,纹理图像是指纹理相机采集到的原生图像,原生图像是指未经过图像处理的图像,比如,纹理相机直接拍摄得到的图像称为纹理图像,本发明实施例中的纹理图像是指地面障碍物的原生图像。纹理信息是指图像中物体的结构对应的信息,表征物体表面地物理属性的信息,比如纹理信息可以是颜色信息、形状信息、结构信息、材质信息等。
58.获取纹理相机采集的纹理图像的实现方式,可以是纹理相机采集到之后,机器人进行获取。
59.根据纹理图像,获得纹理相机中的纹理信息之前,还可以是对纹理图像进行图像处理,获得处理后的纹理图像,以使后续基于处理后的纹理图像进行纹理信息检测,比如,图像处理可以是图像去畸变、感兴趣区域裁剪、图像尺寸方向调整、图像像素归一化等,具体的图像处理方式根据实际情况进行选择,本发明在此不作限定。
60.根据纹理图像,获得纹理相机中的纹理信息的实现方式,可以是基于预设纹理识别特征,识别纹理图像中的纹理信息,其中,预设纹理识别特征可以是根据所需要的纹理信息中包含的信息所设置的,比如,纹理信息中包括颜色信息,则设定预设纹理识别特征为识别颜色信息;还可以是将纹理图像输入纹理信息提取模型中,获得纹理图像对应的纹理信息。
61.一种可选的实现方式,可以是基于纹理信息,识别纹理图像中纹理信息对应的位置,将对应位置的图像进行提取,获得地面障碍物图像。
62.应用本发明实施例的方案,获取纹理相机采集的纹理图像,并根据纹理图像,获得纹理图像中的纹理信息,以基于纹理信息,确定纹理图像中的地面障碍物图像,使得确定出
来的地面障碍物图像是根据纹理信息确定出来的,保证了确定出来的地面障碍物图像的准确性。
63.步骤104:根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息。
64.具体地,相机参数是指与相机自身特性相关的参数,相机参数包括相机的内参和相机相对于机器人的外参,其中,内参可以包括焦距、光心主点位置、像素等信息,外参可以包括相对于x,y,z轴的平移量和旋转角度。预置平面是指预先放置的,用于接收投影的平面,预置平面的角度可以是平行于地面,也可以是垂直于地面,也可以是与地面的夹角处于0到90度之间。投影结果是指将地面障碍物投影至预置平面中获得的图像,比如,可以是地面障碍物和机器人的鸟瞰图或者仰视图。第一位置信息是指纹理相机检测到的地面障碍物的位置信息,第一位置信息中可以包括机器人距离地面障碍物的距离,地面障碍物在当前场景中所处的位置对应的位置坐标等。
65.根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息的实现方式,可以是根据纹理相机的相机参数,将地面障碍物和机器人的鸟瞰图或仰视图投影至预置平面,基于预置平面中的投影结果,获得地面障碍物的第一位置信息;还可以是将纹理相机的相机参数输入位置信息获取模型,位置信息获取模型输出的即为地面障碍物的第一位置信息。
66.根据纹理相机的相机参数,将地面障碍物和机器人的鸟瞰图或仰视图投影至预置平面的实现方式,可以是获取机器人的当前位置信息,基于当前位置信息和相机参数,将地面障碍物和机器人的鸟瞰图或仰视图投影至预置平面。
67.基于预置平面中的投影结果,获得地面障碍物的第一位置信息的实现方式,可以是获取投影结果中的图像比例尺,基于图像比例尺,对投影结果进行检测,获得地面障碍物的第一位置信息。
68.可选地,上述步骤根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,包括如下步骤:
69.根据纹理相机的相机参数,将地面障碍物图像投影至平行于地面的视角空间,获得目标地面障碍物图像。
70.具体地,视角空间是指视线角度对应的空间,视角是指视线对应的角度,比如视角可以是机器人的视角,机器人上纹理相机的视角等。目标障碍物图像是指处于平行于地面的视角空间中的地面障碍物图像,目标障碍物图像是地面障碍物图像进行投影得到的,目标障碍物图像可以是包含地面障碍物的鸟瞰图。
71.根据纹理相机的相机参数,将地面障碍物图像投影至平行于地面的视角空间,获得目标地面障碍物图像的实现方式,可以是根据纹理相机的相机参数,获得地面障碍物的鸟瞰图像,将鸟瞰图像投影至平行于地面的视角空间,获得目标地面障碍物图像。
72.应用本发明实施例的方案,根据纹理相机的相机参数,将地面障碍物图像投影至平行于地面的视角空间,获得目标地面障碍物图像,使得获得的目标地面障碍物图像是对地面障碍物图像进行投影获得的,在地面障碍物图像准确的情况下,经过投影处理,得到的目标地面障碍物图像也是准确的,进一步保证了后续获得的地面障碍物的位置信息的准确性。
73.步骤106:基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息。
74.具体地,相对位置参数是指两个物体之间相对的位置参数,相对位置参数可以是以一方物体为基准,获得的位置参数;也可以是以另一方物体为基准,获得的位置参数,相对位置参数可以包括相对距离、相对角度、相对方向、相对偏移量等参数。深度信息是指地面障碍物图像中地面障碍物中各处深度对应的信息,深度信息包括地面障碍物对应多个像素点的深度值。第二位置信息是指深度相机检测到的地面障碍物的位置信息,第二位置信息中可以包括机器人距离地面障碍物的距离,地面障碍物在当前场景中所处的位置对应的位置坐标等。
75.基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息的实现方式,可以是基于纹理相机和深度相机之间的位置参数,将地面障碍物图像中的纹理信息映射到深度信息维度,获得地面障碍物对应的深度信息;还可以是将纹理相机和深度相机之间的相对位置参数以及地面障碍物图像输入至深度信息提取模型,获得深度信息提取模型输出的地面障碍物的深度信息,其中,深度信息提取模型是基于多个样本数据,以及各样本数据对应的样本标签进行训练得到,样本数据包括纹理相机和深度信息的相对位置参数、样本地面障碍物图像,样本标签包括地面障碍物对应的深度信息。
76.基于多个样本数据与样本数据对深度信息提取模型进行训练的实现方式,可以是选定目标样本数据与目标样本数据对应的目标样本标签,其中,目标样本数据为任意一个样本数据,样本数据包括样本相对位置参数、样本地面障碍物图像;将目标样本数据输入初始深度信息提取模型,获得初始深度信息提取模型预测的深度结果;将深度结果与目标样本标签进行比对,获得损失值;基于损失值对初始深度信息提取模型的模型参数进行调整,返回执行选定目标样本数据与目标样本数据对应的目标样本标签的步骤,直至达到训练停止条件,获得深度信息提取模型,其中,训练停止条件可以是迭代次数达到预设迭代阈值,还可以是损失值达到预设损失阈值等。
77.根据深度信息确定地面障碍物的第二位置信息的实现方式,可以是基于深度信息,确定地面障碍物对应的多个深度值,基于各深度值,得到地面障碍物的第二位置信息;还可以是将深度信息输入位置信息确定模型,获得位置信息确定模型输出的地面障碍物的第二位置信息。
78.基于各深度值,得到地面障碍物的第二位置信息的实现方式,可以是将各深度值进行求和、并求平均,获得计算后的平均深度值,将平均深度值对应的数值作为地面障碍物与机器人之间的深度距离;并根据深度距离,确定地面障碍物的第二位置信息。
79.可选地,上述步骤基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,包括如下步骤:
80.基于纹理相机和深度相机之间的相对位置参数,将地面障碍物图像的图像信息对齐至深度信息维度,获得地面障碍物的深度信息。
81.具体地,图像信息是指地面障碍物图像中地面障碍物的信息,图像信息包括图像中地面障碍物的角度、位置尺寸的信息。深度信息维度是指包含深度信息地图像维度。
82.基于纹理相机和深度相机之间的相对位置参数,将地面障碍物图像的图像信息对
齐至深度信息维度,获得地面障碍物的深度信息的实现方式,可以是基于纹理相机和深度相机之间的相对位置参数,将地面障碍物图像中的图像信息投影至深度图像,获得深度信息维度的地面障碍物图像;基于深度信息维度的地面障碍物图像,获得地面障碍物的深度信息。
83.应用本发明实施例的方案,基于纹理相机和深度相机之间的相对位置参数,将地面障碍物图像的图像信息对齐至深度信息维度,获得地面障碍物的深度信息,使得得到的地面障碍物的深度信息是基于地面障碍物图像经过深度信息对齐得到的,也即通过纹理相机采集的地面障碍物图像的辅助,获得了地面障碍物的深度信息,提供了一种高效获得地面障碍物深度信息的方法,进而提高了后续利用深度信息获得地面障碍物的位置信息的准确性。
84.可选地,在上述步骤获得地面障碍物的深度信息之后,还包括:
85.根据地面障碍物图像中地面障碍物的位置区域,对位置区域以外的区域对应的深度信息进行过滤,获得过滤后的深度信息;
86.将过滤后的深度信息作为更新后的深度信息。
87.具体地,位置区域是指地面障碍物在地面障碍物图像中所处位置对应的区域。
88.根据地面障碍物图像中地面障碍物的位置区域,对位置区域以外的区域对应的深度信息进行过滤,获得过滤后的深度信息的实现方式,可以是基于预设采集角度,获取采集角度对应的位置区域,将位置区域以外区域的深度信息进行过滤;还可以是识别地面障碍物图像中除地面障碍物之外的区域,将识别到的区域对应的深度信息进行过滤。
89.示例性地,预设采集角度为z轴方向基于地面的值为0,则将z轴方向上,大于0的区域对应的深度离群点进行过滤。
90.应用本发明实施例的方案,在获得地面障碍物对应的深度信息之后,将地面障碍物图像中地面障碍物以外的区域对应的深度信息进行过滤,将过滤后的深度信息作为更新后的深度信息,使得后续基于深度信息进行位置信息检测的深度信息是更新后的深度信息,且更新后的深度信息中保留的是更加精准的地面障碍物的深度信息,故利用基于该深度信息进行位置检测,使得得到的位置信息更加的准确。
91.可选地,上述步骤根据深度信息确定地面障碍物的第二位置信息,包括如下步骤:
92.从深度信息中确定至少一个目标深度值,其中,目标深度值为深度信息中大于预设深度阈值的像素点的深度值;
93.根据至少一个目标深度值,确定地面障碍物的第二位置信息。
94.具体地,目标深度值是指大于预设深度阈值的深度值。预设深度阈值是指预先设定的对目标深度值进行限定的阈值,以使选取得到的目标深度值是满足数值条件的,预设深度阈值可以是根据预先设定的百分比以及深度信息中包含的深度值的总数目确定得到,还可以是利用地面障碍物图像,对地面障碍物和机器人之间进行距离估计得到。
95.从深度信息中确定至少一个目标深度值的实现方式,可以是识别深度信息中多个像素对应的深度值,从多个深度值中选取符合预设深度阈值的至少一个目标深度值;还可以是根据深度信息和预设直方图模板,生成深度分布直方图,从深度分布直方图中,选取大于预设深度阈值的至少一个目标深度值,预设直方图模板是指预先设定的对深度信息中各像素点的深度值进行统计的直方图模板。
96.从多个深度值中选取符合预设深度阈值的至少一个目标深度值的实现方式,可以是将多个深度值按照数值大小进行排序;基于排序结果和预设深度阈值,选取至少一个目标深度值。
97.根据深度信息和预设直方图模板,生成深度分布直方图的实现方式,根据预设直方图模板的形式不同,实现方式也不同,具体根据实际情况进行选择,本发明在此不作限定。
98.本发明一种可能的实现方式中,若预设直方图模板为按照预设间隔量进行设置的空白模板,则可以是将深度信息填充至预设直方图模板,获得深度分布直方图。
99.本发明另一种可能的实现方式中,若预设直方图模板为设定关于预设间隔量的规则,依据此规则和深度信息,生成深度分布直方图。
100.从深度分布直方图中,选取大于预设深度阈值的至少一个目标深度值的实现方式,可以是将深度分布直方图中的各像素点对应的深度值与预设深度阈值进行比对,基于比对结果确定至少一个目标深度值。
101.根据至少一个目标深度值,确定地面障碍物的第二位置信息的实现方式,可以是将至少一个目标深度值进行求和、并求平均,获得目标平均深度值,基于目标平均深度值,确定地面障碍物的第二位置信息;还可以是获取各目标深度值对应的权重,基于各权重,对各目标深度值进行加权,获得加权深度值,基于加权深度值,确定地面障碍物的第二位置信息。
102.应用本发明实施例的方案,从深度信息中确定至少一个目标深度值,并根据至少一个目标深度值,确定地面障碍物的第二位置信息,通过从深度信息中确定目标深度值,并依据目标深度值确定地面障碍物的第二位置信息,使得获得的第二位置信息是基于对大于预设深度阈值的目标深度值进行处理得到的,通过预设阈值的选取步骤,保证了目标深度值的稳定性以及可控性,进而保证了利用目标深度值进行处理得到的第二位置信息的准确性。
103.步骤108:根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。
104.具体地,目标位置信息是指地面障碍物在当前场景中的位置对应的信息,比如目标位置信息中包括地面障碍物与机器人之间的距离、地面障碍物相对于机器人地方向、地面障碍物在当前场景中地位置坐标。
105.根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息的实现方式,可以是获取纹理相机和深度相机分别对应的权重,基于各权重,将第一位置信息和第二位置信息加权、并求平均,确定地面障碍物的目标位置信息;还可以是将第一位置信息和第二位置信息相加、并求平均,确定地面障碍物的目标位置信息。
106.可选地,第一位置信息和第二位置信息分别对应权重的设定是依据深度相机对深度识别的准确率、填充率和纹理相机的成像质量,具体是和相机的硬件条件相关,不同的相机硬件条件,对应的权重不同。
107.可选地,上述步骤根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息,包括如下步骤:
108.获取纹理相机和深度相机分别对应的权重;
109.基于权重,对第一位置信息和第二位置信息进行加权,获得地面障碍物的目标位
置信息。
110.获取纹理相机和深度相机分别对应的权重的实现方式,可以是从预设设定好的权重存储库中,依据纹理相机和深度相机的使用方式,进行获取得到;还可以是根据纹理相机和深度相机的相机质量,设定纹理相机和深度相机分别对应的权重,其中,相机质量包括纹理相机的质量和深度相机的质量,纹理相机的质量至少包括纹理相机采集得到图像的图像质量,深度相机的质量至少包括深度相机的准确率、填充率等。
111.基于权重,对第一位置信息和第二位置信息进行加权,获得地面障碍物的目标位置信息的实现方式,可以是基于权重,对第一位置信息和第二位置信息进行加权、并求平均,获得地面障碍物的目标位置信息。
112.基于权重,对第一位置信息和第二位置信息进行加权、并求平均,获得地面障碍物的目标位置信息的实现方式,可以是将纹理相机对应的权重与第一位置信息相乘,获得第一结果;将深度相机对应的权重与第二位置信息相乘,获得第二结果;将第一结果和第二结果相加,获得地面障碍物的目标位置信息。
113.应用本发明实施例的方案,获取纹理相机和深度相机分别对应的权重,依据权重,对第一位置信息和第二位置信息进行加权,获得地面障碍物的目标位置信息,使得地面障碍物的目标位置信息是依据纹理相机获得的第一位置信息和深度相机获得的第二位置信息获得的,且还是依据加权的方式,使得,不同的纹理相机和深度相机对应的权重不同,保证质量更高的相机对应的位置信息所占的权重更高,提高了获得的目标位置信息的准确率。
114.可选地,在上述步骤根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息之后,还包括如下步骤:
115.获取深度相机采集的高度障碍物图像;
116.基于高度障碍物图像的深度信息,确定高度障碍物的位置信息;
117.根据深度相机的相机参数,将高度障碍物的位置信息投影至预置平面,获得高度障碍物的目标位置信息;
118.基于地面障碍物的目标位置信息和高度障碍物的目标位置信息,确定机器人运动前方的目标障碍物位置。
119.具体地,高度障碍物图像是指高度大于预设高度阈值的障碍物对应的影像或图像,高度障碍物图像中包括地面障碍物的轮廓、形态、颜色、灰度以及相对于地面的位置等信息,比如,高度障碍物图像可以是其他机器人的图像、掉落在地上的且高度超过预设高度阈值的物品的图像。高度障碍物是指高度超过预设高度阈值的物体。目标障碍物位置是指机器人的障碍物对应的位置,具体是机器人在行驶路径上遇到的障碍物对应的位置。
120.获取深度相机采集的高度障碍物图像的实现方式,可以是深度相机聚焦高度障碍物进行拍摄获得图像,图像被上传到机器人,机器人进行路径规划或避障时,获取深度相机采集的高度障碍物图像。
121.机器人获取深度相机采集的高度障碍物图像可以是机器人根据预先设定的程序进行定时获取的,也可以是通过工作人员的点击,获取深度相机采集的高度障碍物图像,以使机器人进行避障或为机器人进行路径规划。
122.深度相机采集到深度图像后,可以对深度图像进行深度信息的识别处理,并根据
识别结果,对深度图像进行处理,获得高度障碍物图像。
123.基于高度障碍物图像的深度信息,确定高度障碍物的位置信息的实现方式,可以是获取高度障碍物图像中各深度信息对应的权重,对高度障碍物图像中各深度信息进行加权、并求平均,获得高度障碍物的位置信息;还可以是将高度障碍物图像中各深度信息进行相加、并求平均,获得高度障碍物的位置信息。
124.根据深度相机的相机参数,将高度障碍物的位置信息投影至预置平面,获得高度障碍物的目标位置信息的实现方式,可以是根据深度相机的相机参数,将高度障碍物和机器人的鸟瞰图或仰视图投影至预置平面,基于预置平面中的投影结果,获得高度障碍物的目标位置信息;还可以是将深度相机的相机参数输入位置信息获取模型,位置信息获取模型输出的即为高度障碍物的目标位置信息。
125.根据深度相机的相机参数,将高度障碍物和机器人的鸟瞰图或仰视图投影至预置平面的实现方式,可以是获取机器人的当前位置信息,基于当前位置信息和相机参数,将高度障碍物和机器人的鸟瞰图或仰视图投影至预置平面。
126.基于地面障碍物的目标位置信息和高度障碍物的目标位置信息,确定机器人运动前方的目标障碍物位置的实现方式,可以是将地面障碍物的目标位置信息和高度障碍物的目标位置信息进行汇总,基于汇总结果,确定机器人运动前方的目标障碍物位置。
127.应用本发明实施例中的方案,基于地面障碍物和高度障碍物对应的目标位置信息,确定机器人位置前方的障碍物位置,使得后续可以基于障碍物为机器人进行路径规划,提高机器人进行运动的效率。
128.图2示出了根据本发明一实施例提供的一种运动控制方法的流程图,具体包括以下步骤:
129.步骤202:获取机器人运动前方的地面障碍物的目标位置信息,其中,目标位置信息利用障碍物识别方法确定。
130.在有对机器人的安全行驶或者路径重规划的需求时,获取机器人运动前方的地面障碍物的目标位置信息,以使后续基于获取的目标位置信息进行避障,具体是进行路径规划。
131.具体地,地面障碍物包括存在于机器人运动路径前方的物体。
132.获取机器人运动前方的地面障碍物的目标位置信息的实现方式,可以是在机器人确定得到地面障碍物对应的目标位置信息之后,直接获取利用障碍物识别方法生成的目标位置信息。
133.通过获取机器人运动前方的地面障碍物的目标位置信息,使得后续可以基于机器人获取的目标位置信息,进行路径重规划,以实现避障。
134.步骤204:基于机器人的当前位置信息、运动目的地信息以及目标位置信息,确定机器人的运动路径。
135.具体地,当前位置信息是指机器人在当前场景中的位置对应的坐标,比如当前场景可以是物流场景、拣选等场景。运动目的地信息是指机器人的任务对应的目的地的信息,运动目的地信息包括运动目的地位置。运动路径是指机器人执行任务时对应的路径。
136.基于机器人的当前位置信息、运动目的地信息以及目标位置信息,确定机器人的运动路径的实现方式可以是基于机器人的当前位置、运动目的地信息确定至少一条机器人
的初始运动路径;基于目标位置信息,从至少一条机器人的初始运动路径中,确定运动路径。
137.基于目标位置信息,从至少一条机器人的初始运动路径中,确定目标运动路径的实现方式,可以是基于目标位置信息,从至少一条机器人的初始运动路径中,选取不经过目标位置信息对应位置的初始运动路径,作为运动路径。
138.通过机器人的当前位置信息、运动目的地信息以及目标位置信息,确定机器人的运动路径,使得确定得到运动路径中并不包含目标位置信息对应的位置,实现了避障,以及保证了机器人的安全行驶。
139.步骤206:控制机器人按照运动路径运动。
140.在确定得到机器人的运动路径后,控制机器人按照运动路径运动,以执行任务,且运动路径中避开了地面障碍物,保证了机器人的安全行驶。
141.应用本发明实施例中的方案,通过获取到的地面障碍物的位置信息,并通过目标位置信息为机器人规划运动路径,以使机器人在运动时避开地面障碍物,保证了机器人的正常行驶,以及安全性。
142.应用本发明一个或多个实施例的方案,地面障碍物的高度即使低至1厘米,执行本发明实施例的方案,也可准确检测,进而可以保证机器人的安全行驶。且即使地面障碍物为黑色或高反射率物体,执行本发明实施例的方案,也可进行准确检测。
143.下述结合附图3a以本发明提供的障碍物识别方法对超低矮障碍物进行识别的应用为例,对所述障碍物识别方法进行进一步说明。其中,图3a示出了本发明一实施例提供的一种障碍物识别方法的处理流程图,具体包括以下步骤:
144.应用于机器人,机器人包括纹理相机和深度相机;
145.步骤302:获取纹理相机采集的纹理图像,并根据纹理图像,获得纹理图像中的纹理信息。
146.获取单目纹理相机采集的散落在地面的书本的纹理图像,具体纹理图像参见图3b,并根据纹理图像,获得书本的结构、形状等纹理信息。
147.参见图3b,图3b示出了本发明实施例提供的一种障碍物识别方法中纹理图像示意图;
148.其中,纹理图像中包括放置在地面的地面书本以及地面。
149.步骤304:基于纹理信息,对纹理图像进行区域检测,确定地面障碍物图像。
150.根据检测到的书本的结构、形状等纹理信息,对纹理图像进行区域检测,获得书本在纹理图像中的位置,将书本在纹理图像中的位置对应的区域确定为地面书本图像。
151.步骤306:根据纹理相机的相机参数,将地面障碍物图像投影至平行于地面的视角空间,获得目标地面障碍物图像。
152.根据单目纹理相机的内参和外参,将地面书本和机器人的鸟瞰图像投影至平行于地面的视角空间,获得目标地面书本图像。
153.步骤308:基于投影结果获得地面障碍物的第一位置信息。
154.基于视角空间中的投影结果,获得地面书本距机器人的第一距离信息。
155.步骤310:基于纹理相机和深度相机之间的相对位置参数,将地面障碍物图像的图像信息对齐至深度信息维度,获得地面障碍物的深度信息。
156.基于单目纹理相机和深度相机之间的相对位置参数,将地面书本图像中的图像信息进行信息对齐,获得深度信息维度的地面书本信息,获得地面书本的深度信息。
157.步骤312:根据深度信息和预设直方图模板,生成深度分布直方图。
158.基于预设直方图模板,构建深度信息对应的深度分布直方图。
159.步骤314:基于深度分布直方图,确定地面障碍物的第二位置信息。
160.识别深度分布直方图中的深度值,确定地面书本距机器人的第二距离信息。
161.步骤316:获取纹理相机和深度相机分别对应的权重。
162.步骤318:基于权重,对第一位置信息和第二位置信息进行加权,获得地面障碍物的目标位置信息。
163.将单目纹理相机对应的权重与第一距离信息相乘,获得第一结果;将深度相机对应的权重与第二距离信息相乘,获得第二结果;将第一结果与第二结果相加,并求平均,获得地面书本距机器人的目标距离信息。
164.步骤320:获取深度相机采集的高度障碍物图像。
165.获取深度相机采集到的运动前方静止机器人图像。
166.步骤322:基于高度障碍物图像的深度信息,确定高度障碍物的位置信息。
167.基于静止机器人图像中的深度信息,对各深度值进行加权,确定静止机器人的位置信息。
168.步骤324:根据深度相机的相机参数,将高度障碍物的位置信息投影至预置平面,获得高度障碍物的目标位置信息。
169.根据深度相机的内参和外参,将静止机器人的位置信息投影至平行于地面的视角空间,获得静止机器人的投影图像;基于投影图像,确定精致机器人距及爱人的目标距离信息。
170.步骤326:基于地面障碍物的目标位置信息和高度障碍物的目标位置信息,确定机器人运动前方的目标障碍物位置。
171.基于地面书本的目标距离信息和静止机器人的目标距离信息,确定机器人运动前方的目标障碍物位置。
172.本发明实施例,应用于机器人,机器人包括纹理相机和深度相机;获取纹理相机采集的地面障碍物图像;根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。通过将纹理相机采集到的地面障碍物图像投影至预置平面,获得地面障碍物的第一位置信息;通过纹理相机和深度相机之间的相对位置参数,获得地面障碍物的深度信息,根据深度信息确定地面障碍物的第二位置信息;基于第一位置信息和第二位置信息获得地面障碍物的目标位置信息,也即是通过纹理相机采集到包含地面障碍物纹理信息的地面障碍物图像,并通过深度的转换,获得地面障碍物准确的深度信息,基于纹理相机和深度相机分别获得的结果,进行融合,使得融合获得地面障碍物的目标位置信息更为准确,提高了对地面障碍物进行识别的准确度和精度。
173.与上述方法实施例相对应,本发明还提供了障碍物识别装置实施例,图4示出了本
发明一实施例提供的一种障碍物识别装置的结构示意图,应用于机器人,所述机器人包括纹理相机和深度相机。如图4所示,该装置包括:
174.图像获取模块402,被配置为获取纹理相机采集的地面障碍物图像;
175.投影模块404,被配置为根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;
176.信息对齐模块406,被配置为基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;
177.信息确定模块408,被配置为根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。
178.可选地,图像获取模块402,进一步被配置为获取纹理相机采集的纹理图像,并根据纹理图像,获得纹理图像中的纹理信息;基于纹理信息,对纹理图像进行区域检测,确定地面障碍物图像。
179.可选地,投影模块404,进一步被配置为根据纹理相机的相机参数,将地面障碍物图像投影至平行于地面的视角空间,获得目标地面障碍物图像。
180.可选地,信息对齐模块406,进一步被配置为基于纹理相机和深度相机之间的相对位置参数,将地面障碍物图像的图像信息对齐至深度信息维度,获得地面障碍物的深度信息。
181.可选地,障碍物识别装置还包括更新模块,被配置为根据地面障碍物图像中地面障碍物的位置区域,对位置区域以外的区域对应的深度信息进行过滤,获得过滤后的深度信息;将过滤后的深度信息作为更新后的深度信息。
182.可选地,信息对齐模块406,进一步被配置为从深度信息中确定至少一个目标深度值,其中,目标深度值为深度信息中大于预设深度阈值的像素点的深度值;根据至少一个目标深度值,确定地面障碍物的第二位置信息。
183.可选地,信息确定模块408,进一步被配置为获取纹理相机和深度相机分别对应的权重;基于权重,对第一位置信息和第二位置信息进行加权,获得地面障碍物的目标位置信息。
184.可选地,障碍物识别装置还包括位置确定模块402,被配置为获取深度相机采集的高度障碍物图像;基于高度障碍物图像的深度信息,确定高度障碍物的位置信息;根据深度相机的相机参数,将高度障碍物的位置信息投影至预置平面,获得高度障碍物的目标位置信息;基于地面障碍物的目标位置信息和高度障碍物的目标位置信息,确定机器人运动前方的目标障碍物位置。
185.本发明实施例,应用于机器人,机器人包括纹理相机和深度相机;获取纹理相机采集的地面障碍物图像;根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。通过将纹理相机采集到的地面障碍物图像投影至预置平面,获得地面障碍物的第一位置信息;通过纹理相机和深度相机之间的相对位置参数,获得地面障碍物的深度信息,
根据深度信息确定地面障碍物的第二位置信息;基于第一位置信息和第二位置信息获得地面障碍物的目标位置信息,也即是通过纹理相机采集到包含地面障碍物纹理信息的地面障碍物图像,并通过深度的转换,获得地面障碍物准确的深度信息,基于纹理相机和深度相机分别获得的结果,进行融合,使得融合获得地面障碍物的目标位置信息更为准确,提高了对地面障碍物进行识别的准确度和精度。
186.上述为本实施例的一种障碍物识别装置的示意性方案。需要说明的是,该障碍物识别装置的技术方案与上述的障碍物识别方法的技术方案属于同一构思,障碍物识别装置的技术方案未详细描述的细节内容,均可以参见上述障碍物识别方法的技术方案的描述。
187.与上述方法实施例相对应,本发明还提供了运动控制装置实施例,图5示出了本发明一实施例提供的一种运动控制装置的结构示意图。如图5所示,该装置包括:
188.信息获取模块502,被配置为获取机器人运动前方的地面障碍物的目标位置信息,其中,目标位置信息利用如上述的障碍物识别方法确定;
189.路径确定模块504,被配置为基于机器人的当前位置信息、运动目的地信息以及目标位置信息,确定机器人的运动路径;
190.控制模块506,被配置为控制机器人按照运动路径运动。
191.本发明实施例,通过获取到的地面障碍物的位置信息,并通过目标位置信息为机器人规划运动路径,以使运动路径时避开地面障碍物的,保证了机器人的正常行驶,以及安全性。
192.上述为本实施例的一种运动控制装置的示意性方案。需要说明的是,该运动控制装置的技术方案与上述的运动控制方法的技术方案属于同一构思,运动控制装置的技术方案未详细描述的细节内容,均可以参见上述运动控制方法的技术方案的描述。
193.此外,装置实施例中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
194.图6示出了根据本发明一实施例提供的一种计算设备的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
195.计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(pstn,public switched telephone network)、局域网(lan,local area network)、广域网(wan,wide area network)、个域网(pan,personal area network)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口,例如,网络接口卡(nic,network interface controller)中的一个或多个,诸如ieee802.11无线局域网(wlan,wireless local area networks)无线接口、全球微波互联接入(wi-max,world interoperability for microwave access)接口、以太网接口、通用串行总线(usb,universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,near field communication)接口,等等。
196.在本发明的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示
例的目的,而不是对本发明范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
197.计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(pc,personal computer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
198.其中,处理器620用于执行所述障碍物识别方法、运动控制方法的计算机可执行指令。
199.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的障碍物识别方法、运动控制方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述障碍物识别方法、运动控制方法的技术方案的描述。
200.本发明一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于障碍物识别方法、运动控制方法。
201.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的障碍物识别方法、运动控制方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述障碍物识别方法、运动控制方法的技术方案的描述。
202.上述对本发明特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
203.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。
204.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
205.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
206.以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本发明的内容,可作很多的修改和变化。本发明选取并具体描述这些实施例,是为了更好地解释本发明的原
理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
技术特征:
1.一种障碍物识别方法,其特征在于,应用于机器人,所述机器人包括纹理相机和深度相机;获取所述纹理相机采集的地面障碍物图像;根据所述纹理相机的相机参数,将所述地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;基于所述纹理相机和所述深度相机之间的相对位置参数,对所述地面障碍物图像进行信息对齐,获得所述地面障碍物的深度信息,并根据所述深度信息确定所述地面障碍物的第二位置信息;根据所述第一位置信息和所述第二位置信息,确定所述地面障碍物的目标位置信息。2.根据权利要求1所述的方法,其特征在于,所述获取所述纹理相机采集的地面障碍物图像,包括:获取所述纹理相机采集的纹理图像,并根据所述纹理图像,获得所述纹理图像中的纹理信息;基于所述纹理信息,对所述纹理图像进行区域检测,确定地面障碍物图像。3.根据权利要求1所述的方法,其特征在于,所述根据所述纹理相机的相机参数,将所述地面障碍物图像投影至预置平面,包括:根据所述纹理相机的相机参数,将所述地面障碍物图像投影至平行于地面的视角空间,获得目标地面障碍物图像。4.根据权利要求1所述的方法,其特征在于,所述基于所述纹理相机和所述深度相机之间的相对位置参数,对所述地面障碍物图像进行信息对齐,获得所述地面障碍物的深度信息,包括:基于所述纹理相机和所述深度相机之间的相对位置参数,将所述地面障碍物图像的图像信息对齐至深度信息维度,获得所述地面障碍物的深度信息。5.根据权利要求1所述的方法,其特征在于,在所述获得所述地面障碍物的深度信息之后,还包括:根据所述地面障碍物图像中地面障碍物的位置区域,对所述位置区域以外的区域对应的深度信息进行过滤,获得过滤后的深度信息;将所述过滤后的深度信息作为更新后的深度信息。6.根据权利要求1所述的方法,其特征在于,所述根据所述深度信息确定所述地面障碍物的第二位置信息,包括:从所述深度信息中确定至少一个目标深度值,其中,所述目标深度值为所述深度信息中大于预设深度阈值的像素点的深度值;根据所述至少一个目标深度值,确定所述地面障碍物的第二位置信息。7.根据权利要求1所述的方法,其特征在于,所述根据所述第一位置信息和所述第二位置信息,确定所述地面障碍物的目标位置信息,包括:获取所述纹理相机和所述深度相机分别对应的权重;基于所述权重,对所述第一位置信息和所述第二位置信息进行加权,获得所述地面障碍物的目标位置信息。8.根据权利要求1所述的方法,其特征在于,在所述根据所述第一位置信息和所述第二
位置信息,确定所述地面障碍物的目标位置信息之后,还包括:获取所述深度相机采集的高度障碍物图像;基于所述高度障碍物图像的深度信息,确定所述高度障碍物的位置信息;根据所述深度相机的相机参数,将所述高度障碍物的位置信息投影至所述预置平面,获得所述高度障碍物的目标位置信息;基于所述地面障碍物的目标位置信息和所述高度障碍物的目标位置信息,确定所述机器人运动前方的目标障碍物位置。9.一种运动控制方法,其特征在于,包括:获取机器人运动前方的地面障碍物的目标位置信息,其中,所述目标位置信息利用如权利要求1-8中任一项所述的方法确定;基于所述机器人的当前位置信息、运动目的地信息以及所述目标位置信息,确定所述机器人的运动路径;控制所述机器人按照所述运动路径运动。10.一种障碍物识别装置,其特征在于,应用于机器人,所述机器人包括纹理相机和深度相机;图像获取模块,被配置为获取所述纹理相机采集的地面障碍物图像;投影模块,被配置为根据所述纹理相机的相机参数,将所述地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;信息对齐模块,被配置为基于所述纹理相机和所述深度相机之间的相对位置参数,对所述地面障碍物图像进行信息对齐,获得所述地面障碍物的深度信息,并根据所述深度信息确定所述地面障碍物的第二位置信息;信息确定模块,被配置为根据所述第一位置信息和所述第二位置信息,确定所述地面障碍物的目标位置信息。11.一种运动控制装置,其特征在于,包括:信息获取模块,被配置为获取机器人运动前方的地面障碍物的目标位置信息,其中,所述目标位置信息利用如权利要求1-8中任一项所述的方法确定;路径确定模块,被配置为基于所述机器人的当前位置信息、运动目的地信息以及所述目标位置信息,确定所述机器人的运动路径;控制模块,被配置为控制所述机器人按照所述运动路径运动。12.一种计算设备,其特征在于,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令实现权利要求1-9中任一项所述方法的步骤。13.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-9中任一项所述方法的步骤。
技术总结
本发明提供障碍物识别方法及装置、运动控制方法及装置,其中障碍物识别方法应用于机器人,机器人包括纹理相机和深度相机;获取纹理相机采集的地面障碍物图像;根据纹理相机的相机参数,将地面障碍物图像投影至预置平面,基于投影结果获得地面障碍物的第一位置信息;基于纹理相机和深度相机之间的相对位置参数,对地面障碍物图像进行信息对齐,获得地面障碍物的深度信息,并根据深度信息确定地面障碍物的第二位置信息;根据第一位置信息和第二位置信息,确定地面障碍物的目标位置信息。通过对地面障碍物图像、深度相机与纹理相机之间的相对位置参数进行处理,获得目标位置信息,保证了目标位置信息的准确性。目标位置信息的准确性。目标位置信息的准确性。
技术研发人员:孙志雄 陈超
受保护的技术使用者:北京极智嘉科技股份有限公司
技术研发日:2023.05.23
技术公布日:2023/10/6
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:物料密闭流转处理线的制作方法 下一篇:一种电路板镀锡质量控制系统及方法与流程