一种机器人的障碍物定位跟踪方法和割草机器人与流程

1.本发明涉及机器人技术领域，特别是涉及一种机器人的障碍物定位跟踪方法和割草机器人。


背景技术：

2.机器人的工作环境中经常会出现障碍物，对障碍物检测以实现定位和避障是机器人的核心功能之一，因此，机器人上一般配置有可以探测障碍物的传感器，比如超声波、摄像头、tof(time of flight)摄像头等，采用这些单一传感器存在探测范围短、一致性低等局限性；而通常传感器检测效果越好，其硬件成本越高。因此，无法在有限成本之内获得较高精度的障碍物信息。


技术实现要素：

3.本发明主要解决的技术问题是提供一种机器人的障碍物定位跟踪方法和割草机器人，能够在降低成本的同时提高障碍物的定位准确性。
4.为解决上述技术问题，本发明采用的一个技术方案是：提供一种机器人的障碍物定位跟踪方法，该机器人的障碍物定位跟踪包括：机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息；通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息，所述视觉位置信息是以所述视觉图像进行计算得到的所述障碍物位置，所述超声波位置信息是以所述超声波传感器进行测距得到的所述障碍物位置；对所述视觉位置信息和所述超声波位置信息进行融合得到定位融合信息；以所述定位融合信息进行所述障碍物的跟踪定位。
5.其中，所述通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息包括：通过所述视觉图像信息获得视觉距离信息，以及通过所述超声波信息获得超声波距离信息，所述视觉距离信息是从所述视觉图像中得到的所述机器人和所述障碍物之间的距离，所述超声波距离信息是从所述超声波信息中得到的所述机器人和所述障碍物之间的距离；所述对所述视觉位置信息和所述超声波位置信息进行融合得到定位融合信息包括：将所述视觉距离信息和所述超声波距离信息进行加权融合得到距离融合信息，其中，所述加权融合中的所述视觉距离信息系数为视觉距离置信度，所述加权融合中的所述超声波距离信息系数为超声波距离置信度。
6.其中，所述机器人通过视觉传感器获得视觉图像信息之后包括：识别所述视觉图像信息进而得到所述障碍物视觉类型；所述视觉距离置信度和所述超声波距离置信度采用以下方法获得：根据先验的物体反射率对应的超声波测距精度和距离的关系，建立预设物体超声测距反射率对应的测距的超声波置信度列表，以及根据先验的物体反射率对应的视觉测距精度和距离的关系，建立预设物体视觉测距反射率对应的测距的视觉置信度列表；以所述障碍物视觉类型为关键词查找所述物体超声测距反射率对应的所述超声波置信度列表和所述物体视觉测距反射率对应的所述视觉置信度列表，分别得到所述超声波距离置
信度和所述视觉距离置信度。
7.其中，所述以所述障碍物类型为关键词查找所述超声波置信度列表和所述视觉置信度列表，分别得到所述超声波距离置信度和所述视觉距离置信度包括：若查找所述超声波置信度列表和/或所述视觉置信度列表后得不到结果，则以默认的置信度作为所述超声波距离置信度和/或所述视觉距离置信度。
8.其中，所述通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息包括：通过所述视觉图像信息获得视觉方向信息，以及通过所述超声波信息获得超声波方向信息，所述视觉方向信息是以所述视觉图像进行计算得到的所述障碍物相对所述机器人的方向，所述超声波方向信息是以所述超声波传感器进行测距得到的所述障碍物相对所述机器人的方向；所述将所述视觉距离信息和所述超声波距离信息进行加权融合得到所述距离融合信息之后包括：将所述距离融合信息与所述视觉方向信息和所述超声波方向信息结合，以对所述视觉位置信息以及所述超声波位置信息进行更新，得到第一位置融合信息。
9.其中，所述对所述视觉位置信息以及所述超声波位置信息进行更新，得到第一位置融合信息之后包括：将所述第一位置融合信息作为所述定位融合信息。
10.其中，所述利用所述距离融合信息与所述视觉方向信息和所述超声波方向信息结合，以对所述视觉位置信息以及所述超声波位置信息进行更新，得到所述第一位置融合信息之后包括：将所述第一位置融合信息转换为世界坐标系下的第二位置融合信息；对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到第三位置融合信息。
11.其中，所述对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到第三位置融合信息包括：获取所述预测位置信息和所述前一时刻的定位融合信息之间的距离；响应于所述距离小于或等于预设距离，且所述障碍物历史类型和所述障碍物视觉类型相同，则对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到所述第三位置融合信息。
12.其中，所述对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到第三位置融合信息包括：利用卡尔曼滤波对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到所述第三位置融合信息。
13.其中，所述利用卡尔曼滤波对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到所述第三位置融合信息之后包括：将所述第三位置融合信息作为所述定位融合信息。
14.其中，所述障碍物的所述预测位置信息通过以下方法获得：获取障碍物历史类型，所述障碍物历史类型为所述障碍物前一时刻的所述视觉类型；基于所述障碍物历史类型得到所述障碍物对应的运动模型；利用所述运动模型和所述障碍物的前一时刻的定位融合信息，预测当前时刻所述障碍物的所述预测位置信息。
15.其中，所述基于所述障碍物历史类型得到所述障碍物对应的运动模型包括：响应于所述障碍物历史类型为静态障碍物，得到所述障碍物对应的所述运动模型为恒定模型；响应于所述障碍物历史类型为动态障碍物，得到所述障碍物对应的所述运动模型为一般运动学模型，其中，一般运动学模型包括匀速模型或匀加减速模型，或包括匀速和匀加减速混合模型。
16.其中，该方法还包括：响应于所述距离大于预设距离，或所述障碍物历史类型和所述障碍物视觉类型不同，则将所述障碍物认定为新增障碍物，将所述距离融合信息和所述障碍物的方向融合信息进行结合得到第四位置融合信息；其中，所述方向融合信息是取所述视觉方向信息和所述超声波方向信息的平均方向信息而得到；将所述第四位置融合信息作为所述定位融合信息。
17.其中，所述将所述第三位置融合信息作为所述定位融合信息之后包括：累计所述障碍物的信息的未更新时长；响应于所述未更新时长大于预设时长，删除所述障碍物的信息。
18.其中，所述超声波传感器为两个，所述机器人通过超声波传感器获得超声波信息包括：通过所述两个超声波传感器获得两个对应的超声波测距信息；基于所述两个超声波传感器之间的间距和所述两个对应的超声波测距信息，利用三角测量法计算得到所述超声波信息，所述超声波信息包括所述超声波距离信息和所述超声波方向信息。
19.其中，视觉传感器为单目二位视觉传感器。
20.为解决上述技术问题，本发明采用的一个技术方案是：提供一种割草机器人，该割草机器人包括，机体；割草组件，安装于所述机体；信息采集组件，安装于所述机体并用于采集视觉图像信息和超声波信息；控制器，连接所述机体和所述信息采集组件，用于控制所述机体配合所述信息采集组件，采用上述的机器人的障碍物定位跟踪方法对障碍物定位跟踪。
21.本发明的有益效果是：区别于现有技术的情况，本技术提供一种机器人的障碍物定位跟踪方法，通过分别采用视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，相对双目相机类视觉传感器，本技术的视觉传感器硬件成本更低，同时需要计算量更少，对硬件资源要求低，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。相较于单一测距传感器或者单一图像传感器，可以获得更加准确可靠的障碍物定位、跟踪结果；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值。
附图说明
22.图1a是采用被动碰撞传感器的割草机器人探测障碍物的示意图；
23.图1b是采用测距类传感器的割草机器人探测障碍物的示意图；
24.图1c是采用三维传感器的割草机器人探测障碍物的示意图；
25.图2是本技术障碍物定位跟踪方法第一实施方式的流程示意图；
26.图3是本技术障碍物定位跟踪方法第二实施方式的流程示意图；
27.图4是本技术障碍物定位跟踪方法实施方式中的机器人一具体俯视结构示意图；
28.图5是本技术障碍物定位跟踪方法实施方式中的超声波测距的几何关系的示意图；
29.图6是本技术障碍物定位跟踪方法第三实施方式的流程示意图；
30.图7是本技术障碍物定位跟踪方法第四实施方式的流程示意图；
31.图8是本技术视觉图像信息和超声波信息融合方法的流程示意图；
32.图9是本技术割草机器人实施方式的结构示意图。
具体实施方式
33.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
34.本技术提供一种机器人的障碍物定位跟踪方法，并给出一种割草机器人，将障碍物定位跟踪方法应用于割草机器人在使用过程中进行避障。目前割草机人配备有可以探测障碍物的传感器，如超声波传感器、摄像头、tof(time of flight)摄像头等。通过传感器获取障碍物的距离或位置信息，再规划出一条无碰撞路径，并控制割草机沿此路径运动，可以实现障碍物避让。
35.目前常用的传感器包括被动碰撞传感器、测距类传感器和三维传感器，请参阅图1a，图1a是采用被动碰撞传感器的割草机器人探测障碍物的示意图。当碰到障碍物时传感器触发信号，割草机根据碰撞方位调整朝向，实现障碍物避让。请参阅图1b，图1b是采用测距类传感器的割草机器人探测障碍物的示意图。测距类传感器可以为超声波、激光雷达或tof等，检测一定范围内的障碍物相对割草机距离，并根据测量结果调整路线，实现障碍物避让。请参阅图1c，图1c是采用三维传感器的割草机器人探测障碍物的示意图。三维传感器可以为三维激光雷达、双目相机或深度传感器等，可以获得障碍物的相对距离和尺寸、甚至类别和颜色等信息，从而实现障碍物避让。其中，被动碰撞传感器通过被动碰撞检测障碍物，具有安全风险，测距类传感器和三维传感器都是依靠单一传感器进行障碍物的检测，存在一定的局限性。通过测距传感器来检测障碍物，测量结果中通常只包含一维距离信息，缺少障碍物的类别、尺寸以及二维位置信息；也有部分成本较高的测距传感器如单线旋转激光雷达可以提供朝向信息，但也无法提供尺寸和类别信息。此类传感器因为获取数据维度有限，也无法实现对障碍物的跟踪。通过深度传感器获取障碍物的三维点云信息，可以有效提供障碍物的类别、尺寸和位置信息，实现障碍物定位和跟踪，但都存在计算量大、传感器成本高的缺点。
36.因此，本技术提供一种机器人的障碍物定位跟踪方法，通过分别采用视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，相对双目相机类视觉传感器，本技术的视觉传感器硬件成本更低，同时需要计算量更少，对硬件资源要求低，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。相较于单一测距传感器或者单一图像传感器，可以获得更加准确可靠的障碍物定位、跟踪结果；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值。
37.请参阅图2，图2是本技术本技术障碍物定位跟踪方法第一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：
38.s210：机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息。
39.机器人上安装有视觉传感器和超声波传感器，机器人利用视觉传感器对障碍物进行拍摄，从摄像头获取障碍物的图像，作为视觉图像信息。其中，视觉传感器可以采用单目摄像机，机器人利用超声波传感器向障碍物发送超声波信号，并接收由障碍物反射回来的超声波信息，其中，超声波信息中包含从发射到接收超声波信息的时间。在该申请的实施方
式中，机器人上可以安装一个或多个视觉传感器，安装一个或多个超声波传感器。
40.s230：通过视觉图像信息获得视觉位置信息，以及通过超声波信息获得超声波位置信息。
41.视觉位置信息是以视觉图像进行计算得到的障碍物位置，超声波位置信息是以超声波传感器进行测距得到的障碍物位置。
42.s250：对视觉位置信息和超声波位置信息进行融合得到定位融合信息。
43.因视觉传感器获取的视觉位置信息只能粗略定位障碍物的位置，而超声波传感器获取的超声波位置信息能够得到更准确地定位障碍物的位置，但有些情况下，超声波传感器的超声波位置信息可能会获取失效，因此，对视觉位置信息和超声波位置信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。
44.s270：以定位融合信息进行障碍物的跟踪定位。
45.将该定位融合信息作为障碍物当前的位置信息，用以持续观察障碍物的移动情况，实现对障碍物的跟踪定位。
46.在该实施方式中，本技术提供一种机器人的障碍物定位跟踪方法，通过分别采用视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，相对双目相机类视觉传感器，本技术的视觉传感器硬件成本更低，同时需要计算量更少，对硬件资源要求低，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。相较于单一测距传感器或者单一图像传感器，可以获得更加准确可靠的障碍物定位、跟踪结果；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值。
47.请参阅图3，图3是本技术障碍物定位跟踪方法第二实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3 所示的流程顺序为限。如图3所示，本实施方式包括：
48.s310：机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息。
49.机器人上安装有视觉传感器和超声波传感器，机器人利用视觉传感器对障碍物进行拍摄，从摄像头获取障碍物的图像，作为视觉图像信息。机器人利用超声波传感器向障碍物发送超声波信号，并接收由障碍物反射回来的超声波信息，其中，超声波信息中包含从发射到接收超声波信息的时间。
50.在该申请的实施方式中，机器人上可以安装一个或多个视觉传感器，安装一个或多个超声波传感器。在该实施方式中，主要以安装有一个视觉传感器和两个超声波传感器的机器人为例进行说明，具体请参阅图4，图4是本技术障碍物定位跟踪方法实施方式中的超声波测距的示意图。如图4所示，一个视觉传感器居中安装在该机器人上，在视觉传感器的两侧分别安装有第一超声波传感器和第二超声波传感器。
51.s320：识别视觉图像信息进而得到障碍物视觉类型。
52.对视觉传感器获取的视觉图像进行检测，以识别障碍物的视觉类型。具体地，将视觉图像信息输入到训练好的类型识别模型中，对视觉图像进行信息提取，得到视觉图像中的障碍物视觉类型。如人、宠物、球等。其中，该类型识别模型是利用大量的实际和仿真数据训练得到的神经网络模型，如faster r-cnn、ssd、yolo等一个或多个模型的组合模型。
53.s330：通过视觉图像信息获得视觉距离信息，以及通过超声波信息获得超声波距离信息；通过视觉图像信息获得视觉方向信息，以及通过超声波信息获得超声波方向信息。
54.视觉图像信息中包含有障碍物的视觉距离信息和视觉方向信息，其中，视觉距离信息是从视觉图像中得到的机器人和障碍物之间的距离，视觉方向信息是以视觉图像进行计算得到的障碍物相对机器人的方向。同样地，对视觉传感器获取的视觉图像进行检测，以识别障碍物与当前机器人的距离和方向。具体地，将视觉图像信息输入到训练好的位置识别模型中，对视觉图像进行信息提取，得到视觉图像中的障碍物的具体位置，即得到障碍物与当前机器人的距离和方向。其中，该位置识别模型是利用大量的实际和仿真数据训练得到的神经网络模型，如fasterr-cnn、ssd、yolo等一个或多个模型的组合模型。进一步的，利用障碍物的视觉距离信息和视觉方向信息，可以得到利用视觉传感器测量的障碍物的坐标信息。
55.超声波信息中包含有障碍物的超声波距离信息和超声波方向信息，其中，超声波距离信息是以超声波传感器进行测距得到的机器人和障碍物之间的距离，超声波方向信息是以超声波传感器进行测距得到的障碍物相对机器人的方向。
56.当超声波传感器为多个时，可能检测到多个不同的障碍物信息，则根据每个超声波传感器的安装位置以及检测到的多个障碍物信息，利用最小二乘法等优化方法，计算出障碍物的一个实际位置信息。在该实施方式中，超声波传感器为两个。请参阅图4和图5，图5是本技术障碍物定位跟踪方法实施方式中的超声波测距的几何关系的示意图。如图4 所示，当机器人检测到出现障碍物时，分别利用两个超声波传感器分别发送超声波信息，因超声波传感器的探测范围为圆锥形，因此，两个超声波传感器的探测区域会在中间区域形成重叠。
57.当两个超声波传感器均接收到了由障碍物反射回来的超声波信息，则机器人通过两个超声波传感器获得两个对应的超声波测距信息，则基于两个超声波传感器之间的间距和两个对应的超声波测距信息，利用三角测量法计算得到超声波距离信息和超声波方向信息。具体地，第一超声波传感器利用接收到的超声波信息计算得到第一超声波测距信息为 d1，第二超声波传感器利用接收到的超声波信息计算得到第二超声波测距信息为d2，两个超声波传感器的间距为l，通过几何关系构建约束方程，判断第一超声波测距信息d1、第二超声波测距信息d2和间距为l 可以构成三角形，即是否满足d1+l＜d2和d2+l＜d1，若满足上述公式，则利用三角测量法计算得到超声波信息。其中，计算得到第一超声波传感器与障碍物连线的夹角α为：将该夹角α作为障碍物的超声波方向信息，计算得到障碍物到两个超声波传感器中心连线的距离z为：z＝d1sin(α)，将该距离z作为障碍物的超声波距离信息。进一步的，利用障碍物的超声波距离信息和超声波方向信息，可以得到利用超声波传感器测量的障碍物的坐标信息。
58.若不满足上述公式，说明第一超声波测距信息d1、第二超声波测距信息d2和间距为l无法构成三角形，说明只有其中一个超身边传感器检测到障碍物并产生了有效的超声波信息，另一侧的超声波信息无效。而由于超声波传感器的检测范围呈圆锥形，此时依靠单超声波不能确定准确的障碍物方向，因此取该有效超声波传感器的超声波圆锥形的中心线
朝向作为障碍物相对于机器人的超声波方向信息，将该超声波传感器检测到的超声波测距信息作为障碍物的超声波距离信息。进一步的，利用障碍物的超声波距离信息和超声波方向信息，可以得到利用超声波传感器测量的障碍物的坐标信息。
59.若两个超声波传感器均检测到的是无效测距信息，则认为当前方向不存在障碍物，即没有障碍物的超声波距离信息和超声波方向信息。
60.s340：将视觉距离信息和超声波距离信息进行加权融合得到距离融合信息。
61.因视觉传感器获取的视觉距离信息只能粗略定位障碍物的位置，而超声波传感器获取的超声波距离信息能够得到更准确地定位障碍物的位置，但有些情况下，超声波传感器的超声波距离信息可能会获取失效，因此，将上述两种距离信息进行融合，以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。具体地，可以将视觉传感器检测到的视觉距离信息和超声波传感器检测到的超声波距离信息进行加权融合。其中，可以预先设置视觉距离信息和超声波距离信息的权重，也根据经验设置视觉距离信息和超声波距离信息的权重。其中，视觉距离信息的权重为视觉距离信息系数，超声波距离信息的权重为超声波距离信息系数。在一实施方式中，先获取视觉传感器和超声波传感器获取的信息的置信度，并将其各自的置信度作为融合权重。
62.具体地，获取视觉传感器和超声波传感器的置信度的方法如下：
63.利用视觉传感器和超声传感器获取不同的障碍物的信息时，该信息的精度不相同，是因为不同障碍物具有相对应的反射率，该反射率会影响视觉传感器和超声传感器对信息的获取。反射率为物体反射的辐射能量占总辐射能量的百分比。不同物体的反射率也不同，这主要取决于物体本身的性质。对于视觉传感器，物体的反射率主要为对光的反射率，对于超声波传感器，物体反射率主要为对超声波的反射率，物体的纹理、材质、光泽等都会影响其反射率。同样地，利用视觉传感器和超声传感器获取同一障碍物的信息时，该障碍物与视觉传感器和超声传感器的距离不同，该信息的精度也不同。而对于同一反射率的障碍物而言，其与视觉传感器和超声传感器的距离之间存在对应关系。因此，首先利用大量的物体进行实验测试，获取其反射率、其分别在不同距离下视觉传感器和超声传感器的测距精度。并根据先验的物体反射率对应的超声波测距精度和距离的关系，建立预设物体超声测距反射率对应的测距的超声波置信度列表，以及根据先验的物体反射率对应的视觉测距精度和距离的关系，建立预设物体视觉测距反射率对应的测距的视觉置信度列表。
64.以障碍物视觉类型为关键词查找物体超声测距反射率对应的超声波置信度列表和物体视觉测距反射率对应的视觉置信度列表，分别得到超声波距离置信度和视觉距离置信度。具体地，以上述视觉传感器获取障碍物的障碍物视觉类型为关键词查找其视觉测距反射率，并获取该视觉反射率下的对应的视觉置信度列表，在该视觉置信度列表中查找视觉距离信息对应的视觉距离置信度，并将视觉距离置信度作为视觉距离信息系数。以上述视觉传感器获取的障碍物视觉类型为关键词查找其超声波测距反射率，并获取该超声波反射率下的对应的超声波置信度列表，在该超声波置信度列表中查找超声波距离信息对应的超声波距离置信度，并将超声波距离置信度作为超声波距离信息系数。
65.若查找超声波置信度列表和/或视觉置信度列表后得不到结果，如在一些实施方式中，可能存在一些障碍物的障碍物视觉类型没有查找到对应的超声波反射率和/或视觉反射率，或者存在该障碍物的超声波距离信息没有查找到对应的超声波距离置信度和/或
存在该障碍物的视觉距离信息没有查找到对应的视觉距离置信度，则以默认的置信度作为超声波距离置信度和/或视觉距离置信度。
66.将视觉距离置信度作为视觉距离信息系数，将超声波距离置信度作为超声波距离信息系数，对视觉距离信息和超声波距离信息进行加权平均，得到距离融合信息。具体地，加权平均的计算方法如下：d＝w1*d1 +w2*d2，其中，d1为视觉距离信息，d2为超声波距离信息，w1为视觉距离信息系数，w2为超声波距离信息系数，d为距离融合信息，w1+ w2＝1。
67.s260：将距离融合信息与视觉方向信息和超声波方向信息结合，以对视觉位置信息以及超声波位置信息进行更新，得到第一位置融合信息。
68.视觉位置信息包含视觉距离信息和视觉方向信息，将上述得到的距离融合信息代替视觉距离信息，将距离融合信息和视觉方向信息更新为视觉位置信息。超声波位置信息包含超声波距离信息和超声波方向信息，将上述得到的距离融合信息代替超声波距离信息，将距离融合信息和超声波方向信息更新为超声波位置信息。
69.此时视觉位置信息和超声波位置信息包含不同的方向信息和相同的距离信息。将视觉位置信息和超声波位置信息在方向上进行融合，得到第一位置融合信息。其中，可以利用不同的角度权重对视觉位置信息和超声波位置信息进行融合。在一具体实施方式中，取视觉位置信息和超声波位置信息在方向上的平均值，得到第一位置融合信息。并将第一位置融合信息作为定位融合信息。
70.s370：以定位融合信息进行障碍物的跟踪定位。
71.将该定位融合信息作为障碍物当前的位置信息，用以持续观察障碍物的移动情况，实现对障碍物的跟踪定位。
72.在该实施方式中，本技术提供一种机器人的障碍物定位跟踪方法，通过分别采用单目二维视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，相对双目相机类视觉传感器，本技术的视觉传感器硬件成本更低，同时需要计算量更少，对硬件资源要求低，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差，融合时利用两个传感器的检测精度作为融合权重，提高了融合位置信息的准确度。相较于单一测距传感器或者单一图像传感器，可以获得更加准确可靠的障碍物定位、跟踪结果，如障碍物的位置、尺寸、类别等，该信息也可以为后续的避障提供信息支持；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值。
73.在本技术的实施方式中，当检测到障碍物时，会给障碍物设置障碍物id信息，并存放于障碍物列表。当检测到新的障碍物时，核对判断是否为障碍物列表中的障碍物。当检测到的障碍物为障碍物列表中已经存在的障碍物时，将障碍物的历史位置信息与视觉超声融合方法获取的位置信息进行融合，得到融合位置信息。请参阅图6，图6是本技术障碍物定位跟踪方法第三实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。如图6所示，本实施方式包括：
74.s610：机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息。通过视觉图像信息获得视觉距离信息，以及通过超声波信息获得超声波距离信息。
75.机器人上安装有视觉传感器和超声波传感器，首先，机器人利用视觉传感器对障
碍物进行拍摄，从摄像头获取障碍物的图像，作为视觉图像信息。其中，视觉传感器可以为单目二维视觉传感器。机器人利用超声波传感器向障碍物发送超声波信号，并接收由障碍物反射回来的超声波信息，其中，超声波信息中包含从发射到接收超声波信息的时间。
76.在该申请的实施方式中，机器人上可以安装一个或多个视觉传感器，安装一个或多个超声波传感器。在该实施方式中，主要以安装有一个视觉传感器和两个超声波传感器的机器人为例进行说明，一个视觉传感器居中安装在该机器人上，在视觉传感器的两侧分别安装有第一超声波传感器和第二超声波传感器。
77.视觉图像信息中包含有障碍物的视觉距离信息和视觉方向信息，其中，视觉距离信息是从视觉图像中得到的机器人和障碍物之间的距离，视觉方向信息是以视觉图像进行计算得到的障碍物相对机器人的方向。同样地，对视觉传感器获取的视觉图像进行检测，以识别障碍物与当前机器人的距离和方向。具体地，将视觉图像信息输入到训练好的位置识别模型中，对视觉图像进行信息提取，得到视觉图像中的障碍物的具体位置，即得到障碍物与当前机器人的距离和方向。其中，该位置识别模型是利用大量的实际和仿真数据训练得到的神经网络模型，如fasterr-cnn、ssd、yolo等一个或多个模型的组合模型。进一步的，利用障碍物的视觉距离信息和视觉方向信息，可以得到利用视觉传感器测量的障碍物的坐标信息。
78.s620：识别视觉图像信息进而得到障碍物视觉类型。
79.对视觉传感器获取的视觉图像进行检测，以识别障碍物的视觉类型。具体地，将视觉图像信息输入到训练好的类型识别模型中，对视觉图像进行信息提取，得到视觉图像中的障碍物视觉类型。如人、宠物、球等。其中，该类型识别模型是利用大量的实际和仿真数据训练得到的神经网络模型，如faster r-cnn、ssd、yolo等一个或多个模型的组合模型。
80.s630：将视觉距离信息和超声波距离信息进行加权融合得到距离融合信息。
81.因视觉传感器获取的视觉距离信息只能粗略定位障碍物的位置，而超声波传感器获取的超声波距离信息能够得到更准确地定位障碍物的位置，但有些情况下，超声波传感器的超声波距离信息可能会获取失效，因此，将上述两种距离信息进行融合，以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。具体地，可以将视觉传感器检测到的视觉距离信息和超声波传感器检测到的超声波距离信息进行加权融合。其中，可以预先设置视觉距离信息和超声波距离信息的权重，也根据经验设置视觉距离信息和超声波距离信息的权重。其中，视觉距离信息的权重为视觉距离信息系数，超声波距离信息的权重为超声波距离信息系数。在一实施方式中，先获取视觉传感器和超声波传感器获取的信息的置信度，并将其各自的置信度作为融合权重。
82.具体地，获取视觉传感器和超声波传感器的置信度的方法如下：
83.利用视觉传感器和超声传感器获取不同的障碍物的信息时，该信息的精度不相同，是因为不同障碍物具有相对应的反射率，该反射率会影响视觉传感器和超声传感器对信息的获取。同样地，利用视觉传感器和超声传感器获取同一障碍物的信息时，该障碍物与视觉传感器和超声传感器的距离不同，该信息的精度也不同。而对于同一反射率的障碍物而言，其与视觉传感器和超声传感器的距离之间存在对应关系。因此，首先利用大量的物体进行实验测试，获取其反射率、其分别在不同距离下视觉传感器和超声传感器的测距精度。并根据先验的物体反射率对应的超声波测距精度和距离的关系，建立预设物体超声测距反
射率对应的测距的超声波置信度列表，以及根据先验的物体反射率对应的视觉测距精度和距离的关系，建立预设物体视觉测距反射率对应的测距的视觉置信度列表。
84.以障碍物视觉类型为关键词查找物体超声测距反射率对应的超声波置信度列表和物体视觉测距反射率对应的视觉置信度列表，分别得到超声波距离置信度和视觉距离置信度。具体地，以上述视觉传感器获取障碍物视觉类型为关键词查找其视觉测距反射率，并获取该视觉反射率下的对应的视觉置信度列表，在该视觉置信度列表中查找视觉距离信息对应的视觉距离置信度，并将视觉距离置信度作为视觉距离信息系数。以上述视觉传感器获取的障碍物视觉类型为关键词查找其超声波测距反射率，并获取该超声波反射率下的对应的超声波置信度列表，在该超声波置信度列表中查找超声波距离信息对应的超声波距离置信度，并将超声波距离置信度作为超声波距离信息系数。
85.若查找超声波置信度列表和/或视觉置信度列表后得不到结果，如在一些实施方式中，可能存在一些障碍物的障碍物视觉类型没有查找到对应的超声波反射率和/或视觉反射率，或者存在该障碍物的超声波距离信息没有查找到对应的超声波距离置信度和/或存在该障碍物的视觉距离信息没有查找到对应的视觉距离置信度，则以默认的置信度作为超声波距离置信度和/或视觉距离置信度。
86.将视觉距离置信度作为视觉距离信息系数，将超声波距离置信度作为超声波距离信息系数，对视觉距离信息和超声波距离信息进行加权平均，得到距离融合信息。具体地，加权平均的计算方法如下：d＝w1*d1 +w2*d2，其中，d1为视觉距离信息，d2为超声波距离信息，w1为视觉距离信息系数，w2为超声波距离信息系数，d为距离融合信息。
87.s640：将距离融合信息与视觉方向信息和超声波方向信息结合，以对视觉位置信息以及超声波位置信息进行更新，得到第一位置融合信息。
88.视觉位置信息包含视觉距离信息和视觉方向信息，将上述得到的距离融合信息代替视觉距离信息，将距离融合信息和视觉方向信息更新为视觉位置信息。超声波位置信息包含超声波距离信息和超声波方向信息，将上述得到的距离融合信息代替超声波距离信息，将距离融合信息和超声波方向信息更新为超声波位置信息。
89.此时视觉位置信息和超声波位置信息包含不同的方向信息和相同的距离信息。将视觉位置信息和超声波位置信息在方向上进行融合，得到第一位置融合信息。
90.s650：获取预测位置信息和前一时刻的定位融合信息之间的距离。
91.对障碍物的id进行检测，并根据障碍物的历史位置信息，对障碍物当前位置进行预测，得到预测位置信息。具体地，首先根据障碍物的 id获取障碍物历史类型，其中，障碍物历史类型为障碍物前一时刻的视觉类型。基于障碍物历史类型得到障碍物对应的运动模型。对不同历史类型的障碍物采用相对应的运动模型对其当前的位置信息进行预测。在另一实施方式中，可以先对该历史类型进行动态障碍物和静态障碍物判断，在本技术的实施方式中，预先建立障碍物动态静态对应表，将常见障碍物的类型信息和其对应的静态障碍物或动态障碍物作为障碍物动态静态对应表。根据障碍物的视觉类型查找障碍物动态静态对应表，判断障碍物为静态障碍物或动态障碍物。对动态障碍物和静态障碍物采用相对应的运动模型对其当前的位置信息进行预测，得到预测位置信息。
92.s660：对障碍物的预测位置信息和第二位置融合信息进行融合，得到第三位置融合信息。
93.s670：以定位融合信息进行障碍物的跟踪定位。
94.将该定位融合信息作为障碍物当前的位置信息，用以持续观察障碍物的移动情况，实现对障碍物的跟踪定位。
95.在该实施方式中，本技术提供一种机器人的障碍物定位跟踪方法，通过采用采用视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差，融合时利用两个传感器的检测精度作为融合权重，提高了融合位置信息的准确度。在此基础上采用预测方法对障碍物的运动行为进行预测，得到障碍物的预测位置信息，将上述融合结果再与预测位置信息进行融合，得到更加准确的障碍物定位信息。
96.相较于单一测距传感器或者单一图像传感器，本技术的定位跟踪方法结合了两种传感器和一种预测方法，可以获得更加准确可靠的障碍物定位、跟踪结果，如障碍物的位置、尺寸、类别等，该信息也可以为后续的避障提供信息支持；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值，可以为后续的跟踪避障提供条件。
97.传统手动除草机在使用时需要人工操作，为了解放双手减少人工，自动割草机器人应运而生。而割草机工作环境中经常会有障碍物出现，因此障碍物自动避让是智能割草机的核心功能之一。更进一步地，在识别到障碍物后需要对其进行跟踪，以确保避让过程更加稳定可靠。本技术的机器人的障碍物定位跟踪方法可以应用于割草机器人。请参阅图7，图7是本技术障碍物定位跟踪方法第四实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。如图7所示，本实施方式包括：
98.步骤一，建立跟踪障碍物列表。
99.建立一个跟踪障碍物列表，用来表示和记录识别到的障碍物信息，如障碍物类型、障碍物被检测到的时间和位置、障碍物id等，其中，每个障碍物都设置有其对应的id信息，id信息用于标记和区分不同的障碍物。当机器人检测到新的障碍物时，将障碍物添加到跟踪障碍物列表中。因此，跟踪障碍物列表中的障碍物信息会实时更新。机器人对跟踪障碍物列表中的障碍物信息进行未更新统计，累计障碍物信息的未更新时长，当障碍物信息的未更新时长大于预设时长，则说明该障碍物已离开当前监测区域，则删除障碍物的信息。
100.步骤二，对障碍物列表中的障碍物进行位置预测，得到预测位置信息。
101.从跟踪障碍物列表获取障碍物列表中的障碍物的历史类型，其中，该历史类型为在前一时刻利用视觉传感器获取得到的障碍物视觉类型，该视觉类型被保存于跟踪障碍物列表中。基于障碍物历史类型得到障碍物对应的运动模型。对不同历史类型的障碍物采用相对应的运动模型对其当前的位置信息进行预测。如分别对障碍物类型为人、宠物、球等设置相对应的运动模型。在另一实施方式中，可以先对该历史类型进行动态障碍物和静态障碍物判断。在本技术的实施方式中，预先建立障碍物动态静态对应表，将常见障碍物的类型信息和其对应的静态障碍物或动态障碍物作为障碍物动态静态对应表。根据障碍物的历史类型查找障碍物动态静态对应表，判断障碍物为静态障碍物或动态障碍物。对动态障碍物和静态障碍物采用相对应的运动模型对其当前的位置信息进行预测，得到预测位置信息。如动态障碍物可以有人、宠物等，静态障碍物可以有石头等。当障碍物历史类型判断为静态障碍物时，则静态障碍物对应的运动模型为恒定模型，其中，恒定模型则说明静态障碍物保持位置恒定；当障碍物历史类型判断为动态障碍物，则动态障碍物对应的运动模型为一般
运动学模型，其中，一般运动学模型可以是匀速模型或匀加减速模型或匀速和匀加减速混合模型。不同的动态障碍物也可能对应有不同的一般运动学模型。
102.利用障碍物对应的运动模型对其当前的位置信息进行预测，具体地，获取障碍物在前一时刻世界坐标行下的位置为x
w,t-1
，利用该障碍物对应的运动模型对其进行预测，计算方法为：其中， f为运功模型的状态转移函数，w为噪声信息，为预测得到的预测位置信息。计算预测位置信息的协方差为卡尔曼增益为：其中，q、r也为噪声信息，fj、hj分别为状态转移方程和观测方程的雅可比矩阵。
103.步骤三，机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息，则融合视觉图像信息和超声波信息，得到第二融合位置信息。
104.请参阅图8，图8是本技术视觉图像信息和超声波信息融合方法的流程示意图。机器人分别利用视觉传感器获取障碍物的视觉图像信息和利用超声波传感器获得超声波信息。在该实施方式中，主要以安装有一个视觉传感器和两个超声波传感器的机器人为例进行说明。将视觉传感器获取得到的视觉图像输入到训练好的神经网络模型中，获取得到图像中障碍物的信息，包括视觉图像类型、视觉位置信息、障碍物尺寸等。其中，障碍物尺寸用于之后机器人进行避障。
105.分别利用两个超声波传感器获取超声波信息，利用几何约束判断两个超声波传感器获取的超声波信息是否都有效。若数据无效，则认为超声波未检测到障碍物，则认为视觉传感器的识别出现了误检或障碍物超过超声波测量范围，当前方向并没有障碍物，因此，丢弃该次视觉传感器的检测结果，重复该步骤三。
106.若几何约束有解，则说明两个超声波信息均有效，结合两个超声波信息得到障碍物的超声波位置信息。若几何约束无解，则说明只有一个超声波信息有效，则只利用其中一个超声波信息得到障碍物的超声波位置信息。此时，视觉图像信息和超声波信息均有效，则融合视觉图像信息和超声波信息，得到第二融合位置信息。具体地，视觉位置信息包括视觉距离信息和视觉方向信息，超声波位置信息包括超声波距离信息和超声波方向信息。将上述两种距离信息进行融合，具体地，可以将视觉传感器检测到的视觉距离信息和超声波传感器检测到的超声波距离信息进行加权融合。其中，可以预先设置视觉距离信息和超声波距离信息的权重，也根据经验设置视觉距离信息和超声波距离信息的权重。其中，视觉距离信息的权重为视觉距离信息系数，超声波距离信息的权重为超声波距离信息系数。在一实施方式中，先获取视觉传感器和超声波传感器获取的信息的置信度，并将其各自的置信度作为融合权重。具体地，获取视觉传感器和超声波传感器的置信度的方法如下：
107.利用视觉传感器和超声传感器获取不同的障碍物的信息时，该信息的精度不相同，是因为不同障碍物具有相对应的反射率，该反射率会影响视觉传感器和超声传感器对信息的获取。同样地，利用视觉传感器和超声传感器获取同一障碍物的信息时，该障碍物与视觉传感器和超声传感器的距离不同，该信息的精度也不同。而对于同一反射率的障碍物而言，其与视觉传感器和超声传感器的距离之间存在对应关系。因此，首先利用大量的物体进行实验测试，获取其反射率、其分别在不同距离下视觉传感器和超声传感器的测距精度。并根据先验的物体反射率对应的超声波测距精度和距离的关系，建立预设物体超声测距反
射率对应的测距的超声波置信度列表，以及根据先验的物体反射率对应的视觉测距精度和距离的关系，建立预设物体视觉测距反射率对应的测距的视觉置信度列表。
108.以障碍物视觉类型为关键词查找物体超声测距反射率对应的超声波置信度列表和物体视觉测距反射率对应的视觉置信度列表，分别得到超声波距离置信度和视觉距离置信度。具体地，以上述视觉传感器获取的障碍物视觉类型为关键词查找其视觉测距反射率，并获取该视觉反射率下的对应的视觉置信度列表，在该视觉置信度列表中查找视觉距离信息对应的视觉距离置信度，并将视觉距离置信度作为视觉距离信息系数。以上述视觉传感器获取的障碍物视觉类型为关键词查找其超声波测距反射率，并获取该超声波反射率下的对应的超声波置信度列表，在该超声波置信度列表中查找超声波距离信息对应的超声波距离置信度，并将超声波距离置信度作为超声波距离信息系数。
109.若查找超声波置信度列表和/或视觉置信度列表后得不到结果，如在一些实施方式中，可能存在一些障碍物的障碍物视觉类型没有查找到对应的超声波反射率和/或视觉反射率，或者存在该障碍物的超声波距离信息没有查找到对应的超声波距离置信度和/或存在该障碍物的视觉距离信息没有查找到对应的视觉距离置信度，则以默认的置信度作为超声波距离置信度和/或视觉距离置信度。
110.将视觉距离置信度作为视觉距离信息系数，将超声波距离置信度作为超声波距离信息系数，对视觉距离信息和超声波距离信息进行加权平均，得到距离融合信息。具体地，加权平均的计算方法如下：d＝w1*d1 +w2*d2，其中，d1为视觉距离信息，d2为超声波距离信息，w1为视觉距离信息系数，w2为超声波距离信息系数，d为距离融合信息。将上述得到的距离融合信息代替视觉距离信息，将距离融合信息和视觉方向信息更新为视觉位置信息。超声波位置信息包含超声波距离信息和超声波方向信息，将上述得到的距离融合信息代替超声波距离信息，将距离融合信息和超声波方向信息更新为超声波位置信息。
111.此时视觉位置信息和超声波位置信息包含不同的方向信息和相同的距离信息。将视觉位置信息和超声波位置信息在方向上进行融合，得到第一位置融合信息。
112.因第一位置融合信息中的坐标信息为障碍物相对机器人的坐标信息，因此，先将第一位置融合信息转换为世界坐标系下的第二位置融合信息。
113.步骤四，获取预测位置信息和前一时刻的定位融合信息之间的距离。
114.判断障碍物在前一时刻到当前时刻的移动距离，即预测位置信息和前一时刻的定位融合信息之间的距离。按照障碍物的正常运动而言，两个时刻之间的运动距离不会过远，若得到的预测位置信息和前一时刻的定位融合信息之间的距离过远时，则说明预测得到的预测位置信息有误。
115.步骤五，若该距离小于或等于预设距离，且障碍物与当前障碍物类型相同，则对障碍物的预测位置信息和第二位置融合信息进行融合，得到第三位置融合信息。
116.当预测位置信息和前一时刻的定位融合信息之间的距离小于或等于预设距离时，说明预测得到的该障碍物的位置合理，同时，将当前检测到的障碍物的视觉类型与障碍物列表中的障碍物历史类型比对，选择类型相同的障碍物。若满足当前障碍物与障碍物列表中的目标障碍物类型相同，且对目标障碍物的预测位置信息和前一时刻的定位融合信息之间的距离小于或等于预设距离，则说明当前障碍物与目标障碍物为同一障碍物，且预测位置信息有效。则对障碍物的预测位置信息和第二位置融合信息进行融合，得到第三位置融
合信息。
117.在一实施方式中，利用卡尔曼滤波对障碍物的预测位置信息和第二位置融合信息进行融合，得到第三位置融合信息。首先，获取包含第三位置融合信息的观测矩阵z
t
。利用观测矩阵z
t
，卡尔曼增益k
t
，预测位置信息观测方程的雅可比矩阵hj，得到第三位置融合信息。其中，卡尔曼滤波的更新过程为卡尔曼滤波的更新过程为该步骤五之后进行步骤七。
118.步骤六，若该距离大于预设距离，或障碍物历史类型和障碍物视觉类型不同，则将障碍物认定为新增障碍物，将距离融合信息和障碍物的方向融合信息进行结合得到第四位置融合信息。
119.当预测位置信息和前一时刻的定位融合信息之间的距离大于预设距离时，说明预测得到的该障碍物的位置不合理，同样地，将当前检测到的障碍物的视觉类型与障碍物列表中的障碍物历史类型比对，当障碍物列表中的没有与当前检测到的障碍物类型相同的障碍物，则说明该障碍物为新增障碍物，将距离融合信息和障碍物的方向融合信息进行结合得到第四位置融合信息。其中，方向融合信息是取视觉方向信息和超声波方向信息的平均方向信息而得到。将第四位置融合信息作为定位融合信息。
120.步骤七，以定位融合信息进行障碍物的跟踪定位。
121.将该定位融合信息作为障碍物当前的位置信息，并将该位置信息放入跟踪障碍物列表中。以对该障碍物的信息进行更新或补充，并持续观测该障碍物的未来运动情况。
122.在该实施方式中，本技术提供一种机器人的障碍物定位跟踪方法，通过预先构建障碍物列表，采用预测方法对障碍物列表中的障碍物的运动行为进行预测，得到障碍物的预测位置信息。在此同时，采用视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差，融合时利用两个传感器的检测精度作为融合权重，提高了融合位置信息的准确度。若当前障碍物为障碍物列表中的障碍物时，采用卡尔曼滤波的方法将上述两种方法得到的障碍物位置信息进行融合，得到更加准确的障碍物定位信息。该障碍物定位信息可以对障碍物列表中的信息进行更新，以实现障碍物的跟踪。若当前障碍物不为障碍物列表中的障碍物时，直接利用视觉传感器和超声波传感器获得的障碍物定位信息对障碍物进行定位跟踪，同时，在障碍物列表中增加新的障碍物，以实现障碍物的跟踪。
123.相较于单一测距传感器或者单一图像传感器，本技术的定位跟踪方法结合了两种传感器和一种预测方法，可以获得更加准确可靠的障碍物定位信息，如障碍物的位置、尺寸、类别等，同时可以有效检测障碍物的运动情况，实现障碍物的跟踪。该信息也可以为后续的避障提供信息支持；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值，可以为后续的跟踪避障提供条件。
124.本技术提出的障碍物定位跟踪可应用于多长场景下的机器人，在一实施情况下，可以将本技术的障碍物定位跟踪应用于割草机器人。请参阅图9，图9是本技术割草机器人实施方式的结构示意图。该实施方式中，割草机器人包括机体91、割草组件92、信息采集组件93和控制器 94。
125.其中，割草组件92安装于机体91；信息采集组件93安装于机体并用于采集视觉图像信息和超声波信息；控制器94安装于机体并用于控制机体配合信息采集组件，采用上述的障碍物定位跟踪方法对障碍物定位跟踪。本技术提供一种机器人以实现障碍物定位跟踪方法，通过分别采用视觉传感器和超声波传感器对障碍物进行检测，得到障碍物的位置信息，相对双目相机类视觉传感器，本技术的视觉传感器硬件成本更低，同时需要计算量更少，对硬件资源要求低，将两个传感器获取的信息进行融合，得到定位融合信息以实现两种检测结果的互相补偿和修正，以降低机器人整体检测误差。相较于单一测距传感器或者单一图像传感器，可以获得更加准确可靠的障碍物定位、跟踪结果；相较于高级的三维传感器，硬件成本更低，具有更高的实际使用价值。
126.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
127.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
128.以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种机器人的障碍物定位跟踪方法，其特征在于，包括：所述机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息；通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息，所述视觉位置信息是以所述视觉图像进行计算得到的所述障碍物位置，所述超声波位置信息是以所述超声波传感器进行测距得到的所述障碍物位置；对所述视觉位置信息和所述超声波位置信息进行融合得到定位融合信息；以所述定位融合信息进行所述障碍物的跟踪定位。2.根据权利要求1所述的机器人的障碍物定位跟踪方法，其特征在于，所述通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息包括：通过所述视觉图像信息获得视觉距离信息，以及通过所述超声波信息获得超声波距离信息，所述视觉距离信息是从所述视觉图像中得到的所述机器人和所述障碍物之间的距离，所述超声波距离信息是从所述超声波信息中得到的所述机器人和所述障碍物之间的距离；所述对所述视觉位置信息和所述超声波位置信息进行融合得到定位融合信息包括：将所述视觉距离信息和所述超声波距离信息进行加权融合得到距离融合信息，其中，所述加权融合中的所述视觉距离信息系数为视觉距离置信度，所述加权融合中的所述超声波距离信息系数为超声波距离置信度。3.根据权利要求2所述的机器人的障碍物定位跟踪方法，其特征在于，所述机器人通过视觉传感器获得视觉图像信息之后包括：识别所述视觉图像信息进而得到所述障碍物视觉类型；所述视觉距离置信度和所述超声波距离置信度采用以下方法获得：根据先验的物体反射率对应的超声波测距精度和距离的关系，建立预设物体超声测距反射率对应的测距的超声波置信度列表，以及根据先验的物体反射率对应的视觉测距精度和距离的关系，建立预设物体视觉测距反射率对应的测距的视觉置信度列表；以所述障碍物视觉类型为关键词查找所述物体超声测距反射率对应的所述超声波置信度列表和所述物体视觉测距反射率对应的所述视觉置信度列表，分别得到所述超声波距离置信度和所述视觉距离置信度。4.根据权利要求3所述的机器人的障碍物定位跟踪方法，其特征在于，所述以所述障碍物类型为关键词查找所述超声波置信度列表和所述视觉置信度列表，分别得到所述超声波距离置信度和所述视觉距离置信度包括：若查找所述超声波置信度列表和/或所述视觉置信度列表后得不到结果，则以默认的置信度作为所述超声波距离置信度和/或所述视觉距离置信度。5.根据权利要求2所述的机器人的障碍物定位跟踪方法，其特征在于，所述通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息包括：通过所述视觉图像信息获得视觉方向信息，以及通过所述超声波信息获得超声波方向信息，所述视觉方向信息是以所述视觉图像进行计算得到的所述障碍物相对所述机器人的
方向，所述超声波方向信息是以所述超声波传感器进行测距得到的所述障碍物相对所述机器人的方向；所述将所述视觉距离信息和所述超声波距离信息进行加权融合得到所述距离融合信息之后包括：将所述距离融合信息与所述视觉方向信息和所述超声波方向信息结合，以对所述视觉位置信息以及所述超声波位置信息进行更新，得到第一位置融合信息。6.根据权利要求5所述的机器人的障碍物定位跟踪方法，其特征在于，所述对所述视觉位置信息以及所述超声波位置信息进行更新，得到第一位置融合信息之后包括：将所述第一位置融合信息作为所述定位融合信息。7.根据权利要求5所述的机器人的障碍物定位跟踪方法，其特征在于，所述利用所述距离融合信息与所述视觉方向信息和所述超声波方向信息结合，以对所述视觉位置信息以及所述超声波位置信息进行更新，得到所述第一位置融合信息之后包括：将所述第一位置融合信息转换为世界坐标系下的第二位置融合信息；对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到第三位置融合信息。8.根据权利要求7所述的机器人的障碍物定位跟踪方法，其特征在于，所述对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到第三位置融合信息包括：获取所述预测位置信息和所述前一时刻的定位融合信息之间的距离；响应于所述距离小于或等于预设距离，且所述障碍物历史类型和所述障碍物视觉类型相同，则对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到所述第三位置融合信息。9.根据权利要求8所述的机器人的障碍物定位跟踪方法，其特征在于，所述对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到第三位置融合信息包括：利用卡尔曼滤波对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到所述第三位置融合信息。10.根据权利要求8所述的机器人的障碍物定位跟踪方法，其特征在于，所述利用卡尔曼滤波对所述障碍物的预测位置信息和所述第二位置融合信息进行融合，得到所述第三位置融合信息之后包括：将所述第三位置融合信息作为所述定位融合信息。11.根据权利要求8所述的机器人的障碍物定位跟踪方法，其特征在于，所述障碍物的所述预测位置信息通过以下方法获得：获取障碍物历史类型，所述障碍物历史类型为所述障碍物前一时刻的所述视觉类型；基于所述障碍物历史类型得到所述障碍物对应的运动模型；利用所述运动模型和所述障碍物的前一时刻的定位融合信息，预测当前时刻所述障碍物的所述预测位置信息。
12.根据权利要求11所述的机器人的障碍物定位跟踪方法，其特征在于，所述基于所述障碍物历史类型得到所述障碍物对应的运动模型包括：响应于所述障碍物历史类型为静态障碍物，得到所述障碍物对应的所述运动模型为恒定模型；响应于所述障碍物历史类型为动态障碍物，得到所述障碍物对应的所述运动模型为一般运动学模型，其中，所述一般运动学模型包括匀速模型或匀加减速模型，或包括匀速和匀加减速混合模型。13.根据权利要求8所述的机器人的障碍物定位跟踪方法，其特征在于，所述方法还包括：响应于所述距离大于预设距离，或所述障碍物历史类型和所述障碍物视觉类型不同，则将所述障碍物认定为新增障碍物，将所述距离融合信息和所述障碍物的方向融合信息进行结合得到第四位置融合信息；其中，所述方向融合信息是取所述视觉方向信息和所述超声波方向信息的平均方向信息而得到；将所述第四位置融合信息作为所述定位融合信息。14.根据权利要求10所述的机器人的障碍物定位跟踪方法，其特征在于，所述将所述第三位置融合信息作为所述定位融合信息之后包括：累计所述障碍物的信息的未更新时长；响应于所述未更新时长大于预设时长，删除所述障碍物的信息。15.根据权利要求2所述的机器人的障碍物定位跟踪方法，其特征在于，所述超声波传感器为两个，所述机器人通过超声波传感器获得超声波信息包括：通过所述两个超声波传感器获得两个对应的超声波测距信息；基于所述两个超声波传感器之间的间距和所述两个对应的超声波测距信息，利用三角测量法计算得到所述超声波信息，所述超声波信息包括所述超声波距离信息和所述超声波方向信息。16.根据权利要求3所述的机器人的障碍物定位跟踪方法，其特征在于，所述视觉传感器为单目二维视觉传感器。17.一种割草机器人，其特征在于，所述割草机器人包括，机体；割草组件，安装于所述机体；信息采集组件，安装于所述机体并用于采集视觉图像信息和超声波信息；控制器，连接所述机体和所述信息采集组件，用于控制所述机体配合所述信息采集组件，采用权利要求1至16任一项所述的方法对障碍物定位跟踪。

技术总结
本发明公开了一种机器人的障碍物定位跟踪方法和割草机器人，该机器人的障碍物定位跟踪方法包括：机器人通过视觉传感器获得视觉图像信息，以及通过超声波传感器获得超声波信息；通过所述视觉图像信息获得视觉位置信息，以及通过所述超声波信息获得超声波位置信息，所述视觉位置信息是以所述视觉图像进行计算得到的所述障碍物位置，所述超声波位置信息是以所述超声波传感器进行测距得到的所述障碍物位置；对所述视觉位置信息和所述超声波位置信息进行融合得到定位融合信息；以所述定位融合信息进行所述障碍物的跟踪定位。通过上述方式，本发明能够在降低成本的同时提高障碍物的定位准确性。定位准确性。定位准确性。


技术研发人员：朱成伟
受保护的技术使用者：美的集团股份有限公司
技术研发日：2021.12.28
技术公布日：2023/7/11