一种非结构化大作业空间的机器人视觉定位方法及装置

1.本发明涉及计算机技术领域，尤其涉及一种非结构化大作业空间的机器人视觉定位方法及装置。


背景技术：

2.果园中脐橙等水果，生长在非结构化大作业空间的自然环境中，由于脐橙果树在果园自然环境下为自由生长，其果柄空间方位也为随机，周围必然存在树枝、树叶以及脐橙。要实现对脐橙的无损自主采摘，这对机器人采摘过程的目标全局定位有着较高的要求。
3.现有技术通常是通过图像或者点云分析方法进行，在非结构大场景作业场景出现目标物体识别准确率较低，鲁棒性较差等问题，不能满足当前水果自主采摘机器人精准作业的需要；纯粹基于3d点云和深度学习的3d作业目标准确度太差，且计算过程实时性不足，不符合当前高速采摘水果的需要，适用性较差。


技术实现要素：

4.为了解决上述技术问题，本发明第一方面公开了一种非结构化大作业空间的机器人视觉定位方法，所述方法包括：
5.一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，所述方法包括以下步骤：
6.步骤s1，通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维rgb图像以及全局三维点云；
7.步骤s2，对所述全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
8.步骤s3，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维rgb图像以及局部三维点云；
9.步骤s4，所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。
10.进一步的实施例，所述第一视觉系统采集的全局视觉信息包括单棵果树的完整二维图像和全局三维点云。
11.进一步的实施例，步骤s1中，通过以下步骤完成所述作业场景的近似结构化处理：
12.第一视觉系统获取作业场景的全局三维点云；
13.采用voxelgrid滤波器对全局三维点云进行下采样。
14.进一步的实施例，所述全局三维点云的下采样包括以下步骤：
15.将所述全局三维点云创建为多个三维体素栅格；
16.使用所述三维体素栅格中所有点的质心表示所述三维体素栅格。
17.进一步的实施例，步骤s3中，还包括以下步骤：
18.步骤s31所述第一视觉系统采集局部视觉信息时，所述机器人靠近任意一作业视场，完成局部视觉信息的采集；
19.步骤s32在完成当前作业视场的采摘作业以后，所述机器人靠近另一作业视场，并重复步骤s32，直到完成全部作业视场的采摘作业。
20.进一步的实施例，步骤s2中，所述作业视场的大小为所述机器人一次作业空间范围；在划分作业视场时在所述全局二维rgb图像上进行划分。
21.进一步的实施例，在识别目标水果的位置信息时，采用目标检测算法，通过以下步骤进行所述目标检测算法的训练：
22.采集不同作业目标的图像信息构建训练样本集，对所述训练样本集进行拉普拉斯增强以凸显纹理特征；
23.对所述训练样本集进行打标记操作，并输入特征卷积神经网络进行训练，以获得检测训练模型；
24.通过实例迁移和/或多任务混合迁移学习的方法改进所述检测训练模型；
25.获得所述目标检测算法。
26.进一步的实施例，所述第二视觉系统固定在所述机器人的末端，在精确定位所述目标水果时，包括以下步骤：
27.标定所述第二视觉系统；
28.通过所述目标检测算法获取所述目标水果特征区域像素点对应的目标三维点云；
29.分析所述目标三维点云，获得所述目标水果的坐标信息；
30.将所述坐标信息通过坐标变换，转移到机器人基坐标系，以指导所述机器人进行采摘。
31.本发明第二方面公开了一种非结构化大作业空间的机器人视觉定位装置，所述装置包括：
32.第一视觉模块，其用于获取果树的全局视觉信息以及局部视觉信息；所述全局视觉信息包括全局二维rgb图像和全局三维点云，所述局部视觉信息包括局部二维rgb图像和局部三维点云；
33.第二视觉模块，其用于获取目标水果的定位图像；
34.处理模块，其用于对所述全局视觉信息进行近似结构化处理，所述近似结构化处理配置为对所述全局视觉信息进行点云下采样处理；
35.划分模块，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
36.第一定位模块，其用于分析所述局部视觉信息，以识别到目标水果的位置信息；
37.第二定位模块，其用于根据所述定位图像分析得到目标水果的准确定位信息；
38.采摘模块，其用于根据所述准确定位信息采摘目标水果。
39.与现有技术相比，本发明实施例具有以下有益效果：
40.本发明实施例中，首先通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维rgb图像以及全局三维点云；分析所述全局视觉信息，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；通过作业视场划分对非结构化的果树采摘作业场景进行了近似结构化场景处理，便于引导机器人到达各个作业视场中
进行采摘作业，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维rgb图像以及局部三维点云；由于全局视觉信息距离目标水果较远，目标水果识别精度不高，因此在趋近作业视场后，再次进行局部视觉信息的采集，以获得作业视场内更加精确的所有目标水果的位置，为机器人采摘移动提供保障；所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。从原始图像中待采摘水果区域从上面获得的2d图像中自动加以区分，并准确定位框选作业水果目标的矩形框的位置。在近距离对目标水果进行定位，以使机器人完成目标水果的采摘。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位方法的流程示意图；
43.图2是本发明实施例公开的获取全局视觉信息和局部视觉信息的流程示意图；
44.图3是本发明实施例公开的训练目标检测算法的流程示意图；
45.图4是本发明实施例公开的定位目标水果的流程示意图；
46.图5是本发明实施例公开的作业场景的示意图；
47.图6是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位装置的结构示意图。
具体实施方式
48.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
50.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
51.本发明公开了一种非结构化大作业空间的机器人视觉定位方法，用于如图5公开的作业场景，首先通过通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信
息包括全局二维rgb图像以及全局三维点云；分析所述全局视觉信息，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；通过作业视场划分对非结构化的果树采摘作业场景进行了近似结构化场景处理，便于引导机器人到达各个作业视场中进行采摘作业，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维rgb图像以及局部三维点云；由于全局视觉信息距离目标水果较远，目标水果识别精度不高，因此在趋近作业视场后，再次进行局部视觉信息的采集，以获得作业视场内更加精确的所有目标水果的位置，为机器人采摘移动提供保障；所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。从原始图像中待采摘水果区域从上面获得的2d图像中自动加以区分，并准确定位框选作业水果目标的矩形框的位置。在近距离对目标水果进行定位，以使机器人完成目标水果的采摘。以下分别进行详细说明。
52.实施例一
53.请参阅图1及图5，图1是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位方法的流程示意图。如图1所示，该非结构化大作业空间的机器人视觉定位方法可以包括以下操作：
54.一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，其特征在于，方法包括以下步骤：
55.步骤s1，通过第一视觉系统获取作业场景的全局视觉信息，全局视觉信息包括全局二维rgb图像以及全局三维点云；第一视觉系统采集的全局视觉信息包括单棵果树的完整二维图像和全局三维点云。
56.步骤s2，对全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；作业视场的大小为机器人一次作业空间范围；在划分作业视场时在全局二维rgb图像上进行划分。机器人逐个完成一个全局二维rgb图像下的多个作业视场的水果采摘工作，则完成当前全局二维rgb图像的采摘任务。通过以下步骤完成作业场景的近似结构化处理：第一视觉系统获取作业场景的全局三维点云；采用voxelgrid滤波器对全局三维点云进行下采样。具体地，将全局三维点云创建为多个三维体素栅格；使用三维体素栅格中所有点的质心表示三维体素栅格。在创建三维体素栅格的过程中，体素的数量m与体素体积v的设定值成反比。在计算每个三维体素的质心点(x
ct
,y
ct
,z
ct
)时，采用如下方程：
[0057][0058]
其中g为当前体素中点的个数，(xi,yi,zi)为当前体素内点的三维坐标值，i∈[1,g]
[0059]
步骤s3，通过第一视觉系统获取作业场景的局部视觉信息，分析局部视觉信息，以识别到目标水果的位置信息，局部视觉信息包括局部二维rgb图像以及局部三维点云；可以
理解的是，如图2所示，在采集全局视觉信息和局部视觉信息时，还包括以下步骤：
[0060]
步骤s31第一视觉系统采集局部视觉信息时，机器人靠近任意一作业视场，完成局部视觉信息的采集；
[0061]
步骤s32在完成当前作业视场的采摘作业以后，机器人靠近另一作业视场，并重复步骤s32，直到完成全部作业视场的采摘作业。
[0062]
本实施例中的全局视觉信息指的是在较远处一次采集完整果树的二维图像和点云数据，局部视觉信息指的是在机器人在趋近某个作业视场后，在采摘作业前采集得到的二维图像和点云数据。
[0063]
如图3所示，在识别目标水果的位置信息时，采用目标检测算法，该目标检测算法的作用在于机器人到达某一作业视场后，从原始的局部二维rgb图像对其中待采摘水果区域自动加以区分，并准确定位框选目标水果的矩形框的位置。通过以下步骤进行目标检测算法的训练：
[0064]
采集不同作业目标的图像信息构建训练样本集，对训练样本集进行拉普拉斯增强以凸显纹理特征；
[0065]
对训练样本集进行打标记操作，并输入特征卷积神经网络进行训练，以获得检测训练模型；
[0066]
通过实例迁移和/或多任务混合迁移学习的方法改进检测训练模型；即迁移多个源领域的实例来扩增目标领域的数据集规模和/或目标区域内多个任务间知识共享和迁移，不断提高目标水果检测的准确率；
[0067]
获得目标检测算法以进行目标水果的识别检测。
[0068]
该目标检测算法的优点在于针对基于深度学习的作业目标识别中，作业目标的训练数据不足的情况下基于深度学习的作业目标检测方法易于出现的过拟合问题，提出基于混合实例迁移和多任务学习的深度迁移学习方法，探究实例迁移和多任务学习的混合对目标检测的准确率的影响规律，通过迁移多个源领域的实例来扩增目标领域的数据集规模，或者通过目标区域内多个任务间知识共享和迁移，降低训练数据不足情况下基于深度学习的作业目标检测方法出现的退化现象的程度，提高目标物体检测的准确率，降低深度学习对大数据的依赖。
[0069]
步骤s4如图4所示，机器人进入作业视场，通过第二视觉系统精确定位目标水果并进行采摘作业。由于步骤s3中仅仅是从非结构化空间中的工作视场识别到需要采摘的目标水果，位置信息的精确度无法满足机器人采摘需求，因此还需要通过固定在机器人末端的第二视觉系统，再次对目标水果进行精确定位以及动态跟踪，具体包括以下步骤：
[0070]
标定所述第二视觉系统；
[0071]
通过所述目标检测算法获取所述目标水果特征区域像素点对应的目标三维点云；
[0072]
分析所述目标三维点云，获得所述目标水果的坐标信息；
[0073]
将所述坐标信息通过坐标变换，转移到机器人基坐标系，以指导所述机器人进行采摘。
[0074]
本发明的有益效果在于：
[0075]
1、本发明确保非结构化大环境下机器人操作目标的定位准确率更高、定位速度更快，适用性广，机器人动态操作的鲁棒性更好。适用于非结构化大场景下的机器人野外作业
环境的作业目标定位场合。
[0076]
2、在识别目标水果位置时，从全局检测引导至局部检测，使得机器人作业逻辑非机构化大场景。
[0077]
3、所提出的方法，作业空间近似化处理，使得数据处理速度大大提高。
[0078]
4、通过对非结构的大作业空间的全局二维rgb图像进行作业视场分块，使得机器人作业过程有序且高效。
[0079]
5、采用了全局视觉引导与局部视觉定位相结合的方法，使得机器人作业效率大大提高。
[0080]
6、局部视觉和全局视觉都采用二维和三维视觉信息融合，使得机器人定位目标的效率大大提高。
[0081]
7、在作业目标的训练数据不足的情况下，基于深度学习的作业目标检测方法，易于出现的过拟合问题，所提出的目标检测算法基于混合实例迁移和多任务学习的深度迁移学习方法，降低深度学习对大数据的依赖。
[0082]
实施例二
[0083]
请参阅图6，图6是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位装置的结构示意图。如图6所示，该非结构化大作业空间的机器人视觉定位装置可以包括：
[0084]
第一视觉模块201，其用于获取果树的全局视觉信息以及局部视觉信息；全局视觉信息包括全局二维rgb图像和全局三维点云，局部视觉信息包括局部二维rgb图像和局部三维点云；
[0085]
第二视觉模块202，其用于获取目标水果的定位图像；
[0086]
处理模块203，其用于对全局视觉信息进行近似结构化处理，近似结构化处理配置为对全局视觉信息进行点云下采样处理；
[0087]
划分模块204，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
[0088]
第一定位模块205，其用于分析局部视觉信息，以识别到目标水果的位置信息；
[0089]
第二定位模块206，其用于根据定位图像分析得到目标水果的准确定位信息；
[0090]
采摘模块207，其用于根据准确定位信息采摘目标水果；
[0091]
移动模块208，其用于提供移动能力。
[0092]
对于上述非结构化大作业空间的机器人视觉定位装置的具体描述可以参照上述非结构化大作业空间的机器人视觉定位方法的具体描述，在此不再一一赘述。
[0093]
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0094]
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，
该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0095]
最后应说明的是：本发明实施例公开的一种非结构化大作业空间的机器人视觉定位方法及装所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

技术特征：
1.一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，其特征在于，所述方法包括以下步骤：步骤s1，通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维rgb图像以及全局三维点云；步骤s2，对所述全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；步骤s3，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维rgb图像以及局部三维点云；步骤s4，所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。2.根据权利要求1所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，所述第一视觉系统采集的全局视觉信息包括单棵果树的完整二维图像和全局三维点云。3.根据权利要求2所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，步骤s1中，通过以下步骤完成所述作业场景的近似结构化处理：第一视觉系统获取作业场景的全局三维点云；采用voxelgrid滤波器对全局三维点云进行下采样。4.根据权利要求3所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，所述全局三维点云的下采样包括以下步骤：将所述全局三维点云创建为多个三维体素栅格；使用所述三维体素栅格中所有点的质心表示所述三维体素栅格。5.根据权利要求4所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，步骤s3中，还包括以下步骤：步骤s31所述第一视觉系统采集局部视觉信息时，所述机器人靠近任意一作业视场，完成局部视觉信息的采集；步骤s32在完成当前作业视场的采摘作业以后，所述机器人靠近另一作业视场，并重复步骤s32，直到完成全部作业视场的采摘作业。6.根据权利要求5所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，步骤s2中，所述作业视场的大小为所述机器人一次作业空间范围；在划分作业视场时在所述全局二维rgb图像上进行划分。7.根据权利要求6所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，在识别目标水果的位置信息时，采用目标检测算法，通过以下步骤进行所述目标检测算法的训练：采集不同作业目标的图像信息构建训练样本集，对所述训练样本集进行拉普拉斯增强以凸显纹理特征；对所述训练样本集进行打标记操作，并输入特征卷积神经网络进行训练，以获得检测训练模型；通过实例迁移和/或多任务混合迁移学习的方法改进所述检测训练模型；获得所述目标检测算法。8.根据权利要求7所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，所
述第二视觉系统固定在所述机器人的末端，在精确定位所述目标水果时，包括以下步骤：标定所述第二视觉系统；通过所述目标检测算法获取所述目标水果特征区域像素点对应的目标三维点云；分析所述目标三维点云，获得所述目标水果的坐标信息；将所述坐标信息通过坐标变换，转移到机器人基坐标系，以指导所述机器人进行采摘。9.一种非结构化大作业空间的机器人视觉定位装置，其特征在于，所述装置包括：第一视觉模块，其用于获取果树的全局视觉信息以及局部视觉信息；所述全局视觉信息包括全局二维rgb图像和全局三维点云，所述局部视觉信息包括局部二维rgb图像和局部三维点云；第二视觉模块，其用于获取目标水果的定位图像；处理模块，其用于对所述全局视觉信息进行近似结构化处理，所述近似结构化处理配置为对所述全局视觉信息进行点云下采样处理；划分模块，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；第一定位模块，其用于分析所述局部视觉信息，以识别到目标水果的位置信息；第二定位模块，其用于根据所述定位图像分析得到目标水果的准确定位信息；采摘模块，其用于根据所述准确定位信息采摘目标水果。

技术总结
本发明公开了一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，包括以下步骤：通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维RGB图像以及全局三维点云；对所述全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以得到目标水果的位置信息，所述局部视觉信息包括局部二维RGB图像以及局部三维点云；所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。本发明能够准确引导机器人在非结构化空间中进行采摘作业的定位工作。中进行采摘作业的定位工作。中进行采摘作业的定位工作。


技术研发人员：刁世普 杨勇 张文丹 崔冠群 席少辉
受保护的技术使用者：广东技术师范大学
技术研发日：2023.06.08
技术公布日：2023/8/31