抓取控制方法、软体抓手、计算设备及存储介质

1.本发明涉及机器人领域，尤其涉及一种抓取控制方法、软体抓手、计算设备及存储介质。


背景技术：

2.机器人抓取是机器人应用中操作物体的基本动作，相比于手指坚硬的机械手，软体抓手对驱动和感知的不确定性具有很强的内在鲁棒性。软体抓手是一种模仿动物触角或触手的机械臂，其抓取策略是根据抓取位置、抓取姿态和抓取力度等参数来完成抓取任务。
3.对未知物体模型进行识别和定位，并计算合适的抓取接触点是软体抓手抓取策略的重要步骤。相对于三维点云信息，二维图像信息缺乏物体的深度信息，无法精确识别物体的类型、形状和尺寸等特性。
4.三维点云上采样是指增加点云数据中点的密度或者将点云中的稀疏区域插值为密集区域的过程。基于先验知识经验的点云上采样方法，通常是利用一些传统的插值技术在点云中进行插值，方法简单，计算迅速，但存在对于稀疏区域上采样效果不佳、难以处理复杂形状、高度依赖先验条件和经验化假设条件等问题。
5.现有的基于深度学习的点云上采样技术，主要包括基于pointnet++的数据驱动上采样网络pu-net、渐进式的点云上采样网络mpu、以及使用深度图卷积进行点云上采样网络pu-gcn等。这些点云上采样方案具有适应复杂形状能力强、对噪声和不规则采样的鲁棒性高等优点，但仍存在异常值多、模型轮廓特征不明显等问题需要解决。
6.另外，软体抓手的抓取策略，需要在相机可视范围内对任何位姿的物体进行精确定位，以及，自动改变相关参数以自适应抓取不同尺寸的物体。现阶段，对于软体抓手的抓取策略，通常是从改变抓手结构、使用软传感器等方面进行优化，软体抓手的自适应性不够，尤其在智能抓取方面还需要进一步优化。
7.为此，需要一种抓取控制方法，以解决上述技术方案中存在的问题。


技术实现要素：

8.为此，本发明提供一种抓取控制方法和软体抓手，以解决或至少缓解上面存在的问题。
9.根据本发明的一个方面，提供一种抓取控制方法，在计算设备中执行以控制软体抓手抓取目标物体，所述方法包括：获取目标物体的点云输入数据；将所述点云输入数据输入点云上采样网络模型进行处理，以生成点云数据模型；根据所述点云数据模型确定目标抓取点和抓取参数，并根据所述目标抓取点和抓取参数控制所述软体抓手抓取目标物体。
10.可选地，在根据本发明的抓取控制方法中，根据所述点云数据模型确定目标抓取点和抓取参数，包括：根据所述点云数据模型，提取点云轮廓信息；根据所述点云轮廓信息，确定目标物体轮廓的纵横比；根据所述目标物体轮廓的纵横比，确定目标抓取方式；根据所述目标抓取方式，确定目标抓取点和抓取参数。
11.可选地，在根据本发明的抓取控制方法中，根据所述点云轮廓信息，确定目标物体轮廓的纵横比，包括：根据所述点云轮廓信息，确定目标物体的最大截面是否在所述软体抓手的抓取范围内；根据所述目标物体的最大截面是否在所述软体抓手的抓取范围内，确定目标物体轮廓的纵横比。
12.可选地，在根据本发明的抓取控制方法中，根据所述目标物体的最大截面是否在所述软体抓手的抓取范围内，确定目标物体轮廓的纵横比，包括：如果目标物体的最大截面在所述软体抓手的z向抓取范围内，将所述最大截面确定为目标抓取面；如果目标物体的最大截面不在所述软体抓手的抓取范围内，将目标物体的z平面确定为目标抓取面；根据所述目标抓取面，计算所述目标物体轮廓的纵横比。
13.可选地，在根据本发明的抓取控制方法中，根据所述目标物体轮廓的纵横比，确定目标抓取方式，包括：当所述目标物体轮廓的纵横比r≤2时，确定目标抓取方式为十字抓取方式；当所述目标物体轮廓的纵横比2＜r＜4时，确定目标抓取方式为第一夹角交叉抓取方式；当所述目标物体轮廓的纵横比r≥4时，确定目标抓取方式为第二夹角交叉抓取方式。
14.可选地，在根据本发明的抓取控制方法中，根据所述目标抓取方式，确定目标抓取点和抓取参数，包括：根据所述目标抓取方式，从目标抓取面选择预定数量个目标抓取点，并确定与所述预定数量个目标抓取点相对应的抓取参数。
15.可选地，在根据本发明的抓取控制方法中，根据所述目标抓取方式，确定目标抓取点和抓取参数，包括：根据所述目标抓取方式，从目标抓取面选择预定数量个目标抓取点，并确定与所述预定数量个目标抓取点相对应的抓取参数。
16.可选地，在根据本发明的抓取控制方法中，所述点云轮廓信息包括所有轮廓点的坐标信息；在确定目标物体的最大截面是否在所述软体抓手的抓取范围内之前，还包括：根据所述点云轮廓信息，将所有轮廓点投影到质心所在的xy平面，计算每个轮廓点与所述质心的距离并确定最大距离；将所述最大距离对应的轮廓点所在的z
max
平面确定为最大截面。
17.可选地，在根据本发明的抓取控制方法中，根据所述点云数据模型，提取点云轮廓信息，包括：根据所述点云数据模型，采用单视角边界提取方法提取点云轮廓信息。
18.可选地，在根据本发明的抓取控制方法中，所述点云上采样网络模型包括依次耦接的特征提取模块、上采样模块和坐标重建模块，所述上采样模块包中包括自注意力机制模块；将所述点云输入数据输入点云上采样网络模型进行处理，包括：通过所述特征提取模块，提取所述点云输入数据的特征并进行处理，得到高维点云特征；通过上采样模块，基于预定上采样倍数对所述高维点云特征进行扩展，以得到扩展高维点云特征；通过所述自注意力机制模块，对所述扩展高维点云特征进行处理，得到加权点云特征，并将所述扩展高维点云特征与所述加权点云特征进行相加，得到上采样输出特征；通过坐标重建模块，对所述上采样输出特征进行重建，以生成所述点云数据模型。
19.可选地，在根据本发明的抓取控制方法中，所述软体抓手包括：连接轴；交叉布置的两个旋转杆，所述旋转杆垂直于所述连接轴，并与所述连接轴可转动连接；四个软体手指，分别通过滑块与所述旋转杆滑动连接，其中，每个旋转杆上相对设置有两个所述滑块，每个滑块的下端分别设有一个软体手指，各软体手指适于在气压驱动作用下运动，以便通过所述四个软体手指抓取目标物体。
20.可选地，在根据本发明的抓取控制方法中，所述抓取参数包括：各旋转杆的旋转角
度、抓取目标物体时各软体手指弯曲时的水平位移、各滑块相对旋转杆的移动距离、各软体手指对应的气压值。
21.根据本发明的一个方面，提供一种软体抓手，包括：连接轴；交叉布置的两个旋转杆，所述旋转杆垂直于所述连接轴，并与所述连接轴可转动连接；四个软体手指，分别通过滑块与所述旋转杆滑动连接，其中，每个旋转杆上相对设置有两个所述滑块，每个滑块的下端分别设有一个软体手指，各软体手指适于在气压驱动作用下运动，以便通过所述四个软体手指抓取目标物体。
22.根据本发明的一个方面，提供一种计算设备，包括：至少一个处理器；存储器，存储有程序指令，其中，程序指令被配置为适于由上述至少一个处理器执行，所述程序指令包括用于执行如上所述的点云数据模型生成方法的指令。
23.根据本发明的一个方面，提供一种存储有程序指令的可读存储介质，当该程序指令被计算设备读取并执行时，使得该计算设备执行如上所述的点云数据模型生成方法。
24.根据本发明的技术方案，提供了一种抓取控制方法，可以控制软体抓手自适应灵活抓取多种形状、尺寸的目标物体。其中，通过获取目标物体的点云输入数据并输入点云上采样网络模型进行处理，来生成点云数据模型，根据点云数据模型可以确定目标抓取点和抓取参数，并根据目标抓取点和抓取参数来控制软体抓手抓取目标物体。根据本发明生成的点云数据模型轮廓特征更明显，从而根据点云数据模型可以更加精准、高效地控制软体抓手抓取目标物体。进一步地，本发明还利用基于目标物体纵横比约束的抓取方式，根据目标物体的纵横比来选择对应的交叉抓取方式，这样，实现了对不同形状、尺寸的目标物体进行适应性抓取。
25.根据本发明的技术方案，提供了一种软体抓手，其中交叉布置的两个旋转杆可以进行旋转以调节夹角，四个软体手指分别通过滑块与旋转杆滑动连接。这样，在利用软体抓手抓取目标物体时，可以根据目标物体的纵横比来调节两个旋转杆之间的夹角，采用不同夹角的交叉抓取方式抓取目标物体。通过控制各滑块相对旋转杆移动，可以实现四个软体手指间距可调。这样，根据本发明的软体抓手实现了多自由度抓取，能够更加灵活地抓取各类物体，提高了软体抓手对不同尺寸物体的适应性。
26.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
27.为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
28.图1示出了根据本发明一个实施例的计算设备100的示意图；
29.图2示出了根据本发明一个实施例的点云数据模型生成方法200的流程示意图；
30.图3示出了根据本发明一个实施例的点云上采样网络模型300的结构示意图；
31.图4示出了pu-gcn网络模型中的多尺度特征提取器(改进前)的结构示意图；
32.图5示出了根据本发明一个实施例的点云上采样网络模型300中的特征提取模块310(改进后)的结构示意图；
33.图6示出了根据本发明一个实施例的点云上采样网络模型300中的上采样模块320的结构示意图；
34.图7示出了根据本发明一个实施例的点云数据模型生成装置700的示意图；
35.图8示出了根据本发明一个实施例的抓取控制方法800的流程示意图；
36.图9示出了根据本发明一个实施例的软体抓手900的结构示意图；
37.图10示出了根据本发明一个实施例中的三种抓取方式示意图。
具体实施方式
38.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
39.图1示出了根据本发明一个实施例的计算设备100的示意图。如图1所示，在基本配置中，计算设备100包括至少一个处理单元102和系统存储器104。根据一个方面，取决于计算设备的配置和类型，处理单元102可以实现为处理器。系统存储器104包括但不限于易失性存储(例如，随机存取存储器)、非易失性存储(例如，只读存储器)、闪速存储器、或者这样的存储器的任何组合。根据一个方面，系统存储器104中包括操作系统105。
40.根据一个方面，操作系统105例如适合于控制计算设备100的操作。此外，示例结合图形库、其他操作系统、或任何其他应用程序而被实践，并且不限于任何特定的应用或系统。在图1中通过在虚线内的那些组件示出了该基本配置。根据一个方面，计算设备100具有额外的特征或功能。例如，根据一个方面，计算设备100包括额外的数据存储设备(可移动的和/或不可移动的)，例如磁盘、光盘、或者磁带。这样额外的存储在图1中是由可移动存储设备109和不可移动存储设备110示出的。
41.如在上文中所陈述的，根据一个方面，在系统存储器104中存储有程序模块103。根据一个方面，程序模块103可以包括一个或多个应用程序，本发明不限制应用程序的类型，例如应用程序可以包括：电子邮件和联系人应用程序、文字处理应用程序、电子表格应用程序、数据库应用程序、幻灯片展示应用程序、绘画或计算机辅助应用程序、网络浏览器应用程序等。
42.根据一个方面，程序模块103中包括适于执行本发明的点云数据模型生成方法200和/或抓取控制方法800的多条程序指令。
43.根据一个方面，可以在包括分立电子元件的电路、包含逻辑门的封装或集成的电子芯片、利用微处理器的电路、或者在包含电子元件或微处理器的单个芯片上实践示例。例如，可以经由其中在图1中所示出的每个或许多组件可以集成在单个集成电路上的片上系统(soc)来实践示例。根据一个方面，这样的soc设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，其全部作为单个集成电路而被集成(或“烧”)到芯片基底上。当经由soc进行操作时，可以经由在单个集成电路(芯片)上与计算设
备100的其他组件集成的专用逻辑来对在本文中所描述的功能进行操作。还可以使用能够执行逻辑操作(例如and、or和not)的其他技术来实践本发明的实施例，所述其他技术包括但不限于机械、光学、流体、和量子技术。另外，可以在通用计算机内或在任何其他任何电路或系统中实践本发明的实施例。
44.根据一个方面，计算设备100还可以具有一个或多个输入设备112，例如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可以包括输出设备114，例如显示器、扬声器、打印机等。前述设备是示例并且也可以使用其他设备。计算设备100可以包括允许与其他计算设备118进行通信的一个或多个通信连接116。合适的通信连接116的示例包括但不限于：rf发射机、接收机和/或收发机电路；通用串行总线(usb)、并行和/或串行端口。
45.如在本文中所使用的术语计算机可读介质包括计算机存储介质。计算机存储介质可以包括以任何用于存储信息(例如，计算机可读指示、数据结构、或程序模块103)的方法或技术来实现的易失性的和非易失性的、可移动的和不可移动的介质。系统存储器104、可移动存储设备109、和不可移动存储设备110都是计算机存储介质的示例(即，存储器存储)。计算机存储介质可以包括随机存取存储器(ram)、只读存储器(rom)、电可擦只读存储器(eeprom)、闪速存储器或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光存储、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可用于存储信息并且可以由计算设备100访问的任何其他制品。根据一个方面，任何这样的计算机存储介质都可以是计算设备100的一部分。计算机存储介质不包括载波或其他经传播的数据信号。
46.根据一个方面，通信介质是由计算机可读指令、数据结构、程序模块103、或者经调制的数据信号(例如，载波或其他传输机制)中的其他数据实施的，并且包括任何信息传递介质。根据一个方面，术语“经调制的数据信号”描述了具有一个或多个特征集或者以将信息编码在信号中的方式改变的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学、射频(rf)、红外线的、以及其他无线介质之类的无线介质。
47.在根据本发明的实施例中，计算设备100可以被配置为执行根据本发明的点云数据模型生成方法200和/或抓取控制方法800。计算设备100包括一个或多个处理器、以及存储有程序指令的一个或多个可读存储介质，当程序指令被配置为由一个或多个处理器执行时，使得计算设备执行本发明实施例中的点云数据模型生成方法200和/或抓取控制方法800。通过执行本发明的点云数据模型生成方法200，生成的点云数据模型异常值更少、模型轮廓特征更明显。通过执行本发明的抓取控制方法800，能实现更加精准、高效地控制软体抓手对目标物体进行适应性抓取。
48.根据本发明的一个实施例，计算设备100中部署有点云数据模型生成装置700，点云数据模型生成装置700被配置为执行根据本发明的点云数据模型生成方法200。其中，点云数据模型生成装置700中包含用于执行本发明的点云数据模型生成方法200的多条程序指令，这些程序指令可以指示处理器执行根据本发明的点云数据模型生成方法200。
49.图2示出了根据本发明一个实施例的点云数据模型生成方法200的流程示意图。点云数据模型生成方法200适于在计算设备(例如前述计算设备100)中执行，具体可以在计算设备100的点云数据模型生成装置700中执行。
50.如图2所示，方法200始于步骤210。
51.首先，在步骤210中，获取目标物体的点云输入数据。这里，点云输入数据可以是三维点云数据。
52.根据本发明的一个实施例，可以通过以下方式来获取目标物体的点云输入数据：获取深度相机采集目标物体的初始点云(深度图像)，基于初始点云获取点云输入数据。
53.具体地，通过以下方式来对初始点云进行预处理，以获取点云输入数据。
54.首先，可以对初始点云进行裁剪处理，以得到目标物体所在的目标区域。这里，通过裁剪处理可以粗略、快速地提取目标对象(即，目标物体)所在区域。
55.接着，可以对目标区域进行点云分割处理，以得到目标物体的目标点云。这里，通过点云分割处理可以更精确地提取目标物体的目标点云(将目标物体与背景分离)。
56.接下来，通过对目标点云进行滤波处理(可以包括半径滤波和统计滤波处理)，以去除目标点云中的噪声和离群点，得到点云输入数据。
57.随后，在步骤220中，将点云输入数据输入点云上采样网络模型300进行处理(优化处理)，以生成点云数据模型。这样，可以根据该点云数据模型来(控制软体抓手)抓取目标物体。
58.这里，点云上采样网络模型300具体可以是基于深度学习的网络模型。
59.在一个实施例中，在获取深度相机采集目标物体的初始点云之前，可以预先对该深度相机进行内参标定和手眼标定，以确定深度相机的内部参数并进行畸变矫正处理。并且，可以将深度相机的像素坐标系转换到软体抓手的世界坐标系，以便根据点云数据模型来控制软体抓手抓取目标物体。
60.在一种实现方式中，相机标定可以采用小孔成像模型，将世界坐标系依次进行相机坐标系、图像坐标系、像素坐标系的转换，所需转换矩阵可通过相机内参标定和手眼标定求出。例如，对于intel realsense depth camera d415深度相机，可以使用动态标定软件dynamic calibrator对该深度相机进行标定，并可以采用自校准算法对深度相机进行畸变矫正处理。例如，当深度相机检测的目标纹理图在深度质量z方向误差小于等于2％、填充率大于等于99％、rms误差小于等于2％时，即可认为标定质量达到要求，实现了将像素坐标系转换到相机坐标系。
61.手眼标定可以采用眼在手外的标定方式，即，深度相机不跟随机械臂(软体抓手)移动。手眼标定方法实现如下：安装摄像机并保持固定，在不同位置和姿态下移动软体抓手末端执行器和深度相机以获取多组数据，通过处理数据并进行计算可以得到将软体抓手坐标系中的点转换为深度相机坐标系中的点的转换矩阵，验证标定结果确保软体抓手能准确地控制其末端执行器的位置与姿态，求出软体抓手和深度相机坐标系之间的恒定变换矩阵，完成深度相机标定。
62.图3示出了根据本发明一个实施例的点云上采样网络模型300的结构示意图。
63.如图3所示，本发明的点云上采样网络模型300可以包括依次耦接的特征提取模块310、上采样模块320和坐标重建模块330，其中，上采样模块320中包括自注意力机制模块325。
64.需要说明的是，根据本发明的点云上采样网络模型300生成的点云数据模型异常值更少、模型轮廓特征更明显。
65.在一些实施例中，通过对基于深度学习的pu-gcn网络模型进行改进，并对改进后
的pu-gcn网络模型进行训练后可以得到本发明的点云上采样网络模型300。
66.具体地，基于对pu-gcn网络模型进行改进可以生成pu-gcn-ms网络模型，基于训练数据集对该pu-gcn-ms网络模型进行训练后，可以生成点云上采样网络模型300。其中，pu-gcn-ms网络模型相对于pu-gcn网络模型而言，pu-gcn-ms网络模型的特征提取模块310中增加了一个密集连接层，并且pu-gcn-ms网络模型的上采样模块320(san)中增加了自注意力机制模块325。
67.在一个实施例中，可以基于pu-gan数据集和感兴趣数据，合并生成训练集。例如，可以在pu-gan_poisson_256_poisson_1024数据集中加入感兴趣数据，合并生成新的数据集，并且可以将新的数据集分为训练集和测试集。之后，可以基于训练集对上述改进后的pu-gcn-ms网络模型进行训练，训练结束后可以得到本发明的点云上采样网络模型300。该点云上采样网络模型300包括依次耦接的特征提取模块310、上采样模块320(san)、坐标重建模块330。其中，特征提取模块310中增加了一个密集连接层，上采样模块320(san)中增加了自注意力机制模块325。
68.根据本发明的一个实施例，将点云输入数据输入点云上采样网络模型300进行处理，具体可以包括以下步骤。
69.首先，将点云输入数据输入点云上采样网络模型300的特征提取模块310。通过特征提取模块310提取点云输入数据的特征(nx3)并对该特征进行处理，可以得到高维点云特征(nxc)。特征提取模块310输出的高维点云特征(nxc)会输入至上采样模块320。
70.接着，可以通过上采样模块320，基于预定上采样倍数来对高维点云特征进行扩展，以得到扩展高维点云特征(rnxc)。并且，可以通过上采样模块320中的自注意力机制模块325，来对扩展高维点云特征进行处理，得到加权点云特征，并将扩展高维点云特征与加权点云特征进行相加，得到上采样输出特征。这里的上采样输出特征会输入至坐标重建模块330。
71.接下来，可以通过坐标重建模块330，对上采样输出特征进行重建，以生成点云数据模型(rnx3)。
72.根据本发明的一个实施例，点云上采样网络模型300的特征提取模块310，可以是通过对pu-gcn网络模型中的多尺度特征提取器inception densegcn进行改进后得到的新的多尺度并行特征提取模块310(mpf)。
73.图4示出了pu-gcn网络模型中的多尺度特征提取器(改进前)的结构示意图。需要指出的是，如图4所示，多尺度特征提取器inception densegcn具有两个密集连接层(densegcn)。
74.图5示出了根据本发明一个实施例的点云上采样网络模型300中的特征提取模块310(改进后)的结构示意图。
75.如图5所示，本发明的点云上采样网络模型300的特征提取模块310具体可以包括瓶颈层、三个不同膨胀速率的密集连接层(densegcn)、全局池化层。其中，瓶颈层分别与三个不同膨胀速率的密集连接层耦接，且各密集连接层(三个不同膨胀速率的密集连接层)与全局池化层耦接。可以理解，与pu-gcn网络模型中的多尺度特征提取器inception densegcn相比，本发明的特征提取模块310增加了一个密集连接层(与另外两个密集连接层的膨胀速率不同)。
76.在根据本发明的特征提取模块310对点云输入数据进行处理时，可以将点云输入数据输入至特征提取模块310的瓶颈层。首先，瓶颈层可以对点云输入数据进行压缩处理，得到压缩点云特征。压缩点云特征可以输入至三个不同膨胀速率的密集连接层。
77.通过三个不同膨胀速率的密集连接层，可以从压缩点云特征中提取三种局部特征。即，每一个密集连接层分别可以从压缩点云特征中提取一种局部特征。
78.并且，可以将点云输入数据输入至特征提取模块310的全局池化层。该全局池化层可以提取点云输入数据的全局特征，并将该全局特征与上述三种局部特征进行拼接，得到高维点云特征。之后，将高维点云特征作为特征提取模块310的输出特征进行输出。
79.应当指出的是，如图4所示，根据现有的多尺度特征提取器inception densegcn中的全局池化层是对压缩处理后的“压缩点云特征”进行的全局特征提取，提取到的全局特征不够全面。
80.如图5所示，根据本发明的特征提取模块310中的全局池化层，是对未经过压缩处理的“点云输入数据”进行的全局特征提取，可以提取更全面的全局特征。并且，本发明通过增加一个密集连接层，利用三个不同膨胀速率的密集连接层可以在不降低空间分辨率的情况下提取更多的局部特征，并通过将全局特征与更多的局部特征进行拼接，能实现多尺度特征提取。
81.在一个实施例中，本发明新增的密集连接层的膨胀速率为3，避免膨胀速率过大会增加网络的计算量、扩大误差点对网络输出结果的影响。
82.图6示出了根据本发明一个实施例的点云上采样网络模型300中的上采样模块320的结构示意图。该上采样模块320(san)是通过在nodeshuffle模块中引入自注意力机制模块325形成。
83.如图6所示，上采样模块320中的第一层为gcn层。在将高维点云特征(nxc)输入上采样模块320之后，上采样模块320首先可以通过gcn层将高维点云特征(nxc)扩展为扩展特征(nxrc)，随后可以对扩展特征(nxrc)进行重新排列，得到扩展高维点云特征(rnxc)。
84.在一个实施例中，如图6所示，本发明的点云上采样网络模型300的上采样模块320(san)还包括自注意力机制模块325。其中，该自注意力机制模块325包括三层感知机(mlp)，分别为：第一感知机、第二感知机、第三感知机。
85.在该实施例中，上采样模块320在对高维点云特征进行处理得到扩展高维点云特征(rnxc)之后，可以进一步通过自注意力机制模块325对扩展高维点云特征(rnxc)进行处理。具体地，可以将扩展高维点云特征分别输入自注意力机制模块325中的第一感知机、第二感知机、第三感知机。第一感知机、第二感知机分别可以将扩展高维点云特征转换为第一点云特征g、第二点云特征f，这里，第一感知机可以将扩展高维点云特征转换为第一点云特征g，第二感知机可以将扩展高维点云特征转换为第二点云特征f。
86.随后，自注意力机制模块325可以计算第一点云特征和第二点云特征的注意权值w。这里，在一个实施例中，可以利用softmax函数计算第一点云特征g和第二点云特征f的注意权值w。具体地，可以利用如下公式来计算第一点云特征和第二点云特征的注意权值w。
87.w＝f
softmax
(g
t
h)
88.其中，softmax表示softmax函数，g表示第一点云特征，f表示第二点云特征。
89.另外，第三感知机可以从扩展高维点云特征中提取第三点云特征k。
90.进而，自注意力机制模块325可以基于注意权值w和第三点云特征k计算得到加权点云特征w
t
k。
91.最后，通过将输入自注意力机制模块325的扩展高维点云特征(rnxc)与加权点云特征w
t
k进行相加，可以得到最终的上采样输出特征，并从上采样模块320输出。
92.之后，上采样输出特征输入至坐标重建模块330进行处理。具体地，坐标重建模块330可以对上采样输出特征进行重建，以生成点云数据模型并输出。这里，经坐标重建模块330进行重建后得到的点云数据模型可以为三维点云数据模型(rnx3)。
93.需要说明的是，在根据本发明生成的点云上采样网络模型300对点云输入数据进行优化处理过程中，采用倒角距离、豪斯多夫距离、推土机距离以及点到面距离来对点云上采样质量进行定量评估，验证本发明的点云上采样网络模型300的点云上采样质量优于现有的pu-gcn网络模型。
94.根据本发明的点云数据模型生成方法200，是通过将点云输入数据输入点云上采样网络模型300进行处理来生成点云数据模型。其中，根据本发明的点云上采样网络模型300，特征提取模块310中增加了一个密集连接层，利用三个不同膨胀速率的密集连接层可以在不降低空间分辨率的情况下提取更多的局部特征，而且，全局池化层是对未经过压缩处理的“点云输入数据”进行的全局特征提取，可以提取更全面的全局特征。通过将全局特征与更多的局部特征进行拼接，能实现多尺度特征提取。并且，上采样模块320中引入了自注意力机制模块325，可以将扩展高维点云特征与经自注意力机制模块325计算得到的加权点云特征进行相加，得到最终的上采样输出特征。利用本发明优化后的点云上采样网络模型300，生成的点云数据模型异常值更少、模型轮廓特征更明显。
95.图7示出了根据本发明的一个实施例的点云数据模型生成装置700的示意图。点云数据模型生成装置700驻留在计算设备100中。点云数据模型生成装置700可以被配置为执行本发明的点云数据模型生成方法200。
96.如图7所示，点云数据模型生成装置700包括通信相连的获取单元710和处理单元720。获取单元710可以获取目标物体的点云输入数据。处理单元720可以将点云输入数据输入点云上采样网络模型300进行处理，以生成点云数据模型，以便根据点云数据模型抓取目标物体。
97.其中，点云上采样网络模型300包括依次耦接的特征提取模块310、上采样模块320和坐标重建模块330，上采样模块320包中包括自注意力机制模块325。这里，关于点云上采样网络模型300的具体结构和实现方式可参见前文实施例中的描述，此处不再赘述。
98.应当指出，获取单元710用于执行前述步骤210，处理单元720用于执行前述步骤220。这里，获取单元710和处理单元720的具体执行逻辑可参见前文方法200中对步骤210～220的描述，此处不再赘述。
99.图8示出了根据本发明一个实施例的抓取控制方法800的流程示意图。抓取控制方法800可以计算设备(例如前述计算设备100)中执行，计算设备100可以与软体抓手通信连接，并且，计算设备100通过执行本发明的方法800可以控制软体抓手抓取目标物体。
100.如图8所示，方法800包括步骤810～830。
101.首先，在步骤810中，可以获取目标物体的点云输入数据。这里，点云输入数据可以是三维点云数据。
102.随后，在步骤820中，将点云输入数据输入点云上采样网络模型300进行处理，以生成点云数据模型。
103.应当指出的是，步骤810的具体实现方式可参见前文方法200中的步骤210，步骤820的具体实现方式可参见前文方法200中的步骤220。
104.点云上采样网络模型300具体可以是基于深度学习的网络模型。如图3所示，点云上采样网络模型300可以包括依次耦接的特征提取模块310、上采样模块320和坐标重建模块330，其中，上采样模块320中包括自注意力机制模块325。
105.这里，关于点云上采样网络模型300的具体结构和实现方式可参见前文方法200的实施例中的描述，此处不再赘述。
106.需要说明的是，根据本发明的点云上采样网络模型300生成的点云数据模型异常值更少、模型轮廓特征更明显。
107.最后，在步骤830中，根据点云数据模型确定目标抓取点和抓取参数，并根据目标抓取点和抓取参数来控制软体抓手抓取目标物体。
108.可以理解的是，目标抓取点和抓取参数，与软体抓手的具体构造以及目标物体的形状和尺寸相关。这里，本发明对软体抓手的具体构造不做限制。
109.在根据本发明的实施例中，可以利用基于目标物体纵横比约束的抓取方式，来实现对不同形状、尺寸的目标物体进行适应性抓取。
110.具体地，在一个实施例中，在步骤830中，可以根据点云数据模型，提取点云轮廓信息，并根据点云轮廓信息来确定目标物体轮廓的纵横比。根据目标物体轮廓的纵横比，来确定目标抓取方式。进而，根据目标抓取方式来确定目标抓取点和抓取参数。
111.在一个实施例中，可以根据点云数据模型，采用单视角边界提取方法来提取点云轮廓信息。这里，点云轮廓信息包括所有轮廓点的坐标信息。
112.在一个实施例中，可以根据点云轮廓信息，将点云轮廓分为多个预定厚度的轮廓层，这里，预定厚度例如为1mm。将轮廓层内的所有点投影到同一平面并去除重复点，将点云轮廓分为若干个点云平面，根据目标物体的最大截面是否在抓取范围内来确定目标物体的纵横比大小，以此分为不同的抓取情况。
113.在一些实施例中，本发明可控制软体抓手抓取的目标物体包括但不限于鸡蛋、水杯、饮料、水果等物体。软体抓手可以采用捏握抓取，抓取方向可以为正握或侧握。
114.图9示出了根据本发明一个实施例的软体抓手900的结构示意图。应当指出，图9仅示意性展示了软体抓手900的结构，本发明软体抓手900的具体构造并不受限于此。
115.根据本发明的一个实施例，如图9所示，软体抓手900可以包括：一个连接轴950、交叉布置的两个旋转杆910、四个软体手指930。需要说明的是，两个旋转杆910之间具有一定夹角且该夹角可调节。
116.其中，两个旋转杆910均垂直于连接轴950(连接轴950穿设于旋转杆910的中部)，且两个旋转杆910均与连接轴950可转动连接，即，两个旋转杆910分别可相对连接轴950转动。四个软体手指930分别通过滑块920与旋转杆910滑动连接，从而可通过控制滑块920沿旋转杆910移动来带动软体手指930运动。其中，每个旋转杆910上相对(相对于连接轴950的两侧)设置有两个滑块920，每个滑块920的下端分别设有一个软体手指930。各软体手指930可以在气压驱动作用下运动，以便通过四个软体手指930抓取目标物体。这样，可以通过四
个软体手指930灵活抓取目标物体。
117.在实际应用中，可根据目标物体的大小和形状，通过控制各滑块沿旋转杆移动来调整各滑块位置，以实现调节安装于滑块的软体手指的位置。可通过控制各旋转杆绕连接轴旋转一定角度，来改变软体抓手的夹角(两个旋转杆之间的夹角)。
118.根据本发明的软体抓手900，交叉布置的两个旋转杆可以进行旋转以调节夹角，四个软体手指930分别通过滑块920与旋转杆910滑动连接。这样，在利用软体抓手900抓取目标物体时，可以根据目标物体的纵横比来调节两个旋转杆之间的夹角，采用不同夹角的交叉抓取方式抓取目标物体。通过控制各滑块920相对旋转杆910移动，可以实现四个软体手指930间距可调。这样，根据本发明的软体抓手实现了多自由度抓取，能够更加灵活地抓取各类物体，提高了软体抓手对不同尺寸物体的适应性。
119.需要说明的是，在抓取物体时软体手指930会发生弯曲。当软体手指930弯曲时，软体手指930的末端存在位移。
120.根据该实施例中的软体抓手900的结构，所需确定的与软体抓手900对应的抓取参数包括：各旋转杆910的旋转角度(绕连接轴950旋转的角度)、抓取目标物体时各软体手指930弯曲时的水平位移、各滑块920相对旋转杆910的移动距离、各软体手指930对应的气压值。
121.在一个实施例中，根据点云轮廓信息确定目标物体轮廓的纵横比具体可以包括以下步骤。
122.首先，可以根据点云轮廓信息(包括所有轮廓点的坐标信息)，将所有轮廓点投影到质心所在的xy平面，计算每个轮廓点与所述质心的距离并确定最大距离。将最大距离对应的轮廓点所在的z
max
平面确定为最大截面。这里，质心点坐标的计算公式如下：
[0123][0124]
另外，针对部分因目标物体曲率较大而导致质心不在目标物体内部的情况，可以对质心的位置进行判断和修正，如果判断质心在目标物体外部，可以在质心所在平面内获取距离质心最近的点near，以及，点near与质心连线交于目标物体轮廓的另一点far，并可以将质心修正为点far和near的中点。
[0125]
接着，可以根据点云轮廓信息，来确定目标物体的最大截面是否在软体抓手900的抓取范围内。
[0126]
根据目标物体的最大截面是否在软体抓手900的抓取范围内，来确定目标物体轮廓的纵横比。
[0127]
具体地，如果目标物体的最大截面在所述软体抓手900的z向抓取范围内，则可以将最大截面确定为目标抓取面(即，目标抓取点的所在面)。如果目标物体的最大截面不在软体抓手900的抓取范围内，则可以将目标物体的z平面确定为目标抓取面。根据所确定的目标抓取面，可以计算目标物体轮廓的纵横比r。这里，目标物体轮廓的纵横比r＝l1/l2，l1、l2分别表示目标抓取面上距离质心在目标抓取面的投影点的最远距离、最近距离。
[0128]
在确定目标物体轮廓的纵横比之后，可以根据目标物体轮廓的纵横比，来确定目标抓取方式。
[0129]
图10示出了根据本发明一个实施例中的三种抓取方式示意图。
[0130]
如图10所示，抓取方式可以包括十字抓取方式(即，90
°
十字抓取方式)、第一夹角交叉抓取方式(例如为135
°
交叉抓取方式)、第二夹角交叉抓取方式(例如为90
°
交叉抓取方式)。
[0131]
需要说明的是，对于不同纵横比的目标物体，需对应设置的软体抓手900的两个旋转杆910之间的夹角不同。
[0132]
在一个实施例中，当目标物体轮廓的纵横比r≤2时，可以确定目标抓取方式为90
°
十字抓取方式(两个旋转杆910之间的夹角为90
°
)。当目标物体轮廓的纵横比2＜r＜4时，可以确定目标抓取方式为第一夹角交叉抓取方式，第一夹角可以为135
°
，即，需对应设置两个旋转杆910之间的夹角为135
°
。当目标物体轮廓的纵横比r≥4时，可以确定目标抓取方式为第二夹角交叉抓取方式，其中第二夹角可以为90
°
，即，需对应设置两个旋转杆910之间的夹角为90
°
。
[0133]
在根据目标抓取方式确定目标抓取点和抓取参数时，具体地，可以根据目标抓取方式，从目标抓取面选择预定数量个目标抓取点，并确定与预定数量个目标抓取点相对应的抓取参数。这里，目标抓取点，即是软体抓手900的四个软体手指930与目标物体的接触点。预定数量与软体手指930的数量相对应，具体可以为4，即可以从目标抓取面选择4个目标抓取点。
[0134]
可见，根据本发明的抓取控制方法800，可以控制软体抓手自适应灵活抓取多种形状、尺寸的目标物体。其中，通过获取目标物体的点云输入数据并输入点云上采样网络模型进行处理，来生成点云数据模型，根据点云数据模型可以确定目标抓取点和抓取参数，并根据目标抓取点和抓取参数来控制软体抓手抓取目标物体。根据本发明生成的点云数据模型轮廓特征更明显，从而根据点云数据模型可以更加精准、高效地控制软体抓手抓取目标物体。进一步地，本发明还利用基于目标物体纵横比约束的抓取方式，根据目标物体的纵横比来选择对应的交叉抓取方式，这样，实现了对不同形状、尺寸的目标物体进行适应性抓取。
[0135]
根据本发明的软体抓手，交叉布置的两个旋转杆可以进行旋转以调节夹角，四个软体手指分别通过滑块与旋转杆滑动连接。这样，在利用软体抓手抓取目标物体时，可以根据目标物体的纵横比来调节两个旋转杆之间的夹角，采用不同夹角的交叉抓取方式抓取目标物体。通过控制各滑块相对旋转杆移动，可以实现四个软体手指间距可调。这样，根据本发明的软体抓手实现了多自由度抓取，能够更加灵活地抓取各类物体，提高了软体抓手对不同尺寸物体的适应性。
[0136]
a6、如a4或a5所述的方法，其中，根据所述目标抓取方式，确定目标抓取点和抓取参数，包括：根据所述目标抓取方式，从目标抓取面选择预定数量个目标抓取点，并确定与所述预定数量个目标抓取点相对应的抓取参数。
[0137]
a7、如a3-a6中任一项所述的方法，其中，所述点云轮廓信息包括所有轮廓点的坐标信息；在确定目标物体的最大截面是否在所述软体抓手的抓取范围内之前，还包括：根据所述点云轮廓信息，将所有轮廓点投影到质心所在的xy平面，计算每个轮廓点与所述质心的距离并确定最大距离；将所述最大距离对应的轮廓点所在的z
max
平面确定为最大截面。
[0138]
a8、如a2-a7中任一项所述的方法，其中，根据所述点云数据模型，提取点云轮廓信息，包括：根据所述点云数据模型，采用单视角边界提取方法提取点云轮廓信息。
[0139]
a9、如a1-a8中任一项所述的方法，其中，所述点云上采样网络模型包括依次耦接
的特征提取模块、上采样模块和坐标重建模块，所述上采样模块包中包括自注意力机制模块；将所述点云输入数据输入点云上采样网络模型进行处理，包括：通过所述特征提取模块，提取所述点云输入数据的特征并进行处理，得到高维点云特征；通过上采样模块，基于预定上采样倍数对所述高维点云特征进行扩展，以得到扩展高维点云特征；通过所述自注意力机制模块，对所述扩展高维点云特征进行处理，得到加权点云特征，并将所述扩展高维点云特征与所述加权点云特征进行相加，得到上采样输出特征；通过坐标重建模块，对所述上采样输出特征进行重建，以生成所述点云数据模型。
[0140]
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、u盘、软盘、cd-rom或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
[0141]
在程序代码在可编程计算机上执行的情况下，移动终端一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的点云数据模型生成方法和/或抓取控制方法。
[0142]
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
[0143]
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0144]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0145]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
[0146]
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
[0147]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或
子组件。
[0148]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
[0149]
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的元素所执行的功能。
[0150]
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0151]
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。

技术特征：
1.一种抓取控制方法，在计算设备中执行以控制软体抓手抓取目标物体，所述方法包括：获取目标物体的点云输入数据；将所述点云输入数据输入点云上采样网络模型进行处理，以生成点云数据模型；根据所述点云数据模型确定目标抓取点和抓取参数，并根据所述目标抓取点和抓取参数控制所述软体抓手抓取目标物体。2.如权利要求1所述的方法，其中，根据所述点云数据模型确定目标抓取点和抓取参数，包括：根据所述点云数据模型，提取点云轮廓信息；根据所述点云轮廓信息，确定目标物体轮廓的纵横比；根据所述目标物体轮廓的纵横比，确定目标抓取方式；根据所述目标抓取方式，确定目标抓取点和抓取参数。3.如权利要求2所述的方法，其中，根据所述点云轮廓信息，确定目标物体轮廓的纵横比，包括：根据所述点云轮廓信息，确定目标物体的最大截面是否在所述软体抓手的抓取范围内；根据所述目标物体的最大截面是否在所述软体抓手的抓取范围内，确定目标物体轮廓的纵横比。4.如权利要求3所述的方法，其中，根据所述目标物体的最大截面是否在所述软体抓手的抓取范围内，确定目标物体轮廓的纵横比，包括：如果目标物体的最大截面在所述软体抓手的z向抓取范围内，将所述最大截面确定为目标抓取面；如果目标物体的最大截面不在所述软体抓手的抓取范围内，将目标物体的z平面确定为目标抓取面；根据所述目标抓取面，计算所述目标物体轮廓的纵横比。5.如权利要求2-4中任一项所述的方法，其中，根据所述目标物体轮廓的纵横比，确定目标抓取方式，包括：当所述目标物体轮廓的纵横比r≤2时，确定目标抓取方式为十字抓取方式；当所述目标物体轮廓的纵横比2＜r＜4时，确定目标抓取方式为第一夹角交叉抓取方式；当所述目标物体轮廓的纵横比r≥4时，确定目标抓取方式为第二夹角交叉抓取方式。6.如权利要求1-5中任一项所述的方法，其中，所述软体抓手包括：连接轴；交叉布置的两个旋转杆，所述旋转杆垂直于所述连接轴，并与所述连接轴可转动连接；四个软体手指，分别通过滑块与所述旋转杆滑动连接，其中，每个旋转杆上相对设置有两个所述滑块，每个滑块的下端分别设有一个软体手指，各软体手指适于在气压驱动作用下运动，以便通过所述四个软体手指抓取目标物体。7.如权利要求6所述的方法，其中，所述抓取参数包括：各旋转杆的旋转角度、抓取目标物体时各软体手指弯曲时的水平位移、各滑块相对旋转杆的移动距离、各软体手指对应的
气压值。8.一种软体抓手，包括：连接轴；交叉布置的两个旋转杆，所述旋转杆垂直于所述连接轴，并与所述连接轴可转动连接；四个软体手指，分别通过滑块与所述旋转杆滑动连接，其中，每个旋转杆上相对设置有两个所述滑块，每个滑块的下端分别设有一个软体手指，各软体手指适于在气压驱动作用下运动，以便通过所述四个软体手指抓取目标物体。9.一种计算设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-7中任一项所述的方法的指令。10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-7中任一项所述方法。

技术总结
本发明公开了一种抓取控制方法、软体抓手、计算设备及存储介质，方法在计算设备中执行以控制软体抓手抓取目标物体，所述方法包括：获取目标物体的点云输入数据；将所述点云输入数据输入点云上采样网络模型进行处理，以生成点云数据模型；根据所述点云数据模型确定目标抓取点和抓取参数，并根据所述目标抓取点和抓取参数控制所述软体抓手抓取目标物体。根据本发明的技术方案，能实现更加精准、高效地控制软体抓手对目标物体进行适应性抓取。控制软体抓手对目标物体进行适应性抓取。控制软体抓手对目标物体进行适应性抓取。


技术研发人员：陈宁 张淄涵 刘坚 李蓉 周星
受保护的技术使用者：湖南大学
技术研发日：2023.07.14
技术公布日：2023/9/9