用于确定对象的6D姿态的方法与流程

用于确定对象的6d姿态的方法
技术领域
1.本发明涉及一种用于确定对象的6d姿态的方法，利用该方法可以与相对应的对象类别无关地以简单的方式和方法来确定对象的6d姿态。


背景技术：

2.6d姿态通常被理解成物体或对象的位置和取向。在此，该姿态尤其描述了对于将参考坐标系转变成固定于对象的坐标系或者将光学传感器的坐标或相机坐标转变成对象坐标来说所需的变换，其中这些坐标系分别是笛卡尔坐标系，而且其中该变换由平移和旋转组成。
3.在此，对象的姿态估计或者6d姿态的应用可能性是多种多样的。例如当gps系统(全球定位系统(global positioning system))工作得不可靠或者精度不足时，相机重定位例如可以对自主车辆的导航进行辅助。此外，gps通常不用于封闭空间内的导航。如果可控系统、例如机器人系统要与对象进行交互，例如抓取这些对象，则还必须准确确定这些对象在空间中的位置和取向。
4.在此，用于估计或确定对象的6d姿态的已知算法基于针对特定对象类别所训练的模型。在这种情况下被证明为不利的是：对于来自另外的、不同的类型的对象，必须在来自该另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练这些模型，这带来了资源消耗的增加。在此，不同的对象类别被理解成不同类型的对象或者分别被理解成逻辑上相互关联的对象的集合。
5.从出版文献us 2019/0304134a1公知一种方法，在该方法中，接收第一图像；检测在第一图像中的对象的类别；估计在第一图像中的该对象的姿态；接收来自另一视角的该对象的第二图像；估计在第二图像中的该对象的姿态；将在第一图像中的该对象的姿态与在第二图像中的该对象的姿态相结合，以便产生经过验证的姿态；并且使用第二姿态来训练卷积神经网络(convolutional neural network，cnn)。


技术实现要素：

6.因此，本发明所基于的任务在于：说明一种经改进的用于确定对象的6d姿态的方法并且尤其说明一种可在花费不大的情况下应用于不同对象类别的用于确定对象的6d姿态的方法。
7.该任务利用一种按照专利独立权利要求1的特征的用于确定对象的6d姿态的方法来被解决。
8.此外，该任务还通过一种按照专利独立权利要求6的特征的用于确定对象的6d姿态的控制设备来被解决。
9.此外，该任务还通过一种按照专利独立权利要求8的特征的用于确定对象的6d姿态的系统来被解决。
10.按照本发明的一个实施方式，该任务通过一种用于确定对象的6d姿态的方法来被
解决，其中提供图像数据，其中这些图像数据包括显示该对象的目标图像数据和关于该对象的经标记的比较图像数据，而且其中该对象的6d姿态基于所提供的图像数据通过元学习(meta-learning)算法来被确定。
11.在此，图像数据被理解成通过使用光学或电子设备或者光学传感器来扫描或以光学方式记录一个或多个表面所产生的数据。
12.显示该对象的目标图像数据是图像数据，尤其是该对象当前所放置或定位的表面的当前图像数据。
13.进一步，关于该对象的比较图像数据是比较或上下文数据，并且尤其是为了比较或作为参考而同样呈现相对应的对象的数字图像。经标记的数据还被理解成已知数据，这些已知数据已经经过处理，例如从这些已知数据中已经提取了特征或者从这些已知数据中已经得出了模式。
14.此外，元学习算法是一种机器学习算法，该机器学习算法被设计为通过自主学习以及借鉴经验来对该算法进行优化。在此，这种元学习算法尤其被应用于元数据，其中元数据例如是相对应的学习问题的特性、算法特性或者之前从这些数据中得出的模式。这种元学习算法的应用尤其具有如下优点：算法的性能可以被提高并且该算法可以与各种问题情况灵活适配。
15.因此，按照本发明的方法具有如下优点：该方法可以灵活地应用于不同的对象类别以及尤其是来自以前未知的类别的新对象，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练该算法，这会带来资源消耗的增加。因此，总体而言，说明了一种经改进的用于确定对象的6d姿态的方法，该方法可以在花费不大的情况下应用于不同的对象类别。
16.在此，该方法还可具有检测显示该对象的当前图像数据的步骤，其中所检测到的显示该对象的图像数据被提供作为目标图像数据。因此，在其上进行对6d姿态的确定的实际数据处理系统以外的当前现实情况被考虑并且包含在该方法中。
17.在一个实施方式中，基于所提供的图像数据通过元学习算法来确定对象的6d姿态的步骤还具有：从所提供的图像数据中提取特征；基于所提取的特征，确定在目标图像数据中的显示该对象的图像点；基于所提取的特征和关于经标记的比较图像数据的信息，确定在该对象上的关键点；针对每个关键点，为显示该对象的图像点中的每个图像点分别确定相对应的图像点与该关键点之间的偏移；而且基于针对所有关键点的所确定的偏移来确定该6d姿态。
18.在此，所提取的或所读取的特征可以是特定模式，例如是对象的结构或质地或者对象的外观。
19.图像点进一步分别被理解成图像数据的元素或部分，例如像素。
20.关于经标记的比较图像数据的信息进一步被理解成关于包含在这些比较图像数据中的模式或标记的信息。
21.关键点还被理解成在对象的表面上的虚拟点，该虚拟点再现了对象的有几何含义的点，例如对象的顶点中的一个。
22.偏移还分别被理解成图像点与关键点之间的空间位移或空间距离。
23.因此，6d姿态尤其可以以简单的方式和方法并且以低资源消耗、例如比较低的存
储器和/或处理器容量来进行，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练该算法。
24.图像数据还可以是具有深度信息的图像数据。
25.在这种情况下，深度信息被理解成关于在图像数据中呈现或描绘的对象的空间深度或空间效果的信息。
26.这些图像数据具有深度信息的优点在于：还可以进一步提高在确定对象的6d姿态时的精度。
27.然而，这些图像数据具有深度信息的情况只是一个可能的实施方式。这样，图像数据例如也可以只是rgb数据。
28.利用本发明的另一实施方式，还说明了一种用于控制可控系统的方法，其中首先通过上述用于确定对象的6d姿态的方法来确定对象的6d姿态，而且然后基于所确定的该对象的6d姿态来控制该可控系统。
29.在此，该至少可控系统例如可以是机器人系统，其中该机器人系统例如又可以是抓取机器人。但是，此外该可控系统例如还可以是用于对自主驾驶机动车辆进行控制或导航的系统或者用于人脸识别的系统。
30.这种方法具有如下优点：对可控系统的控制基于通过经改进的用于确定对象的6d姿态的方法所确定的对象的6d姿态，该经改进的方法可以在花费不大的情况下应用于不同的对象类别以及尤其是来自以前未知的类别的新对象。在此，对可控系统的控制尤其基于可灵活地应用于不同的对象类别的方法，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练相对应的算法，这会带来资源消耗的增加。
31.此外，利用本发明的另一实施方式，还说明了一种用于确定对象的6d姿态的控制设备，其中该控制设备具有：提供单元，该提供单元被设计为提供图像数据，其中这些图像数据包括显示该对象的目标图像数据和关于该对象的经标记的比较图像数据；和第一调查单元，该第一调查单元被设计为基于所提供的图像数据通过元学习算法来确定该对象的6d姿态。
32.这种控制设备具有如下优点：利用该控制设备，也可以针对不同的对象类别以及尤其是来自以前未知的类别的新对象来灵活地确定对象的6d姿态，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练相对应的、实现到该控制设备中的算法，这会带来资源消耗的增加。因此，总体而言，说明了一种经改进的用于确定对象的6d姿态的控制设备，该控制设备可以在花费不大的情况下应用于不同的对象类别。
33.在此，该第一调查单元还可以具有：提取单元，该提取单元被设计为从所提供的图像数据中提取特征；第一确定单元，该第一确定单元被设计为基于所提取的特征来确定在目标图像数据中的显示该对象的图像点；第二确定单元，该第二确定单元被设计为基于所提取的特征和关于经标记的比较图像数据的信息来确定在该对象上的关键点；第三确定单元，该第三确定单元被设计为针对每个关键点，为显示该对象的图像点中的每个图像点分别确定相对应的图像点与该关键点之间的偏移；和第二调查单元，该第二调查单元被设计为基于针对所有关键点的所确定的偏移来确定该6d姿态。
34.因此，该控制设备尤其可以被设计为：以简单的方式和方法并且以低资源消耗、例如比较低的存储器和/或处理器容量来确定该6d姿态，而无需在来自另外的、不同的类别的
对象也可以被检测之前首先复杂地重新训练相对应的底层算法。
35.此外，利用本发明的另一实施方式，还说明了一种用于确定对象的6d姿态的系统，其中该系统具有上述用于确定对象的6d姿态的控制设备和光学传感器，该光学传感器被设计为检测显示该对象的目标图像数据。
36.传感器，也称为检测器或者(测量)探测器，是一种技术构件，该技术构件可以定性地检测该技术构件的周围环境的特定物理或化学特性和/或材料质地，或者可以定量地检测该技术构件的周围环境的特定物理或化学特性和/或材料质地，作为测量参量。在此，光学传感器尤其包括光发射器和光接收器，其中光接收器被设计为例如关于强度、颜色或渡越时间来评估由光发射器所发出的光。
37.这种系统具有如下优点：利用该系统，也可以针对不同的对象类别以及尤其是来自以前未知的类别的新对象来灵活地确定对象的6d姿态，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练相对应的所实现的算法，这会带来资源消耗的增加。因此，总体而言，说明了一种经改进的用于确定对象的6d姿态的系统，该系统可以在花费不大的情况下应用于不同的对象类别。
38.在此，在一个实施方式中，光学传感器是rgb-d传感器。
39.在此，rgb-d传感器是一种光学传感器，该光学传感器被设计为除了rgb数据之外也检测相关的深度信息。
40.所检测到的图像数据具有深度信息的情况又具有如下优点：还可以进一步提高在确定对象的6d姿态时的精度。
41.然而，该光学传感器是rgb-d传感器的情况只是一个可能的实施方式。这样，该光学传感器例如也可以只是rgb传感器。
42.此外，利用本发明的另一实施方式，还说明了一种用于控制可控系统的控制设备，其中该控制设备具有：接收单元，用于接收通过上述用于确定对象的6d姿态的控制设备所确定的对象的6d姿态；和控制单元，该控制单元被设计为基于所确定的该对象的6d姿态来控制该系统。
43.这种控制设备具有如下优点：对可控系统的控制基于通过经改进的用于确定对象的6d姿态的控制设备所确定的对象的6d姿态，该经改进的控制设备可以在花费不大的情况下应用于不同的对象类别以及尤其是来自以前未知的类别的新对象。在此，对可控系统的控制尤其基于被设计为也针对不同的对象类别灵活地确定对象的6d姿态的控制设备，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练相对应的所实现的算法，这会带来资源消耗的增加。
44.此外，利用本发明的另一实施方式，还说明了一种用于控制可控系统的系统，其中该系统具有可控系统和上述用于控制该可控系统的控制设备。
45.这种系统具有如下优点：对可控系统的控制基于通过经改进的用于确定对象的6d姿态的控制设备所确定的对象的6d姿态，该经改进的控制设备可以在花费不大的情况下应用于不同的对象类别。在此，对可控系统的控制尤其基于被设计为也针对不同的对象类别以及尤其是来自以前未知的类别的新对象来灵活地确定对象的6d姿态的控制设备，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练相对应的所实现的算法，这会带来资源消耗的增加。
46.概括来说应着重指出：利用本发明说明了一种用于确定对象的6d姿态的方法，利用该方法可以与相对应的对象类别无关地以简单的方式和方法来确定对象的6d姿态。
47.所描述的设计方案和扩展方案可以彼此任意组合。
48.本发明的其它可能的设计方案、扩展方案和实现方案也包括本发明的之前或者在下文关于实施例所描述的特征的没有明确提到的组合。
附图说明
49.随附的附图旨在提供对本发明的实施方式的进一步理解。这些附图阐明了实施方式并且与说明书相结合地用于阐述本发明的原理和设计。
50.其它实施方式和所提到的优点中的多个优点参考这些附图得出。这些附图的所呈现的要素不一定彼此按正确比例地被示出。
51.其中：
52.图1示出了按照本发明的实施方式的用于确定对象的6d姿态的方法的流程图；以及
53.图2示出了按照本发明的实施方式的用于确定对象的6d姿态的系统的示意性框图。
54.在这些附图的图中，只要不另作说明，相同的附图标记就表示相同或功能相同的要素、构件或组件。
具体实施方式
55.图1示出了按照本发明的实施方式的用于确定对象1的6d姿态的方法的流程图。
56.6d姿态通常被理解成物体或对象的位置和取向。在此，该姿态尤其描述了对于将参考坐标系转变成固定于对象的坐标系或者将光学传感器的坐标或相机坐标转变成对象坐标来说所需的变换，其中这些坐标系分别是笛卡尔坐标系，而且其中该变换由平移和旋转组成。
57.在此，对象的姿态估计或者6d姿态的应用可能性是多种多样的。例如当gps系统(全球定位系统(global positioning system))工作得不可靠或者精度不足时，相机重定位例如可以对自主车辆的导航进行辅助。此外，gps通常不用于封闭空间内的导航。如果可控系统、例如机器人系统要与对象进行交互，例如抓取这些对象，则还必须准确确定这些对象在空间中的位置和取向。
58.在此，用于估计或确定对象的6d姿态的已知算法基于针对特定对象类别所训练的模型。在这种情况下被证明为不利的是：对于来自另外的、不同的类型的对象，必须在来自该另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练这些模型，这带来了资源消耗的增加。在此，不同的对象类别被理解成不同类型的对象或者分别被理解成逻辑上相互关联的对象的集合。
59.如图1所示，该方法1在此具有：提供图像数据的步骤2，其中这些图像数据包括显示该对象的目标图像数据和关于该对象的经标记的比较图像数据；和基于所提供的图像数据通过元学习算法来确定该对象的6d姿态的步骤3。
60.在此，所呈现的方法1具有如下优点：该方法可以灵活地应用于不同的对象类别以
及尤其是来自以前未知的类别的新对象，而无需在来自另外的、不同的类别的对象也可以被检测之前首先复杂地重新训练该算法，这会带来资源消耗的增加。因此，总体而言，说明了一种经改进的用于确定对象的6d姿态的方法1，该方法可以在花费不大的情况下应用于不同的对象类别以及尤其是来自以前未知的类别的新对象。
61.如图1进一步所示，该方法1还具有检测显示该对象的当前图像数据的步骤4，其中显示该对象的图像数据然后被提供作为目标图像数据。
62.在此，按照图1的实施方式，该元学习算法尤其包括条件神经过程(conditional neural process，cnp)的应用，其中该条件神经过程具有对关键点的分割和探测。
63.在此，基于所提供的图像数据通过元学习算法来确定对象的6d姿态的步骤3尤其具有：步骤5：从所提供的图像数据中提取特征；步骤6：基于所提取的特征，确定在目标图像数据中的显示该对象的图像点；步骤7：基于所提取的特征和关于经标记的比较图像数据的信息，确定在该对象上的关键点；步骤8：针对每个关键点，为显示该对象的图像点中的每个图像点分别确定相对应的图像点与该关键点之间的偏移；和步骤9：基于针对所有关键点的所确定的偏移来确定该6d姿态。
64.在此，从所提供的图像数据中提取特征的步骤5尤其可具有：从所提供的图像数据的至少一部分或者从包含在所提供的图像数据中的图像点的至少一部分提取外形和/或其它几何信息；以及对这些特征的相对应的学习。
65.在此，基于所提取的特征来确定在目标图像数据中的显示该对象的图像点的步骤6尤其包括：标识新对象，尤其是在图像数据中的以前未知的对象类别的新对象；以及相对应地区分在图像数据中所呈现的新旧对象。在此，该标识尤其可以基于比较图像数据与关于这些比较图像数据、尤其是关于被分配给这些比较图像数据的标记的信息之间的关系来进行以及基于在步骤5中所提取的特征来进行。
66.基于所提取的特征和关于经标记的比较图像数据的信息来确定在该对象上的关键点的步骤7还可具有：基于关于经标记的比较数据的信息来预测或推导在对象坐标中的先前已知的关键点，其中也可以产生表征这些关键点的图。
67.在此，针对每个关键点和显示该对象的图像点中的每个图像点分别确定相对应的图像点与相对应的关键点之间的偏移的步骤8可包括：基于多层感知器或图神经网络来分别确定各个偏移，该多层感知器或图神经网络是分别例如基于关于其它对象类别的历史数据来被训练的。
68.基于针对所有关键点的所确定的偏移来确定该6d姿态的步骤9还可包括：应用回归算法以及尤其是最小二乘法(最小二乘拟合(least square fit))。
69.然后，所确定的该对象的6d姿态例如可以被用于控制可控系统，例如被用于控制机器人臂，以便抓取该对象。但是，所确定的6d姿态此外例如也可以被用于基于所标识的目标车辆来对自主车辆进行控制或导航或者被用于人脸识别。
70.图2示出了按照本发明的实施方式的用于确定对象的6d姿态的系统10的示意性框图。
71.如图2所示，所呈现的系统10具有用于确定对象的6d姿态的控制设备11和光学传感器12，该光学传感器被设计为检测显示该对象的目标图像数据。
72.在此，用于确定对象的6d姿态的控制设备11被设计为执行上述用于确定对象的6d
姿态的方法。在此，按照图2的实施方式，用于确定对象的6d姿态的控制设备11尤其具有：提供单元13，该提供单元被设计为提供图像数据，其中这些图像数据包括显示该对象的目标图像数据和关于该对象的经标记的比较图像数据；和第一调查单元14，该第一调查单元被设计为基于所提供的图像数据通过元学习算法来确定该对象的6d姿态。
73.在此，该提供单元尤其可以是被设计为接收图像数据的接收器。此外，该调查单元例如可以基于寄存在存储器中并且可通过处理器所执行的代码来被实现。
74.在此，如图2进一步所示，该第一调查单元14还具有：提取单元15，该提取单元被设计为从所提供的图像数据中提取特征；第一确定单元16，该第一确定单元被设计为基于所提取的特征来确定在目标图像数据中的显示该对象的图像点；第二确定单元17，该第二确定单元被设计为基于所提取的特征和关于经标记的比较图像数据的信息来确定在该对象上的关键点；第三确定单元18，该第三确定单元被设计为针对每个关键点，为显示该对象的图像点中的每个图像点分别确定相对应的图像点与该关键点之间的偏移；和第二调查单元19，该第二调查单元被设计为基于针对所有关键点的所确定的偏移来确定该6d姿态。
75.在此，提取单元、第一确定单元、第二确定单元、第三确定单元和第二调查单元又可以分别例如基于寄存在存储器中并且可通过处理器所执行的代码来被实现。
76.在此，光学传感器12尤其被设计为提供或检测通过控制设备11所处理的目标图像数据。
77.在此，按照图2的实施方式，光学传感器12尤其是rgb-d传感器。

技术特征：
1.一种用于确定对象的6d姿态的方法，其中所述方法(1)具有如下步骤：-提供图像数据，其中所述图像数据包括显示所述对象的目标图像数据和关于所述对象的经标记的比较图像数据(2)；而且-基于所提供的图像数据通过元学习算法来确定所述对象的6d姿态(3)。2.根据权利要求1所述的方法，其中所述方法还具有：检测显示所述对象的当前图像数据(4)，而且其中所检测到的显示所述对象的图像数据被提供作为目标图像数据。3.根据权利要求1或2所述的方法，其中基于所提供的图像数据通过元学习算法来确定所述对象的6d姿态的步骤(3)还具有如下步骤：-从所提供的图像数据中提取特征(5)；-基于所提取的特征，确定在所述目标图像数据中的显示所述对象的图像点(6)；-基于所提取的特征和关于经标记的比较图像数据的信息，确定在所述对象上的关键点(7)；-针对每个关键点，为显示所述对象的图像点中的每个图像点分别确定相对应的图像点与所述关键点之间的偏移(8)；而且-基于针对所有关键点的所确定的偏移来确定所述6d姿态(9)。4.根据权利要求1至3中任一项所述的方法，其中所述图像数据具有深度信息。5.一种用于控制可控系统的方法，其中所述方法具有如下步骤：-通过根据权利要求1至4中任一项所述的用于确定对象的6d姿态的方法来确定对象的6d姿态；而且-基于所确定的所述对象的6d姿态来控制所述可控系统。6.一种用于确定对象的6d姿态的控制设备，其中所述控制设备(11)具有：提供单元(13)，所述提供单元被设计为提供图像数据，其中所述图像数据包括显示所述对象的目标图像数据和关于所述对象的经标记的比较图像数据；和第一调查单元(14)，所述第一调查单元被设计为基于所提供的图像数据通过元学习算法来确定所述对象的6d姿态。7.根据权利要求6所述的控制设备，其中所述第一调查单元(14)具有：提取单元(15)，所述提取单元被设计为从所提供的图像数据中提取特征；第一确定单元(16)，所述第一确定单元被设计为基于所提取的特征来确定在所述目标图像数据中的显示所述对象的图像点；第二确定单元(17)，所述第二确定单元被设计为基于所提取的特征和关于经标记的比较图像数据的信息来确定在所述对象上的关键点；第三确定单元(18)，所述第三确定单元被设计为针对每个关键点，为显示所述对象的图像点中的每个图像点分别确定相对应的图像点与所述关键点之间的偏移；和第二调查单元(19)，所述第二调查单元被设计为基于针对所有关键点的所确定的偏移来确定所述6d姿态。8.一种用于确定对象的6d姿态的系统，其中所述系统具有根据权利要求6或7所述的用于确定对象的6d姿态的控制设备(11)和光学传感器(12)，所述光学传感器被设计为检测显示所述对象的目标图像数据。9.根据权利要求8所述的系统，其中所述光学传感器(11)是rgb-d传感器。10.一种用于控制可控系统的控制设备，其中所述控制设备具有：接收单元，用于接收通过根据权利要求6或7所述的用于确定对象的6d姿态的控制设备所确定的所述对象的6d姿态；和控制单元，所述控制单元被设计为基于所确定的所述对象的6d姿态来控制所述可
控系统。11.一种用于控制可控系统的系统，其中所述系统具有可控系统和根据权利要求10所述的用于控制所述可控系统的控制设备。

技术总结
用于确定对象的6D姿态的方法。本发明涉及一种用于确定对象的6D姿态的方法，其中所述方法(1)具有如下步骤：提供图像数据，其中所述图像数据包括显示所述对象的目标图像数据和关于所述对象的经标记的比较图像数据(2)；而且基于所提供的图像数据通过元学习算法来确定所述对象的6D姿态(3)。所述对象的6D姿态(3)。所述对象的6D姿态(3)。


技术研发人员：高宁 李雨蒙 G
受保护的技术使用者：罗伯特
技术研发日：2023.02.17
技术公布日：2023/8/23