任意姿态的三维点云对象的识别检索方法及装置

1.本技术涉及三维立体点云对象识别与检索技术领域，特别涉及一种任意姿态的三维点云对象的识别检索方法及装置。


背景技术：

2.三维立体点云是一种广泛应用的立体数据，在激光雷达、三维相机等传感器中大量使用，针对三维点云的识别和检索尤为重要。
3.相关技术中，通常先获取由点云采集设备所采集的若干组点云数据，建立点云数据库，计算点云数据库的形状描述子集，进而使用形状描述子集的相似性进行查询操作，实现三维点云的检索。
4.然而，相关技术受旋转影响很大，三维点云在变换姿态位置后使得识别、检索方法性能下降严重，降低了三维点云识别和检索方法的应用效果，亟待改善。


技术实现要素：

5.本技术提供一种任意姿态的三维点云对象的识别检索方法及装置，以解决相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响等问题。
6.本技术第一方面实施例提供一种任意姿态的三维点云对象的识别检索方法，包括以下步骤：提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。
7.可选地，在本技术的一个实施例中，所述提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征，包括：对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点；成对地计算点与临近点之间的增强的旋转不变特征，得到至少k个的局部旋转不变特征；使用具有置换不变性地点云网络处理所述至少k个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。
8.可选地，在本技术的一个实施例中，所述提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征，包括：对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较获得的多姿态的第三个坐标轴与所述坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行
合并，得到所述基于多姿态的第二形状特征。
9.可选地，在本技术的一个实施例中，所述在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图，包括：在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用k最近邻算法，分别构建局部特征超边和多姿态特征超边；根据局部特征超边和所述多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。
10.可选地，在本技术的一个实施例中，所述基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示，包括：利用跨注意力方法，将所述实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；利用跨注意力方式，将所述每个超边的特征进行聚合，生成该实例的特征。
11.可选地，在本技术的一个实施例中，所述将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果，包括：使用至少一层的所述全连接层处理所述超图表示，生成实例的类别分数；根据所述类别分数和标注类别，使用梯度下降方法优化可学习的权重；在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得所述检索结果。
12.本技术第二方面实施例提供一种任意姿态的三维点云对象的识别检索装置，包括：第一生成模块，用于提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；第二生成模块，用于提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；构建模块，用于在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；学习模块，用于基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；检索模块，用于将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。
13.可选地，在本技术的一个实施例中，所述第一生成模块包括：确定单元，用于对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点；计算单元，用于成对地计算点与临近点之间的增强的旋转不变特征，得到至少k个的局部旋转不变特征；处理单元，用于使用具有置换不变性地点云网络处理所述至少k个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。
14.可选地，在本技术的一个实施例中，所述第二生成模块包括：获取单元，用于对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较单元，用于比较获得的多姿态的第三个坐标轴与所述坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；第一生成单元，用于逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到所述基于多姿态的第二形状特征。
15.可选地，在本技术的一个实施例中，所述构建模块包括：构建单元，用于在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用k最近邻算法，分别
构建局部特征超边和多姿态特征超边；第二生成单元，用于根据局部特征超边和所述多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。
16.可选地，在本技术的一个实施例中，所述学习模块包括：聚合单元，用于利用跨注意力方法，将所述实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；第三生成单元，用于利用跨注意力方式，将所述每个超边的特征进行聚合，生成该实例的特征。
17.可选地，在本技术的一个实施例中，所述检索模块包括：第四生成单元，用于使用至少一层的所述全连接层处理所述超图表示，生成实例的类别分数；优化单元，用于根据所述类别分数和标注类别，使用梯度下降方法优化可学习的权重；检索单元，用于在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得所述检索结果。
18.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的任意姿态的三维点云对象的识别检索方法。
19.本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的任意姿态的三维点云对象的识别检索方法。
20.本技术实施例基于超图构建整合了局部和多姿态的旋转不变特征，实现不受点云旋转影响、无需对齐地对点云对象进行识别和检索，从双重角度、高阶关系建模提高了方法的准确性，有效保证点云识别的准确度和可靠性。由此，解决了相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响等问题。
21.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
22.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
23.图1为根据本技术实施例提供的一种任意姿态的三维点云对象的识别检索方法的流程图；
24.图2为根据本技术一个实施例的任意姿态的三维点云对象的识别检索方法的流程图；
25.图3为根据本技术实施例提供的一种任意姿态的三维点云对象的识别检索装置的结构示意图；
26.图4为根据本技术实施例提供的电子设备的结构示意图。
具体实施方式
27.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
28.下面参考附图描述本技术实施例的任意姿态的三维点云对象的识别检索方法及装置。针对上述背景技术中提到的相关技术在面对旋转地三维点云识别检索精度下降的问题，本技术提供了一种任意姿态的三维点云对象的识别检索方法，在该方法中，基于超图构建整合了局部和多姿态的旋转不变特征，实现不受点云旋转影响、无需对齐地对点云对象进行识别和检索，从双重角度、高阶关系建模提高了方法的准确性，有效保证点云识别的准确度和可靠性。由此，解决了相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响等问题。
29.具体而言，图1为本技术实施例所提供的一种任意姿态的三维点云对象的识别检索方法的流程示意图。
30.如图1所示，该任意姿态的三维点云对象的识别检索方法包括以下步骤：
31.在步骤s101中，提取点云对象的增强局部旋转不变表示，并基于增强局部旋转不变表示生成基于局部的第一形状特征。
32.在实际执行过程中，本技术实施例可以提取点云对象的增强局部旋转不变表示，并基于增强局部旋转不变表示生成基于局部的第一形状特征，从而为后续构建实例间超图提供支撑，进而实现不受点云旋转影响、无需对齐地对点云对象进行识别和检索，从双重角度、高阶关系建模提高了方法的准确性，有效保证点云识别的准确度和可靠性。
33.可选地，在本技术的一个实施例中，提取点云对象的增强局部旋转不变表示，并基于增强局部旋转不变表示生成基于局部的第一形状特征，包括：对于一个第一三维对象点云，逐个地对第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点；成对地计算点与临近点之间的增强的旋转不变特征，得到至少k个的局部旋转不变特征；使用具有置换不变性地点云网络处理至少k个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为基于局部的第一形状特征。
34.可以理解的是，本技术实施例可以利用设计的增强局部旋转不变表示描述符进行第一形状特征的构建，其中，描述符可以提供丰富的关于点云局部几何形状信息，且不受整体点云旋转的影响。
35.在实际执行过程中，本技术实施例对于一个第一三维对象点云，逐个地对第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点；成对地计算点与临近点之间的增强的旋转不变特征，具体地，包括点对特征和平衡点特征，得到至少k个的局部旋转不变特征；使用具有置换不变性地点云网络处理至少k个的局部旋转不变特征，例如，使用卷积层处理特征，而后使用最大池化操作，可逐个地将每个点的多个邻域特征推理为每个点对应单个的中间特征，以基于每个中间特征形成实例的特征，记为基于局部的第一形状特征，进而有效保证点云识别的准确度和可靠性。
36.举例而言，给定一个点云p∈rn×3,p为其中任意一个点，其局部邻域定义为s＝{sj}，其中sj为若干个近邻点，邻域的划分可以通过设置半径或者使用k近邻算法获得。
37.点p和近邻点sj的旋转不变表示包括点对特征和平衡点特征。点对特征描述了两点间距离及法线间的角度关系，具体定义如下：
38.(d,α1,α2,α3)
39.其中，d表示两个点的欧式距离，α1为sj的法线与的夹角余弦值，α2为pi的法线
与的夹角余弦值，α3为sj的法线pj的法线的余弦值。
40.平衡点特征是根据点pi和近邻点sj的位置从邻域si中选取额外的参考平衡点rj，据此确定的相应的特征。参考平衡点r是到中心点p和近邻点sj相对最近的点，且避免离其中一个点过近，具体地，选取的度量设计为：
[0041][0042]
其中，dist(
…
)为欧式距离函数。
[0043]
平衡点特征根据参考平衡点r构造，如下：
[0044]
(d1,d2,β1,β2)
[0045]
其中，d1为点r到p距离，d2为点r到sj的距离，β1为与的夹角，与的夹角。
[0046]
如上述，可以得到中心点p和若干个近邻点的增强局部旋转不变表示，每个表示维度为8，其数量与近邻点数量相等。而后，可以使用具有旋转不变性的操作和网络将区域特征整合。例如，在此给出一种使用卷积操作和最大池化的聚合方式，公式表示如下：
[0047]
f＝max(conv(elr(p,s)))
[0048]
其中，elr表示提取的增强局部旋转不变表示。
[0049]
本技术实施例经过卷积操作后，变成每个点与邻域的几何结构表示，通过参照riconv++或者dgcnn构建完整的形状表示网络，可以将得到的表示记为g
elr
。
[0050]
在步骤s102中，提取点云对象的多姿态旋转不变表示，并基于多姿态旋转不变表示生成基于多姿态的第二形状特征。
[0051]
作为一种可能实现的方式，本技术实施例可以提取点云对象的多姿态旋转不变表示，并基于多姿态旋转不变表示生成基于多姿态的第二形状特征，从而进一步为后续构建实例间超图提供支撑，保证从双重角度、高阶关系建模提高三维点云对象识别检索方法的准确性，有效保证点云识别的准确度和可靠性。
[0052]
可选地，在本技术的一个实施例中，提取点云对象的多姿态旋转不变表示，并基于多姿态旋转不变表示生成基于多姿态的第二形状特征，包括：对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较获得的多姿态的第三个坐标轴与坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到基于多姿态的第二形状特征。
[0053]
具体地，本技术实施例可以使用主成分分析算法，计算坐标的协方差矩阵，进行特征分解，得到三个特征向量，记作(e1,e2,e3)，从而保证对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴。以特征向量为坐标轴旋转，可以使得点云的正交对称性达到最优，且特征向量的排列和正负都对应的旋转都是满足要求的姿态，共24个姿态。
[0054]
需要注意的是，调整参考轴向量的顺序和正负，获得多个同等地位的坐标系，也就是所指的多个姿态。
[0055]
进一步地，本技术实施例可以比较获得的多姿态的第三个坐标轴与坐标参考轴是
否一致，以划分为多组，且每组具有多个姿态，如比较获得的多姿态的第三个坐标轴与坐标参考轴是否一致，包括
±
e1,
±
e2,
±
e3共六组，每组4个姿态。本技术实施例中每个姿态对应的点云，可以直接使用旋转敏感的dgcnn(点云动态图卷积)网络处理，通过平均操作，令每组四个特征在全连接层融合并预测一个类别结果，共得到6个类别预测和6个特征表示，特征直接平均作为总体表示，记作g
npr
，从而保证可以逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到基于多姿态的第二形状特征，进而进一步地有效保证点云识别的准确度和可靠性。
[0056]
在步骤s103中，在可用数据上，使用第一形状特征和第二形状特征构建实例间超图。
[0057]
可以理解的是，本技术实施例中的第一形状特征基于增强局部旋转不变表示得到，第二形状特征基于多姿态旋转不变表示得到。
[0058]
在实际执行过程中，本技术实施例可以在可用数据上，使用第一形状特征和第二形状特征构建实例间超图，从而基于超图构建整合局部和多姿态的旋转不变特征，实现不受点云旋转影响、无需对齐地对点云对象进行识别和检索，从双重角度、高阶关系建模提高了方法的准确性，有效保证点云识别的准确度和可靠性。
[0059]
可选地，在本技术的一个实施例中，在可用数据上，使用第一形状特征和第二形状特征构建实例间超图，包括：在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用k最近邻算法，分别构建局部特征超边和多姿态特征超边；根据局部特征超边和多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。
[0060]
一些实施例中，可以在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用k最近邻算法，分别构建局部特征超边和多姿态特征超边。具体地，以每个实例作为节点，每次所获得的实例构成的集合为一条超边，可使用不同的参数构建多条超边，在至少包含一个其他实例的基于多姿态的形状特征空间内使用k最近邻算法，以目标实例为中心使用k最近邻算法，同样构建多姿态特征超边。本技术实施例根据局部特征超边和多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图，从而整合局部和多姿态的旋转不变特征，从双重角度、高阶关系建模提高了方法的准确性。
[0061]
在步骤s104中，基于实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示。
[0062]
作为一种可能实现的方式，本技术实施例可以基于实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示，其中，超图中心注意力模块使用多头注意力机制，以输入节点为注意力核心，对高阶复杂关联进行学习和建模，注意力机制表示为：
[0063][0064]
其中，q＝wqxq，k＝wkxk，v＝wvxv，wq、wk、wv为可学习参数。
[0065]
可选地，在本技术的一个实施例中，基于实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示，包括：利用跨注意力方法，将实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；利用跨注意力方式，将每个超边的特征进行聚合，生成该实例的特征。
[0066]
在实际执行过程中，本技术实施例可以利用跨注意力方法，将实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征，其中，以输入的实例特征为查询，以其余特征为关键字及值；本技术实施例可以利用跨注意力方式，将每个超边的特征进行聚合，生成该实例的特征，其中，以输入的实例特征为查询，以其余特征为关键字及值。
[0067]
具体而言，本技术实施例可以将输入的形状特征记为xc，和输入节点在同一超边上的节点特征记为xe，令xq＝xc,xk＝xv＝xe，得到的多头注意力结果合并为一个，记作xc，其中，xc为与中心节点所连的所有超边特征的集合。在中心特征的条件下，聚合关注的超边特征，令xq＝xc,xk＝xv＝xc，得到超图中心注意力模块的最终表示x
hg
。本技术实施例中，堆叠多个超图中心注意力模块，可以增强最终特征的表示能力，获得有识别能力的超图表示。
[0068]
在步骤s105中，将超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。
[0069]
具体而言，本技术实施例可以将超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果，从而保证检索结果的准确度和可靠性。
[0070]
可选地，在本技术的一个实施例中，将超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果，包括：使用至少一层的全连接层处理超图表示，生成实例的类别分数；根据类别分数和标注类别，使用梯度下降方法优化可学习的权重；在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得检索结果。
[0071]
在实际执行过程中，本技术实施例可以使用至少一层的全连接层处理超图表示，生成实例的类别分数，其中，全连接层搭配激活函数可堆叠多层，单层表示如下：
[0072]
x
mlp
＝σ(x
hg
θ)
[0073]
而后使用线性变换得到类别预测，即
[0074]
其中，θ为可学习参数。
[0075]
网络可以使用合适的多分类损失函数监督，使用随机梯度下降算法优化，使用交叉熵损失函数，可表示为：
[0076][0077]
根据类别分数和标注类别，使用梯度下降方法优化可学习的权重，具体地，基于局部的形状特征中，可以将局部形状特征输入至全连接层产生类别概率，使用交叉熵损失函数获得优化目标，进行多轮迭代训练，得到优化后的网络权重；多姿态的形状特征中，可以将每组的形状特征输入至全连接层产生类别概率，使用交叉熵损失函数获得优化目标，进行多轮迭代训练，得到优化后的网络权重。
[0078]
进一步地，本技术实施例在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得检索结果，其中，欧式距离的计算方式为：
[0079][0080]
本技术实施例根据生成类别预测结果和检索表示向量，可以提高三维点云对象的识别检索方法的准确性，解决在真实场景的三维点云对象姿态变换造成的性能下降问题。
[0081]
具体地，结合图2所示，以一个具体实施例对本技术实施例的任意姿态的三维点云对象的识别检索方法的工作原理进行详细阐述。
[0082]
如图2所示，本技术实施例可以包括以下步骤：
[0083]
步骤s201：提取点云对象的增强局部旋转不变表示，生成基于局部的形状特征。
[0084]
步骤s202：提取点云对象的多姿态旋转不变表示，生成基于多姿态的形状特征。
[0085]
步骤s203：在可用数据上，使用局部的形状特征和多姿态的形状特征分别构建一个实例间超图。
[0086]
步骤s204：使用超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示。
[0087]
步骤s205：超图表示特征输入至全连接层，最终生成类别预测结果和检索表示向量。
[0088]
根据本技术实施例提出的任意姿态的三维点云对象的识别检索方法，基于超图构建整合了局部和多姿态的旋转不变特征，实现不受点云旋转影响、无需对齐地对点云对象进行识别和检索，从双重角度、高阶关系建模提高了方法的准确性，有效保证点云识别的准确度和可靠性。由此，解决了相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响的问题。
[0089]
其次参照附图描述根据本技术实施例提出的任意姿态的三维点云对象的识别检索装置。
[0090]
图3是本技术实施例的任意姿态的三维点云对象的识别检索装置的结构示意图。
[0091]
如图3所示，该任意姿态的三维点云对象的识别检索方法装置10包括：第一生成模块100、第二生成模块200、构建模块300、学习模块400和检索模块500。
[0092]
具体地，第一生成模块100，用于提取点云对象的增强局部旋转不变表示，并基于增强局部旋转不变表示生成基于局部的第一形状特征。
[0093]
第二生成模块200，用于提取点云对象的多姿态旋转不变表示，并基于多姿态旋转不变表示生成基于多姿态的第二形状特征。
[0094]
构建模块300，用于在可用数据上，使用第一形状特征和第二形状特征构建实例间超图。
[0095]
学习模块400，用于基于实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示。
[0096]
检索模块500，用于将超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。
[0097]
可选地，在本技术的一个实施例中，第一生成模块100包括：确定单元、计算单元和
处理单元。
[0098]
其中，确定单元，用于对于一个第一三维对象点云，逐个地对第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点。
[0099]
计算单元，用于成对地计算点与临近点之间的增强的旋转不变特征，得到至少k个的局部旋转不变特征。
[0100]
处理单元，用于使用具有置换不变性地点云网络处理至少k个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为基于局部的第一形状特征。
[0101]
可选地，在本技术的一个实施例中，第二生成模块200包括：获取单元、比较单元和第一生成单元。
[0102]
其中，获取单元，用于对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴。
[0103]
比较单元，用于比较获得的多姿态的第三个坐标轴与坐标参考轴是否一致，以划分为多组，且每组具有多个姿态。
[0104]
第一生成单元，用于逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到基于多姿态的第二形状特征。
[0105]
可选地，在本技术的一个实施例中，构建模块300包括：构建单元和第二生成单元。
[0106]
其中，构建单元，用于在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用k最近邻算法，分别构建局部特征超边和多姿态特征超边；
[0107]
第二生成单元，用于根据局部特征超边和多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。
[0108]
可选地，在本技术的一个实施例中，学习模块包括：聚合单元和第三生成单元。
[0109]
其中，聚合单元，用于利用跨注意力方法，将实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；
[0110]
第三生成单元，用于利用跨注意力方式，将每个超边的特征进行聚合，生成该实例的特征。
[0111]
可选地，在本技术的一个实施例中，检索模块500包括：第四生成单元、优化单元和检索单元。
[0112]
其中，第四生成单元，用于使用至少一层的全连接层处理超图表示，生成实例的类别分数。
[0113]
优化单元，用于根据类别分数和标注类别，使用梯度下降方法优化可学习的权重。
[0114]
检索单元，用于在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得检索结果。
[0115]
需要说明的是，前述对任意姿态的三维点云对象的识别检索方法实施例的解释说明也适用于该实施例的任意姿态的三维点云对象的识别检索装置，此处不再赘述。
[0116]
根据本技术实施例提出的任意姿态的三维点云对象的识别检索装置，基于超图构建整合了局部和多姿态的旋转不变特征，实现不受点云旋转影响、无需对齐地对点云对象进行识别和检索，从双重角度、高阶关系建模提高了方法的准确性，有效保证点云识别的准确度和可靠性。由此，解决了相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响的问题。
[0117]
图4为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
[0118]
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
[0119]
处理器402执行程序时实现上述实施例中提供的任意姿态的三维点云对象的识别检索方法。
[0120]
进一步地，电子设备还包括：
[0121]
通信接口403，用于存储器401和处理器402之间的通信。
[0122]
存储器401，用于存放可在处理器402上运行的计算机程序。
[0123]
存储器401可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0124]
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0125]
可选地，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
[0126]
处理器402可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0127]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的任意姿态的三维点云对象的识别检索方法。
[0128]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0129]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0130]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0131]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0132]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0133]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0134]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0135]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种任意姿态的三维点云对象的识别检索方法，其特征在于，包括以下步骤：提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。2.根据权利要求1所述的方法，其特征在于，所述提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征，包括：对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点；成对地计算点与临近点之间的增强的旋转不变特征，得到至少k个的局部旋转不变特征；使用具有置换不变性地点云网络处理所述至少k个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。3.根据权利要求1所述的方法，其特征在于，所述提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征，包括：对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较获得的多姿态的第三个坐标轴与所述坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到所述基于多姿态的第二形状特征。4.根据权利要求1所述的方法，其特征在于，所述在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图，包括：在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用k最近邻算法，分别构建局部特征超边和多姿态特征超边；根据局部特征超边和所述多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。5.根据权利要求1所述的方法，其特征在于，所述基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示，包括：利用跨注意力方法，将所述实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；利用跨注意力方式，将所述每个超边的特征进行聚合，生成该实例的特征。6.根据权利要求1所述的方法，其特征在于，所述将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离
大小进行相似度排序，得到检索结果，包括：使用至少一层的所述全连接层处理所述超图表示，生成实例的类别分数；根据所述类别分数和标注类别，使用梯度下降方法优化可学习的权重；在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得所述检索结果。7.一种任意姿态的三维点云对象的识别检索装置，其特征在于，包括：第一生成模块，用于提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；第二生成模块，用于提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；构建模块，用于在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；学习模块，用于基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；检索模块，用于将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。8.根据权利要求7所述的装置，其特征在于，所述第一生成模块包括：确定单元，用于对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用k最近邻算法确定其局部邻域，其中，每个点获取k个临近点；计算单元，用于成对地计算点与临近点之间的增强的旋转不变特征，得到至少k个的局部旋转不变特征；处理单元，用于使用具有置换不变性地点云网络处理所述至少k个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的任意姿态的三维点云对象的识别检索方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的任意姿态的三维点云对象的识别检索方法。

技术总结
本申请涉及一种任意姿态的三维点云对象的识别检索方法及装置，其中，方法包括：提取点云对象的增强局部旋转不变表示，并基于增强局部旋转不变表示生成基于局部的第一形状特征；提取点云对象的多姿态旋转不变表示，并基于多姿态旋转不变表示生成基于多姿态的第二形状特征；使用第一形状特征和第二形状特征构建实例间超图；使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；将超图表示输入至全连接层，生成类别预测结果和检索表示向量，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。由此，解决了相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响等问题。声影响等问题。声影响等问题。


技术研发人员：高跃 戴岳
受保护的技术使用者：清华大学
技术研发日：2023.05.17
技术公布日：2023/9/6