物体识别方法和物体识别系统与流程

1.本发明属于计算机视觉领域。


背景技术：

2.物体识别属于计算机视觉领域，它的主要任务是识别出图像中的物体。目前，主流的物体识别方法是基于2d真实图像训练和预测的识别方法或利用三维数字模型作为辅助的识别方法。现有的基于三维模型数据的物体识别方法的准确性无法满足工厂对工件分类的要求。


技术实现要素：

3.本发明的目的是提供一种物体识别方法，其识别准确性较高。
4.本发明的另一个目的是提供一种物体识别系统，其识别准确性较高。
5.本发明的还一个目的是提供一种计算机可读存储介质，执行其上存储的代码能够较准确地识别物体。
6.本发明提供了一种物体识别方法，其包括：
7.根据三维数字模型生成数个合成图像，数个合成图像的视角不同；
8.分别提取数个合成图像的特征向量；
9.根据数个合成图像的特征向量融合生成一个第一融合向量；
10.将第一融合向量输入给分类器，以训练分类器；
11.获取物体的数个照片，数个照片分别与至少部分数个合成图像的视角相同；
12.分别提取数个照片的特征向量；
13.根据数个照片的特征向量融合生成一个第二融合向量；以及
14.将第二融合向量输入给经训练的分类器，以得到物体的分类结果。
15.该物体识别方法中，数个合成图像的视角不同，相应地数个照片的视角也不同，这使得能够体现更多的特征。数个照片分别与至少部分数个合成图像的视角相同，借此降低了角度不同产生的干扰。该物体识别方法具有较高的准确性。
16.在物体识别方法的另一种示意性实施方式中，根据数个合成图像的视角确定获取数个照片时的相机参数，或者根据数个照片的视角确定生成数个合成图像所使用的软件参数，以使数个照片分别与至少部分数个合成图像的视角相同。
17.在物体识别方法的再一种示意性实施方式中，当数个照片分别与全部数个合成图像的视角相同的情况下，将提取到的数个合成图像的特征向量融合生成第一融合向量，并将提取到的数个照片的特征向量融合生成第二融合向量。
18.在物体识别方法的还一种示意性实施方式中，当数个照片分别与部分数个合成图像的视角相同的情况下，将提取到的数个照片的特征向量结合辅助向量融合生成第二融合向量，其中数个照片的特征向量与辅助向量的总数等于合成图像的数量，并将提取到的与数个照片视角相同的数个合成图像的特征向量结合辅助向量融合生成第一融合向量，其中
与数个照片视角相同的数个合成图像的特征向量与辅助向量的总数等于合成图像的数量。或者当数个照片分别与部分数个合成图像的视角相同的情况下，将提取到的与数个照片视角相同的数个合成图像的特征向量融合生成第一融合向量，并将提取到的数个照片的特征向量融合生成第二融合向量。
19.在物体识别方法的还一种示意性实施方式中，使用cad软件根据三维数字模型生成数个合成图像。
20.在物体识别方法的还一种示意性实施方式中，使用cnn分别提取数个合成图像的特征向量和数个照片的特征向量。分类器为基于深度学习的分类器。
21.在物体识别方法的还一种示意性实施方式中，应用automl技术或神经架构搜索技术确定融合的方案。
22.在物体识别方法的还一种示意性实施方式中，先对数个合成图像进行域随机化处理，再分别提取数个合成图像的特征向量。先对数个照片进行域随机化处理，再分别提取数个照片的特征向量。
23.本发明还提供了一种物体识别系统，其包括一个处理器和一个拍摄机构。处理器内置有一个图像生成模块、一个特征提取模块、一个融合模块和一个分类器模块。图像生成模块能够根据三维数字模型生成数个合成图像。数个合成图像的视角不同。特征提取模块能够分别提取数个合成图像的特征向量。融合模块能够根据数个合成图像的特征向量融合生成一个第一融合向量。分类器模块能够根据输入的第一融合向量进行训练。拍摄机构能够获取物体的数个照片。处理器能够控制拍摄机构或图像生成模块，使数个照片分别与至少部分数个合成图像的视角相同。特征提取模块还能够分别提取数个照片的特征向量。融合模块还能够根据数个照片的特征向量融合生成一个第二融合向量。经训练的分类器模块能够根据输入的第二融合向量得到物体的分类结果。
24.该物体识别系统，生成的数个合成图像的视角不同，相应地获取的数个照片的视角也不同，这使得能够体现更多的特征。处理器能够控制拍摄机构或图像生成模块，使数个照片分别与至少部分数个合成图像的视角相同，借此降低了角度不同产生的干扰。该物体识别系统具有较高的准确性。
25.在物体识别系统的另一种示意性实施方式中，拍摄机构包括一个相机和一个支架。相机可运动地连接支架。物体识别系统还包括一个驱动机构，其能够驱动相机相对于支架运动。处理器能够根据数个合成图像的视角输出一组控制信号。驱动机构能够根据控制信号控制相机的运动，以获得分别与至少部分数个合成图像的视角相同的数个照片。
26.在物体识别系统的再一种示意性实施方式中，拍摄机构包括数个相机。物体识别系统还包括一个位置传感单元。位置传感单元能够检测数个相机的空间位置和拍摄角度并根据数个相机的空间位置和拍摄角度生成一组视角信号。处理器能够根据视角信号确定生成数个合成图像所使用的参数，以使数个照片分别与至少部分数个合成图像的视角相同。
27.在物体识别系统的还一种示意性实施方式中，当数个照片分别与全部数个合成图像的视角相同的情况下，融合模块能够将提取到的数个合成图像的特征向量融合生成第一融合向量，并能够将提取到的数个照片的特征向量融合生成第二融合向量。
28.在物体识别系统的还一种示意性实施方式中，当数个照片分别与部分数个合成图像的视角相同的情况下，融合模块能够将提取到的数个照片的特征向量结合辅助向量融合
生成第二融合向量，其中数个照片的特征向量与辅助向量的总数等于合成图像的数量，并能够将提取到的与数个照片视角相同的数个合成图像的特征向量结合辅助向量融合生成第一融合向量，其中与数个照片视角相同的数个合成图像的特征向量与辅助向量的总数等于合成图像的数量。或者当数个照片分别与部分数个合成图像的视角相同的情况下，融合模块能够将提取到的与数个照片视角相同的数个合成图像的特征向量融合生成第一融合向量，并能够将提取到的数个照片的特征向量融合生成第二融合向量。
29.在物体识别系统的还一种示意性实施方式中，图像生成模块能够使用cad软件根据三维数字模型生成数个合成图像。
30.在物体识别系统的还一种示意性实施方式中，特征提取模块使用cnn分别提取数个合成图像的特征向量和数个照片的特征向量。分类器模块为基于深度学习的分类器模块。
31.在物体识别系统的还一种示意性实施方式中，融合模块能够应用automl技术或神经架构搜索技术确定融合的方案。
32.在物体识别系统的还一种示意性实施方式中，特征提取模块能够先对数个合成图像进行域随机化处理，再分别提取数个合成图像的特征向量。特征提取模块能够先对数个照片进行域随机化处理，再分别提取数个照片的特征向量。
33.本发明还提供了一种计算机可读存储介质，其上存储有代码以供系统使用。当处理器执行代码时，系统执行上述的物体识别方法。
附图说明
34.以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
35.图1为物体识别方法的一种示意性实施方式的流程图。
36.图2为图1所示的物体识别方法的步骤s11的流程图。
37.图3为物体识别方法的另一种示意性实施方式的流程图。
38.图4为物体识别系统的一种示意性实施方式的结构示意图。
39.图5用于说明图4所示的物体识别系统的示意性的工作过程。
40.图6用于说明特征提取模块的一种示意性实施方式。
41.图7为物体识别系统的另一种示意性实施方式的结构示意图。
42.标号说明
43.20处理器
44.21图像生成模块
45.22特征提取模块
46.23融合模块
47.24分类器模块
48.40拍摄机构
49.41相机
50.42支架
51.50驱动机构
52.60位置传感单元
53.80物体
54.m三维数字模型
55.s1、s2、s3合成图像
56.sv1、sv2、sv3合成图像的特征向量
57.fv1第一融合向量
58.p1、p2、p3照片
59.pv1、pv2、pv3照片的特征向量
60.fv2第二融合向量
61.cnn1、cnn2、cnn3卷积神经网络
62.r分类结果
具体实施方式
63.为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。
64.在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。
65.在本文中，“第一”、“第二”等并非表示其重要程度或顺序等，仅用于表示彼此的区别，以利文件的描述。
66.为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。
67.图1为物体识别方法的一种示意性实施方式的流程图。如图1所示，本示意性实施方式的物体识别方法包括如下步骤，其中步骤间的顺序并不限于如下排列顺序。
68.s11：根据三维数字模型生成数个合成图像。数个合成图像的视角不同，且优选能够体现更多特征的多个视角。在本文中，“数个”解释为“至少两个”。
69.在示意性实施方式中，例如使用cad(computeraideddesign)软件根据三维数字模型生成数个合成图像。cad软件例如为autodesk公司开发的autocad。在其他示意性实施方式中，也可以选用其他能够根据三维数字模型生成合成图像的软件，例如siemensplmsoftware公司开发的ug(unigraphicsnx)等。
70.具体地，以cad软件为例，如图2所示，步骤s11例如包括在cad软件中依次执行以下步骤：
71.s111：渲染三维数字模型，
72.s112：添加数个虚拟相机并设置各个虚拟相机的相机参数，其中虚拟相机的数量与要生成的合成图像的数量一致，虚拟相机的相机参数决定合成图像的视角，
73.s113：用虚拟相机捕获图像，以得到合成图像。
74.s12：分别提取数个合成图像的特征向量。在本示意性实施方式中，例如使用cnn(convolutionalneuralnetworks，卷积神经网络)分别提取数个合成图像的特征向量，但不限于此，在其他示意性实施方式中，也可以采用其他方式提取合成图像的特征向量。
75.卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平
移不变分类，因此也被称为“平移不变人工神经网络”。使用cnn利于提取到反应关键特征的特征向量，以进一步提高物体识别方法的准确性。
76.s13：根据数个合成图像的特征向量融合生成一个第一融合向量。在示意性实施方式中，例如应用automl(automated machine learning)技术或神经架构搜索技术确定融合的方案，这样利于得到较优的融合方案，但不限于此。
77.automl是将机器学习中的数据预处理、特征选择、算法选择等步骤与深度学习中的模型架构设计和模型训练等步骤相结合，将其放在一个“黑箱”里。通过“黑箱”，我们只需要输入数据，就可以得到我们想要的预测结果。
[0078]“使用神经网络设计神经网络”的方法被称为神经架构搜索(neural architecture search，nas)技术，其通常使用强化学习或进化算法来设计新的神经网络结构。nas能够自动化架构工程，只需要提供数据集，nas能够自动得出最佳架构。
[0079]
s14：将第一融合向量输入给分类器，以训练分类器。在示意性实施方式中，分类器为基于深度学习的分类器。
[0080]
s21：使用相机获取物体(例如实物工件)的数个照片，数个照片分别与至少部分数个合成图像的视角相同。即照片的数量小于等于合成图像的数量。若合成图像的数量为5个，照片的数量例如为5个或3个。数个合成图像中具有与各个照片视角一致的合成图像。
[0081]
s22：分别提取数个照片的特征向量。在示意性实施方式中，例如使用cnn(convolutional neural networks，卷积神经网络)分别提取数个照片的特征向量。
[0082]
s23：根据数个照片的特征向量融合生成一个第二融合向量。在示意性实施方式中，例如应用automl(automated machine learning)技术或神经架构搜索技术确定融合的方案。此步骤中使用的融合方案与步骤s13中使用的融合方案相同。
[0083]
s30：将第二融合向量输入给经步骤s14训练的分类器，以得到物体的分类结果。
[0084]
在本示意性实施方式中，例如可以先生成数个合成图像，再根据数个合成图像的视角确定获取数个照片时的相机参数(例如位置和角度)，以使数个照片分别与至少部分数个合成图像的视角相同。当然，也可以是先获取物体的数个照片，再根据数个照片的视角确定生成数个合成图像所使用的虚拟相机的相机参数。
[0085]
在本示意性实施方式中，当数个照片分别与全部数个合成图像的视角相同的情况下(即照片和合成图像的数量相同，且视角一一对应)，则在步骤s13中将提取到的数个合成图像的特征向量融合生成第一融合向量，并在步骤s23中将提取到的数个照片的特征向量融合生成第二融合向量。
[0086]
当然，也可能出现数个照片分别与部分数个合成图像的视角相同的情况，即照片的数量少于合成图像的数量。这种情况例如发生在已经使用5个合成图像(例如主视图、后视图、俯视图、仰视图、立体图)完成了对分类器的训练，但对物体拍照时，例如由于空间的限制无法获得相同数量且角度相同的照片，只能获得部分角度相同的照片，例如3个(例如主视图、后视图、立体图)。那么，就在步骤s23中将提取到的数个照片的特征向量结合辅助向量融合生成第二融合向量，其中数个照片的特征向量与辅助向量的总数等于合成图像的数量。并在步骤s13中将提取到的与数个照片视角相同的数个合成图像的特征向量结合辅助向量融合生成第一融合向量，其中与数个照片视角相同的数个合成图像的特征向量与辅助向量的总数等于合成图像的数量。例如，若合成图像的数量为5，照片的数量为3，那么以
上两个步骤所需要的辅助向量的数量均为2。该方法无需重新确定融合方案，仅需根据原有的融合方案重新融合生成第一融合向量，并根据重新生成的第一融合向量重新训练分类器即可。在本示意性实施方式中，辅助向量例如为单位向量(即模等于1的向量)或零向量。
[0087]
但不限于此，在其他示意性实施方式中，也可以在步骤s13中将提取到的与数个照片视角相同的数个合成图像的特征向量融合生成第一融合向量，并在步骤s23中将提取到的数个照片的特征向量融合生成第二融合向量。由于更改了融合时输入的向量的数量，需要重新确定融合的方案，再根据新的融合方案重新融合生成第一融合向量，然后根据重新生成的第一融合向量重新训练分类器。
[0088]
该物体识别方法中，数个合成图像的视角不同，相应地数个照片的视角也不同，这使得能够体现更多的特征。数个照片分别与至少部分数个合成图像的视角相同，借此降低了角度不同产生的干扰。该物体识别方法具有较高的准确性。
[0089]
图3为物体识别方法的另一种示意性实施方式的流程图。本示意性实施方式的物体识别方法与图1所示的物体识别方法的相同之处在此不再赘述，与之不同之处如下所述。在本示意性实施方式中，在完成步骤s11之后，先执行步骤s15：对数个合成图像进行域随机化处理，再执行步骤s12。在完成步骤s21之后，先执行步骤s24：对数个照片进行域随机化处理，再执行步骤s22。通过域随机化能够在具体实施中排除已知的不能用于分区物体的特征(例如，物体摆放的环境，物体的颜色等)，借此利于提高物体识别方法的准确性和识别效率。
[0090]
本发明还提供了一种物体识别系统，图4为物体识别系统的一种示意性实施方式的结构示意图。如图4所示，物体识别系统包括一个处理器20和一个拍摄机构40。处理器20内置有一个图像生成模块21、一个特征提取模块22、一个融合模块23和一个分类器模块24。
[0091]
图像生成模块21能够根据三维数字模型生成数个合成图像。数个合成图像的视角不同。在示意性实施方式中，图像生成模块21例如使用cad(computer aided design)软件根据三维数字模型生成数个合成图像。
[0092]
特征提取模块22能够分别提取数个合成图像的特征向量。在本示意性实施方式中，特征提取模块22例如使用cnn(convolutional neural networks，卷积神经网络)分别提取数个合成图像的特征向量，但不限于此，在其他示意性实施方式中，特征提取模块22也可以采用其他算法提取特征向量。
[0093]
融合模块23能够根据数个合成图像的特征向量融合生成一个第一融合向量。在示意性实施方式中，融合模块23例如应用automl(automated machine learning)技术或神经架构搜索技术确定融合的方案，这样利于得到较优的融合方案，但不限于此。
[0094]
分类器模块24能够根据输入的第一融合向量进行训练。在本示意性实施方式中，分类器模块24例如为基于深度学习的分类器模块24，但不限于此。
[0095]
拍摄机构40能够获取物体80的数个照片。在本示意性实施方式中，拍摄机构40包括一个相机41和一个支架42。相机41可运动地连接支架42。物体识别系统还包括一个驱动机构50，其能够驱动相机41相对于支架42运动。处理器20能够根据数个合成图像的视角输出一组控制信号。驱动机构50能够根据控制信号控制相机41的运动，以获得分别与至少部分数个合成图像的视角相同的数个照片。借此可根据合成图像的视角控制相机41的拍摄位置和角度，以节省人力。这种情况下，一个相机41需要变换不同的位置和角度以获得数个照
片，但不限于此，在其他示意性实施方式中，相机41的数量可以是多个，这样可以节省获取照片所需要的时间。
[0096]
特征提取模块22还能够分别提取数个照片的特征向量。融合模块23还能够根据数个照片的特征向量融合生成一个第二融合向量。经训练的分类器模块24能够根据输入的第二融合向量得到物体的分类结果。
[0097]
在本示意性实施方式中，当数个照片分别与全部数个合成图像的视角相同的情况下(即照片和合成图像的数量相同，且视角一一对应)，融合模块23能够将提取到的数个合成图像的特征向量融合生成第一融合向量，并能够将提取到的数个照片的特征向量融合生成第二融合向量。
[0098]
当然，也可能出现数个照片分别与部分数个合成图像的视角相同的情况，即照片的数量少于合成图像的数量。这种情况例如发生在已经使用5个合成图像(例如主视图、后视图、俯视图、仰视图、立体图)完成了对分类器的训练，但对物体拍照时，例如由于空间的限制无法设置相机以获得相同数量和角度的照片，只能获得部分角度相同的照片，例如3个(例如主视图、后视图、立体图)。这种情况下，融合模块23能够将提取到的数个照片的特征向量结合辅助向量融合生成第二融合向量，其中数个照片的特征向量与辅助向量的总数等于合成图像的数量，并能够将提取到的与数个照片视角相同的数个合成图像的特征向量结合辅助向量融合生成第一融合向量，其中与数个照片视角相同的数个合成图像的特征向量与辅助向量的总数等于合成图像的数量。例如，若合成图像的数量为5，照片的数量为3，那么以上两个步骤所需要的辅助向量的数量均为2。借此无需重新确定融合方案，仅需根据原有的融合方案重新融合生成第一融合向量，并根据重新生成的第一融合向量重新训练分类器即可。在本示意性实施方式中，辅助向量例如为单位向量(即模等于1的向量)或零向量。
[0099]
但不限于此，在其他示意性实施方式中，融合模块23例如能够将提取到的与数个照片视角相同的数个合成图像的特征向量融合生成第一融合向量，并能够将提取到的数个照片的特征向量融合生成第二融合向量。由于更改了融合时输入的向量的数量，融合模块23需要重新确定融合的方案，再根据新的融合方案重新融合生成第一融合向量，分类器模块24根据重新生成的第一融合向量重新训练。
[0100]
在示意性实施方式中，特征提取模块22能够先对数个合成图像进行域随机化处理，再分别提取数个合成图像的特征向量。特征提取模块22能够先对数个照片进行域随机化处理，再分别提取数个照片的特征向量。通过域随机化能够在具体实施中排除已知的不能用于分区物体的特征(例如，物体摆放的环境，物体的颜色等)，借此利于提高物体识别方法的准确性和识别效率。
[0101]
图5用于说明图4所示的物体识别系统的示意性的工作过程，其并非用于限定本发明。如图5所示，将三维数字模型m输入给图像生成模块21，图像生成模块21能够根据三维数字模型m生成合成图像s1，合成图像s2和合成图像s3。将合成图像s1，合成图像s2和合成图像s3输入给特征提取模块22，特征提取模块22提取得到特征向量sv1、特征向量sv2和特征向量sv3。将特征向量sv1、特征向量sv2和特征向量sv3输入给融合模块23，融合模块23根据特征向量sv1、特征向量sv2和特征向量sv3融合生成一个第一融合向量fv1。第一融合向量fv1被输入给分类器模块24以进行训练。
[0102]
如图5所示，拍摄机构40拍摄物体80，获取照片p1、照片p2和照片p3。其中照片p1与
合成图像s1视角相同，照片p2与合成图像s2视角相同，照片p3与合成图像s3视角相同。将照片p1、照片p2和照片p3输入给特征提取模块22，特征提取模块22提取得到特征向量pv1、特征向量pv2和特征向量pv3。将特征向量pv1、特征向量pv2和特征向量pv3输入给融合模块23，融合模块23根据特征向量pv1、特征向量pv2和特征向量pv3融合生成一个第二融合向量fv2。第二融合向量fv2被输入给分类器模块24以得到分类结果r。
[0103]
如图6所示，在示意性实施方式中，特征提取模块22例如具有数个卷积神经网络，即卷积神经网络cnn1、卷积神经网络cnn2和卷积神经网络cnn3，其用于分别处理不同的合成图像以得到相应的特征向量，数个卷积神经网络的参数可以不同也可以相同。融合模块23例如通过融合网络实现融合。
[0104]
该物体识别系统，生成的数个合成图像的视角不同，相应地获取的数个照片的视角也不同，这使得能够体现更多的特征。处理器能够控制拍摄机构或图像生成模块，使数个照片分别与至少部分数个合成图像的视角相同，借此降低了角度不同产生的干扰。该物体识别系统具有较高的准确性。
[0105]
图7为物体识别系统的另一种示意性实施方式的结构示意图。图7所示的物体识别系统与图4所示的物体识别系统相同之处在此不再赘述，与之不同之处如下所述。在本示意性实施方式中，拍摄机构40包括数个相机41，其数量与需要获取的照片的数量一致。物体识别系统还包括一个位置传感单元60。位置传感单元60能够检测数个相机41的空间位置和拍摄角度并根据数个相机41的空间位置和拍摄角度生成一组视角信号。处理器20能够根据视角信号确定生成数个合成图像所使用的参数，以使数个照片分别与至少部分数个合成图像的视角相同。借此可根据相机的空间位置和拍摄角度自动确定生成数个合成图像所使用的参数，节省人力。
[0106]
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0107]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方案或变更，如特征的组合、分割或重复，均应包含在本发明的保护范围之内。

技术特征：
1.物体识别方法，其特征在于，包括：根据三维数字模型生成数个合成图像，所述数个合成图像的视角不同；分别提取所述数个合成图像的特征向量；根据所述数个合成图像的特征向量融合生成一个第一融合向量；将所述第一融合向量输入给分类器，以训练所述分类器；获取物体的数个照片，所述数个照片分别与至少部分所述数个合成图像的视角相同；分别提取所述数个照片的特征向量；根据所述数个照片的特征向量融合生成一个第二融合向量；以及将所述第二融合向量输入给经所述训练的所述分类器，以得到所述物体的分类结果。2.如权利要求1所述的物体识别方法，其特征在于，根据所述数个合成图像的视角确定获取所述数个照片时的相机参数，或者根据所述数个照片的视角确定生成所述数个合成图像所使用的软件参数，以使所述数个照片分别与至少部分所述数个合成图像的视角相同。3.如权利要求1所述的物体识别方法，其特征在于，当所述数个照片分别与全部所述数个合成图像的视角相同的情况下，将提取到的所述数个合成图像的特征向量融合生成所述第一融合向量，并将提取到的所述数个照片的特征向量融合生成所述第二融合向量。4.如权利要求1所述的物体识别方法，其特征在于，当所述数个照片分别与部分所述数个合成图像的视角相同的情况下，将提取到的所述数个照片的特征向量结合辅助向量融合生成所述第二融合向量，其中所述数个照片的特征向量与辅助向量的总数等于所述合成图像的数量，并将提取到的与所述数个照片视角相同的数个所述合成图像的特征向量结合辅助向量融合生成所述第一融合向量，其中与所述数个照片视角相同的数个所述合成图像的特征向量与辅助向量的总数等于所述合成图像的数量；或者当所述数个照片分别与部分所述数个合成图像的视角相同的情况下，将提取到的与所述数个照片视角相同的数个所述合成图像的特征向量融合生成所述第一融合向量，并将提取到的所述数个照片的特征向量融合生成所述第二融合向量。5.如权利要求1所述的物体识别方法，其特征在于，使用cad软件根据所述三维数字模型生成所述数个合成图像。6.如权利要求1所述的物体识别方法，其特征在于，使用cnn分别提取所述数个合成图像的特征向量和所述数个照片的特征向量；所述分类器为基于深度学习的分类器。7.如权利要求1所述的物体识别方法，其特征在于，应用automl技术或神经架构搜索技术确定所述融合的方案。8.如权利要求1所述的物体识别方法，其特征在于，先对所述数个合成图像进行域随机化处理，再分别提取所述数个合成图像的特征向量；先对所述数个照片进行域随机化处理，再分别提取所述数个照片的特征向量。9.物体识别系统，其特征在于，包括：一个处理器(20)，其内置有：一个图像生成模块(21)，其能够根据三维数字模型生成数个合成图像，所述数个合成图像的视角不同，一个特征提取模块(22)，其能够分别提取所述数个合成图像的特征向量，一个融合模块(23)，其能够根据所述数个合成图像的特征向量融合生成一个第一融合
向量，及一个分类器模块(24)，其能够根据输入的所述第一融合向量进行训练；以及一个拍摄机构(40)，其能够获取物体的数个照片；所述处理器(20)能够控制所述拍摄机构(40)或所述图像生成模块(21)，使所述数个照片分别与至少部分所述数个合成图像的视角相同；所述特征提取模块(22)还能够分别提取所述数个照片的特征向量，所述融合模块(23)还能够根据所述数个照片的特征向量融合生成一个第二融合向量，经所述训练的所述分类器模块(24)能够根据输入的所述第二融合向量得到所述物体的分类结果。10.如权利要求9所述的物体识别系统，其特征在于，所述拍摄机构(40)包括一个相机(41)和一个支架(42)，所述相机(41)可运动地连接所述支架(42)；所述的物体识别系统还包括一个驱动机构(50)，其能够驱动所述相机(41)相对于所述支架(42)运动；所述处理器(20)能够根据所述数个合成图像的视角输出一组控制信号；所述驱动机构(50)能够根据所述控制信号控制所述相机(41)的运动，以获得分别与至少部分所述数个合成图像的视角相同的所述数个照片。11.如权利要求9所述的物体识别系统，其特征在于，所述拍摄机构(40)包括数个相机(41)，所述的物体识别系统还包括一个位置传感单元(60)，所述位置传感单元(60)能够检测所述数个相机(41)的空间位置和拍摄角度并根据所述数个相机(41)的空间位置和拍摄角度生成一组视角信号；所述处理器(20)能够根据所述视角信号确定生成所述数个合成图像所使用的参数，以使所述数个照片分别与至少部分所述数个合成图像的视角相同。12.如权利要求9所述的物体识别系统，其特征在于，当所述数个照片分别与全部所述数个合成图像的视角相同的情况下，所述融合模块(23)能够将提取到的所述数个合成图像的特征向量融合生成所述第一融合向量，并能够将提取到的所述数个照片的特征向量融合生成所述第二融合向量。13.如权利要求9所述的物体识别系统，其特征在于，当所述数个照片分别与部分所述数个合成图像的视角相同的情况下，所述融合模块(23)能够将提取到的所述数个照片的特征向量结合辅助向量融合生成所述第二融合向量，其中所述数个照片的特征向量与辅助向量的总数等于所述合成图像的数量，并能够将提取到的与所述数个照片视角相同的数个所述合成图像的特征向量结合辅助向量融合生成所述第一融合向量，其中与所述数个照片视角相同的数个所述合成图像的特征向量与辅助向量的总数等于所述合成图像的数量；或者当所述数个照片分别与部分所述数个合成图像的视角相同的情况下，所述融合模块(23)能够将提取到的与所述数个照片视角相同的数个所述合成图像的特征向量融合生成所述第一融合向量，并能够将提取到的所述数个照片的特征向量融合生成所述第二融合向量。14.如权利要求9所述的物体识别系统，其特征在于，所述图像生成模块(21)能够使用cad软件根据所述三维数字模型生成所述数个合成图像。15.如权利要求9所述的物体识别系统，其特征在于，所述特征提取模块(22)使用cnn分别提取所述数个合成图像的特征向量和所述数个照片的特征向量；所述分类器模块(24)为基于深度学习的分类器模块(24)。16.如权利要求9所述的物体识别系统，其特征在于，所述融合模块(23)能够应用automl技术或神经架构搜索技术确定所述融合的方案。
17.如权利要求9所述的物体识别系统，其特征在于，所述特征提取模块(22)能够先对所述数个合成图像进行域随机化处理，再分别提取所述数个合成图像的特征向量；所述特征提取模块(22)能够先对所述数个照片进行域随机化处理，再分别提取所述数个照片的特征向量。18.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有代码以供系统使用；当处理器执行所述代码时，所述系统执行根据权利要求1至8中任一项所述的物体识别方法。

技术总结
本发明提供了物体识别方法，其包括：根据三维数字模型生成数个合成图像，数个合成图像的视角不同；分别提取数个合成图像的特征向量；根据数个合成图像的特征向量融合生成一个第一融合向量；将第一融合向量输入给分类器，以训练分类器；获取物体的数个照片，数个照片分别与至少部分数个合成图像的视角相同；分别提取数个照片的特征向量；根据数个照片的特征向量融合生成一个第二融合向量；将第二融合向量输入给经训练的分类器，以得到物体的分类结果。该物体识别方法的准确性较高。此外，本发明还提供了物体识别系统和计算机可读存储介质。还提供了物体识别系统和计算机可读存储介质。还提供了物体识别系统和计算机可读存储介质。


技术研发人员：孟繁博 李想 王晓峰
受保护的技术使用者：西门子股份公司
技术研发日：2020.09.11
技术公布日：2023/9/20