基于工业互联网的工件分拣方法、装置和存储介质与流程

1.本发明涉及自动化技术领域，尤其涉及一种基于工业互联网的工件分拣方法、装置和存储介质。


背景技术：

2.在基于工业互联网的自动化生产中，一些工厂受限于生产设备数量，经常会使用相同的生产设备生产形状相同材质不同的工件，最后通过输送线将工件输送至暂存区域。多个工件在暂存区域内形成堆叠工件，为了将堆叠工件按照材质存储至不同的存储位置，需要对堆叠工件中的工件进行分拣和分类。
3.现有技术中，可以获取堆叠工件的二维图像，根据二维图像确定各工件的位置信息和类别信息，根据各工件的位置信息对各工件进行抓取，并根据各工件的类别信息将各工件移动至对应的存储位置。
4.但是，根据堆叠工件的二维图像确定的工件的位置信息对各工件进行抓取，可能无法抓取工件或造成工件损坏。


技术实现要素：

5.本发明提供了一种基于工业互联网的工件分拣方法、装置和存储介质，实现对堆叠工件的分拣分类，并且不对工件造成损坏。
6.根据本发明的一方面，提供了一种基于工业互联网的工件分拣方法，包括：
7.获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；
8.获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；
9.根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；
10.控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。
11.进一步地，获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息，包括：
12.基于三维图像获取装置获取所述堆叠工件的三维图像；
13.根据所述堆叠工件的三维图像提取所述堆叠工件的点云数据，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息。
14.进一步地，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息，包括：
15.在所述堆叠工件的点云数据中，根据各区域的高度信息确定目标区域；
16.将位于所述目标区域的工件确定为所述待抓取工件，根据所述目标区域的位置信息确定所述待抓取工件的位置信息。
17.进一步地，获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的类别信息，包括：
18.基于二维图像获取装置获取所述堆叠工件的二维图像；
19.根据所述待抓取工件的位置信息在所述堆叠工件的二维图像中确定所述待抓取工件对应的二维工件图像。
20.进一步地，根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息，包括：
21.根据所述待抓取工件的二维工件图像确定所述待抓取工件的反光效果；
22.根据所述待抓取工件的反光效果确定所述待抓取工件的类别信息。
23.进一步地，在根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置之前，还包括：
24.确定所述待抓取工件的类别信息对应的存储位置。
25.进一步地，还包括：
26.确定所述堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。
27.根据本发明的另一方面，提供了一种基于工业互联网的工件分拣装置，包括：
28.第一获取模块，用于获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；
29.第二获取模块，用于获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；
30.确定模块，用于根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；
31.执行模块，用于控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。
32.根据本发明的另一方面，提供了一种计算机设备，所述计算机设备包括：
33.至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
34.其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于工业互联网的工件分拣方法。
35.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于工业互联网的工件分拣方法。
36.本发明的技术方案，提供一种基于工业互联网的工件分拣方法，包括：获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。上述技术方案，获取到堆叠工件的三维图像后，可以通过堆叠工件的三维图像在堆叠工件中确定待抓取工件以及待抓
取工件的位置信息，获取到堆叠工件的二维图像后，可以通过待抓取工件的位置信息对堆叠工件的二维图像进行切割，得到待抓取工件的二维工件图像，通过待抓取工件的二维工件图像，可以确定待抓取工件的类别信息，实现对待抓取工件的分类。控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的分拣，控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取设备移动至对应的存储位置，实现对待抓取工件的分类。通过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。由于待抓取工件为当前顶层工件，因此，对待抓取工件进行抓取时，不会存在无法抓取的情况，而且不会造成工件损坏。
37.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
38.为了更清楚地说明本发明中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为实施例一提供的一种基于工业互联网的工件分拣方法的流程图；
40.图2为实施例二提供的一种基于工业互联网的工件分拣方法的流程图；
41.图3为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件的三维图像的示意图；
42.图4为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件的二维图像的示意图；
43.图5为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件进行初次分拣后的三维图像的示意图；
44.图6为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件进行初次分拣后的二维图像的示意图；
45.图7为实施例三提供的一种基于工业互联网的工件分拣装置的结构示意图；
46.图8为实施例四提供的一种计算机设备的结构示意图。
具体实施方式
47.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
48.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
49.堆叠工件中的工件形状相同，材质不同时，需要对不同材质的工件进行分拣，并将不同材质的工件分别移动至不同的存储位置。
50.一方面，可以获取堆叠工件的二维图像，根据工件的反光效果不同，实现对工件的分类。但是，无法从二维图像中确定工件在堆叠工件中的层级位置，因此，基于二维图像对工件进行分拣时，可能抓取到被压在底部的工件，可能无法抓取工件或造成工件损坏。
51.另一方面，可以获取堆叠工件的三维图像，三维图像可以分别工件在堆叠工件中的层级位置，但是无法从三维图像中确定工件的材质，即无法对工件进行准确的分类，因此，基于三维图像对工件进行分拣时，无法将抓取到的工件移动至对应的存储位置。
52.因此，本技术提出一种基于工业互联网的工件分拣方法，实现对堆叠工件的分拣分类，同时不会对工件造成损坏。
53.下面将结合示图和实施例对本技术提出的基于工业互联网的工件分拣方法进行详细的描述。
54.实施例一
55.图1为实施例一提供的一种基于工业互联网的工件分拣方法的流程图，本实施例可适用于需要对堆叠工件进行分拣和分类的情况，该方法可以由基于工业互联网的工件分拣装置来执行，该基于工业互联网的工件分拣装置可以采用硬件和/或软件的形式实现，该基于工业互联网的工件分拣装置可配置于计算机设备中。如图1所示，该方法包括：
56.s110、获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息。
57.其中，堆叠工件可以理解为堆叠在一起的至少一个工件。堆叠工件上方可以设置有三维图像获取装置，示例性可以设置有3d相机，3d相机用于获取堆叠工件的三维图像。
58.具体地，基于设置于堆叠工件上方的三维图像获取装置获取堆叠工件的三维图像，堆叠工件的三维图像可以提取到堆叠工件的点云数据。根据堆叠工件的三维图像提取堆叠工件的点云数据，堆叠工件的点云数据可以包括堆叠工件中各区域的三维坐标信息。对堆叠工件中的工件进行抓取时，为了确保可以抓取到工件且不对工件造成损坏，可以依次将堆叠工件中层级最高的工件确定为待抓取工件。因此，可以根据堆叠工件的点云数据中各区域的三维坐标信息确定各区域的高度信息，比较堆叠工件中各区域的高度信息后，将位于最大高度信息对应的区域的工件确定为当前顶层工件，进而可以将当前顶层工件确定为待抓取工件。当然，在将位于最大高度信息对应的区域的工件确定为待抓取工件的同时，可以将最大高度信息对应的区域的三维坐标信息确定为待抓取工件的位置信息，实现确定待抓取工件的位置信息。
59.本实施例中，通过堆叠工件的三维图像，实现在堆叠工件中确定待抓取工件以及待抓取工件的位置信息，由于待抓取工件为当前顶层工件，因此，对待抓取工件进行抓取时，不会存在无法抓取的情况，而且不会造成工件损坏。
60.s120、获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像。
61.堆叠工件上方还可以设置有二维图像获取装置，示例性可以设置有2d相机，2d相机用于获取堆叠工件的二维图像。
62.具体地，基于设置于堆叠工件上方的二维图像获取装置获取堆叠工件的二维图像，由于待抓取工件为当前顶层工件，因此，此刻获取到的堆叠工件的二维图像包含待抓取工件完整的二维图像。待抓取工件的位置信息可以表明待抓取工件在堆叠工件中的位置，因此，根据待抓取工件的位置信息可以在堆叠工件的二维图像中确定待抓取工件的二维工件图像。
63.本实施例中，获取到堆叠工件的二维图像后，可以根据待抓取工件的位置信息在堆叠工件的二维图像中确定待抓取工件的二维工件图像，待抓取工件的二维工件图像可以用于确定待抓取工件的类别信息，因此，确定待抓取工件的二维工件图像，为确定待抓取工件的类别信息提供了数据基础。
64.s130、根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息。
65.具体地，首先可以根据待抓取工件的二维工件图像确定待抓取工件的反光效果。计算机设备中存储有待抓取工件的反光效果和材质信息的对应关系表，，因此，在根据待抓取工件的二维工件信息确定待抓取工件的反光效果后，可以根据待抓取工件的反光效果确定待抓取工件的材质信息，进而可以根据待抓取工件的材质信息确定待抓取工件的类别信息。
66.本实施例中，通过待抓取工件的二维工件图像，实现确定待抓取工件的类别信息，实现对待抓取工件的分类。
67.s140、控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。
68.其中，抓取设备位于堆叠工件的一侧，用于对堆叠工件进行抓取和移动。
69.具体地，在确定待抓取工件的位置信息后，可以将待抓取工件的位置信息发送至抓取设备，进而，可以控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的分拣。在确定待抓取工件的类别信息后，也可以将待抓取工件的类别信息发送至抓取设备，进而，可以控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取设备移动至对应的存储位置，实现对待抓取工件的分类。
70.本实施例中，通过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。
71.本实施例提供的基于工业互联网的工件分拣方法，包括：获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。上述技术方案，获取到堆叠工件的三维图像后，可以通过堆叠工件的三维图像在堆叠工件中确定待抓取工件以及待抓取工件的位置信息，获取到堆叠工件的二维图像后，可以通过待抓取工件的位置信息对堆叠工件的二维图像进行切割，得到待抓取工件的二维工件图像，通过待抓取工件的二维工件图像，可以确定待抓取工件的类别信息，实现对待抓取工件的分类。控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的分拣，控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取设备移动至对应的存储位置，实现对待抓取工件的分类。通
过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。由于待抓取工件为当前顶层工件，因此，对待抓取工件进行抓取时，不会存在无法抓取的情况，而且不会造成工件损坏。
72.实施例二
73.图2为实施例二提供的一种基于工业互联网的工件分拣方法的流程图，本实施例是在上述实施例的基础上进行具体化。如图2所示，该方法包括：
74.s210、获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息。
75.一种实施方式中，s210具体可以包括：
76.基于三维图像获取装置获取所述堆叠工件的三维图像；根据所述堆叠工件的三维图像提取所述堆叠工件的点云数据，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息。
77.具体地，基于设置于堆叠工件上方的三维图像获取装置获取堆叠工件的三维图像，堆叠工件的三维图像可以提取到堆叠工件的点云数据。图3为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件的三维图像的示意图，从图3所示的三维图像中可以提取到堆叠工件的点云数据，点云数据可以包括堆叠工件中各区域的三维坐标信息以及颜色信息。
78.对堆叠工件中的工件进行抓取时，为了确保可以抓取到工件且不对工件造成损坏，可以将堆叠工件中层级最高的工件确定为待抓取工件。具体可以根据堆叠工件的点云数据在堆叠工件中确定当前顶层工件，并将当前顶层工件确定为待抓取工件，同时，可以确定待抓取工件的位置信息。
79.一方面，可以根据点云数据所包含的颜色信息，在堆叠工件的三维图像中确定目标颜色对应的区域为目标区域，并将位于目标区域的工件确定为待抓取工件，根据目标区域的位置信息确定待抓取工件的位置信息。目标颜色可以根据实际应用进行确定，本实施例中，目标颜色可以为红色，即，可以在堆叠工件的三维图像中确定红色对应的区域为目标区域，并将位于目标区域的工件确定为待抓取工件，根据目标区域的位置信息确定待抓取工件的位置信息。
80.另一方面，可以根据点云数据所包含的三维坐标信息，确定堆叠图像中各区域的高度信息，将最大高度信息对应的区域确定为目标区域，并将位于目标区域的工件确定为当前顶层工件，进而可以将当前顶层工件确定为待抓取工件。在将位于目标区域的工件确定为待抓取工件的同时，可以将目标区域的三维坐标信息确定为待抓取工件的位置信息，实现确定待抓取工件的位置信息。
81.本实施例中，获取到堆叠工件的三维图像后，根据堆叠工件的三维图像确定堆叠工件的点云数据，根据堆叠工件的点云数据实现在堆叠工件中确定待抓取工件以及待抓取工件的位置信息。
82.s220、获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像。
83.一种实施方式中，s220具体可以包括：
84.基于二维图像获取装置获取所述堆叠工件的二维图像；根据所述待抓取工件的位
置信息在所述堆叠工件的二维图像中确定所述待抓取工件对应的二维工件图像。
85.具体地，基于设置于堆叠工件上方的二维图像获取装置获取堆叠工件的二维图像，待抓取工件的位置信息可以表明待抓取工件在堆叠工件中的位置，因此，根据待抓取工件的位置信息可以在堆叠工件的二维图像中确定待抓取工件的二维工件图像。图4为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件的二维图像的示意图，可以通过待抓取工件的位置信息对图4所示的堆叠工件的二维图像进行切割，得到待抓取工件的二维工件图像。如图4所示，通过待抓取工件的位置信息可以确定框图中的图像为待抓取工件的二维工件图像，基于框图对堆叠工件的二维图像进行切割，可以得到待抓取工件的二维工件图像。
86.本实施例中，获取到堆叠工件的二维图像后，根据待抓取工件的位置信息在堆叠工件的二维图像中确定待抓取工件的二维工件图像，待抓取工件的二维工件图像可以用于确定待抓取工件的类别信息，因此，确定待抓取工件的二维工件图像，为确定待抓取工件的类别信息提供了数据基础。
87.s230、根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息。
88.一种实施方式中，s230具体可以包括：
89.根据所述待抓取工件的二维工件图像确定所述待抓取工件的反光效果；根据所述待抓取工件的反光效果确定所述待抓取工件的类别信息。
90.具体地，首先可以根据待抓取工件的二维工件图像确定待抓取工件的反光效果，例如，可以确定反光效果的等级。计算机设备中存储有反光效果和材质信息的对应关系表，例如，一级反光效果对应的材质信息可以为玻璃，...，四级反光效果对应的材质信息可以为橡胶。因此，在根据待抓取工件的二维工件信息确定待抓取工件的反光效果后，可以在反光效果和材质信息的对应关系表中对待抓取工件的反光效果进行查找，确定待抓取工件的反光效果对应的材质信息。进而可以根据待抓取工件的材质信息确定待抓取工件的类别信息，例如，确定待抓取工件的材质信息为橡胶时，可以确定待抓取工件的类别信息为橡胶工件。
91.待抓取工件的二维工件图像中仅包含待抓取工件，根据待抓取工件的二维工件图像确定待抓取工件的类别信息时，需要处理的数据量更少，得到的类别信息更加精确。
92.本实施例中，通过待抓取工件的二维工件图像，实现确定待抓取工件的类别信息，实现对待抓取工件的分类。
93.s240、确定所述待抓取工件的类别信息对应的存储位置。
94.具体地，不同的类别信息对应不同的存储位置，将待抓取工件按照类别信息存储至不同的存储位置，可以实现对待抓取工件的分类存储。因此，在确定待抓取工件的类别信息后，可以确定类别信息对应的存储位置。
95.在实际应用中，计算机设备中存储有类别信息和存储位置的对应关系表，在确定待抓取工件的类别信息后，可以在类别信息和存储位置的对应关系表中对待抓取工件的类别信息进行查找，确定待抓取工件的类别信息对应的存储位置。
96.本实施例中，实现确定待抓取工件的类别信息对应的存储位置。
97.s250、控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。
98.具体地，在确定待抓取工件的位置信息后，可以将待抓取工件的位置信息发送至抓取设备。在确定待抓取工件的类别信息后，也可以将待抓取工件的类别信息发送至抓取设备。因此，在确定待抓取工件的位置信息后，可以控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的分拣。在确定待抓取工件的类别信息后，可以控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取工件移动至对应的存储位置，实现对待抓取工件的分类。
99.本实施例中，通过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。
100.s260、确定所述堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。
101.图5为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件进行初次分拣后的三维图像的示意图，图6为实施例二提供的一种基于工业互联网的工件分拣方法中堆叠工件进行初次分拣后的二维图像的示意图，对待抓取工件进行分拣和分类后，可以继续获取堆叠工件如图5所示的三维图像和如图6所示的二维图像。根据堆叠图像的三维图像重新确定待抓取工件以及待抓取工件的位置信息，根据堆叠图像的二维图像确定待抓取工件的类别信息。进而可以控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的再次分拣，控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取工件移动至对应的存储位置，实现对待抓取工件的再次分类。
102.在确定堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。
103.本实施例中，通过控制抓取设备对堆叠工件中所有工件的抓取和移动，实现对堆叠工件的分拣和分类。
104.本实施例提供的基于工业互联网的工件分拣方法，包括：获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；确定所述待抓取工件的类别信息对应的存储位置；控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置；确定所述堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。上述技术方案，获取到堆叠工件的三维图像后，可以通过堆叠工件的三维图像在堆叠工件中确定待抓取工件以及待抓取工件的位置信息，获取到堆叠工件的二维图像后，可以通过待抓取工件的位置信息对堆叠工件的二维图像进行切割，得到待抓取工件的二维工件图像，通过待抓取工件的二维工件图像，可以确定待抓取工件的类别信息，实现对待抓取工件的分类。确定待抓取工件的类别信息对应的存储位置之后，控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的分拣，控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取设备移动至类别信息对应的存储位置，实现对待抓取工件的分类。通过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。由于待抓取工件始终为当前顶层工件，因此，对待抓取工件进行抓取时，不会存在无法抓取的情况，而且不会造成工件损坏。在确定堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。通过控制抓取设备对堆叠工件中所有工件的抓取和移动，实现
对堆叠工件的分拣和分类。
105.实施例三
106.图7为实施例三提供的一种基于工业互联网的工件分拣装置的结构示意图，该装置可以适用于需要对堆叠工件进行分拣和分类的情况。该装置可以通过软件和/或硬件实现，并一般集成在计算机设备中。
107.如图7所示，该装置包括：
108.第一获取模块710，用于获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；
109.第二获取模块720，用于获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；
110.确定模块730，用于根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；
111.执行模块740，用于控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。
112.本实施例提供的基于工业互联网的工件分拣装置，获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。上述技术方案，获取到堆叠工件的三维图像后，可以通过堆叠工件的三维图像在堆叠工件中确定待抓取工件以及待抓取工件的位置信息，获取到堆叠工件的二维图像后，可以通过待抓取工件的位置信息对堆叠工件的二维图像进行切割，得到待抓取工件的二维工件图像，通过待抓取工件的二维工件图像，可以确定待抓取工件的类别信息，实现对待抓取工件的分类。控制抓取设备基于待抓取工件的位置信息对待抓取工件进行抓取，实现对待抓取工件的分拣，控制抓取设备基于待抓取工件的类别信息将抓取到的待抓取设备移动至对应的存储位置，实现对待抓取工件的分类。通过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。由于待抓取工件为当前顶层工件，因此，对待抓取工件进行抓取时，不会存在无法抓取的情况，而且不会造成工件损坏。
113.可选的，第一获取模块710，具体用于：
114.基于三维图像获取装置获取所述堆叠工件的三维图像；根据所述堆叠工件的三维图像提取所述堆叠工件的点云数据，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息。
115.可选的，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息，包括：
116.在所述堆叠工件的点云数据中，根据各区域的高度信息确定目标区域；
117.将位于所述目标区域的工件确定为所述待抓取工件，根据所述目标区域的位置信息确定所述待抓取工件的位置信息。
118.可选的，第二获取模块720，具体用于：
119.基于二维图像获取装置获取所述堆叠工件的二维图像；根据所述待抓取工件的位置信息在所述堆叠工件的二维图像中确定所述待抓取工件对应的二维工件图像。
120.可选的，确定模块730，具体用于：
121.根据所述待抓取工件的二维工件图像确定所述待抓取工件的反光效果；根据所述待抓取工件的反光效果确定所述待抓取工件的类别信息。
122.可选的，该装置还包括：
123.存储位置确定模块，用于确定所述待抓取工件的类别信息对应的存储位置。
124.可选的，该装置还包括：
125.结束确定模块，用于确定所述堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。
126.本实施例所提供的基于工业互联网的工件分拣装置可执行本发明任意实施例所提供的基于工业互联网的工件分拣方法，具备执行基于工业互联网的工件分拣方法相应的功能模块和有益效果。
127.值得注意的是，上述基于工业互联网的工件分拣装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
128.实施例四
129.图8为实施例四提供的一种计算机设备的结构示意图。计算机设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。计算机设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
130.如图8所示，计算机设备8包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储计算机设备8操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
131.计算机设备8中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许计算机设备8通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
132.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于工业互联网的工件分拣方法。
133.在一些实施例中，基于工业互联网的工件分拣方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到计算机设备8上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的基于工业互联网的工件分拣方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于工业互联网的工件分拣方法。
134.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
135.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
136.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
137.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
138.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网
(lan)、广域网(wan)、区块链网络和互联网。
139.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
140.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
141.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种基于工业互联网的工件分拣方法，其特征在于，包括：获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。2.根据权利要求1所述的基于工业互联网的工件分拣方法，其特征在于，获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息，包括：基于三维图像获取装置获取所述堆叠工件的三维图像；根据所述堆叠工件的三维图像提取所述堆叠工件的点云数据，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息。3.根据权利要求2所述的基于工业互联网的工件分拣方法，其特征在于，根据所述堆叠工件的所述点云数据确定所述待抓取工件以及所述待抓取工件的位置信息，包括：在所述堆叠工件的点云数据中，根据各区域的高度信息确定目标区域；将位于所述目标区域的工件确定为所述待抓取工件，根据所述目标区域的位置信息确定所述待抓取工件的位置信息。4.根据权利要求3所述的基于工业互联网的工件分拣方法，其特征在于，获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像，包括：基于二维图像获取装置获取所述堆叠工件的二维图像；根据所述待抓取工件的位置信息在所述堆叠工件的二维图像中确定所述待抓取工件对应的二维工件图像。5.根据权利要求1所述的基于工业互联网的工件分拣方法，其特征在于，根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息，包括：根据所述待抓取工件的二维工件图像确定所述待抓取工件的反光效果；根据所述待抓取工件的反光效果确定所述待抓取工件的类别信息。6.根据权利要求1所述的基于工业互联网的工件分拣方法，其特征在于，在根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置之前，还包括：确定所述待抓取工件的类别信息对应的存储位置。7.根据权利要求1所述的基于工业互联网的工件分拣方法，其特征在于，还包括：确定所述堆叠工件中所有工件均被移动至对应的存储位置后，确定工件分拣结束。8.一种基于工业互联网的工件分拣装置，其特征在于，包括：第一获取模块，用于获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；第二获取模块，用于获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；确定模块，用于根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信
息；执行模块，用于控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。9.一种计算机设备，其特征在于，所述计算机设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于工业互联网的工件分拣方法。10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的基于工业互联网的工件分拣方法。

技术总结
本发明公开了一种基于工业互联网的工件分拣方法、装置和存储介质，涉及自动化技术领域，该方法包括：获取堆叠工件的三维图像，根据所述三维图像确定待抓取工件以及所述待抓取工件的位置信息；获取堆叠工件的二维图像，根据所述二维图像和所述待抓取工件的位置信息确定所述待抓取工件的二维工件图像；根据所述待抓取工件的二维工件图像确定所述待抓取工件的类别信息；控制抓取设备基于所述待抓取工件的位置信息抓取所述待抓取工件，并根据所述待抓取工件的类别信息将所述待抓取工件移动至对应的存储位置。上述技术方案，通过控制抓取设备对待抓取工件的抓取和移动，实现对待抓取工件的分拣和分类。取工件的分拣和分类。取工件的分拣和分类。


技术研发人员：崔书孝 展波 白恩林 董婷 雷学初 庞家川
受保护的技术使用者：卡奥斯物联科技股份有限公司
技术研发日：2023.06.16
技术公布日：2023/9/20