三维机器视觉实训方法、系统、计算机设备及存储介质

1.本发明涉及机器机器实训平台技术领域，特别涉及三维机器视觉实训方法、系统、计算机设备及存储介质。


背景技术：

2.机器视觉实训平台主要由机台、电控柜、xyz三轴运动模组、外置r轴、按钮盒、视觉安装夹具、产品托盘、光幕保护传感器、工控机、显示器、机器视觉器件等部件组成。机器视觉实训平台可进行气缸控制、物料搬运、与相机配合检测定位等多项应用技能实训。
3.传统的机器视觉实训平台大多采用基于二维图像的算法，难以处理三维物体的识别、测量和重建等问题。并且许多机器视觉实训平台缺乏实时性和交互性，无法满足实际应用的需求。同时，传统的机器视觉实训平台通常需要专业的编程和算法知识，对于普通用户来说使用起来相对困难。且传统机器视觉实训平台多为桌面应用程序，无法在不同平台和设备上实现跨平台和移动性。还有，传统的机器视觉实训平台的教学内容和模型库有限，无法满足不同用户的需求和学习目标。也就是说，当前的机器视觉实训平台还存在较多缺陷，因此如何提升机器实训平台的实训效果是本领域技术人员需要解决的问题。


技术实现要素：

4.本发明实施例提供了一种三维机器视觉实训方法、系统、计算机设备及存储介质，旨在提高三维机器视觉实训平台的实训效果和精度。
5.第一方面，本发明实施例提供了一种三维机器视觉实训方法，包括：
6.基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；
7.对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；
8.根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；
9.根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。
10.第二方面，本发明实施例提供了一种三维机器视觉实训系统，包括：
11.物体扫描单元，用于基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；
12.二维识别单元，用于对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；
13.三维识别单元，用于根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；
14.位姿调整单元，用于根据三维匹配识别的结果，通过视觉匹配对所述目标物体进
行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。
15.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的三维机器视觉实训方法。
16.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的三维机器视觉实训方法。
17.本发明实施例提供了一种三维机器视觉实训方法、系统、计算机设备及存储介质，该方法包括：基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。本发明实施例通过三维机器视觉对目标物体进行不同维度的扫描，得到对应的二维图像和三维图像，从而根据二维图像识别到目标物体的二维形状，以及根据三维图像识别得到目标物体的三维模型，进而可以根据目标物体的二维形状和三维模型进行相关的检测及调整，如此可以提高三维机器视觉实训平台的训练效果和精度。
附图说明
18.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供了一种三维机器视觉实训方法的流程示意图；
20.图2为本发明实施例提供了一种三维机器视觉实训方法的子流程示意图；
21.图3为本发明实施例提供了一种三维机器视觉实训装置的示意性框图；
22.图4为本发明实施例提供了一种三维机器视觉实训装置的子示意性框图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
25.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
26.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是
指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
27.下面请参见图1，图1为本发明实施例提供的一种三维机器视觉实训方法的流程示意图，具体包括：步骤s101～s104。
28.s101、基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；
29.s102、对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；
30.s103、根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；
31.s104、根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。
32.本实施例通过三维机器视觉对目标物体进行不同维度的扫描，得到对应的二维图像和三维图像，从而根据二维图像识别到目标物体的二维形状，以及根据三维图像识别得到目标物体的三维模型，进而可以根据目标物体的二维形状和三维模型进行相关的检测及调整，如此可以提高三维机器视觉实训平台的训练效果和精度。
33.相比于传统的机器视觉实训平台，本实施例具有较多优势。具体来说，本实施例通过采用结构光三维相机技术和计算机视觉算法等技术，有效地解决了传统机器视觉实训平台存在的问题，提高了机器视觉实训平台的实用性和用户体验。相较于传统的机器视觉实训平台，其具有更高的精度、更强的实时性和交互性、更高的易用性和可移植性等多种优势。
34.相对于传统的二维图像处理技术，本实施例通过采用三维机器视觉能够获取目标物体的三维信息，然后通过计算机视觉算法对三维数据进行处理，可以实现更加准确和全面的物体识别、测量和重建等功能。因此，本实施例更加适用于现代制造业、医疗健康、机器人、无人驾驶等多个领域的应用，与传统的二维图像处理技术相比具有更高的精度和更全面的应用。
35.还有，本实施例中的三维机器视觉可以通过结构光技术实现对三维物体的实时扫描和重建，用户可以实时获取物体的三维信息和操作结果，进行交互式学习和实践。此外，基于三维机器视觉的实训平台还可以实现模拟真实场景的操作，提高用户的实战能力和应变能力。
36.另外，传统的机器视觉实训平台通常需要用户具备一定的编程和算法知识，操作起来相对困难。而本实施例所提供的基于三维机器视觉的实训平台可以通过简单的操作和参数调节实现三维机器视觉应用的实训和模拟，同时具备跨平台和移动性等特点，使用户可以在不同平台和设备上进行实训和模拟，提高了使用的灵活性和便捷性，其具有更高的易用性和可移植性。
37.在一实施例中，所述步骤s101包括：
38.通过3d传感器向目标物体的不同角度分别投射由格雷码编码的光栅图案；
39.针对所述目标物体每一角度，通过面阵相机捕获所述光栅图案，并将所述光栅图案转换为数字信号，得到所述三维图像。
40.本实施例中，在基于结构光的三维机器视觉对目标物体进行扫描时，会向目标物
体投射格雷码编码的光栅，然后通过面阵相机捕获得到投射图案。格雷码是一种二进制编码，其中相邻的两个代码只有一位二进制数不同，这种编码的主要优点是：只要发生一个位移，就只会有一个代码位的变化，因此可以更精确地测量位移。将格雷码光栅投射到被测物体表面上，可以形成一个光栅图案，即所述的三维图像。
41.在一实施例中，所述步骤s102包括：
42.采用边缘直线拟合的方法对所述二维图像进行边缘轮廓筛选，以剔除所述二维图像中的杂边，并保留所述二维图像的边缘边缘。
43.在一些优选实施例中，所述步骤s102还包括：
44.对所述二维图像截取感兴趣区域；
45.对所述感兴趣区域进行图像处理；其中，所述图像处理包括滤波处理、增强处理和遮罩处理；
46.根据图像处理结果对所述目标物体进行二维形状识别以及检测。
47.本实施例中，在得到目标物体的二维图像后，可以依据该二维图像对目标物体进行识别和检测，例如对目标物体进行颜色识别和形状识别，又或者是对目标物体的表面进行划痕检测等等。具体来说，在进行颜色识别时，可以通过颜色识别模型对二维图像直接进行识别检测；在进行形状识别时，可以对二维图像进行轮廓提取与识别，比如采用边缘直线拟合的方法，对边缘轮廓进行筛选，剔除杂边而保留主要特征边缘，然后识别得到目标物体的形状；在进行表面划痕检测时，可以对二维图像截取图像中的感兴趣区域，并将该感兴趣区域作为划痕检测的区域，然后对该区域图像进行滤波、增强、遮罩等图像处理后进行划痕检测，又或者是根据划痕面积大小设置相应阈值从而提高检测的准确性。
48.在一实施例中，如图2所示，所述步骤s103包括：步骤s201～s205。
49.s201、针对所述目标物体的任一角度，获取光栅图案中的像素点信息；
50.s202、将所述像素点信息在所述光栅图案中的位置与对应的二进制码值进行匹配，得到当前角度的二进制编码；
51.s203、将所述目标物体的所有角度的二进制编码汇总为所述三维点云数据；
52.s204、根据所述三维点云数据构建得到所述目标物体的三维点云模型；
53.s205、从所述三维点云模型中获取所述目标物体的三维尺寸数据。
54.本实施例中，对于获取的三维图像，并将其转换为数字信号，形成一个图像序列。然后对图像序列进行处理，提取出相应的光栅图案信息。在这里，根据格雷码光栅的编码规则，将每个像素点在光栅图案中所处的位置与其对应的二进制码值进行匹配，便可以得到目标物体表面在光栅图案中所对应的二进制编码。而通过将不同投影角度的光栅图案进行比较和计算，则可以得到目标物体在三维空间中的坐标和形状信息，从而构建得到目标物体的三维点云模型。
55.在一些优选实施例中，所述根据所述从所述三维点云模型中获取所述目标物体的三维尺寸数据，包括：
56.基于所述三维点云模型，对所述目标物体的不同点位进行连线，得到连线后的尺寸数据；
57.综合所有连线的尺寸数据，得到所述三维尺寸数据。
58.本实施例中，通过对三维点云模型中的各个点云进行连线，可以得到目标物体在
三维空间的数据，从而可以将得到的检测数据与预设的标准数据进行比对，以判断该目标物体是否符合标准。
59.在一实施例中，所述步骤s104包括：
60.根据视觉点位信息对所述目标物体进行抓放操作；
61.根据所述三维匹配识别的结果，获取所述目标物体的物体信息，并结合预设的正方向位姿，按照物体类别对所述目标物体进行位姿摆放；其中，所述物体信息包括物体类别信息。
62.本实施例中，根据预设的正方向位姿，可以将同类且无序的物体按照给定的位姿进行摆放。同时，结合3d匹配识别的结果，通过视觉匹配可以实现对于目标物体的识别及抓取，然后将抓取的目标物体移动至视觉识别的放料位置，从而达到完整的抓放过程只依赖相机所提供的视觉点位信息的效果，进一步提高实训效果。
63.图3为本发明实施例提供的一种三维机器视觉实训系统300的示意性框图，该装置300包括：
64.物体扫描单元301，用于基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；
65.二维识别单元302，用于对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；
66.三维识别单元303，用于根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；
67.位姿调整单元304，用于根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。。
68.在一实施例中，所述物体扫描单元301包括：
69.图案投射单元，用于通过3d传感器向目标物体的不同角度分别投射由格雷码编码的光栅图案；
70.信号转换单元，用于针对所述目标物体每一角度，通过面阵相机捕获所述光栅图案，并将所述光栅图案转换为数字信号，得到所述三维图像。
71.在一实施例中，所述二维识别单元302包括：
72.采用边缘直线拟合的方法对所述二维图像进行边缘轮廓筛选，以剔除所述二维图像中的杂边，并保留所述二维图像的边缘边缘。
73.在一实施例中，所述二维识别单元302还包括：
74.区域截取单元，用于对所述二维图像截取感兴趣区域；
75.图像处理单元，用于对所述感兴趣区域进行图像处理；其中，所述图像处理包括滤波处理、增强处理和遮罩处理；
76.识别检测单元，用于根据图像处理结果对所述目标物体进行二维形状识别以及检测。
77.在一实施例中，如图4所示，所述三维识别单元303包括：
78.像素信息获取单元401，用于针对所述目标物体的任一角度，获取光栅图案中的像素点信息；
79.码值匹配单元402，用于将所述像素点信息在所述光栅图案中的位置与对应的二
进制码值进行匹配，得到当前角度的二进制编码；
80.编码汇总单元403，用于将所述目标物体的所有角度的二进制编码汇总为所述三维点云数据；
81.模型构建单元404，用于根据所述三维点云数据构建得到所述目标物体的三维点云模型；
82.尺寸数据获取单元405，用于从所述三维点云模型中获取所述目标物体的三维尺寸数据。
83.在一实施例中，所述尺寸数据获取单元包括：
84.点位连线单元，用于基于所述三维点云模型，对所述目标物体的不同点位进行连线，得到连线后的尺寸数据；
85.尺寸综合单元，用于综合所有连线的尺寸数据，得到所述三维尺寸数据。
86.在一实施例中，所述位姿调整单元304包括：
87.抓放操作单元，用于根据视觉点位信息对所述目标物体进行抓放操作；
88.位姿摆放单元，用于根据所述三维匹配识别的结果，获取所述目标物体的物体信息，并结合预设的正方向位姿，按照物体类别对所述目标物体进行位姿摆放；其中，所述物体信息包括物体类别信息。
89.由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
90.本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
91.本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
92.说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
93.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：
1.一种三维机器视觉实训方法，其特征在于，包括：基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。2.根据权利要求1所述的三维机器视觉实训方法，其特征在于，所述基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像，包括：通过3d传感器向目标物体的不同角度分别投射由格雷码编码的光栅图案；针对所述目标物体每一角度，通过面阵相机捕获所述光栅图案，并将所述光栅图案转换为数字信号，得到所述三维图像。3.根据权利要求1所述的三维机器视觉实训方法，其特征在于，所述对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测，包括：采用边缘直线拟合的方法对所述二维图像进行边缘轮廓筛选，以剔除所述二维图像中的杂边，并保留所述二维图像的边缘边缘。4.根据权利要求1所述的三维机器视觉实训方法，其特征在于，所述对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测，还包括：对所述二维图像截取感兴趣区域；对所述感兴趣区域进行图像处理；其中，所述图像处理包括滤波处理、增强处理和遮罩处理；根据图像处理结果对所述目标物体进行二维形状识别以及检测。5.根据权利要求2所述的三维机器视觉实训方法，其特征在于，所述根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别，包括：针对所述目标物体的任一角度，获取光栅图案中的像素点信息；将所述像素点信息在所述光栅图案中的位置与对应的二进制码值进行匹配，得到当前角度的二进制编码；将所述目标物体的所有角度的二进制编码汇总为所述三维点云数据；根据所述三维点云数据构建得到所述目标物体的三维点云模型；从所述三维点云模型中获取所述目标物体的三维尺寸数据。6.根据权利要求5所述的三维机器视觉实训方法，其特征在于，所述根据所述从所述三维点云模型中获取所述目标物体的三维尺寸数据，包括：基于所述三维点云模型，对所述目标物体的不同点位进行连线，得到连线后的尺寸数据；综合所有连线的尺寸数据，得到所述三维尺寸数据。7.根据权利要求1所述的三维机器视觉实训方法，其特征在于，所述根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进
行位姿调整，包括：根据视觉点位信息对所述目标物体进行抓放操作；根据所述三维匹配识别的结果，获取所述目标物体的物体信息，并结合预设的正方向位姿，按照物体类别对所述目标物体进行位姿摆放；其中，所述物体信息包括物体类别信息。8.一种三维机器视觉实训系统，其特征在于，包括：物体扫描单元，用于基于结构光的三维机器视觉对目标物体进行扫描，得到所述目标物体的二维图像和三维图像；二维识别单元，用于对所述二维图像进行轮廓提取与识别，以对所述目标物体进行二维形状识别与检测；三维识别单元，用于根据所述三维图像构建所述目标物体的三维点云模型，并基于所述三维点云模型对所述目标物体进行三维尺寸检测与三维匹配识别；位姿调整单元，用于根据三维匹配识别的结果，通过视觉匹配对所述目标物体进行抓放操作，并基于预设位姿对所述目标物体进行位姿调整。9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的三维机器视觉实训方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的三维机器视觉实训方法。

技术总结
本发明公开了三维机器视觉实训方法、系统、计算机设备及存储介质，该方法包括：基于结构光的三维机器视觉对目标物体进行扫描，得到目标物体的二维图像和三维图像；对二维图像进行轮廓提取与识别，以对目标物体进行二维形状识别与检测；根据三维图像构建所述目标物体的三维点云模型，并基于三维点云模型对目标物体进行三维尺寸检测与三维匹配识别；通过视觉匹配对所述目标物体进行抓放操作和位姿调整。本发明通过三维机器视觉对目标物体进行不同维度的扫描，得到二维图像和三维图像，从而识别得到二维形状和三维模型，进而可以根据目标物体的二维形状和三维模型进行相关的检测及调整，如此可以提高三维机器视觉实训平台的训练效果和精度。效果和精度。效果和精度。


技术研发人员：丁克 丁兢 陆俊君 李翔 马洁 王丰 叶闯 张成 林锦辉 胡财荣 刘芊伟 淳豪 张敏 王凯
受保护的技术使用者：香港科技大学深港协同创新研究院（深圳福田）
技术研发日：2023.06.14
技术公布日：2023/9/9