构件组装方法、终端设备及计算机可读存储介质与流程

1.本技术涉及建筑机器人技术领域，尤其涉及构件组装方法、终端设备及计算机可读存储介质。


背景技术：

2.目前基于3d视觉的建筑构件组装，通常是利用3d视觉拍摄组件拍摄已组装构件的位姿图片，并根据位姿图片实时调整待组装构件的方向，再根据机械臂组装命令将待组装构件放置于已组装构件上。
3.在调整待组装构件时，需要人工将粘合剂添加到构件需粘合的表面区域，同时由于构件支撑的限制，组装需要在水平平台上按照机械臂规划路径自下而上的进行，构件的形状通常限制为规则的矩形。若组装异形构件，则需要通过多次离线编程来反复调整机械臂的运动路径，导致组装构件的效率低下。


技术实现要素：

4.本技术实施例通过提供一种构件组装方法、终端设备及计算机可读存储介质，解决了在组装构件时，需要严格按照组装顺序进行组装或者在组装过程中需要反复离线调整机械臂，导致构件的组装效率低的问题。实现了提高组装构件的组装效率的效果。
5.本技术实施例提供了一种构件组装方法，所述构件组装方法包括：
6.根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置；
7.根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿；
8.根据所述第一位姿、所述粘合区域位置和所述第二位姿，规划所述第二机械臂和所述第三机械臂的运动路径；
9.控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作。
10.可选地，所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤包括：
11.根据所述第一图像中所述第一待组装构件相对于视觉基准系统标签的位置，计算所述第一待组装构件位姿信息；
12.对所述第一图像进行语义分割，计算所述粘合区域位置。
13.可选地，所述根据所述第一位姿、所述粘合区域位置和所述第二位姿信息，规划所述第二机械臂和所述第三机械臂的运动路径的步骤包括：
14.根据所述第一位姿信息、所述粘合区域位置和所述第二位姿信息，调整所述第二机械臂的理论夹取方式；
15.确定所述理论夹取方式后，计算所述第二机械臂的运动路径。
16.可选地，所述根据所述第一位姿信息、所述粘合区域位置和所述第二位姿信息，调
整所述第二机械臂的理论夹取方式的步骤之后，包括：
17.判断所述第二机械臂的机械结构是否适用所述理论夹取方式；
18.若否，控制所述第一机械臂基于所述第二位姿调整所述第一待组装构件的位姿，并执行所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。
19.可选地，所述确定所述理论夹取方式后，计算所述第二机械臂的运动路径的步骤包括：
20.判断所述第二机械臂是否能够按照所述运动路径运动；
21.若否，控制所述第一机械臂调整位置，并执行所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。
22.可选地，所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤包括：
23.根据所述第一图像中存在的视觉机系统标签，计算所述第一摄像机和所述第一待组装构件的全局坐标位置；
24.判断所述第一待组装构件是否位于预设工作区域内；
25.若否，控制所述第一机械臂移动到所述预设工作区域。
26.可选地，所述根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿的步骤包括：
27.根据所述第二图像中视觉基准系统标签的标签信息，确定所述第二机械臂的全局坐标和当前夹取的形状；
28.根据所述全局坐标和所述当前夹取形状确定所述第二待组装构件位姿信息。
29.可选地，所述控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作的步骤包括：
30.控制所述第二机械臂根据所述第二机械臂对应的运动路径运动至目标位置，与所述第一待组装构件嵌合；
31.控制所述第三机械臂根据所述第三机械臂对应的运动路径运动到指定位置后，增注粘合剂。
32.此外，为实现上述目的，本发明实施例还提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的构件组装程序，所述处理器执行所述构件组装程序时，实现如上所述的方法。
33.此外，为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有构件组装程序，所述构件组装程序被处理器执行时，实现如上所述的方法。
34.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
35.构件组装系统包括第一机械臂，第二机械臂和第三机械臂，第一机械臂上设置有第一图像采集装置，第二机械臂上设置有第二图像采集装置，第三机械表用于增注粘合剂。根据第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位姿。根据第二图像采集装置采集的第二图像，确定第二待组装构
件的第二位姿。根据第一位姿、粘合区域位置和第二位姿，规划第二机械臂和第三机械臂的运动路径，控制第二机械臂和第三机械臂按照规划的运动路径运动。运动到位后，控制第三机械臂执行粘合剂增注动作，完成构建的组装。由于是控制机械臂完成组装的，不需要严格按照组装顺序完成组装，并且构件组装系统可以自动调整构件的位姿，不需要停机后手动调整，可以大大提高构件组装的效率。
附图说明
36.图1为本技术构件组装方法实施例一的流程示意图；
37.图2为多机械臂协同组装异形构件工作示意图；
38.图3为多机械臂头局部工作示意图；
39.图4为本技术构件组装方法实施例二的流程示意图；
40.图5为本技术一实施例方案涉及的硬件运行环境的终端结构示意图。
具体实施方式
41.为了解决了构件组装时效率低的问题，本技术提供一种构件组装方法，用于控制构件组装系统，构件组装系统包括第一机械臂，第二机械臂和第三机械臂。第一机械臂上设置有第一图像采集装置，第二机械臂上设置有第二图像采集装置，第三机械臂用于增注粘合剂。第一图像采集装置采集第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置。第二图像采集装置采集第二图像，确定第二待组装构件的第二位姿。根据第一位姿、粘合区域位置和第二位姿，规划第二机械臂和第三机械臂的运动路径。控制第二机械臂以及第三机械臂根据运动路径运动，并控制第三机械臂在运动完成后，执行粘合剂增注动作。实现由机械臂自主完成构件的组装，提高构件组装效率。
42.为了更好的理解上述技术方案，下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
43.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
44.实施例一
45.在本实施例中，提供一种构件组装方法。
46.参照图1，本实施例的构件组装方法包括以下步骤：
47.步骤s100：根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置；
48.在本实施例中，构件组装方法用于控制构件组装系统，参照图2，构件组装系统上有第一机械臂1，第二机械臂2，第三机械臂3。第一机械臂上有第一摄像机4，第一摄像机4用于拍摄第一机械臂1上夹持的构件，生成第一图像。第二机械臂上有第二摄像机5，第二摄像机5用于拍摄第二机械臂2上夹持的构件，生成第二图像。第三机械臂3用于增注粘合剂。控制构件组装系统上还有计算机控制单元6，用于控制构件组装系统开启或者关闭，并且机械臂和摄像机均与计算机控制单元6相连，以建立设备间的通信。7为视觉基准系统标签，第一
摄像机4拍摄第一图像时，会拍摄到视觉基准系统标签，并基于所述标签计算第一待组装构件的坐标位置。
49.作为一种可选实施方式，在获取第一图像后，根据第一图像中第一待组装构件相对于视觉基准系统标签的位置，计算第一待组装构件的位姿信息，再对第一图像进行语义分割，计算粘合区域的位置。
50.示例性地，固定于第一机械臂上的第一摄像机获取到第一图像后，将第一图像发送至计算机控制单元。计算机控制单元利用全卷积神经网络技术对第一图像进行语义分割，识别出需添加粘合剂的表面，也即粘合区域的位置。此外，第一图像中含有视觉基准系统标签，也即apriltag标签，计算机控制单元可以根据标签信息，以及第一待组装构件到第一摄像机的相对位置，确定第一待组装构件在全局坐标中的精确位置。由于第一摄像机是固定安装在第一机械臂上的，所以第一摄像机到第一机械臂的夹持部位的位置是固定且已知的。
51.作为另一种可选实施方式，在获取第一图像后，根据第一图像中存在的视觉系统标签，计算第一摄像机和第一待组装构件的全局坐标位置，判断第一待组装构件是否位于预设工作区域内，若没有在预设工作区域，则控制第一机械臂移动到预设工作区域。
52.示例性地，将第一机械臂1、第二机械臂2、第三机械臂3安装到合适位置，确保机械臂之间有重叠的工作区域，且留有适当的空间使其在工作过程中不发生碰撞。当机械臂处于工作区域时，设置于第一机械臂1上的第一摄像机4，和设置在第二机械臂2上的第二摄像机5能够拍摄到视觉基准系统标签7的标签区域。
53.步骤s200：根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿；
54.在本实施例中，第二图像采集装置设置在第二机械臂上，用于拍摄第二机械臂上夹持的构件，也即第二待组装构件。在拍摄到的构件图像上还包含apriltag标签，可以通过apriltag标签确定第二待组装构件的位姿。
55.作为一种可选实施方式，采集到第二图像后，根据第二图像中视觉基准系统标签的标签信息，确定第二机械臂的全局坐标和第二待组装构件当前被夹取的形状，根据全局坐标和第二待组装构件的当前形状，确定第二待组装构件的位姿信息。
56.示例性地，在获取到第二图像后，获取第二图像中的apriltag标签信息，并根据所抓取的第二待组装构件到第二摄像机的相对位置，确定第二待组装异形构件在全局坐标中的精确位置。由计算机控制单元集成分析第二待组装构件的位姿信息和几何形状信息。
57.步骤s300：根据所述第一位姿、所述粘合区域位置和所述第二位姿，规划所述第二机械臂和所述第三机械臂的运动路径；
58.步骤s400：控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作。
59.在本实施例中，在确定待组装构件的第一位姿和第二位姿后，计算机械臂的理论运动路径。第二机械臂和第三机械臂分别按照理论运动路径运动到位后，第三机械臂执行粘合剂增注动作，完成对第一待组装构件和第二待组装构件的粘合。
60.作为一种可选实施方式，参照图3，第一机械臂夹手8夹持第一待组装构件11，第二机械臂夹手9夹持第二待组装构件12。第三机械臂的粘合剂挤出头10挤出粘合剂。
61.示例性地，控制第二机械臂和第三机械臂分别按照各自的理论运动路径运动到位后，由第三机械臂的粘合剂挤出头10将粘合剂挤到第一待组装构件的粘合部位。再控制第二机械臂夹持第二待组装构件，与第一待组装构件粘合。
62.作为另一种可选实施方式，对于异形构件，可以通过计算机和apriltag视觉基准系统获取待组装异形构件的位姿，利用机械臂完成异形构件位姿的自主调整与粘合剂的添加，实现机械臂自主路径规划，完成异形构件的组装。
63.示例性地，预先为多机械臂建立统一的全局三维坐标系，获取待组装异形构件的图像后，基于apriltag视觉基准系统，确定第一待组装异形构件和第二待组装异形构件之间的相对位置，以及第一待组装异形构件和第二待组装异形构件各自的位姿。其中，位姿包括异形构件的位置，形态等可以反映异形构件的整体构造的信息。由于异形构件的形状不规则，因此需要确定第一机械臂夹持的第一待组装异形构件的第一位姿和第二机械臂夹持的第二待组装异形构件的第二位姿。确定二者的位姿后，判断此时第一位姿和第二位姿是否能够嵌合，若无法嵌合，则调整第二机械臂的构件夹持方式，直至第一异形构件的未夹持面和第二异形构件的未夹持面能互相嵌合。
64.在本实施例中，构件组装系统包括第一机械臂，第二机械臂和第三机械臂，第一机械臂上设置有第一图像采集装置，第二机械臂上设置有第二图像采集装置，第三机械臂用于增注粘合剂，还包括计算机控制单元，便于第一机械臂，第二机械臂和第三机械臂之间实现信息的互通。根据第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置。再根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿；基于第一位姿、第二位姿和粘合区域的位置，计算第二机械臂和第三机械表的运动路径。控制第二机械臂和第三机械臂按照对应的运动路径运动到位后，由第三机械臂执行粘合剂增注动作，完成构件的组装。由于是使用机械臂完成组装，使得在建筑构件的组装中，不需要限定在水平平台上按照自下而上的路径进行。并且，本技术通过使用视觉基准系统定位机械臂和构件之间的相对位置，并利用三维视觉识别和神经网络技术，规划机械臂的运动路径，使得即使在组装异形构件时，也能准确的完成构件的粘合，提高构件组装的效率和精度。
65.实施例二
66.基于实施例一，提出本技术的另一实施例，参照图4，根据所述第一位姿、所述粘合区域位置和所述第二位姿信息，规划所述第二机械臂和所述第三机械臂的运动路径的步骤包括：
67.步骤s310：根据所述第一位姿信息、所述粘合区域位置和所述第二位姿信息，调整所述第二机械臂的理论夹取方式；
68.步骤s320：确定所述理论夹取方式后，计算所述第二机械臂的运动路径。
69.在本实施例中，第一待组装构件的粘合部位带有特殊标识，通过识别特殊标识可以确定粘合区域位置。根据第一位姿，粘合区域位置和第二位姿，可以计算出第二机械臂的理论夹取方式，在确定了理论夹取方式之后，再计算第二机械臂的运动路径。
70.作为一种可选实施方式，在根据第一位姿，粘合区域位置和第二位姿确定第二机械臂的理论夹取方式之后，判断第二机械臂的机械结构是否适用所述理论夹取方式，若不适用，则控制第一机械臂基于第二位姿调整第一待组装构件的位姿，并执行根据第一图像
采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。
71.示例性地，受限于机械臂的机械结构，有时计算出来的第二机械臂的理论夹取方式并不适用于第二机械臂。因此需要调整第一机械臂的夹取方式，调整第一待组装构件的位姿。此外，当待组装构件为异形构件时，第二机械臂可能也无法适应所述理论夹取方式，需要调整第一待组装构件的位姿后，再重新计算第二待组装构件的理论位姿，直至第二机械臂能够适应所述第二机械臂的理论夹取方式，进而完成构件的组装。
72.作为另一种可选实施方式，在确定理论夹取方式，计算出第二机械臂的运动路径之后，还需要判断第二机械臂是否能够按照所述运动路径运动。若第二机械臂无法按照所述运动路径运动，则调整第一机械臂的位置，再重新执行采集第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。
73.示例性地，根据第一待组装构件的位姿计算出第二机械臂的运动路径后，受限于第二机械臂的机械结构，第二机械臂可能无法完成相应的动作，导致组装失败。需要重新调整第一机械臂的位置，在调整位置后，再重新执行获取图像的步骤，如此循环，直至第二机械臂能够按照所述运动路径运行。
74.在本实施例中，由于第一机械臂可以根据实际情况调整位置和构件的位姿，使得构件组装系统能够实现自动完成组装。极大的提高了组装系统的适用性和效率。
75.实施例三
76.在本技术实施例中，提出一种构件组装装置。
77.参照图5，图5为本技术一实施例方案涉及的硬件运行环境的终端结构示意图。
78.如图5所示，该控制终端可以包括：处理器1001，例如cpu，网络接口1003，存储器1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1004可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
79.本领域技术人员可以理解，图5中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
80.如图5所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块、以及构件组装程序。
81.在图5所示的构件组装设备硬件结构中，处理器1001可以调用存储器1004中存储的构件组装程序，并执行以下操作：
82.根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置；
83.根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿；
84.根据所述第一位姿、所述粘合区域位置和所述第二位姿，规划所述第二机械臂和所述第三机械臂的运动路径；
85.控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作。
86.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操
作：
87.根据所述第一图像中所述第一待组装构件相对于视觉基准系统标签的位置，计算所述第一待组装构件位姿信息；
88.对所述第一图像进行语义分割，计算所述粘合区域位置。
89.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操作：
90.根据所述第一位姿信息、所述粘合区域位置和所述第二位姿信息，调整所述第二机械臂的理论夹取方式；
91.确定所述理论夹取方式后，计算所述第二机械臂的运动路径。
92.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操作：
93.判断所述第二机械臂的机械结构是否适用所述理论夹取方式；
94.若否，控制所述第一机械臂基于所述第二位姿调整所述第一待组装构件的位姿，并执行所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。
95.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操作：
96.判断所述第二机械臂是否能够按照所述运动路径运动；
97.若否，控制所述第一机械臂调整位置，并执行所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。
98.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操作：
99.根据所述第一图像中存在的视觉机系统标签，计算所述第一摄像机和所述第一待组装构件的全局坐标位置；
100.判断所述第一待组装构件是否位于预设工作区域内；
101.若否，控制所述第一机械臂移动到所述预设工作区域。
102.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操作：
103.根据所述第二图像中视觉基准系统标签的标签信息，确定所述第二机械臂的全局坐标和当前夹取的形状；
104.根据所述全局坐标和所述当前夹取形状确定所述第二待组装构件位姿信息。
105.可选地，处理器1001可以调用存储器1004中存储的构件组装程序，还执行以下操作：
106.控制所述第二机械臂根据所述第二机械臂对应的运动路径运动至目标位置，与所述第一待组装构件嵌合；
107.控制所述第三机械臂根据所述第三机械臂对应的运动路径运动到指定位置后，增注粘合剂。
108.此外，为实现上述目的，本发明实施例还提供一种终端设备，包括存储器、处理器
及存储在所述存储器上并可在所述处理器上运行的构件组装程序，所述处理器执行所述构件组装程序时，实现如上所述的构件组装方法。
109.此外，为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有构件组装程序，所述构件组装程序被处理器执行时，实现如上所述的构件组装方法。
110.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
111.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
112.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
113.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
114.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本技术可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
115.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
116.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种构件组装方法，其特征在于，用于控制构件组装系统，所述构件组装系统包括第一机械臂，第二机械臂和第三机械臂，所述第一机械臂上设置有第一图像采集装置，所述第二机械臂上设置有第二图像采集装置，所述第三机械臂用于增注粘合剂，所述构件组装方法包括以下步骤：根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置；根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿；根据所述第一位姿、所述粘合区域位置和所述第二位姿，规划所述第二机械臂和所述第三机械臂的运动路径；控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作。2.如权利要求1所述的构件组装方法，其特征在于，所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤包括：根据所述第一图像中所述第一待组装构件相对于视觉基准系统标签的位置，计算所述第一待组装构件位姿信息；对所述第一图像进行语义分割，计算所述粘合区域位置。3.如权利要求1所述的构件组装方法，其特征在于，所述根据所述第一位姿、所述粘合区域位置和所述第二位姿信息，规划所述第二机械臂和所述第三机械臂的运动路径的步骤包括：根据所述第一位姿信息、所述粘合区域位置和所述第二位姿信息，调整所述第二机械臂的理论夹取方式；确定所述理论夹取方式后，计算所述第二机械臂的运动路径。4.如权利要求3所述的构件组装方法，其特征在于，所述根据所述第一位姿信息、所述粘合区域位置和所述第二位姿信息，调整所述第二机械臂的理论夹取方式的步骤之后，包括：判断所述第二机械臂的机械结构是否适用所述理论夹取方式；若否，控制所述第一机械臂基于所述第二位姿调整所述第一待组装构件的位姿，并执行所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。5.如权利要求3所述的构件组装方法，其特征在于，所述确定所述理论夹取方式后，计算所述第二机械臂的运动路径的步骤包括：判断所述第二机械臂是否能够按照所述运动路径运动；若否，控制所述第一机械臂调整位置，并执行所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤。6.如权利要求1所述的构件组装方法，其特征在于，所述根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置的步骤包括：
根据所述第一图像中存在的视觉机系统标签，计算所述第一摄像机和所述第一待组装构件的全局坐标位置；判断所述第一待组装构件是否位于预设工作区域内；若否，控制所述第一机械臂移动到所述预设工作区域。7.如权利要求1所述的构件组装方法，其特征在于，所述根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿的步骤包括：根据所述第二图像中视觉基准系统标签的标签信息，确定所述第二机械臂的全局坐标和当前夹取的形状；根据所述全局坐标和所述当前夹取形状确定所述第二待组装构件位姿信息。8.如权利要求1所述的构件组装方法，其特征在于，所述控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作的步骤包括：控制所述第二机械臂根据所述第二机械臂对应的运动路径运动至目标位置，与所述第一待组装构件嵌合；控制所述第三机械臂根据所述第三机械臂对应的运动路径运动到指定位置后，增注粘合剂。9.一种终端设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的构件组装程序，所述处理器执行所述构件组装程序时，实现权利要求1-8任一所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有构件组装程序，所述构件组装程序被处理器执行时，实现权利要求1-8任一所述的方法。

技术总结
本申请公开了构件组装方法、终端设备及计算机可读存储介质，该方法包括：根据所述第一图像采集装置采集的第一图像，确定第一待组装构件的第一位姿，以及第一待组装构件对应的粘合区域位置；根据所述第二图像采集装置采集的第二图像，确定第二待组装构件的第二位姿；根据所述第一位姿、所述粘合区域位置和所述第二位姿，规划所述第二机械臂和所述第三机械臂的运动路径；控制所述第二机械臂以及所述第三机械臂根据所述运动路径运动，并控制所述第三机械臂在运动完成后，执行粘合剂增注动作。解决了组装构件时效率较低的问题，达到了提高构件的组装效率的效果。的组装效率的效果。的组装效率的效果。


技术研发人员：袁烽 郑朗 周轶凡
受保护的技术使用者：上海一造科技有限公司
技术研发日：2023.06.25
技术公布日：2023/9/20