一种基于图像识别的数据处理方法和机器人控制方法

1.本发明涉及图像数据处理领域，尤其涉及一种基于图像识别的数据处理方法和机器人控制方法。


背景技术：

2.随着生活质量的提升，运动已经成为一种潮流休闲项目，其中球类运动尤其如此。而随着球类运动，比如网球或乒乓球的普及，人们在打球过程中掉落在地的小球随着时间逐渐积累，如果不加以捡取便可能导致运动者发生扭脚意外，所以打球时需要定期捡球。但捡球是一项枯燥漫长的工作，目前多采用球童捡球或捡球装置捡球。
3.现有技术的捡球装置多采用stm32单片机作为主要控制器，通过单目摄像头采集图像数据，通过机械臂进行捡球，而该捡球装置的自动避障功能则更多是通过超声波模块和人体红外传感器实现。
4.然而现有技术由stm32单片机主控会因为需要识别处理的图像数据过多而导致负荷过大、运算能力不足进而出现识别错误的问题。


技术实现要素：

5.本发明提供了一种基于图像识别的数据处理方法和机器人控制方法，以实现提高系统运算能力进而降低出现识别错误的可能性的技术效果。
6.为了解决上述技术问题，本发明实施例提供了一种基于图像识别的数据处理方法，应用于机器人控制系统；其中，所述机器人控制系统包括数据处理端和操作控制端；
7.所述数据处理方法包括以下步骤：
8.所述数据处理端响应于图像处理信号，接收待处理图像数据，对所述待处理图像数据进行图像数据初步处理，获得第一图像数据，并对所述第一图像数据进行轮廓判断，根据判断结果确定所述第一图像数据中的待处理物体为待抓取物体或待避障物体；
9.若所述数据处理端确定所述判断结果为待抓取物体，则对所述第一图像数据进行图像深度处理，获得待抓取物体的第一定位数据，并将所述第一定位数据发送至操作控制端，以使所述操作控制端根据所述第一定位数据执行抓取操作；
10.若所述数据处理端确定所述判断结果为待避障物体，则将所述第一图像数据发送至所述操作控制端，以使所述操作控制端根据所述第一图像数据执行避障操作。
11.本发明提供的数据处理方法将针对大量图像数据进行计算的过程分为两个步骤，并将其交由两个不同的终端进行处理，其中针对图像数据的数据处理部分交由数据处理端进行，该数据处理端主要负责确定待处理物体的类型并根据物体类型对第一图像数据执行不同的操作，而所述操作控制端则主要负责根据数据处理端发送的不同类型的数据对机器人执行不同的控制操作。
12.即本发明将图像数据处理部分和操作执行部分交由两个不同的终端负责，通过两个终端之间数据交互构建一个完整的机器人控制系统，同时将一个完整系统所需要承担的
运算压力分担至两个终端，与现有技术由单片机作为主控制器承担整个控制系统的所有运算内容相比，本发明所提供的处理方法同时降低了两个终端的计算压力，提高了机器人控制系统的运算速率和正确率，进而降低了系统出现识别错误的可能性。
13.作为优选例子，所述对所述第一图像数据进行轮廓判断，根据判断结果确定所述待处理图像数据中的待处理物体为待抓取物体或待避障物体，具体为：
14.对所述第一图像数据进行物体轮廓提取，获得第一轮廓；
15.将所述第一轮廓与预设的模型轮廓进行对比拟合，将拟合结果大于或等于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待抓取物体；
16.将所述拟合结果小于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待避障物体。
17.本发明通过将从第一图像数据中提取获得的轮廓与预设的模型轮廓进行对比确定待处理物体的物体类型，判断方法简单直接，因此判断速度也相对迅速，为后续针对判断结果进行不同操作提供判断基础。
18.作为优选例子，所述对所述第一图像数据进行图像深度处理，获得待抓取物体的第一定位信息，具体包括：
19.通过yolo-v3算法对所述第一图像数据中的待抓取物体进行识别，获得对应的识别结果；
20.调用所述yolo-v3算法对所述识别结果和所述第一图像数据进行计算，确定所述待抓取物体的所述第一定位数据；
21.同时调取预设的神经网络加速算法对所述yolo-v3算法的运算过程进行加速。
22.本发明用于处理图像数据的yolo-v3算法采用了特征图金字塔网络fpn(feature pyramid networks)，在基本不增加原有计算量的情况下，大幅度提升了小物体检测的性能，用该算法对小球类物体进行识别判断的效率相比现有技术采用yolo-v1算法或者yolo-v2算法对小球类物体进行识别的效率有所提高，因此该算法也更加适合针对小球类物体的识别。
23.同时，通过预设的神经网络加速算法对上述计算过程进行运算加速，进一步提高了该算法的运算能力，进而提高了数据处理端的运算效率，降低了该深度处理步骤所需要消耗的时间。
24.相应的，本发明还提供了一种基于图像识别的机器人控制方法，应用于机器人控制系统；其中，所述机器人控制系统包括数据处理端和操作控制端；
25.所述机器人控制方法包括以下步骤：
26.所述操作控制端接收由数据处理端发送的第一数据，并调用预设的识别方法识别所述第一数据确定所述数据为第一定位数据或第一图像数据；其中，所述第一数据是由所述数据处理端根据待处理物体在所述第一图像数据中的判断结果而确定；所述判断结果是由所述数据处理端对所述第一图像数据进行轮廓判断而确定；所述第一图像数据是由所述数据处理端对待处理图像数据进行图像数据初步处理后而获得；
27.若所述操作控制端确定所述第一数据为第一定位数据，则根据所述第一定位数据控制机器人执行抓取操作；
28.若所述操作控制端确定所述第一数据为第一图像数据，则根据所述第一图像数据
控制所述机器人执行避障操作。
29.本发明提供的机器人控制方法通过机器人控制系统的操作控制端接收来自数据处理端发送的数据，并对数据进行识别，根据识别获得的不同类型的数据控制机器人执行不同的操作。与现有技术相比，本发明的操作控制端只需根据识别获得的数据控制机器人进行相应动作的执行，降低了其所需承担的运算量，提升了该操作控制端的运算速度，进而提高了机器人控制系统的反应速度，也因此提高了机器人的灵敏程度。
30.作为优选例子，所述第一数据是由所述数据处理端根据待处理物体在所述第一图像数据中的判断结果而确定且所述判断结果是由所述数据处理端对所述第一图像数据进行轮廓判断而确定，具体包括：
31.所述数据处理端对所述第一图像数据进行物体轮廓提取，获得第一轮廓；
32.将所述第一轮廓与预设的模型轮廓进行对比拟合，将拟合结果大于或等于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待抓取物体，并确定所述第一数据为第一定位数据；
33.将所述拟合结果小于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待避障物体，并确定所述第一数据为第一图像数据。
34.为了说明机器人控制系统的操作控制端接收的数据的具体来源，本发明还提供了一种根据第一图像数据进行轮廓判断，并根据判断结果确定第一数据的具体内容的方法。
35.作为优选例子，所述根据所述第一定位数据控制机器人执行抓取操作，具体包括：
36.其中，所述第一定位数据包括所述待抓取物体的位置数据和尺寸数据；
37.根据所述第一定位数据中的所述位置数据控制所述机器人的移动设备移动至所述待抓取物体的位置处，并根据所述第一定位信息中的所述尺寸数据控制所述机器人的抓取设备对所述待抓取物体执行抓取操作。
38.本发明的操作控制端根据该第一定位数据对移动设备和抓取设备进行操控。操作控制端只需根据第一定位数据中的位置数据向机器人的移动设备发送移动控制信号，并根据尺寸数据向机器人的抓取设备发送抓取控制信号便可结束任务，其运算压力得到了缓解，则相应运算速率便会得到提升。
39.作为优选例子，所述根据所述第一图像数据控制所述机器人执行避障操作，具体为：
40.根据所述第一图像数据和接收自超声波模块的超声波数据确定所述待避障物体与所述机器人的直线距离；
41.根据所述超声波模块实时监测获得的所述超声波数据判断所述直线距离是否小于或等于预设的第一距离阈值，若确定所述直线距离小于或等于预设的第一距离阈值，则控制所述超声波模块确定所述待避障物体与所述机器人的若干距离数据，并根据所述若干距离数据执行避障操作；
42.若确定所述直线距离大于预设的第一距离阈值，则控制所述移动设备向前行进直到所述直线距离小于或等于预设的第一距离阈值。
43.由于本发明的数据处理端需要负责对待抓取物体的定位数据进行深度计算，因此针对待避障物体进行避障需要进行的复杂计算过程则交由操作控制端负责。而本发明的操作控制端在针对待避障物体进行距离计算时，不仅参考了第一图像数据，同时还结合了超
声波模块采集的超声波数据对上述距离进行修正，提高了获得的直线距离的准确性，降低了后续根据该直线距离执行避障操作产生失误的可能性。
44.作为优选例子，所述控制所述超声波模块确定所述待避障物体与所述机器人的若干距离数据，并根据所述若干距离数据执行避障操作，具体包括：
45.控制所述超声波模块向右和向左分别进行预设的若干角度的旋转，并将经过若干角度旋转后采集获得的若干距离数据整合成距离数组；
46.从所述距离数组中选择确定第一距离数据，将所述第一距离数据与所述距离数组除所述第一距离数据外剩下的距离数据进行比较，以使所述第一距离数据为所述距离数组中的最大值；
47.根据所述第一距离数据对应的第一角度控制所述机器人对所述待避障物体执行避障操作。
48.本发明通过控制超声波模块对机器人前方进行180度扫描的方式，确定机器人可以进行避障的角度，并将每个角度所监测到的若干直线距离互相之间进行对比，而根据比对结果确定的上述若干直线距离中的最大值对应的角度则为最终的避障角度，确定后操作控制端便根据避障角度控制机器人的移动设备进行旋转避障。
49.该避障方法提高了机器人执行避障操作的准确性，且适用于各类不同球场，减少了外界环境对机器人执行避障操作产生的干扰。
50.作为优选例子，所述在所述操作控制端接收由数据处理端发送的第一数据之后，还包括：
51.响应于控制触发信号，同时解析所述控制触发信号获得第一控制信号，根据所述第一控制信号控制所述数据处理系统；
52.将接收的所述第一图像数据实时反馈至服务端，使得所述服务端将所述第一图像数据发送至pc端，以使所述pc端展示所述第一图像数据。
53.本发明通过上述服务端转发的方式实现了针对机器人的远程通信与控制，由于考虑到机器人运行场景的复杂程度，当其被困在场景某个死角当中无法移动时，用户便可通过上述方式远程确定该机器人的工作状态，同时针对该机器人进行远程控制，提升了用户的体验舒适度。
54.相应的，本发明还提供了一种机器人控制系统，所述机器人控制系统包括操作控制端和数据处理端；
55.其中，所述操作控制端与所述数据处理端相连；
56.所述数据处理端可执行以上任一项所述的一种基于图像识别的数据处理方法；
57.所述操作控制端可执行以上任一项所述的一种基于图像识别的机器人控制方法。
附图说明
58.图1：为本发明提供的一种基于图像识别的数据处理方法的实施例的流程示意图；
59.图2：为本发明提供的步骤101和102a的一种实施例的流程示意图；
60.图3：为本发明提供的一种基于图像识别的机器人控制方法的实施例的流程示意图；
61.图4：为本发明提供的步骤302b的一种实施例的流程示意图；
62.图5：为本发明提供的一种超声波模块具体工作过程的实施例的示意图；
63.图6：为本发明提供的步骤402a的一种实施例的流程示意图；
64.图7：为本发明提供的一种机器人控制系统的实施例的结构示意图；
65.图8：为本发明提供的一种机器人的实施例的结构示意图。
具体实施方式
66.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
67.实施例一
68.请参照图1，为本发明实施例提供的一种基于图像识别的数据处理方法的实施例的流程示意图，应用于机器人控制系统；其中，所述机器人控制系统包括数据处理端和操作控制端。如图1所示，所述处理方法包括步骤101至步骤102，其中步骤102包括步骤102a和步骤102b：
69.步骤101：所述数据处理端响应于图像处理信号，接收待处理图像数据，对所述待处理图像数据进行图像数据初步处理，获得第一图像数据，并对所述第一图像数据进行轮廓判断，根据判断结果确定所述第一图像数据中的待处理物体为待抓取物体或待避障物体。
70.在本实施例中，数据处理端通过对第一图像数据进行轮廓判断，进而确定所述第一图像数据中的待处理物体为待抓取物体或待避障物体，该判断方法简单直接，判断结果为后续执行不同的操作提供了参考基础。
71.同时对待处理图像数据进行图像数据初步处理包括降噪处理和针对图像中物体的颜色、空间进行转换等操作，使得经过处理后的物体的轮廓可被系统提取使用，本发明实施例不对该初步处理的具体实现方法做进一步限定，用户可根据需要对该具体实现过程进行调节。在本实施例中，优选通过opencv及相关算法对待处理图像数据进行初步处理。
72.步骤102a：若所述数据处理端确定所述判断结果为待抓取物体，则对所述第一图像数据进行图像深度处理，获得待抓取物体的第一定位数据，并将所述第一定位数据发送至操作控制端，以使所述操作控制端根据所述第一定位数据执行抓取操作。
73.步骤102b：若所述数据处理端确定所述判断结果为待避障物体，则将所述第一图像数据发送至所述操作控制端，以使所述操作控制端根据所述第一图像数据执行避障操作。
74.在本实施例中，根据上述判断结果确定后续的执行步骤，并将计算获得的第一数据发送至操作执行端，由操作执行端根据接收到的数据内容确定需要执行的控制步骤。因此，数据处理端只需要负责数据处理部分的工作，操作控制端则只需要执行机器人控制部分的工作，两个终端各司其职，通过数据交互实现整个机器人控制系统的运转。
75.综上所述，本发明提供的数据处理方法将针对大量图像数据进行计算的过程分为两个步骤，并将其交由两个不同的终端进行处理，其中针对图像数据的数据处理部分交由数据处理端进行，该数据处理端主要负责确定待处理物体的类型并根据物体类型对第一图
像数据执行不同的操作，而所述操作控制端则主要负责根据数据处理端发送的不同类型的数据对机器人执行不同的控制操作。
76.即本发明将图像数据处理部分和操作执行部分交由两个不同的终端负责，通过两个终端之间数据交互构建一个完整的机器人控制系统，同时将一个完整系统所需要承担的运算压力分担至两个终端，与现有技术由单片机作为主控制器承担整个控制系统的所有运算内容相比，本发明所提供的处理方法同时降低了两个终端的计算压力，提高了机器人控制系统的运算速度，进而降低了系统出现识别错误的可能性。
77.作为本实施例的另一举例，参见图2，图2为步骤101和102a的一种实施例的流程示意图包括步骤201至步骤205，其中，步骤202包括步骤202a和步骤202b。
78.步骤201：对所述第一图像数据进行物体轮廓提取，获得第一轮廓，将所述第一轮廓与预设的模型轮廓进行对比拟合。
79.本举例通过对第一图像数据中的待处理物体进行轮廓提取，并将提取获得的第一轮廓与系统中预设的模型轮廓进行对比拟合，根据拟合结果判断所述待处理物体的具体物体类型。用户可根据实际需要提前在系统中存入模型轮廓，并针对该模型轮廓进行更新修改，使得该机器人可灵活调整其抓取物体。
80.步骤202a：将拟合结果大于或等于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待抓取物体。
81.步骤202b：将所述拟合结果小于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待避障物体。
82.本举例通过将从第一图像数据中提取获得的轮廓与预设的模型轮廓进行对比拟合，并根据拟合结果与预设的第一拟合阈值进行比较，进而确定待处理物体的物体类型，判断方法简单直接，操作过程简洁明了。同时，用户可根据判断结果或实际场景适时调整该第一拟合阈值的具体数值，避免出现阈值过高导致识别抓取物体数量过小且准确率过低，或是阈值过低导致识别抓取物体数量过大且准确率过低的问题出现。
83.步骤203a：通过yolo-v3算法对所述第一图像数据中的待抓取物体进行识别，获得对应的识别结果。
84.步骤204a：调用所述yolo-v3算法对所述识别结果和所述第一图像数据进行计算，确定所述待抓取物体的所述第一定位数据。
85.步骤205a：同时调取预设的神经网络加速算法对所述yolo-v3算法的运算过程进行加速。
86.以上三个步骤则是针对步骤102a中对第一图像数据进行深度处理的具体实现方法，包括调用预设的yolo-v3算法对待抓取物体进行识别，并根据识别结果和第一图像数据确定待抓取物体的第一定位数据，同时还调用预设的神经网络加速算法对yolo-v3算法进行运算加速。
87.其中所述yolo-v3算法采用了特征图金字塔网络fpn(feature pyramidnetworks)，在基本不增加原有计算量的情况下，大幅度提升了小物体检测的性能，用该算法对小球类物体进行识别判断的效率相比现有技术采用yolo-v1算法或者yolo-v2算法对小球类物体进行识别的效率有所提高，因此该算法也更加适合针对小球类物体的识别。同时，在本举例中，yolo-v3算法还会对第一图像数据中的待抓取物体进行全局预测并
建立模型，提高后续对待抓取物体执行抓取操作时的准确性。
88.同时，通过预设的神经网络加速算法对上述计算过程进行运算加速，进一步提高了该算法的运算能力，进而提高了数据处理端的运算效率，降低了该深度处理步骤所需要消耗的时间。
89.本举例所使用是神经网络加速算法是采用了存储在intel二代神经网络计算棒中的神经网络加速算法，该加速棒可以作为物联网设备端ai应用的计算核心，胜任诸如图像分类，车牌检测等常用的深度学习模型的推理任务，实现边缘计算的功能。同时，英特尔第二代神经棒能直接在标准usb 3.0端口上运行。开发者只需一台笔记本电脑和英特尔第二代神经棒，就能让ai和计算机视觉快速运转起来，其主要作用是提高与其连接的模块的运算能力。
90.实施例二
91.参见图3，图3为本发明提供的一种基于图像识别的机器人控制方法的实施例的流程示意图，包括步骤301至步骤304，其中所述步骤302包括步骤302a和步骤302b，各步骤具体如下：
92.步骤301：所述操作控制端接收由数据处理端发送的第一数据，并调用预设的识别方法识别所述第一数据确定所述第一数据为第一定位数据或第一图像数据。
93.机器人控制系统的操作控制端接收到来自数据处理端发送的第一数据后，便可通过调用预设的识别方法确定该第一数据的具体数据类型，即识别确定所述第一数据为第一定位数据或第一图像数据，为后续的控制操作执行提供数据基础。
94.步骤302a：若所述操作控制端确定所述第一数据为第一定位数据，则根据所述第一定位数据控制机器人执行抓取操作。
95.步骤302b：若所述操作控制端确定所述第一数据为第一图像数据，则根据所述第一图像数据控制所述机器人执行避障操作。
96.若识别确定的第一数据为第一定位数据，则控制机器人执行抓取操作，若识别确定的第一数据为第一图像数据，则控制机器人执行避障操作。与现有技术相比，本发明的操作控制端只需根据识别获得的数据控制机器人进行相应动作的执行，降低了其所需承担的运算量，提升了该操作控制端的运算速度，进而提高了机器人控制系统的反应速度，也因此提高了机器人的灵敏程度。
97.步骤303a：根据所述第一定位数据中的所述位置数据控制所述机器人的移动设备移动至所述待抓取物体的位置处。
98.步骤304a：根据所述第一定位信息中的所述尺寸数据控制所述机器人的抓取设备对所述待抓取物体执行抓取操作。
99.控制系统的操作控制端只需根据第一定位数据中的位置数据向机器人的移动设备发出移动控制信号，并根据尺寸数据向机器人的抓取设备发送抓取控制信号便可结束这一回合的控制任务。在将针对第一图像数据进行深度处理获得对应第一定位数据的任务交由数据处理端负责后，操作控制端只需根据识别获得的数据类型针对机器人发出对应控制信号即可结束任务，其运算压力得到了缓解，则相应运算速率便会得到提升。
100.作为本实施例的另一举例，参见图4，图4为本发明提供的步骤302b的一种实施例的流程示意图，包括步骤401至步骤402，其中步骤402包括步骤402a和步骤402b，各步骤具
体如下：
101.步骤401：根据所述第一图像数据和接收自超声波模块的超声波数据确定所述待避障物体与所述机器人的直线距离，根据所述超声波模块实时监测获得的所述超声波数据判断所述直线距离是否小于或等于预设的第一距离阈值。
102.本实施例中，控制系统的操作控制端不仅会参考第一图像数据进行待避障物体的位置数据估算，同时还会参考超声波模块发送的超声波数据对上述估算获得的位置数据进行修正，确保最后确定的待避障物体与机器人之间的直线距离更加精准，进而提高机器人后续执行避障动作的准确性，降低了后续根据该直线距离执行避障操作产生失误的可能性。本发明实施例不对所述第一距离阈值进行进一步限定，用户可根据实际场景需要进行调整，在本举例中所述第一距离阈值优选为5厘米。
103.其中，超声波模块工作时，其触发角(trig)输入至少10us以上的高电位，即可发送超声波，在触发角(trig)发送超声波到响应角(echo)接收到传回的超声波这段时间内，响应角(echo)位始终呈现出一个高电平的状态，因此，可以从响应角(echo)持续高电平脉冲的时间来换算出被测物的距离，同时，在此期间超声波模块内部会循环发出若干个40khz的脉冲信号控制所述触发角(trig)和响应角(echo)执行操作。以上超声波模块的具体实现思路，如图5所示。
104.作为本实施例的又一举例，参加图6，图6为本发明提供的步骤402a的一种实施例的流程示意图，包括步骤601至步骤603，各步骤具体如下：
105.步骤601：控制所述超声波模块向右和向左分别进行预设的若干角度的旋转，并将经过若干角度旋转后采集获得的若干距离数据整合成距离数组。
106.当确定机器人已行驶至所述待避障物体前方设定距离处，系统将控制曹正波模块对机器人正前方进行最大角度为180度的扫描测距，本发明实施例不对测距所设定的具体组数进行进一步限定，用户可根据需要调整该数值。超声波模块在经过了若干次旋转进而通过采集获得若干个对应角度的对应距离数据后，系统将上述若干距离数据整合成距离数组为后续确定准确的避障角度提供数据基础。
107.步骤602：从所述距离数组中选择确定第一距离数据，将所述第一距离数据与所述距离数组除所述第一距离数据外剩下的距离数据进行比较，以使所述第一距离数据为所述距离数组中的最大值。
108.通过将上述整合而成的距离数组中的每一个距离数据分别与数组中除了被选择的距离数据外剩下的所有距离数据一一进行对比，进而获得距离数组中数值最大的距离数据。将该距离数据作为第一距离数据，传输至后续进行避障操作。
109.步骤603：根据所述第一距离数据对应的第一角度控制所述机器人对所述待避障物体执行避障操作。
110.系统认定所述第一距离数据对应的角度没有障碍物，则根据该第一距离数据对应的第一角度控制机器人的移动设备进行旋转避障。
111.综上所述，该避障方法提高了机器人执行避障操作的准确性，且适用于各类不同球场，减少了外界环境对机器人执行避障操作产生的干扰。
112.作为本实施例的又一举例，所述操作控制端除了接收由数据处理端发送的第一数据之外，还可以响应于控制触发信号，同时解析所述控制触发信号获得第一控制信号，根据
所述第一控制信号控制所述数据处理系统，并将接收的所述第一图像数据实时反馈至服务端，使得所述服务端将所述第一图像数据发送至pc端，以使所述pc端展示所述第一图像数据。
113.综上所述，本实施例还通过服务端转发的方式实现了针对机器人的远程通信与控制，由于考虑到机器人运行场景的复杂程度，当其被困在场景某个死角当中无法移动时，用户便可通过上述方式远程确定该机器人的工作状态，同时针对该机器人进行远程控制，提升了用户的体验舒适度。
114.同时在本实施例中，用户优选通过微信小程序的方式传输控制命令实现针对机器人的远程控制。所述微信小程序通过所述服务端发布机器人控制主题，操作控制端则通过服务端订阅该机器人控制主题，则用户每次通过微信小程序的方式在机器人控制主题中发布内容时，操作控制端便可通过该机器人控制主题接收用户发送的内容，则对应控制触发信号被触发。
115.同样，用户也可通过订阅由操作控制端发布的控制反馈主题的方式接收操作控制端反馈的图像数据，进而更好地针对机器人实现远程操控。
116.相应的，为了更好地说明本发明一种基于图像识别的数据处理方法和机器人控制方法的工作原理与步骤流程，可以但不限于参见上文的相关记载。
117.参见图7，图7为本发明提供的一种机器人控制系统的实施例的结构示意图，如图7所示，所述机器人控制系统701包括数据处理端702a和操作控制端702b，其中所述数据处理端702a与所述操作控制端702b之间相互连接，且以上两者之间的数据流通方向为由所述数据处理端702a流向所述操作控制端702b。同时，所述数据处理端702a可执行上述的一种基于图像识别的数据处理方法，而所述操作控制端则可执行上述的一种基于图像识别的机器人控制方法。
118.在本实施例中，机器人控制系统701包含的所述数据处理端702a的承载设备优选为raspberry pi控制主板(也被称为“树莓派”)，而所述操作控制端702b的承载设备优选为stm32单片机，采集待处理图像的图像采集设备优选为双目摄像头，机器人的抓取设备优选为有刷电机与滚筒的组合，机器人的移动设备为l298n驱动与步进电机的组合，超声波模块为舵机与hc-sr04超声波模块的组合，其中所述数据处理端702a即树莓派芯片上还连接有oled屏和红外传感器，用于确定并显示抓取的物体数量，服务端优选mqtt服务器。上述内容参见图8，图8为本发明提供的一种机器人的实施例的结构示意图。
119.其中，抓取设备中有刷电机操控滚筒进行物体抓取，移动设备中l298n驱动装置驱动步进电机进行移动，超声波模块中舵机带动hc-sr04超声波模块进行若干角度的旋转。同时，树莓派与stm32单片机之间通过串口进行通信，同时stm32单片机与服务端之间也通过串口进行通信。
120.本实施例优选stm32单片机为所述操作控制端702b的承载设备，是因为stm32芯片具有优异的高性能、实时性高、低功耗、低成本的特点，同时stm32丰富的外设方便开发，它支持多种通信，常用的如iic、spi、uart/usart、can，便于实现通信功能。
121.优选树莓派为所述数据处理端702a的承载设备，是因为树莓派搭载的是arm架构的cpu，arm架构能够发挥出较高的执行效率，而它低功耗的特性，非常适合应用在对电源消耗敏感的设备上，同时其本身所嵌入的一些通讯芯片以及协议便于机器人在机器视觉上的
集成化，使其在性能方面比其他芯片性能更高的同时，体积更小，因此机器人在搭载了树莓派后相较于其他芯片运动更轻便，实现了实际意义上的嵌入式视觉系统。
122.优选双目摄像头作为采集待处理图像的图像采集设备，是因为双目摄像头相较于单目摄像头所需要的计算量更低，性能要求更低，但产生的误差更小，因此根据双目摄像头采集的图像数据确定的待抓取物体的位置更精准。
123.优选有刷电机与滚筒的组合为机器人的抓取设备，是因为相较于机械臂，滚筒抓取物体的空间更大，操作更简单，因此提升了机器人的抓取效率。
124.优选mqtt服务器为服务端，则stm32单片机与pc端之间通过mqtt协议实现数据传输，其中mqtt服务器将接收的数据转换成json格式并分割后上传，便于用户发布控制内容。用户可通过微信小程序输入服务端url的方式进入机器人控制界面，并通过预设的控制按钮发送控制内容，所述控制按钮是通过control.js定义的。
125.综上所述，本发明提供的一种基于图像识别的数据处理方法和机器人控制方法，应用于机器人控制系统，其中所述机器人控制系统包括数据处理端和操作控制端。本发明公开的方法通过将大量图像数据的计算处理过程分为两个步骤，即数据处理步骤和机器人控制步骤，并将上述两个步骤交由两个终端分别处理，由数据处理端执行数据处理方法并将获得的第一数据发送至操作控制端，由操作控制端根据数据处理端发送的第一数据执行机器人控制方法。上述方式同时降低了两个终端的计算压力，提高了机器人控制系统的运算速率和正确率，进而降低了系统出现识别错误的可能性。
126.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于图像识别的数据处理方法，其特征在于，应用于机器人控制系统；其中，所述机器人控制系统包括数据处理端和操作控制端；所述数据处理方法包括以下步骤：所述数据处理端响应于图像处理信号，接收待处理图像数据，对所述待处理图像数据进行图像数据初步处理，获得第一图像数据，并对所述第一图像数据进行轮廓判断，根据判断结果确定所述第一图像数据中的待处理物体为待抓取物体或待避障物体；若所述数据处理端确定所述判断结果为待抓取物体，则对所述第一图像数据进行图像深度处理，获得待抓取物体的第一定位数据，并将所述第一定位数据发送至操作控制端，以使所述操作控制端根据所述第一定位数据执行抓取操作；若所述数据处理端确定所述判断结果为待避障物体，则将所述第一图像数据发送至所述操作控制端，以使所述操作控制端根据所述第一图像数据执行避障操作。2.如权利要求1所述的一种基于图像识别的数据处理方法，其特征在于，所述对所述第一图像数据进行轮廓判断，根据判断结果确定所述待处理图像数据中的待处理物体为待抓取物体或待避障物体，具体为：对所述第一图像数据进行物体轮廓提取，获得第一轮廓；将所述第一轮廓与预设的模型轮廓进行对比拟合，将拟合结果大于或等于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待抓取物体；将所述拟合结果小于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待避障物体。3.如权利要求1所述的一种基于图像识别的数据处理方法，其特征在于，所述对所述第一图像数据进行图像深度处理，获得待抓取物体的第一定位信息，具体包括：通过yolo-v3算法对所述第一图像数据中的待抓取物体进行识别，获得对应的识别结果；调用所述yolo-v3算法对所述识别结果和所述第一图像数据进行计算，确定所述待抓取物体的所述第一定位信息；同时调取预设的神经网络加速算法对所述yolo-v3算法的运算过程进行加速。4.一种基于图像识别的机器人控制方法，其特征在于，应用于机器人控制系统；其中，所述机器人控制系统包括数据处理端和操作控制端；所述机器人控制方法包括以下步骤：所述操作控制端接收由数据处理端发送的第一数据，并调用预设的识别方法识别所述第一数据确定所述第一数据为第一定位数据或第一图像数据；其中，所述第一数据是由所述数据处理端根据待处理物体在所述第一图像数据中的判断结果而确定；所述判断结果是由所述数据处理端对所述第一图像数据进行轮廓判断而确定；所述第一图像数据是由所述数据处理端对待处理图像数据进行图像数据初步处理后而获得；若所述操作控制端确定所述第一数据为第一定位数据，则根据所述第一定位数据控制机器人执行抓取操作；若所述操作控制端确定所述第一数据为第一图像数据，则根据所述第一图像数据控制所述机器人执行避障操作。5.如权利要求4所述的一种基于图像识别的机器人控制方法，其特征在于，所述第一数
据是由所述数据处理端根据待处理物体在所述第一图像数据中的判断结果而确定且所述判断结果是由所述数据处理端对所述第一图像数据进行轮廓判断而确定，具体包括：所述数据处理端对所述第一图像数据进行物体轮廓提取，获得第一轮廓；将所述第一轮廓与预设的模型轮廓进行对比拟合，将拟合结果大于或等于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待抓取物体，并确定所述第一数据为第一定位数据；将所述拟合结果小于第一拟合阈值的第一轮廓对应的第一图像数据中的待处理物体确定为所述待避障物体，并确定所述第一数据为第一图像数据。6.如权利要求4所述的一种基于图像识别的机器人控制方法，其特征在于，所述根据所述第一定位数据控制机器人执行抓取操作，具体包括：其中，所述第一定位数据包括所述待抓取物体的位置数据和尺寸数据；根据所述第一定位数据中的所述位置数据控制所述机器人的移动设备移动至所述待抓取物体的位置处，并根据所述第一定位信息中的所述尺寸数据控制所述机器人的抓取设备对所述待抓取物体执行抓取操作。7.如权利要求4所述的一种基于图像识别的机器人控制方法，其特征在于，所述根据所述第一图像数据控制所述机器人执行避障操作，具体为：根据所述第一图像数据和接收自超声波模块的超声波数据确定所述待避障物体与所述机器人的直线距离；根据所述超声波模块实时监测获得的所述超声波数据判断所述直线距离是否小于或等于预设的第一距离阈值，若确定所述直线距离小于或等于预设的第一距离阈值，则控制所述超声波模块确定所述待避障物体与所述机器人的若干距离数据，并根据所述若干距离数据执行避障操作；若确定所述直线距离大于预设的第一距离阈值，则控制所述移动设备向前行进直到所述直线距离小于或等于预设的第一距离阈值。8.如权利要求4所述的一种基于图像识别的机器人控制方法，其特征在于，所述控制所述超声波模块确定所述待避障物体与所述机器人的若干距离数据，并根据所述若干距离数据执行避障操作，具体包括：控制所述超声波模块向右和向左分别进行预设的若干角度的旋转，并将经过若干角度旋转后采集获得的若干距离数据整合成距离数组；从所述距离数组中选择确定第一距离数据，将所述第一距离数据与所述距离数组除所述第一距离数据外剩下的距离数据进行比较，以使所述第一距离数据为所述距离数组中的最大值；根据所述第一距离数据对应的第一角度控制所述机器人对所述待避障物体执行避障操作。9.如权利要求4所述的一种基于图像识别的机器人控制方法，其特征在于，在所述操作控制端接收由数据处理端发送的第一数据之后，还包括：响应于控制触发信号，同时解析所述控制触发信号获得第一控制信号，根据所述第一控制信号控制所述数据处理系统；将接收的所述第一图像数据实时反馈至服务端，使得所述服务端将所述第一图像数据
发送至pc端，以使所述pc端展示所述第一图像数据。10.一种机器人控制系统，其特征在于，所述机器人控制系统包括操作控制端和数据处理端；其中，所述操作控制端与所述数据处理端相连；所述数据处理端可执行如权利要求1-3任一项所述的一种基于图像识别的数据处理方法；所述操作控制端可执行如权利要求4-8任一项所述的一种基于图像识别的机器人控制方法。

技术总结
本发明公开了一种基于图像识别的数据处理方法和机器人控制方法，应用于机器人控制系统，其中所述机器人控制系统包括数据处理端和操作控制端。本发明通过将大量图像数据的计算处理过程分为两个步骤，即数据处理步骤和机器人控制步骤，并将上述两个步骤交由两个终端分别处理，由数据处理端执行数据处理方法并将获得的第一数据发送至操作控制端，由操作控制端根据数据处理端发送的第一数据执行机器人控制方法。上述方式同时降低了两个终端的计算压力，提高了机器人控制系统的运算速率和正确率，进而降低了系统出现识别错误的可能性。进而降低了系统出现识别错误的可能性。进而降低了系统出现识别错误的可能性。


技术研发人员：王卓涵 贺桂娇 钟晖云
受保护的技术使用者：广州软件学院
技术研发日：2023.04.13
技术公布日：2023/7/28