一种基于轻量级算法的菠萝催花喷施方法和装置

1.本发明属于菠萝种植管理技术领域，尤其涉及一种基于轻量级算法的菠萝催花喷施方法和装置。


背景技术：

2.我国菠萝的规模化种植可追溯到20世纪50年代，随着改革开放的深入，开始从海外引进新品种菠萝，使得我国的菠萝种植水平得到了进一步提高。种植分布地区主要分布在我国南方地区，已成为华南主产区农村经济的一大支柱产业，为促进农民增收和扩大城乡居民就业做出了积极贡献。截至2020年统计数据，我国菠萝种植面积约为17.2万公顷，产量约为267.4万吨，均呈现逐年增长的趋势。
3.菠萝催花技术在菠萝商业化种植中具有重要意义。它有利于菠萝种植统一管理，控制菠萝开花结果期，且可以提高菠萝的产量和品质，增加经济效益。在菠萝种植过程中，催花作业通常为人工劳动为主，采用喷雾器对准菠萝苗心进行喷洒。整个作业过程需要大量的人力投入，喷洒效率不高，且作业过程中而且会对工人的健康造成影响。自从精准农业的概念提出以来，各国开始系统地研究和测试农药精准喷射技术，与之对应的智能喷施设备发展迅速，逐渐发展成结合多项技术的智能化农业机器人系统。该类设备能够自主巡航于田间，通过机器视觉技术识别农作物具体情况，并根据实时数据进行决策，实现精准催化液喷施。
4.现阶段菠萝的施药方式主要有微灌和喷灌两种。微灌在天气高温干燥的季节，滴头的出水速度低于水分蒸发速度，施肥效果差。喷灌方法催化液喷施速度快，但施肥均匀性难以掌握，无法保证催化液精准落入菠萝苗心中，且该施药方式有可能会导致土壤酸碱度变化，菠萝植株无法正常吸收养分，从而导致生长不良、易感染病害等问题。而且铺设喷灌和微灌设备成本较高，管道维护困难。所以在目前的菠萝种植生产中，催花作业仍要人工劳动占主导地位，劳动强度大，人力成本高。


技术实现要素：

5.本发明要解决的技术问题是，提供一种基于轻量级算法的菠萝催花喷施方法和装置，实现菠萝催花过程的智能化。
6.为实现上述目的，本发明采用如下的技术方案：
7.一种基于轻量级算法的菠萝催花喷施方法包括：
8.步骤s1、获取菠萝催花的靶向目标定位信息；
9.步骤s2、根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；
10.步骤s3、根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。
11.作为优选，步骤s1中，通过轻量级混合神经网络算法识别菠萝苗心，获取菠萝催花
的靶向目标定位信息。
12.作为优选，步骤s2中，通过语义分割模型获取田间道路信息，为双执行末端菠萝催花机器人的底盘驱动行驶提供参考航线，实现车体自主循迹导航。
13.作为优选，步骤s3中，在双执行末端菠萝催花机器人行进过程中，利用拓展卡尔曼滤波进行数据融合，以实现短时间的局部目标预测更新，进而引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶。
14.本发明还提供一种基于轻量级算法的菠萝催花喷施装置，包括：
15.获取模块，用于获取菠萝催花的靶向目标定位信息；
16.导航模块，用于根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；
17.喷施模块，用于根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。
18.作为优选，获取模块通过轻量级混合神经网络算法识别菠萝苗心，获取菠萝催花的靶向目标定位信息。
19.作为优选，导航模块通过语义分割模型获取田间道路信息，为双执行末端菠萝催花机器人的底盘驱动行驶提供参考航线，实现车体自主循迹导航。
20.作为优选，喷施模块用于在双执行末端菠萝催花机器人行进过程中，利用拓展卡尔曼滤波进行数据融合，以实现短时间的局部目标预测更新，进而引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶。
21.与现有技术相比，本发明的有益效果如下：
22.本发明通过机器人视觉识别实现菠萝催花的靶向目标定位，并提取田间道路信息，为底盘驱动行驶提供参考航线，从而实现车体自主循迹导航。在机体行进过程中，利用拓展卡尔曼滤波进行数据融合，可进行短时间的局部目标预测更新，从而引导机械臂在车体行进过程中精准对准目标，机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。实现智能化自主作业，降低人工劳动成本，提升催花喷施效果，进而实现科学高效菠萝催花管理过程。
附图说明
23.为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例基于轻量级算法的菠萝催花喷施方法的流程图；
25.图2为本发明实施例车体和机械臂智能控制方法流程图；
26.图3为本发明实施例催花作业机器人机械结构图；
27.图4为本发明实施例催花作业机器人作业流程图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
30.实施例1：
31.如图1所示，本发明实施例提供一种基于轻量级算法的菠萝催花喷施方法，包括：
32.步骤s1、获取菠萝催花的靶向目标定位信息；
33.步骤s2、根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；
34.步骤s3、根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。
35.作为本发明实施例的一种实施方式，步骤s1中，通过轻量级混合神经网络算法识别菠萝苗心，获取菠萝催花的靶向目标定位信息。
36.作为本发明实施例的一种实施方式，步骤s2中，通过语义分割模型获取田间道路信息，为双执行末端菠萝催花机器人的底盘驱动行驶提供参考航线，实现车体自主循迹导航。
37.作为本发明实施例的一种实施方式，步骤s3中，在双执行末端菠萝催花机器人行进过程中，利用拓展卡尔曼滤波进行数据融合，以实现短时间的局部目标预测更新，进而引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶。
38.实施例2：
39.如图2所示，本发明实施例提供一种基于轻量化神经网络的菠萝精准催花喷施方法，由轻量级菠萝苗心识别装置、机械臂催化液喷施作业装置、底盘车体驱动装置、检测与控制装置组成的喷施机器人实现，其中，
40.底盘车体驱动装置的实现方法如下：
41.步骤一：搭建基于深度学习的unet轻量级语义分割算法，使用rgb工业相机采集640*640的菠萝种植田间路径图片4500张，完成路径数据集的制作。使用路径数据集放入unet神经网络模型进行训练。完成训练的模型可以提取田间道路的语义信息，最后输出的是二值化路径图像，道路信息为1(白色)，其余背景信息为0(黑色)。
42.步骤二：田间通道分割结果独立读取出来后利用图像处理技术获得边缘坐标，再通过计算像素边缘坐标得到对应的平均值，获取道路中心线周围的若干点。对分布在中心线的若干点进行线性回归运算，得到最优中心线，最终的获取田间道路中线。
43.步骤三：在底盘驱动模块上层pc端搭建ros系统，搭载工业相机获取道路图像，通过步骤s102获取道路中线，结合车体当前位置与道路中线的偏差作为pid控制器的输入，输出车体的偏航角速度到底层stm32微控制器进行车体方向的调整，实现底盘的实时循迹导航。
44.轻量级菠萝苗心识别装置的实现方法如下：
45.步骤一：主流识别模型yolov4进行轻量化改进，选择对主干特征提取网络进行剪枝优化，并在颈部网络中融合深度可分离卷积与轻量级注意力模块，实现对模型的轻量化改进。完成轻量级识别模型的搭建。在保证高识别速度的前提下，通过优化模型的卷积模型
来尽可能地提高识别精度，并且降低了模型运行时所需的功耗。
46.步骤二：采集有效像素1200万的菠萝植株数据集3000张，使用labelimg标记图像中的菠萝苗心目标，生成相应的xml标签文件，随后按照8:1:1的比例分别随机分出训练集，验证集，测试集。将数据集送入轻量级神经网络进行迭代训练，完成训练工作的模型挑选训练最优权重，该模型可对菠萝苗中心点部位的精确识别。
47.步骤三：运行识别模型时接入深度相机用作实时图像数据采集，当模型识别到菠萝苗心时，获取其目标中心点再融合深度信息完成目标的三维坐标获取，实现菠萝苗心初步定位。
48.机械臂催化液精准喷施装置的实现方法如下：
49.步骤一：建立催花作业机械臂的运动学模型，根据机械臂关节运动约束确立工作空间。利用代数法求解相应的关节角度，实现对机械臂关节电机的控制。
50.步骤二：搭建ros系统的ros_control控制环境，编写ros控制器实现机械臂的位置或速度控制，运用串口实现机械臂、上层pc端、stm32的通信。
51.步骤三：编写ros节点，用于接收指令。即处于工作状态时接收基于机械臂坐标系下的动态菠萝苗心坐标，控制机械臂末端持续追踪目标进行催化液喷施作业。
52.检测与控制装置实现方法如下：
53.步骤一：部署菠萝苗心轻量级识别神经网络算法，获取目标在里程计下的位置坐标。部署车体道路语义分割模型，采用陀螺仪捕获车体的速度信息。通过拓展卡尔曼滤波融合里程计和陀螺仪数据，实时地预测更新菠萝苗心的位置状态，输出为机械臂末端期望位置。其数学表达式如下：
[0054][0055][0056][0057][0058][0059]
其中，μ
t
为机器人的状态分量，为[x y yaw v]
t
,x、y为机器人在odom坐标系下的坐标值。yaw为在odom坐标系下航向角，v为机器人前进方向线速度；u
t
为控制输入，为[a yawrate]
t
，a、yawrate为机器人前进方向加速度和自转角速度，通过陀螺仪测定；z
t
为观测值，为[x y yaw]
t
,为编码器计算得到的坐标值和航向角。
[0060]
步骤二：部署机械臂运动学模型，采用数值法进行迭代计算求逆解，得到各个关节角度的数值解。其具体数学模型如下，首先建立scara机械臂末端相对于基座标的转换矩阵：
[0061][0062]
x＝l1cosθ1+l2cos(θ1+θ2)
[0063]
y＝l1sinθ1+l2sin(θ1+θ2)
[0064]
z＝d1[0065]
其中,l1和l2为已知参数。
[0066]
而逆解模型是已知机械臂末端位姿，反求各个运动参数。
[0067][0068]
矩阵中的最终结果均已知。
[0069][0070][0071][0072]
本发明实施例设计机械臂为左手系，所以取负数解，可算出：
[0073]
θ2＝arctan(sinθ2,cosθ2)
[0074]
根据已知的位姿可得和可计算：
[0075][0076]
结合上述式子求取θ1和θ2。获取得两个控制电机的相应旋转角度。
[0077]
步骤三：部署车体道路语义分割轻量级算法，采用计算边缘点像素求得道路中线间隔像素点，在通过线性拟合完成道路中线提取，并作为车体导航线。
[0078]
步骤四：采用rs232串口通信连接stm32底层控制模块。底层通过ttl-rs232芯片控制底盘车体装置，同时通过can总线控制机械臂催化液喷施装置。
[0079]
如图3所示，实现基于轻量化神经网络的菠萝精准催花喷施方法的设备包括如下：
[0080]
(1)视觉装置由深度相机(双目)与工业相机(单目)组成，其中深度相机负责菠萝苗心目标识别定位，工业相机负责田间道路语义信息提取。
[0081]
(2)菠萝催花作业执行末端由两套scara机械臂组成，每个机械臂的两个关节型伺服电机控制催花喷头在水平平面内移动，精准适应到菠萝苗心位置。升降电推杆负责双机械臂的高度调节。机械臂执行末端安装有催花喷头，经橡胶软管、电磁阀、隔膜泵、过滤器连接到催花液药箱。
[0082]
(3)底盘行驶系统由适合在田间行走的高地隙车体底盘构成。配备陀螺仪实时捕获车体当前运动状态，实现车体沿垄线的闭环控制。
[0083]
(4)动力电源为高容量蓄电池，能维持设备长时间作业。控制终端为低功耗pc设备，保证设备所需基础算力的同时降低耗电量。
[0084]
(5)机器人在行进过程中对菠萝苗心实现定位和局部持续跟踪。根据逆运动学模型将机械臂移动到目标位置，将催花喷头作为末端执行器，菠萝苗心作为目标点。车体在行进过程中，目标位置相对机械臂时刻在变化，需要设备能够实时预测更新坐标位置，引导机
械臂末端在单个目标作业周期2s内进行追踪，实现催化液喷施作业的高效率。
[0085]
进一步，基于轻量级算法的菠萝精准催花喷施方法，包括如下：
[0086]
第一步：催化液喷施机器人进入菠萝种植地后，开始各模块初始化；
[0087]
第二步：机械臂系统收缩至原始标志位，避免遮挡识别系统的视角；
[0088]
第三步：视觉系统开启深度相机和工业相机，分别启动对应的轻量级目标识别算法以及路语义分割模型；
[0089]
第四步：车体通过语义分割提取的田间道路中线为参考进行循迹导航，保持恒定速度行驶，通过陀螺仪(imu)外部捕获当前车体的位姿数据。同时，深度相机开始检测识别沿途菠萝苗心，得出基于相机坐标系下的三维坐标，并将其位置坐标回传到检测与控制模块；
[0090]
第五步：检测与控制模块获取菠萝苗心的处于相机坐标系中的三维坐标后，转化为里程计坐标系(odom)下的坐标数据。其次运用拓展卡尔曼滤波融合odom坐标数据以及imu位置信息，完成预测更新菠萝苗心的动态坐标，周期为100ms。此时坐标位于odom坐标系下，将其转换到机械臂坐标系再发送至机械臂作业模块。若检测到多个目标，则根据目标距离车体的远近进行目标分布排序。
[0091]
第六步：机械臂作业模块接收到目标实时坐标后，控制末端持续追踪对准菠萝苗心并执行催化液喷施动作，单个目标喷洒周期为2s。
[0092]
第七步：完成阶段性催化液喷施任务，回到步骤2，循环执行。
[0093]
进一步，如图4所示，机械臂归位到初始化位置，视觉系统启动，底盘车体自动循迹运动，imu记录车体运动状态。深度相机开启目标识别，当相机视野中出现菠萝苗心，若有多个目标，则根据目标距离的远近进行排序，按顺序记录各目标的相机坐标并转换到里程计坐标系。同时，检测与控制模块进行拓展卡尔曼滤波融合imu和里程计数据，获得目标的实时坐标，将坐标转化到机械臂基座标下，算出逆解关节坐标。机械臂接收到目标位置信息控制末端持续追踪对准菠萝苗心，执行催化液喷施动作。
[0094]
综上，本发明提供的基于轻量级算法的菠萝精准催花喷施方法，通过机器人视觉识别实现菠萝催花的靶向目标定位，并提取田间道路信息，为底盘驱动行驶提供参考航线，从而实现车体自主循迹导航。在机体行进过程中，利用拓展卡尔曼滤波进行数据融合，可进行短时间的局部目标预测更新，从而引导机械臂在车体行进过程中精准对准目标，机械臂末端喷头将催化液准确喷洒在菠萝苗心位置。实现智能化自主作业，降低人工劳动成本，提升催花作业的喷施效果，进而实现科学高效菠萝催花管理过程。
[0095]
实施例3：
[0096]
本发明还提供一种基于轻量级算法的菠萝催花喷施装置，包括：
[0097]
获取模块，用于获取菠萝催花的靶向目标定位信息；
[0098]
导航模块，用于根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；
[0099]
喷施模块，用于根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。
[0100]
作为本发明实施例的一种实施方式，获取模块通过轻量级混合神经网络算法识别菠萝苗心，获取菠萝催花的靶向目标定位信息。
[0101]
作为本发明实施例的一种实施方式，导航模块通过语义分割模型获取田间道路信息，为双执行末端菠萝催花机器人的底盘驱动行驶提供参考航线，实现车体自主循迹导航。
[0102]
作为本发明实施例的一种实施方式，喷施模块用于在双执行末端菠萝催花机器人行进过程中，利用拓展卡尔曼滤波进行数据融合，以实现短时间的局部目标预测更新，进而引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶。
[0103]
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

技术特征：
1.一种基于轻量级算法的菠萝催花喷施方法，其特征在于，包括：步骤s1、获取菠萝催花的靶向目标定位信息；步骤s2、根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；步骤s3、根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。2.如权利要求1所述的基于轻量级算法的菠萝催花喷施方法，其特征在于，步骤s1中，通过轻量级混合神经网络算法识别菠萝苗心，获取菠萝催花的靶向目标定位信息。3.如权利要求2所述的基于轻量级算法的菠萝催花喷施方法，其特征在于，步骤s2中，通过语义分割模型获取田间道路信息，为双执行末端菠萝催花机器人的底盘驱动行驶提供参考航线，实现车体自主循迹导航。4.如权利要求3所述的基于轻量级算法的菠萝催花喷施方法，其特征在于，步骤s3中，在双执行末端菠萝催花机器人行进过程中，利用拓展卡尔曼滤波进行数据融合，以实现短时间的局部目标预测更新，进而引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶。5.一种基于轻量级算法的菠萝催花喷施装置，其特征在于，包括：获取模块，用于获取菠萝催花的靶向目标定位信息；导航模块，用于根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；喷施模块，用于根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。6.如权利要求5所述的基于轻量级算法的菠萝催花喷施装置，其特征在于，获取模块通过轻量级混合神经网络算法识别菠萝苗心，获取菠萝催花的靶向目标定位信息。7.如权利要求6所述的基于轻量级算法的菠萝催花喷施装置，其特征在于，导航模块通过语义分割模型获取田间道路信息，为双执行末端菠萝催花机器人的底盘驱动行驶提供参考航线，实现车体自主循迹导航。8.如权利要求7所述的基于轻量级算法的菠萝催花喷施装置，其特征在于，喷施模块用于在双执行末端菠萝催花机器人行进过程中，利用拓展卡尔曼滤波进行数据融合，以实现短时间的局部目标预测更新，进而引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶。

技术总结
本发明公开一种基于轻量级算法的菠萝催花喷施方法和装置，包括：步骤S1、获取菠萝催花的靶向目标定位信息；步骤S2、根据获取的田间道路信息，得到双执行末端菠萝催花机器人的自主循迹导航路线；步骤S3、根据靶向目标定位信息和自主循迹导航路线，引导双执行末端菠萝催花机器人的机械臂在喷洒过程中精准对靶，使机械臂末端喷头将催化液准确喷洒落入菠萝苗心位置。采用本发明的技术方案，实现菠萝催花过程的智能化。程的智能化。程的智能化。


技术研发人员：张日红 区建爽 凌轩 李小敏 林桂潮 朱政
受保护的技术使用者：仲恺农业工程学院
技术研发日：2023.05.31
技术公布日：2023/9/5