成熟苹果快速识别定位方法、系统及苹果采摘设备

1.本技术涉及图像识别技术领域，具体涉及一种成熟苹果快速识别定位方法、系统及苹果采摘设备。


背景技术：

2.苹果的高效、及时、无损采摘成为苹果产业发展的一个至关重要的环节。苹果的采收环节劳动量占其总生产环节劳动量的三分之二，利用人工采摘苹果劳动量十分巨大，人工成本很高。对于非矮化品种的苹果树，采摘工人需要利用梯子进行登高采摘，工人跌落的情况时有发生。因此实现苹果的自动化采摘对于提高苹果产业的生产效率、降低人工成本、提高市场竞争力方面都有着重要的意义。
3.现阶段，苹果采摘机器人所面临的问题有：对成熟苹果的识别与定位准确率较低，且识别与定位速度慢。专利cn111753577a公开了一种自动采摘机器人中的苹果识别与定位方法，其对采集到的苹果图像中重叠部分通过曲线拟合的方法进行填充，进而采用霍夫圆检测方法完成对苹果的识别；采用超声测距和摄像头，测量空间内苹果距采摘装置的距离。但是这种对成熟苹果的识别方法不适用于恶劣天气条件，例如雨、雪、雾天气等，光线的折射会导致识别精度变低。专利cn114677674a公开了一种基于双目点云的苹果快速识别定位方法，其使用双目相机获取果树的彩色点云，并对点云进行基于颜色的区域生长分割，从而获取不同颜色的点云聚类，筛选后获得苹果点云聚类，从而获得苹果位姿信息。其通过聚类、筛选的方式来获取苹果点云信息，计算复杂，识别与定位效率低下。专利cn111046782a公开了一种用于苹果采摘机器人的果实快速识别方法，其将采集的图像进行颜色空间转换，并对图像进行优化显著性检测处理和色差法处理，对结果进行融合处理和otsu二值化处理，做最大连通域的外接矩形实现对果实的标定。由于该方法难以提取到图片像素间的比较深层次的信息，因此模型不容易迁移到其他品种的苹果中，泛化性比较差。
4.因此如何实现苹果采摘时对成熟苹果的快速识别定位是本领域亟待解决的技术问题。


技术实现要素：

5.本技术为了解决上述技术问题，提出了如下技术方案：
6.第一方面，本技术实施例提供了一种成熟苹果快速识别定位方法，其特征在于，包括：
7.对获取的不同成熟度的苹果图像数据集进行标注确定出成熟和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分；
8.将yolov5s神经网络进行轻量化改进；
9.将划分好的数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；
10.利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与
获得的深度信息相结合，得到目标苹果的三维坐标信息。
11.在一种可能的实现方式中，所述将标注好的数据集进行数据增强，包括：增加下雨、下雪、雾化场景、随机增加黑框遮挡、高斯模糊、曝光调整、图片镜像和图片缩放的数据增强方式来扩充数据集。
12.在一种可能的实现方式中，所述将yolov5s神经网络进行轻量化改进，包括：使用轻量化网络ghostnet替换骨干网络中的cspdarknet53，并将ghostnet中的se注意力模块替换为cbam注意力模块，最后对网络进行通道剪枝。
13.在一种可能的实现方式中，所述使用轻量化网络ghostnet替换骨干网络中的cspdarknet53，包括：
14.将ghostconv和ghostbottleneck的程序复制到models文件夹下面的common.py文件中；
15.在yolo.py文件中，将ghostconv、ghostbottleneck和c3ghost添加到注册表中，增加判断条件；
16.修改yaml文件，将除了0层以外所有的c3模块替换为c3ghost，使用ghostconv替换了所有的conv。
17.在一种可能的实现方式中，所述将ghostnet中的se注意力模块替换为cbam注意力模块，包括：
18.将cbam注意力机制的程序复制到models文件夹下面的common.py文件中；
19.在yolo.py文件中，将cbam layer添加到注册表中，增加判断条件；
20.修改yaml文件，将cbam模块添加到backbone最后一层，并修改detect的form系数。
21.在一种可能的实现方式中，所述对网络进行通道剪枝，包括：
22.将通道缩放因子γ与卷积层中的每个通道相关联，在训练期间对γ施加稀疏正则化，来自动识别不重要的通道；
23.对稀疏正则化训练后的网络进行修剪，具有较小γ值的通道将被修剪掉，修剪后获得紧凑模型；
24.对修剪后的模型进行微调来将精度损失最小化，获得精确的紧凑模型。
25.在一种可能的实现方式中，还包括使用增强后数据集来训练改进后的轻量化网络，包括：
26.首先从输入端输入图像后，利用主干特征提取网络进行特征提取；然后将提取到的有效特征层进行特征融合，yolohead对特征点进行判断，判断特征点是否有物体与之对应，输出分类与回归结果。
27.在一种可能的实现方式中，所述利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息，包括：
28.将二维彩色图像导入改进后的轻量化网络中，检测到苹果目标的二维像素坐标；
29.将深度相机测量到的深度信息与目标果实的二维像素坐标进行深度对齐，得到苹果中心点处的三维坐标信息。
30.第二方面，本技术实施例提供了一种成熟苹果快速识别定位系统，所述系统包括：
31.数据处理模块，用于对获取的不同成熟度的苹果图像数据集进行标注确定出成熟
和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分；
32.模型轻量化模块，用于将yolov5s神经网络进行轻量化改进；
33.第一获取模块，用于将划分好的数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；
34.第二获取模块，用于利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。
35.第三方面，本技术实施例提供了一种苹果采摘设备，包括：
36.处理器；
37.存储器；
38.以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述苹果采摘设备执行权利要求1至8中任意一项所述的方法，实现对成熟苹果的识别定位。
39.在本技术实施例中，通过图像数据集的标注确定出了图像中成熟苹果，然后将标注的数据集输入到轻量化网络中训练得到了目标苹果的二维坐标，最后结合苹果图像的深度信息获得了目标苹果的三维坐标信息。实现了苹果成熟度的判断、苹果快速识别与快速定位。
附图说明
40.图1为本技术实施例提供的一种成熟苹果快速识别定位方法的流程示意图；
41.图2为本技术实施例提供的轻量化改进后的yolov5s网络结构示意图；
42.图3为本技术实施例提供的苹果测试集的检测效果示意图；
43.图4为本技术实施例提供的一种成熟苹果快速识别定位系统的示意图；
44.图5为本技术实施例提供的一种苹果采摘设备的控制构架图；
45.图6为本技术实施例提供的应用到苹果采摘设备上的采摘效果图。
具体实施方式
46.下面结合附图与具体实施方式对本方案进行阐述。
47.参见图1，本实施例提供的成熟苹果快速识别定位方法，包括：
48.s101，对获取的不同成熟度的苹果图像数据集进行标注确定出成熟和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分。
49.本实施例中，采集不同光照条件和天气情况下、不同成熟度的苹果图像，制作出原始数据集。此时得到的图像格式均为.jpg格式。将得到的苹果图像，通过labelimg软件人工标注出成熟苹果果实的位置，然后通过为图片增加下雨、下雪、雾化场景、随机增加黑框遮挡、高斯模糊、曝光调整、图片镜像和图片缩小的数据增强方式来扩充数据集。
50.s102，将yolov5s神经网络进行轻量化改进。
51.使用轻量化网络ghostnet替换骨干网络中的cspdarknet53，并将ghostnet中的se注意力模块替换为cbam注意力模块，最后对网络进行通道剪枝来达到轻量化yolov5s神经网络模型的目的。
52.具体地，所述使用轻量化网络ghostnet替换骨干网络中的cspdarknet53，包括：将
ghostconv和ghostbottleneck的程序复制到models文件夹下面的common.py文件中；在yolo.py文件中，将ghostconv、ghostbottleneck和c3ghost添加到注册表中，增加判断条件；修改yaml文件，将除了0层以外所有的c3模块替换为c3ghost，使用ghostconv替换了所有的conv。
53.将ghostnet中的se注意力模块替换为cbam注意力模块，包括：将cbam注意力机制的程序复制到models文件夹下面的common.py文件中；在yolo.py文件中，将cbam layer添加到注册表中，增加判断条件；修改yaml文件，将cbam模块添加到backbone最后一层，并修改detect的form系数。
54.对网络进行通道剪枝，包括：将通道缩放因子γ与卷积层中的每个通道相关联，在训练期间对γ施加稀疏正则化，来自动识别不重要的通道；对稀疏正则化训练后的网络进行修剪，具有较小γ值的通道将被修剪掉，修剪后获得紧凑模型；对修剪后的模型进行微调来将精度损失最小化，获得精确的紧凑模型，得到的轻量化网络如图2所示。
55.s103，将划分好的数据集输入改进后的轻量化网络中进行训练，获得苹果图像中果实的二维坐标。
56.将划分好的数据集输入到改进后的模型进行训练，从输入端输入图像后，利用主干特征提取网络进行特征提取，然后将提取到的有效特征层进行特征融合，yolo head对特征点进行判断，判断特征点是否有物体与之对应，输出分类与回归结果，获得苹果图像中果实的二维坐标，如图3所示。
57.s104，利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。
58.将二维彩色图像导入改进后的轻量化yolov5s神经网络模型中，检测到苹果目标的二维像素坐标；将深度相机测量到的深度信息与目标果实的二维像素坐标进行深度对齐，首先把红外相机坐标系下的深度转换为空间点云，再通过刚性变换转换到rgb摄像头的坐标系，并最终投影到rgb图像的二维图像坐标系，形成一张在rgb相机坐标系下的深度图，得到苹果中心点处的三维坐标信息。
59.与上述实施例提供的一种成熟苹果快速识别定位方法相对应，本技术还提供了一种成熟苹果快速识别定位系统的实施例。
60.参见图4，本实施例提供的成熟苹果快速识别定位系统20，包括：
61.数据处理模块201，用于对获取的不同成熟度的苹果图像数据集进行标注确定出成熟和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分；
62.模型轻量化模块202，用于将yolov5s神经网络进行轻量化改进；
63.第一获取模块203，用于将划分好的数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；
64.第二获取模块204，用于利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。
65.本技术实施例还提供了一种苹果采摘设备的实施例。
66.参见图5，本实施例提供的苹果采摘设备300包括：处理器301、存储器302及通信单元303。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的苹果采摘设备结构并不构成对本技术实施例的限定，它既可以是总线形结构，也可以是星型
结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
67.其中，通信单元303，用于建立通信信道，从而使苹果采摘设备可以与其它控制设备进行通信。
68.处理器301，为苹果采摘设备的控制中心，利用各种接口和线路连接整个苹果采摘设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行苹果采摘设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，ic)组成，例如可以由单颗封装的ic所组成，也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说，处理器301可以仅包括中央处理器(central processing unit，cpu)。在本技术实施方式中，cpu可以是单运算核心，也可以包括多运算核心。
69.存储器302，用于存储处理器301的执行指令，存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
70.当存储器302中的执行指令由处理器301执行时，使得苹果采摘设备300能够执行上述方法实施例中的部分或全部步骤，采摘苹果时进行目标果实的识别定位，参见图6为上述实施例中的成熟苹果快速识别定位方法在苹果采摘设备上执行的采摘效果图。
71.本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
72.以上所述，仅为本技术的具体实施方式，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种成熟苹果快速识别定位方法，其特征在于，包括：对获取的不同成熟度的苹果图像数据集进行标注确定出成熟和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分；将yolov5s神经网络进行轻量化改进；将划分好的数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。2.根据权利要求1所述的成熟苹果快速识别定位方法，其特征在于，所述将标注好的数据集进行数据增强，包括：增加下雨、下雪、雾化场景、随机增加黑框遮挡、高斯模糊、曝光调整、图片镜像和图片缩放的数据增强方式来扩充数据集。3.根据权利要求1所述的成熟苹果快速识别定位方法，其特征在于，所述将yolov5s神经网络进行轻量化改进，包括：使用轻量化网络ghostnet替换骨干网络中的cspdarknet53，并将ghostnet中的se注意力模块替换为cbam注意力模块，最后对网络进行通道剪枝。4.根据权利要求3所述的成熟苹果快速识别定位方法，其特征在于，所述使用轻量化网络ghostnet替换骨干网络中的cspdarknet53，包括：将ghostconv和ghostbottleneck的程序复制到models文件夹下面的common.py文件中；在yolo.py文件中，将ghostconv、ghostbottleneck和c3ghost添加到注册表中，增加判断条件；修改yaml文件，将除了0层以外所有的c3模块替换为c3ghost，使用ghostconv替换了所有的conv。5.根据权利要求4所述的成熟苹果快速识别定位方法，其特征在于，所述将ghostnet中的se注意力模块替换为cbam注意力模块，包括：将cbam注意力机制的程序复制到models文件夹下面的common.py文件中；在yolo.py文件中，将cbam layer添加到注册表中，增加判断条件；修改yaml文件，将cbam模块添加到backbone最后一层，并修改detect的form系数。6.根据权利要求5所述的成熟苹果快速识别定位方法，其特征在于，所述对网络进行通道剪枝，包括：将通道缩放因子γ与卷积层中的每个通道相关联，在训练期间对γ施加稀疏正则化，来自动识别不重要的通道；对稀疏正则化训练后的网络进行修剪，具有较小γ值的通道将被修剪掉，修剪后获得紧凑模型；对修剪后的模型进行微调来将精度损失最小化，获得精确的紧凑模型。7.根据权利要求1所述的成熟苹果快速识别定位方法，其特征在于，还包括使用增强后数据集来训练改进后的轻量化网络，包括：首先从输入端输入图像后，利用主干特征提取网络进行特征提取；然后将提取到的有效特征层进行特征融合，yolohead对特征点进行判断，判断特征点是否有物体与之对应，输出分类与回归结果。
8.根据权利要求1所述的成熟苹果快速识别定位方法，其特征在于，所述利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息，包括：将二维彩色图像导入改进后的轻量化网络中，检测到苹果目标的二维像素坐标；将深度相机测量到的深度信息与目标果实的二维像素坐标进行深度对齐，得到苹果中心点处的三维坐标信息。9.一种成熟苹果快速识别定位系统，其特征在于，所述系统包括：数据处理模块，用于对获取的不同成熟度的苹果图像数据集进行标注确定出成熟和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分；模型轻量化模块，用于将yolov5s神经网络进行轻量化改进；第一获取模块，用于将划分好的数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；第二获取模块，用于利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。10.一种苹果采摘设备，其特征在于，包括：处理器；存储器；以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述苹果采摘设备执行权利要求1至8中任意一项所述的方法，实现对成熟苹果的识别定位。

技术总结
本申请公开了一种成熟苹果快速识别定位方法、系统及苹果采摘设备,对获取的不同成熟度的苹果图像数据集进行标注确定出不同类型果实的位置，并将标注好的数据集进行数据增强和数据集的划分；将网络进行轻量化改进；将数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；利用深度相机获取苹果图像的深度信息，并将苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。通过图像数据集的标注确定出了图像中成熟苹果，然后将标注的数据集输入到轻量化网络中训练得到了目标苹果的二维坐标，最后结合苹果图像的深度信息获得了目标苹果的三维坐标信息。实现了苹果成熟度的判断、苹果快速识别与快速定位。果快速识别与快速定位。果快速识别与快速定位。


技术研发人员：王金星 刘艺 刘双喜 刘俊生 闫银发 张宏建 孙经纬 杨化伟
受保护的技术使用者：山东农业大学
技术研发日：2023.06.20
技术公布日：2023/9/7