稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法

1.本发明涉及苹果表面缺陷检测领域的一种苹果缺陷分类方法，尤其是涉及一种稀疏通道个体识别模型与线性邻域增强分类模型相融合的苹果表面缺陷分类方法。


背景技术：

2.苹果的表面缺陷是评价苹果品质和品质分级的重要依据(gb/t 10651-2008鲜苹果)，与依赖基于果农和专家经验等耗时耗力的人工识别方法相比，采用机器视觉技术通过深度学习目标检测方法检测苹果表面的缺陷，具有快速、准确、无损等优势，具有重要的实际应用价值。
3.利用基于彩色图像的机器视觉系统识别苹果表面缺陷的常见方法主要有：fan等(2010)(fan s,li j,zhang y,et al.on line detection of defective apples using computer vision system combined with deep learning methods[j].journal of food engineering,2020,286:110102.)利用多阈值方法分割苹果图像并通过果梗与花萼的位置关系及感兴趣区域的数量判断苹果是否存在缺陷；xin等(2021)(xin y,ma s,wei y,et al.detection of apple surface defect based on yolov3[c]//.2021asabe annual international virtual meeting,2021:1.)利用yolov3识别苹果表面缺陷位置；wang等(2022)(wang z,jin l,wang s,et al.apple stem/calyx real-time recognition using yolo-v5 algorithm for fruit automatic loading system[j].postharvest biology and technology,2022,185:111808.)基于改进的yolov5目标检测算法进行苹果的果梗与花萼识别。有缺陷的苹果不仅会从品质的角度影响产品价值，存在腐烂等重大缺陷的苹果还会进一步使周围正常果被感染，造成更严重的损失。不同种类的缺陷会对苹果的价值造成不同影响，因此准确的识别出苹果缺陷类别具有重要意义。
[0004]
同时在加工分选环节中，为保证苹果的多个表面的缺陷都能被完整检测，苹果的图像需要在不同的工作位置多次采样，而拍摄采样的位置因为机器运行速度不稳定、果体旋转、果体滚动等原因易造成采样位置的不确定。近年来，有学者利用目标检测算法在图像中定位并识别出多个水果，并给出它们的位置和类别信息：zhang等(2022)(zhang x,xun y,chen y.automated identification of citrus diseases in orchards using deep learning[j].biosystems engineering,2022,223:249-258.)基于目标检测和sort算法追踪算法的对正常柑橘和损伤柑橘的进行定位与识别。
[0005]
基于机器视觉系统的苹果表面缺陷识别方法取得了一定的进展，但对苹果表面缺陷分类过于粗略，另外，现有的深度学习模型且需要消耗大量的计算资源等。


技术实现要素：

[0006]
为了解决背景技术中的需求和问题，本发明提出了一种稀疏通道个体识别模型与线性邻域增强分类模型相融合的苹果表面缺陷分类方法，包括苹果单果定位和表面缺陷检测两个处理模块，分别实现苹果图像分割和表面缺陷的快速检测，苹果个体识别速度快，并
能实现苹果的腐烂、机械损伤、果锈裂纹、皱缩软化、挤压瘀伤、其他损伤等多种类型缺陷的分类。
[0007]
本发明采取的技术方案如下：
[0008]
步骤1：根据苹果单果检测数据集训练稀疏通道个体识别模型，获得训练好的稀疏通道个体识别模型，训练好的稀疏通道个体识别模型输出对应的苹果单果表面缺陷检测原始数据集；
[0009]
步骤2：根据苹果单果检测数据集对应的苹果语义分割数据集训练基于语义分割的单果光照矫正模型，获得训练好的基于语义分割的单果光照矫正模型，具体地，基于语义分割的单果光照矫正模型由fastunet语义分割以及自适应快速光照矫正组成，其中fastunet模型的训练集是苹果语义分割数据集，其中自适应快速光照矫正使用fastunet生成的蒙版图像限制矫正区域，对矫正区域使用基于最小二次项回归方法构建光场完成光照矫正。将苹果单果表面缺陷检测原始数据集输入训练好的基于语义分割的单果光照矫正模型后，训练好的基于语义分割的单果光照矫正模型输出苹果单果表面缺陷检测光照矫正数据集；
[0010]
步骤3：由苹果单果表面缺陷检测原始数据集和苹果单果表面缺陷检测光照矫正数据集构成苹果单果表面缺陷检测增强数据集，根据苹果单果表面缺陷检测增强数据集训练线性邻域增强苹果缺陷分类模型，获得训练好的线性邻域增强苹果缺陷分类模型；
[0011]
步骤4：将待预测的多果图像输入到训练好的稀疏通道个体识别模型中，输出当前多果图像中各个苹果对应的单果图像；
[0012]
步骤5：将多果图像对应的多张单果图像均输入到训练好的线性邻域增强苹果缺陷分类模型，预测获得各张单果图像对应的缺陷以及定位框。
[0013]
对所述苹果单果检测数据集进行数据扩增，获得扩增后的苹果单果检测数据集，由苹果单果检测数据集和扩增后的苹果单果检测数据集组成最终的苹果单果检测数据集，对于苹果单果检测数据集中的每张多果图像m，对当前多果图像m分别进行旋转、水平翻转、竖直翻转、剪切、缩放、位移、颜色通道调整和透明度调整，获得八张第一增强图像e，从八张第一增强图像e中随机选择四张分别进行mosaic数据增强处理，获得四张第一二次增强图像p1，由多个多果图像m及其对应的八张第一增强图像e、四张第一二次增强图像p1组成苹果单果检测数据集。
[0014]
对所述苹果语义分割数据集进行数据扩增，获得扩增后的苹果语义分割数据集并作为最终的苹果语义分割数据集，对于苹果语义分割数据集中的每张苹果语义分割图，对苹果语义分割图分别缩放、水平翻转、竖直翻转、剪切，获得四张增强后的苹果语义分割图，由各张苹果语义分割图对应的四张增强后的苹果语义分割图组成苹果语义分割数据集；
[0015]
对所述苹果单果表面缺陷检测增强数据集进行数据扩增，获得扩增后的苹果单果表面缺陷检测增强数据集并作为最终的苹果单果表面缺陷检测增强数据集，对于苹果单果表面缺陷检测增强数据集中的每张单果缺陷分类图像a4和对应光照矫正图像ma4，对每张单果缺陷分类图像a4和对应光照矫正图像ma4分别进行旋转、水平翻转、竖直翻转、剪切、缩放、位移、颜色通道调整、透明度调整，获得当前单果缺陷分类图像a4和对应光照矫正图像ma4对应的8张第二增强图像，从当前单果缺陷分类图像a4对应的8张第二增强图像中随机选择4张分别进行mosaic数据增强处理，获得对应的四张第二二次增强图像p2，由各张单果
缺陷分类图像a4、各张光照矫正图像ma4对应的8张第二增强图像、四张第二二次增强图像p2组成最终的苹果单果表面缺陷检测增强数据集。
[0016]
所述步骤1中的稀疏通道个体识别模型由个体识别主干网络和个体识别检测网络相连组成，个体识别主干网络包括2个卷积模块、3个池化层和4个稀疏结构elan残差块，个体识别检测网络包括空间金字塔池化跨阶段局部连接模块、9个卷积模块、4个稀疏结构elan残差块和2个上采样层；
[0017]
第一卷积模块、第二卷积模块、第一稀疏结构elan残差块、第一池化层、第二稀疏结构elan残差块、第二池化层、第三稀疏结构elan残差块、第三池化层和第四稀疏结构elan残差块依次相连，第二稀疏结构elan残差块与个体识别检测网络中的第六卷积模块相连，第三稀疏结构elan残差块与个体识别检测网络中的第四卷积模块相连，第四稀疏结构elan残差块与个体识别检测网络中的空间金字塔池化跨阶段局部连接模块相连；
[0018]
空间金字塔池化跨阶段局部连接模块经第三卷积模块后与第一上采样层相连，第一上采样层的输出与第四卷积模块的输出串连后输入到第五稀疏结构elan残差块中，第五稀疏结构elan残差块经第五卷积模块后与第二上采样层相连，第二上采样层的输出与第六卷积模块的输出串连后输入到第六稀疏结构elan残差块中，第六稀疏结构elan残差块与第七卷积模块相连，对第七卷积模块的输出进行目标检测后获得第三检测结果；
[0019]
第六稀疏结构elan残差块还与第八卷积模块相连，第八卷积模块的输出与第五稀疏结构elan残差块的输出串连后输入到第七稀疏结构elan残差块中，第七稀疏结构elan残差块与第九卷积模块相连，对第九卷积模块的输出进行目标检测后获得第二检测结果；
[0020]
第七稀疏结构elan残差块还与第十卷积模块相连，第十卷积模块的输出与空间金字塔池化跨阶段局部连接模块的输出串连后输入到第八稀疏结构elan残差块中，第八稀疏结构elan残差块与第十一卷积模块相连，对第十一卷积模块的输出进行目标检测后获得第一检测结果；根据第一-第三检测结果中的置信度确定个体识别检测网络的输出。
[0021]
所述步骤2中的线性邻域增强苹果缺陷分类模型由苹果缺陷分类主干网络和苹果缺陷分类网络相连组成，将个体识别主干网络中所有的稀疏结构elan残差块替换为扩展elan残差块后，获得苹果缺陷分类主干网络；在个体识别检测网络中第六稀疏结构elan残差块和第七卷积模块之间增加第一空间转深度模块，第七稀疏结构elan残差块和第九卷积模块之间增加第二空间转深度模块，第八稀疏结构elan残差块和第十一卷积模块之间增加第三空间转深度模块，再将个体识别检测网络中所有的稀疏结构elan残差块替换为扩展elan残差块后获得苹果缺陷分类主干网络。
[0022]
所述第一稀疏结构elan残差块-第八稀疏结构elan残差块的结构相同，均包括四个卷积模块，稀疏结构elan残差块的输入作为第十二卷积模块的输入和第十三卷积模块的输入，第十二卷积模块与第十四卷积模块相连，稀疏结构elan残差块的输入、第十二卷积模块的输出、第十三卷积模块的输出和第十四卷积模块的输出进行串连后再输入到第十五卷积模块中，第十五卷积模块的输出作为稀疏结构elan残差块的输出。
[0023]
所述扩展elan残差块包括五个卷积模块，扩展elan残差块的输入作为第十六卷积模块的输入和第十七卷积模块的输入，第十六卷积模块经第十八卷积模块与第十九卷积模块相连，第十六卷积模块的输出、第十七卷积模块的输出、第十八卷积模块的输出和第十九卷积模块的输出进行串连后再输入到第二十卷积模块中，第二十卷积模块的输出作为扩展
elan残差块的输出。
[0024]
所述空间金字塔池化跨阶段局部连接模块包括空间金字塔池化模块和四个卷积模块，空间金字塔池化跨阶段局部连接模块的输入作为第二十一卷积模块的输入和第二十二卷积模块的输入，第二十一卷积模块经空间金字塔池化模块后与第二十三卷积模块相连，第二十三卷积模块的输出与第二十二卷积模块的输出串连后再输入到第二十四卷积模块，第二十四卷积模块的输出作为空间金字塔池化跨阶段局部连接模块的输出。
[0025]
所述第一空间转深度模块-第三空间转深度模块的结构相同，均由空间到深度层和非跨步卷积层相连组成。
[0026]
在多果图像预测过程中，所述稀疏通道个体识别模型和线性邻域增强苹果缺陷分类模型采用模型异步并行运算。具体地，稀疏通道个体识别模型加载于一块gpu/cpu上，剩余gpu/cpu上均加载线性邻域增强苹果缺陷分类模型，稀疏通道个体识别模型与线性邻域增强苹果缺陷分类模型之间异步运算，并通过链表完成图像数据传递，线性邻域增强苹果缺陷分类模型之间并行运算。
[0027]
与现有技术相比，本发明的有益效果如下：
[0028]
1.本发明建立了稀疏通道个体识别模型建立，实现了对包含多个苹果的图像进行苹果单果快速自适应提取，得到每个苹果单果图像在场景中位置信息，并能根据位置信息进行裁剪；
[0029]
2.本发明建立了线性邻域增强苹果缺陷分类模型，得到每幅苹果单果图像上缺陷的类别与位置信息，并自动识别出花萼和果梗并将其区分；
[0030]
3.本发明建立了双模型链式结构异步缺陷分类方法进行多果图像中苹果缺陷分类，根据计算资源对链式结构缓存区待计算任务进行动态规划，实现识别方法在以图片数据流作为输入时的高效平稳运行。
附图说明
[0031]
图1为稀疏通道个体识别模型的网络结构图；
[0032]
图2为线性邻域增强苹果缺陷分类模型的网络结构图；
[0033]
图3为扩展elan残差块的结构示意图；
[0034]
图4为稀疏结构elan残差块的结构示意图；
[0035]
图5为空间转深度模块的结构示意图；
[0036]
图6为单果表面缺陷检测原始数据与单果表面缺陷检测光照矫正数据对比图；
[0037]
图7为双模型链式结构异步缺陷分类方法效果图；
[0038]
图8为双模型链式结构异步缺陷分类方法训练流程图；
[0039]
图9为不同类别缺陷识别的gradcam激活热力图；
[0040]
图10为空间金字塔池化跨阶段局部连接模块的结构示意图；
[0041]
图11为空间金字塔池化模块的结构示意图；
[0042]
图12为卷积模块的结构示意图。
[0043]
图13为本发明方法中模型异步并行运算的逻辑框图。
具体实施方式
[0044]
下面结合附图和实施例对本发明作进一步说明。
[0045]
本发明提出一种苹果单果定位和表面缺陷检测的多模型异步处理方法，在深度学习模型训练阶段包括如下流程，如图8所示：
[0046]
1)搭建一个苹果通用成像系统，保持光源、相机、以及苹果成像区域位置相对固定。在成像区域中放置苹果并采集图像。
[0047]
2)对采集的图像使用labelimg标注苹果单果建立苹果单果检测数据集，所标注信息包括苹果及其所在的位置信息。按3：1：1划分训练集：验证集：测试集。
[0048]
3)首先将苹果单果从完成成像区域中截取出来。使用labelme标注苹果语义分割数据集，所标注信息为苹果的前景及背景；使用labelimg标注苹果单果缺陷检测原始数据集，所标注信息包括腐烂、机械损伤、果锈裂纹、皱缩软化、挤压瘀伤、其他损伤、果梗、花萼等内容的类别与所在位置。
[0049]
4)使用苹果单果检测数据集，对数据集进行旋转、翻转、剪切、缩放、位移、颜色通道调整、透明度调整等数据增强后，再使用mosaic数据增强，使用如下超参数训练稀疏通道个体识别模型(sparse channel apple detection，scadet)。
[0050]
表1为scadet网络的初始化参数表
[0051][0052]
5)使用苹果语义分割数据集，对数据集进行缩放、水平翻转、竖直翻转、剪切四种数据增强算法进行增强，训练fastunet分割模型。
[0053]
将苹果单果表面缺陷检测原始数据集输入fastunet分割模型分割前景，对前景图使用自适应光照矫正算法矫正光照强度，生成苹果单果表面缺陷检测光照矫正数据集。将苹果单果表面缺陷检测光照矫正数据集与苹果单果表面缺陷检测原始数据集合并生成苹果单果表面缺陷检测增强数据集。
[0054]
使用苹果单果表面缺陷检测增强数据集，对数据集进行旋转、翻转、剪切、缩放、位移、颜色通道调整、透明度调整等数据增强后，再使用mosaic数据增强，训练线性邻域增强苹果缺陷分类模型(neighborhood fusion apple defect detection，nfaddet)。
[0055]
6)在预测过程中，不需要执行果体的语义分割以及光照矫正。将待预测的多果图像输入到训练好的稀疏通道个体识别模型中，输出当前多果图像中各个苹果对应的单果图像；
[0056]
7)将多果图像对应的多张单果图像均输入到训练好的线性邻域增强苹果缺陷分类模型，预测获得各张单果图像对应的缺陷以及定位框。
[0057]
如图13所示，将训练好的scadet与nfaddet模型以多算法异步运算方案设计的内容进行部署。将需要进行检测的完整场景图像逐帧输入苹果表面缺陷识别系统中，获取每个苹果在场景中的位置，以及该苹果表面的缺陷种类与位置。所述多算法异步运算方案用于解决考虑到苹果数量在输入数据流中不均匀的问题。该情况容易导致在苹果数量较多时，单果表面缺陷快速检测算法难以及时实时处理，而在苹果数量较少时单果表面缺陷快速检测算法又会暂时空置没有运算任务的情况。本发明采取一个链表结构先进先出的全局双端队列来储存缓存苹果单果表面缺陷图像。当完整场景图片被完整成像区域单果快速提
取算法识别出的一系列苹果单果图像后，以识别对象通道运行方向坐标轴的大小顺序排列，并从队列的末端开始逐张输入单果表面缺陷快速检测算法，并输出每一个苹果的缺陷信息。下一幅完整场景图片在完整成像区域单果快速提取算法识别后将筛选出的苹果单果图片继续输入队列末端，等待处理完队列前端的图片再做进一步的处理，最终完成数据流中所有苹果单果的表面缺陷检测。
[0058]
如图1所示，稀疏通道个体识别模型由个体识别主干网络和个体识别检测网络相连组成，个体识别主干网络包括2个卷积模块、3个池化层和4个稀疏结构elan残差块，个体识别检测网络包括空间金字塔池化跨阶段局部连接模块、9个卷积模块、4个稀疏结构elan残差块和2个上采样层；
[0059]
第一卷积模块、第二卷积模块、第一稀疏结构elan残差块、第一池化层、第二稀疏结构elan残差块、第二池化层、第三稀疏结构elan残差块、第三池化层和第四稀疏结构elan残差块依次相连，第二稀疏结构elan残差块与个体识别检测网络中的第六卷积模块相连，第三稀疏结构elan残差块与个体识别检测网络中的第四卷积模块相连，第四稀疏结构elan残差块与个体识别检测网络中的空间金字塔池化跨阶段局部连接模块相连；
[0060]
具体地：
[0061]
第一卷积模块的输入是3x640x640的图片，输出是8x320x320的特征图，使用了3x3的卷积核和2的步长；第二卷积模块对上一层的输出进行3x3的卷积操作，输出是16x160x160的特征图，使用了2的步长；第一稀疏结构elan残差块将内部通道数c
elan
设置为16，输出是16x160x160的特征图；第一池化层对上一层的输出进行2x2的最大池化操作，输出是16x80x80的特征图；第二稀疏结构elan残差块将内部通道数c
elan
设置为32，输出是32x80x80的特征图；第二池化层对上一层的输出进行2x2的最大池化操作，输出是32x40x40的特征图；第三稀疏结构elan残差块将内部通道数c-elan设置为64，输出是64x40x40的特征图；第三池化层对上一层的输出进行2x2的最大池化操作，输出是64x20x20的特征图；第四稀疏结构elan残差块将内部通道数c-elan设置为128，输出是128x20x20的特征图。
[0062]
空间金字塔池化跨阶段局部连接模块经第三卷积模块后与第一上采样层相连，第一上采样层的输出与第四卷积模块的输出串连后输入到第五稀疏结构elan残差块中，第五稀疏结构elan残差块经第五卷积模块后与第二上采样层相连，第二上采样层的输出与第六卷积模块的输出串连后输入到第六稀疏结构elan残差块中，第六稀疏结构elan残差块与第七卷积模块相连，对第七卷积模块的输出进行目标检测后获得第三检测结果；
[0063]
第六稀疏结构elan残差块还与第八卷积模块相连，第八卷积模块的输出与第五稀疏结构elan残差块的输出串连后输入到第七稀疏结构elan残差块中，第七稀疏结构elan残差块与第九卷积模块相连，对第九卷积模块的输出进行目标检测后获得第二检测结果；
[0064]
第七稀疏结构elan残差块还与第十卷积模块相连，第十卷积模块的输出与空间金字塔池化跨阶段局部连接模块的输出串连后输入到第八稀疏结构elan残差块中，第八稀疏结构elan残差块与第十一卷积模块相连，对第十一卷积模块的输出进行目标检测后获得第一检测结果；根据第一-第三检测结果中的置信度确定个体识别检测网络的输出。具体实施中，第三检测结果中特征图的大小是32x80x80，第二检测结果中特征图的大小是32x40x40，第一检测结果中特征图的大小是128x20x20，将第一-第三检测结果中置信度最大的检测结果作为多果图像中每一区域的输出并作为一张单果图像。
[0065]
如图2所示，线性邻域增强苹果缺陷分类模型由苹果缺陷分类主干网络和苹果缺陷分类网络相连组成，将个体识别主干网络中所有的稀疏结构elan残差块替换为扩展elan残差块后获得苹果缺陷分类主干网络，将网络卷积核数量增加至个体识别主干网络的四倍；在个体识别检测网络中第六稀疏结构elan残差块和第七卷积模块之间增加第一空间转深度模块，即第六稀疏结构elan残差块经第一空间转深度模块后与第七卷积模块相连，第七稀疏结构elan残差块和第九卷积模块之间增加第二空间转深度模块，即第七稀疏结构elan残差块经第二空间转深度模块后与第九卷积模块相连，第八稀疏结构elan残差块和第十一卷积模块之间增加第三空间转深度模块，即第八稀疏结构elan残差块经第三空间转深度模块后与第十一卷积模块相连，再将个体识别检测网络中所有的稀疏结构elan残差块替换为扩展elan残差块后获得苹果缺陷分类主干网络。具体实施中，将第一-第三检测结果中置信度最大的检测结果作为每张单果图像的输出结果。
[0066]
线性邻域增强苹果缺陷分类模型中，首先，对第一个512x10x10的特征图进行重参数化操作，将通道数减半并增加残差连接，然后通过spd线性邻域融合加非跨步卷积模块输出512x5x5的特征图，最后用一个1x1卷积层输出锚框数*(类别数+5)个值；其次，对第二个特征图进行重参数化操作，并上采样到128x20x20的大小，与第三个特征图在通道维度上拼接起来。再次进行重参数化操作，然后通过spd线性邻域融合加非跨步卷积模块输出256x10x10的特征图，并用一个1x1卷积层输出锚框数*(类别数+5)个值；最后，对第三个特征图进行重参数化操作，并上采样到64x40x40的大小，与前面两个特征图在通道维度上拼接起来。最后一次进行重参数化操作，然后通过spd线性邻域融合加非跨步卷积模块输出128x20x20的特征图，并用一个1x1卷积层输出锚框数*(类别数+5)个值。
[0067]
具体地：
[0068]
第一个卷积层的输入是3x320x320的图片，输出是32x160x160的特征图，使用了3x3的卷积核和2的步长；第二个卷积层对上一层的输出进行3x3的卷积操作，输出是64x80x80的特征图，使用了2的步长；第一个扩展elan残差块将内部通道数c
elan
设置为32，输出是64x80x80的特征图；第一个池化对上一层的输出进行2x2的最大池化操作，输出是64x40x40的特征图；第二个扩展elan残差块将内部通道数c
elan
设置为64，输出是128x40x40的特征图；第二个池化对上一层的输出进行2x2的最大池化操作，输出是128x20x20的特征图；第三个扩展elan残差块将内部通道数c
elan
设置为128，输出是256x20x20的特征图；第三个池化对上一层的输出进行2x2的最大池化操作，输出是256x10x10的特征图；第四个扩展elan残差块将内部通道数c
elan
设置为256，输出是512x10x10的特征图。
[0069]
如图4所示，第一稀疏结构elan残差块-第八稀疏结构elan残差块的结构相同，均包括四个卷积模块，稀疏结构elan残差块的输入作为第十二卷积模块的输入和第十三卷积模块的输入，第十二卷积模块与第十四卷积模块相连，稀疏结构elan残差块的输入、第十二卷积模块的输出、第十三卷积模块的输出和第十四卷积模块的输出进行串连后再输入到第十五卷积模块中，第十五卷积模块的输出作为稀疏结构elan残差块的输出。
[0070]
稀疏结构elan残差块中，第一个卷积层对输入的特征图进行1x1的卷积操作，输出是c
elan
xwxh的特征图，使用了1的步长；第二个卷积层对输入的特征图进行1x1的卷积操作，输出是c
elan
xwxh的特征图，使用了1的步长；第三个卷积层对上一层的输出进行3x3的卷积操作，输出是c
elan
xwxh的特征图，使用了1的步长；第四个卷积层对上一层的输出进行3x3的
卷积操作，输出是c
rlan
xwxh的特征图，使用了1的步长；输出层对上一层、第三个卷积层输出、第二个卷积层输出、第一个卷积层输出之间相加后得到(4xc
rlan
)xwxh的特征图，并对其进行1x 1的卷积操作，输出是(2xc
elan
)xwxh的特征图，这里相当于构成了一个残差块，使用了1的步长。
[0071]
如图3所示，第一扩展elan残差块-第八扩展elan残差块的结构相同，均包括五个卷积模块，扩展elan残差块的输入作为第十六卷积模块的输入和第十七卷积模块的输入，第十六卷积模块经第十八卷积模块与第十九卷积模块相连，第十六卷积模块的输出、第十七卷积模块的输出、第十八卷积模块的输出和第十九卷积模块的输出进行串连后再输入到第二十卷积模块中，第二十卷积模块的输出作为扩展elan残差块的输出。
[0072]
如图10所示，空间金字塔池化跨阶段局部连接模块包括空间金字塔池化模块和四个卷积模块，空间金字塔池化跨阶段局部连接模块的输入作为第二十一卷积模块的输入和第二十二卷积模块的输入，第二十一卷积模块经空间金字塔池化模块后与第二十三卷积模块相连，第二十三卷积模块的输出与第二十二卷积模块的输出串连后再输入到第二十四卷积模块，第二十四卷积模块的输出作为空间金字塔池化跨阶段局部连接模块的输出。
[0073]
如图11所示，空间金字塔池化模块包括三个池化层，空间金字塔池化模块的输入分别作为第四-第六池化层的输入，第四-第六池化层的输出与空间金字塔池化模块的输入串连后再作为空间金字塔池化模块的输出。
[0074]
如图5所示，第一空间转深度模块-第三空间转深度模块的结构相同，均由空间到深度(spd)层和非跨步卷积层相连组成。其中，空间到深度层将大小为s
×s×
c的中间特征图中每个2
×2×
c子特征拆分成4
×1×1×
c后再重组切片为最后串连成从而完成下采样。而非跨步卷积层操作中的步长等于1，其余操作与卷积层相同。
[0075]
如图12所示，第一卷积模块-第二十四卷积模块的结构相同，均由第一卷积层、第一批量归一化层与第一激活层依次相连组成。
[0076]
具体实施中，采集包含多个苹果的图像，将其分辨率缩放至640
×
640像素，命名为多果图像m；在原始图像m中用矩形框r标注各个苹果，得到苹果个体标注图像a1。
[0077]
对原始图像m进行旋转、水平翻转、竖直翻转、剪切、缩放、位移、颜色通道调整、透明度调整等8种数据增强，得到增强图像e。从增强图像e选择4张图片进行mosaic数据增强处理，得到二次增强图像p1。由原始图像和其对应的增强图像e、二次增强图像p1构建苹果个体识别训练图像集。
[0078]
将多幅多果图像m及其对应的苹果个体标注图像a1分别作为稀疏通道个体识别模型的输入参数和输出参数，对稀疏通道个体识别模型进行训练，得到稀疏通道个体识别模型。
[0079]
稀疏通道个体识别模型的训练超参数包括图片分辨率为640
×
640像素，批处理大小为8，动量因子0.937，初始学习率0.001，权值衰减系数0.0005，训练迭代轮次300次。
[0080]
将苹果个体标注图像a1中各个矩形框r所标注的图像区域进行裁剪，得到仅包含1个苹果的苹果图像a2，将苹果图像a2缩放至320
×
320，得到多幅单果图像a3。在单果图像a3
标注各类缺陷、花萼和果梗，得到单果缺陷分类标注图像a4。
[0081]
对单果缺陷分类标注图像a4使用了fastunet分割与自适应光照矫正相结合的方法得到光照矫正图像ma4。将图像a4与ma4分别进行旋转、水平翻转、竖直翻转、剪切、缩放、位移、颜色通道调整、透明度调整等8种数据增强，得到增强图像ea4和ema4。从增强图像ea4和ema4中随机选择4张图片进行mosaic数据增强处理，得到二次增强图像p2。由单果缺陷分类标注图像a4和其对应的增强图像ea4和ema4、二次增强图像p2构建苹果缺陷分类训练图像集。
[0082]
单果图像a3及其对应的单果缺陷分类标注图像a4分别作为线性邻域增强苹果缺陷分类模型的输入参数和输出参数，对线性邻域增强苹果缺陷分类模型进行训练，得到线性邻域增强苹果缺陷分类模型。
[0083]
线性邻域增强苹果缺陷分类模型的训练超参数包括图片分辨率为640
×
640像素，批处理大小为8，动量因子0.937，初始学习率0.001，权值衰减系数0.0005，训练迭代轮次300次。
[0084]
预测时，采集的多果图像的分辨率缩放至640
×
640像素，获得的单果图像缩放至320
×
320，单果图像为仅包含1个苹果的苹果图像。用链表连接多幅单果图像a7，链表长度为l；在预测时进行计算资源检测，可用gpu数量为n，时，若gpu数量n大于等于2，则在一块gpu上加载稀疏通道个体识别模型，在其余n-1个gpu上并行线性邻域增强苹果缺陷分类模型。将链表连接的多幅单果图像a7依次输入线性邻域增强苹果缺陷分类模型，每个gpu上的线性邻域增强苹果缺陷分类模型处理幅图像，得到各幅单果图像a7对应的单果缺陷分类标注图像a8，如图7所示。
[0085]
以下结合具体测试实验和数据，对本发明进行说明。
[0086]
实验所用计算机如表1：
[0087]
表1为计算机设备参数表
[0088][0089]
首先按照本发明所述方法对陕西红富士、黄元帅、大凉山野苹果、阿克苏红富士苹果各30个，以及存在冻伤、人为损伤、干疤、鸡爪纹、苦痘病、软纹病的缺陷红富士苹果各50各，共420个。其中每个苹果拍摄其果梗正视、花萼正视、侧视、果梗斜视、花萼斜视放置5种姿态，实验共采集图像2100张，其中缺陷果图像1500张，健康果图像600张。
[0090]
在苹果单果检测数据集中，2100张图像按照3：1：1分为1260张训练集图像，420张验证集图像，420张测试集集图像。旋转、翻转、剪切、缩放、位移、颜色通道调整、透明度调整等数据增强方法在mosaic数据增强前集扩增8倍，因此增强后训练集为10080张图像，增强数据的泛化能力。
[0091]
使用该数据集训练集以及如表2所示的超参数训练完整成像区域单果快速提取算法scadet，在训练过程中使用验证集验证并对模型进行优选，最终使用测试集图像评价模
型效果。
[0092]
本发明所使用的模型在与主流深度学习模型的横向比较如表3所示,发明使用均值平均精度(mean average precision，map)作为评价模型检测性能的标注，其计算公式如下。
[0093][0094][0095][0096][0097]
其中，precision表示识别精度。tp代表模型判定为正样本，事实上也是正样本，这意味着该模型预测在某个位置是苹果，而该位置确实是苹果。fp代表模型判定为正样本，但事实上是负样本，意味着该模型预测在某个位置是苹果，而该位置并没有苹果。fn代表模型判定为负样本，但事实上是正样本，意味将背景错误的识别成了苹果。recall表示识别召回率，ap表示平均精度，map表示均值平均精度，api表示第i类的平均精度，n表示着识别的类别数量。
[0098]
根据本项目的生产应用场景和部署要求，模型需要进行轻量化的设计。为评估模型的结构大小和速度，使用了以下度量：浮点运算(floating point operations，flops)、参数和每帧图像处理时间。浮点运算是指浮点运算的数量，用于衡量算法的复杂性。
[0099]
表2为scadet网络的初始化参数表
[0100][0101]
表3为各模型苹完整成像区域单果快速提取效果表
[0102][0103][0104]
所得的训练结果如表3所示，scadet模型在识别苹果单果的map在测试集上为100％，同时本模型在gpu与cpu上进行推理均取得了较好的轻量化效果，推理时间分别为9.39ms，29.71ms，模型的参数数量与所需运算数量比主流模型低一个数量级。该方法适应陕西红富士、黄元帅、大凉山野苹果、阿克苏等不同品种，也适应表面存在冻伤、人为损伤、干疤、鸡爪纹、苦痘病、软纹病等不同缺陷苹果的单果识别定位，具有较好的泛化性能。
[0105]
首先将苹果单果从完成成像区域中截取出来。使用labelme标注苹果语义分割数据集，所标注信息为苹果的前景及背景。苹果语义分割数据集共1000张图像，其中训练集600张，验证集200张，测试集200张，对训练集进行缩放、水平翻转、竖直翻转、剪切四种数据
增强算法进行增强，训练fastunet分割模型，在训练过程中使用验证集进行评价，最后优选出模型在测试集上进行性能测试，分割平均交并比为97.9％，在cpu上的完成分割耗时13.9ms。
[0106]
同样，将苹果单果从完成成像区域中截取出来后，选取存在表面缺陷的图像1576张，使用labelimg标注苹果单果缺陷检测原始数据集，所标注信息包括腐烂、机械损伤、果锈裂纹、皱缩软化、挤压瘀伤、其他损伤、果梗、花萼等内容的类别与所在位置。
[0107]
将苹果单果表面缺陷检测原始数据集输入fastunet分割模型分割前景，对前景图使用自适应光照矫正算法矫正光照强度，生成苹果单果表面缺陷检测光照矫正数据集，效果如图6所示，图6的(a)为单果表面缺陷检测原始图像，图6的(b)为单果表面缺陷检测光照矫正图像。将苹果单果表面缺陷检测光照矫正数据集与苹果单果表面缺陷检测原始数据集合并生成苹果单果表面缺陷检测增强数据集。苹果单果表面缺陷检测增强数据集大小为3152张图像。
[0108]
3152张图像按照3：1：1分为1892张训练集图像，630张验证集图像，630张测试集集图像。旋转、翻转、剪切、缩放、位移、颜色通道调整、透明度调整等数据增强方法在mosaic数据增强前集扩增8倍，因此增强后训练集为15136张图像，增强数据的泛化能力。
[0109]
使用该数据集训练集以及如表4所示的超参数训练完整成像区域单果快速提取算法nfaddet，在训练过程中使用验证集验证并对模型进行优选，最终使用测试集图像评价模型效果，并与主流的轻量化识别模型yolov7-tiny进行对比。
[0110]
表4为nfaddet网络训练初始化参数表
[0111][0112]
表5为nfaddet与yolov7-tiny性能对比表
[0113][0114]
表6为各模型苹果单果表面缺陷识别轻量化效果表
[0115][0116]
所得的训练结果如表6、表7所示，nfaddet模型在识别苹果单果的map在测试集上为0.771，除了花萼低于对比模型0.2％，其余种类缺陷及果梗的识别均提升明显，同时本模型在gpu与cpu上进行推理保证了较好的轻量化效果，推理时间分别为11.44ms，43.70ms，模型的参数数量因为spd模块的存在比主流模型略多，但模型所需的浮点运算数少于对比模型。该方法适应苹果表面各类缺陷及果梗/花萼的定位与分类，能准确的识别苹果表面的腐烂、果锈裂纹、挤压瘀伤，果梗/花萼，以及明显的机械损伤与皱缩软化和一些非正常的其他损伤，使用gradcam类激活观察本发明对表面缺陷的识别关注区域与识别效果，如图9所示。
深度学习算法nfaddet在识别时已有效识别出缺陷所在区域与特征，因此本发明提出的nfaddet模型在苹果表面缺陷检测中具有较好的泛化性能。
[0117]
在理论计算中，假设计算机有n个gpu卡(n≥2)，输入图像中包含的苹果后，此时链表结构全局双端队列长度为l。scadet模型加载在单独的gpu上，剩余n-1个gpu中各加载一个nfaddet。
[0118]
当此单张图像图像输入模型后，scadet模型运算耗时9.39ms，nfaddet模型运算耗时图片从输入模型到全部苹果表面缺陷检测耗时
[0119]
假设输入图像中包含9个苹果，当计算机有2块gpu卡时，总耗时112.35ms；当计算机有4块gpu卡时，总耗时43.71ms；当计算机有6块gpu卡时，总耗时32.29ms；当计算机有10块gpu时，总耗时20.83ms。
[0120]
在实际运算中，将处理，使用一组200幅高通量匀光成像系统采集的图片作为训练好的scadet与nfaddet模型的输入，部分图像中不存在苹果，平均苹果数量为8.3个。对输入数据流进行处理，模型方案在装载有一块nvidia rtx 3060gpu卡的pc机上的性能最好，模型异步运算每秒处理苹果87个，模型顺序运算每秒处理苹果72个，异步运算比顺序运算效率高20.8％。模型在无gpu卡的pc机上直接使用cpu的处理性能如下，模型异步运算每秒处理苹果26个，模型顺序运算每秒处理苹果24个，异步运算比顺序运算效率高8.3％。
[0121]
以处理效率最高的装载有nvidia rtx 3060gpu的pc机多模型异步运算处理苹果为例，假设识别一个苹果需要4个不同的面检测缺陷，则该设备可以每秒完成21.75个苹果的分选工作，一小时可处理78300个苹果。充分说明了本发明在实际应用中对苹果表面缺陷进行实时检测的价值。
[0122]
最后所应说明的是，以上实施例和阐述仅用以说明本发明的技术方案而非进行限制。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，不脱离本发明技术方案公开的精神和范围的，其均应涵盖在本发明的权利要求保护范围之中。

技术特征：
1.一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，包括以下步骤：步骤1：根据苹果单果检测数据集训练稀疏通道个体识别模型，获得训练好的稀疏通道个体识别模型，训练好的稀疏通道个体识别模型输出对应的苹果单果表面缺陷检测原始数据集；步骤2：根据苹果单果检测数据集对应的苹果语义分割数据集训练基于语义分割的单果光照矫正模型，获得训练好的基于语义分割的单果光照矫正模型，将苹果单果表面缺陷检测原始数据集输入训练好的基于语义分割的单果光照矫正模型后，训练好的基于语义分割的单果光照矫正模型输出苹果单果表面缺陷检测光照矫正数据集；步骤3：由苹果单果表面缺陷检测原始数据集和苹果单果表面缺陷检测光照矫正数据集构成苹果单果表面缺陷检测增强数据集，根据苹果单果表面缺陷检测增强数据集训练线性邻域增强苹果缺陷分类模型，获得训练好的线性邻域增强苹果缺陷分类模型；步骤4：将待预测的多果图像输入到训练好的稀疏通道个体识别模型中，输出当前多果图像中各个苹果对应的单果图像；步骤5：将多果图像对应的多张单果图像均输入到训练好的线性邻域增强苹果缺陷分类模型，预测获得各张单果图像对应的缺陷以及定位框。2.根据权利要求1所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，对所述苹果单果检测数据集进行数据扩增，获得扩增后的苹果单果检测数据集，由苹果单果检测数据集和扩增后的苹果单果检测数据集组成最终的苹果单果检测数据集，对于苹果单果检测数据集中的每张多果图像m，对当前多果图像m分别进行旋转、水平翻转、竖直翻转、剪切、缩放、位移、颜色通道调整和透明度调整，获得八张第一增强图像e，从八张第一增强图像e中随机选择四张分别进行mosaic数据增强处理，获得四张第一二次增强图像p1，由多个多果图像m及其对应的八张第一增强图像e、四张第一二次增强图像p1组成苹果单果检测数据集。3.根据权利要求1所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，对所述苹果语义分割数据集进行数据扩增，获得扩增后的苹果语义分割数据集并作为最终的苹果语义分割数据集，对于苹果语义分割数据集中的每张苹果语义分割图，对苹果语义分割图分别缩放、水平翻转、竖直翻转、剪切，获得四张增强后的苹果语义分割图，由各张苹果语义分割图对应的四张增强后的苹果语义分割图组成苹果语义分割数据集；对所述苹果单果表面缺陷检测增强数据集进行数据扩增，获得扩增后的苹果单果表面缺陷检测增强数据集并作为最终的苹果单果表面缺陷检测增强数据集，对于苹果单果表面缺陷检测增强数据集中的每张单果缺陷分类图像a4和对应光照矫正图像ma4，对每张单果缺陷分类图像a4和对应光照矫正图像ma4分别进行旋转、水平翻转、竖直翻转、剪切、缩放、位移、颜色通道调整、透明度调整，获得当前单果缺陷分类图像a4和对应光照矫正图像ma4对应的8张第二增强图像，从当前单果缺陷分类图像a4对应的8张第二增强图像中随机选择4张分别进行mosaic数据增强处理，获得对应的四张第二二次增强图像p2，由各张单果缺陷分类图像a4、各张光照矫正图像ma4对应的8张第二增强图像、四张第二二次增强图像p2组成最终的苹果单果表面缺陷检测增强数据集。
4.根据权利要求1所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，所述步骤1中的稀疏通道个体识别模型由个体识别主干网络和个体识别检测网络相连组成，个体识别主干网络包括2个卷积模块、3个池化层和4个稀疏结构elan残差块，个体识别检测网络包括空间金字塔池化跨阶段局部连接模块、9个卷积模块、4个稀疏结构elan残差块和2个上采样层；第一卷积模块、第二卷积模块、第一稀疏结构elan残差块、第一池化层、第二稀疏结构elan残差块、第二池化层、第三稀疏结构elan残差块、第三池化层和第四稀疏结构elan残差块依次相连，第二稀疏结构elan残差块与个体识别检测网络中的第六卷积模块相连，第三稀疏结构elan残差块与个体识别检测网络中的第四卷积模块相连，第四稀疏结构elan残差块与个体识别检测网络中的空间金字塔池化跨阶段局部连接模块相连；空间金字塔池化跨阶段局部连接模块经第三卷积模块后与第一上采样层相连，第一上采样层的输出与第四卷积模块的输出串连后输入到第五稀疏结构elan残差块中，第五稀疏结构elan残差块经第五卷积模块后与第二上采样层相连，第二上采样层的输出与第六卷积模块的输出串连后输入到第六稀疏结构elan残差块中，第六稀疏结构elan残差块与第七卷积模块相连，对第七卷积模块的输出进行目标检测后获得第三检测结果；第六稀疏结构elan残差块还与第八卷积模块相连，第八卷积模块的输出与第五稀疏结构elan残差块的输出串连后输入到第七稀疏结构elan残差块中，第七稀疏结构elan残差块与第九卷积模块相连，对第九卷积模块的输出进行目标检测后获得第二检测结果；第七稀疏结构elan残差块还与第十卷积模块相连，第十卷积模块的输出与空间金字塔池化跨阶段局部连接模块的输出串连后输入到第八稀疏结构elan残差块中，第八稀疏结构elan残差块与第十一卷积模块相连，对第十一卷积模块的输出进行目标检测后获得第一检测结果；根据第一-第三检测结果中的置信度确定个体识别检测网络的输出。5.根据权利要求1所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，所述步骤2中的线性邻域增强苹果缺陷分类模型由苹果缺陷分类主干网络和苹果缺陷分类网络相连组成，将个体识别主干网络中所有的稀疏结构elan残差块替换为扩展elan残差块后，获得苹果缺陷分类主干网络；在个体识别检测网络中第六稀疏结构elan残差块和第七卷积模块之间增加第一空间转深度模块，第七稀疏结构elan残差块和第九卷积模块之间增加第二空间转深度模块，第八稀疏结构elan残差块和第十一卷积模块之间增加第三空间转深度模块，再将个体识别检测网络中所有的稀疏结构elan残差块替换为扩展elan残差块后获得苹果缺陷分类主干网络。6.根据权利要求4所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，所述第一稀疏结构elan残差块-第八稀疏结构elan残差块的结构相同，均包括四个卷积模块，稀疏结构elan残差块的输入作为第十二卷积模块的输入和第十三卷积模块的输入，第十二卷积模块与第十四卷积模块相连，稀疏结构elan残差块的输入、第十二卷积模块的输出、第十三卷积模块的输出和第十四卷积模块的输出进行串连后再输入到第十五卷积模块中，第十五卷积模块的输出作为稀疏结构elan残差块的输出。7.根据权利要求5所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，所述扩展elan残差块包括五个卷积模块，扩展elan残差块的输入作为第十六卷积模块的输入和第十七卷积模块的输入，第十六卷积模块经第十八卷积模块与第十九
卷积模块相连，第十六卷积模块的输出、第十七卷积模块的输出、第十八卷积模块的输出和第十九卷积模块的输出进行串连后再输入到第二十卷积模块中，第二十卷积模块的输出作为扩展elan残差块的输出。8.根据权利要求4所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，所述空间金字塔池化跨阶段局部连接模块包括空间金字塔池化模块和四个卷积模块，空间金字塔池化跨阶段局部连接模块的输入作为第二十一卷积模块的输入和第二十二卷积模块的输入，第二十一卷积模块经空间金字塔池化模块后与第二十三卷积模块相连，第二十三卷积模块的输出与第二十二卷积模块的输出串连后再输入到第二十四卷积模块，第二十四卷积模块的输出作为空间金字塔池化跨阶段局部连接模块的输出。9.根据权利要求5所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，所述第一空间转深度模块-第三空间转深度模块的结构相同，均由空间到深度层和非跨步卷积层相连组成。10.根据权利要求1所述的一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法，其特征在于，在多果图像预测过程中，所述稀疏通道个体识别模型和线性邻域增强苹果缺陷分类模型采用模型异步并行运算。

技术总结
本发明公开了一种稀疏通道识别与邻域增强分类相融合的苹果缺陷分类方法。本发明包括苹果单果定位和表面缺陷检测两个处理模块。本发明通过建立稀疏通道个体识别模型和线性邻域增强苹果缺陷分类模型，实现了对包含多个苹果的图像的单果快速分割和多种类型缺陷的准确分类。本发明采用双模型链式结构异步缺陷分类方法进行多果图像中苹果缺陷分类，提高了识别效率和稳定性。别效率和稳定性。别效率和稳定性。


技术研发人员：饶秀勤 朱逸航 应义斌 徐惠荣 徐涛 许旭锋 高源
受保护的技术使用者：浙江大学
技术研发日：2023.04.03
技术公布日：2023/7/7