基于局部全局协同网络的农产品病害自动识别方法及系统

本发明属于农产品安全检测技术领域，涉及一种农产品病害自动识别方法及系统，具体涉及一种基于高光谱技术及局部全局协同网络的的农产品病害自动识别方法及系统，可以应用于茶叶病害自动识别中。


背景技术：

目前，传统的茶树病害监测方法主要有人工观察法、病原菌检测法、病斑诊断法等。其中，人工观察法是最常用的方法，通过对茶树叶片、果实、枝干等部位的观察，发现茶树病害的病斑、病斑形态、颜色等特征，进行判断和诊断[1]。但是，这种方法需要专业人员进行观测和判断，误差较大，不够准确。病原菌检测法是通过对茶树病害的病原菌进行分离、培养和鉴定，来确定茶树病害的病因和病菌种类[2]。这种方法可以提高监测的准确性和灵敏度，但是需要专业技术和设备支持，成本较高。病斑诊断法是通过对茶树病害的病斑进行形态学、解剖学、组织学等方面的观察和分析，来确定茶树病害的病因和病菌种类[3]。这种方法具有简便、快速、经济的优点，但是需要专业人员进行观察和判断。因此，需要发展更加科学、高效的监测方法来及时发现茶树病害，实现对茶树病害的自动诊断和预警，为茶树的健康生长和高产高质提供有力保障。
[0001]
戴清良,徐焰平,林清强,等.内生炭疽菌在茶树体内的分布及其内生特性[j].林业科学,2008,44(5):84-89.
[0002]
郭灿,高秀兵,何莲,等.茶树病虫害生物防治应用研究进展[j].广东农业科学,2014,41(6):105-109.
[0003]
王志坤,谭万忠,张克诚,等.茶树云纹叶枯病病原鉴定及其生物学特性研究[j].河南农业科学,2008,4:67-70.


技术实现要素：

为了解决现有技术误差较大、成本较高、需要专家经验等问题，本发明提供了一种基于高光谱技术及局部全局协同网络的农产品病害自动识别方法及系统。本发明的方法所采用的技术方案是：一种基于局部全局协同网络的农产品病害自动识别方法，包括以下步骤：步骤1：采集农产品样本高光谱图像，并进行数据预处理；步骤2：将预处理后的高光谱图像输入农产品病害自动识别局部全局协同网络进行农产品病害的自动识别。所述局部全局协同网络包括浅层局部网络分支、深层全局网络分支、上下文感知特征融合模块和分类器；所述浅层局部网络分支，包括串联设置的两个卷积层，第一层和第二层卷积层之前均加入归一化层，之后均加入激活层；所述深层全局网络分支，包括串联设置的四个卷积层以及一个全局注意力机制
层，第一层、第二层为卷积层；第三层为全局注意力机制层；第四层、第五层为卷积层；所述第一层、第二层、第四层、第五层卷积层之前均加入归一化层，之后均加入激活层；所述上下文感知特征融合模块，利用双线性插值将深层全局网络分支输出的特征上采样，使得浅层局部网络分支、深层全局网络分支的特征为同一种尺度，并将两个特征按照通道维度连接起来，再经过一层卷积层得到融合特征；所述分类器设置在所述上下文感知特征融合模块后，包括一个全连接层与一个softmax激活函数，用于在特征提取后，将特征映射到不同类别上，输出每个类别的预测概率。作为优选，步骤1中，所述预处理步骤包括去噪和归一化；使用中值滤波、高斯滤波或小波变换去除高光谱图像中的噪声，并采用线性归一化、最大最小值归一化或z-score归一化方法对高光谱数据进行归一化处理，使所有波段具有相同的数据范围，消除不同波段间因响应值大小不同导致的光谱差异影响。作为优选，步骤2中，所述浅层局部网络分支，第一层是卷积核大小为3的卷积层，步长为1；第二层为卷积核大小为3的卷积层，步长为1；所述深层全局网络分支，第一层是卷积核大小为3的卷积层，步长为2；第二层为卷积核大小为3的卷积层，步长为1；第三层为全局注意力机制层，用于对第二层卷积层输出特征f，通过大小为1的卷积核构造出三个特征图q、k和v；所述特征图q和特征图k再进行矩阵乘法和softmax操作，得到注意力矩阵a，之后a与特征图v相乘得到权重值该权重值再加到特征图f中后输出；第四层是卷积核大小为1的卷积层，步长为1；第五层是卷积核大小为1的卷积层，步长为1；所述上下文感知特征融合模块，经过一层卷积核大小为3，步长为1的卷积层得到融合特征。作为优选，步骤2中所述农产品病害自动识别局部全局协同网络，是训练好的农产品病害自动识别局部全局协同网络；训练过程包括以下子步骤：步骤s1：采集若干健康农产品样本和病害农产品样本，利用成像光谱仪获取高光谱数据；步骤s2：高光谱图像数据预处理；步骤s3：制作农产品病害识别数据集，划分训练集和测试集；步骤s4：在训练集上训练模型，利用反向传播算法不断优化模型参数，获得训练好的模型。作为优选，步骤s2中，所述预处理步骤包括去噪和归一化；使用中值滤波、高斯滤波或小波变换去除高光谱图像中的噪声，并采用线性归一化、最大最小值归一化或z-score归一化方法对高光谱数据进行归一化处理，使所有波段具有相同的数据范围，消除不同波段间因响应值大小不同导致的光谱差异影响。作为优选，步骤s3中，制作的农产品病害识别数据集包括覆盖不同农产品病害的图像样本以及相应的标签，将数据集按照不同病害的比例划分成训练集和测试集。作为优选，步骤s4中，训练过程包括以下几个步骤：(1)正向传播：将训练集中的图像输入到模型中，通过卷积层和池化层进行特征提取，然后经过全连接层得到分类器输出；最后使用softmax函数将输出结果转换为每个类别
的概率；(2)计算损失：使用交叉熵函数计算模型的误差，并根据损失大小来调整模型参数；(3)反向传播：使用反向传播算法来计算梯度，并根据梯度来更新模型权重；反向传播的过程是从损失开始，逆向传递到各层的参数，以计算出每个参数对损失的影响程度；(4)参数更新：根据梯度下降算法来更新模型参数，以使模型的损失最小化；(5)重复以上步骤，直到模型达到预设的训练轮数或者达到预设准确度。本发明的系统所采用的技术方案是：一种基于局部全局协同网络的农产品病害自动识别系统，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于局部全局协同网络的农产品病害自动识别方法。本发明的优点在于，采用高光谱成像技术获取的农产品高光谱图像，具有更多的波段和更高的光谱分辨率，能够更准确地反映农产品的病害情况，提高了病害识别的准确性。此外，使用局部全局协同网络模型，能够自动提取农产品病害高光谱影像的局部特征与全局特征，并对其进行自适应地融合，同时保留农产品病害高光谱影像的局部空间细节信息与全局上下文信息，从而实现对农产品病害的自动准确识别。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。图1为本发明实施例的方法流程图；图2为本发明实施例的局部全局协同网络结构图；图3为本发明实施例提供的局部全局协同网络训练流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。本实施例以茶叶农药残留检测为例，对本发明做进一步的阐述。请见图1，本实施例提供的一种基于局部全局协同网络的茶叶病害自动识别方法，包括以下步骤：步骤1：采集茶叶样本高光谱图像，并进行数据预处理；在一种实施方式中，预处理步骤包括去噪和归一化；使用中值滤波、高斯滤波、小波变换等技术去除高光谱图像中的噪声，并采用线性归一化、最大最小值归一化、z-score归一化等方法对高光谱数据进行归一化处理，使所有波段具有相同的数据范围，消除不同波段间因响应值大小不同导致的光谱差异影响。步骤2：将预处理后的高光谱图像输入农产品病害自动识别局部全局协同网络进
行茶叶病害的自动识别；请见图2，本实施例的农产品病害自动识别局部全局协同网络，包括浅层局部网络分支、深层全局网络分支、上下文感知特征融合模块和分类器；本实施例的浅层局部网络分支包括串联设置的两个卷积层，第一层是卷积核大小为3的卷积层，步长为1；第二层为卷积核大小为3的卷积层，步长为1；第一层和第二层卷积层之前均加入归一化层，之后均加入激活层；本实施例的深层全局网络分支包括串联设置的四个卷积层以及一个全局注意力机制层，第一层是卷积核大小为3的卷积层，步长为2；第二层为卷积核大小为3的卷积层，步长为1；第三层为全局注意力机制层，用于对第二层卷积层输出特征f，通过大小为1的卷积核构造出三个特征图q、k和v；特征图q和特征图k再进行矩阵乘法和softmax操作，得到注意力矩阵a，之后a与特征图v相乘得到权重值该权重值再加到特征图f中后输出；第四层是卷积核大小为1的卷积层，步长为1；第五层是卷积核大小为1的卷积层，步长为1。第一层、第二层、第四层、第五层卷积层之前均加入归一化层，之后均加入激活层；本实施例的上下文感知特征融合模块，利用双线性插值将深层全局网络分支输出的特征上采样，使得浅层局部网络分支、深层全局网络分支的特征为同一种尺度，并将两个特征按照通道维度连接起来，再经过一层卷积核大小为3，步长为1的卷积层得到融合特征；本实施例的分类器包括一个全连接层与一个softmax激活函数，用于在特征提取后，将特征映射到不同类别上，输出每个类别的预测概率。输出结果是每个类别的概率值，选取输出概率最大的类别标签作为当前待预测图像所属的分类。请见图3，本实施的农产品病害自动识别局部全局协同网络，是训练好的农产品病害自动识别局部全局协同网络；训练过程包括以下子步骤：步骤s1：采集健康茶叶样本和病害茶叶样本，利用成像光谱仪获取高光谱数据。在一种实施方式中，在实验茶园中采集健康茶叶样本和病害茶叶样本，并使用保温箱将其运至实验室，采用micro-hyperspec轻量级高光谱成像平台采集高光谱数据，其光谱范围为400-2500nm。步骤s2：高光谱图像数据预处理。在一种实施方式中，预处理步骤包括去噪和归一化。使用小波变换去除高光谱图像中的噪声，并采用最大最小值归一化方法对高光谱数据进行归一化处理，使所有波段具有相同的数据范围，消除不同波段间因响应值大小不同导致的光谱差异影响。步骤s3：制作茶叶病害识别数据集，划分训练集和测试集。在一种实施方式中，制作的茶叶病害识别数据集中收集了炭疽病、轮斑病和枝枯病茶叶样本的高光谱图像，考虑了不同叶片部位、不同病程、不同照明条件等多方面因素。对于每张收集的图片，标注其病害类别。并将数据集按照不同病害的比例划分为训练集和测试集。步骤s4：在训练集上训练模型，利用反向传播算法不断优化模型参数。本实施例中的局部全局协同网络模型是专门为茶叶病害识别而设计的。其包括浅层局部网络分支、深层全局网络分支、上下文感知特征融合模块和分类器；本实施例中浅层局部网络分支包括串联设置的两个卷积层，第一层是卷积核大小
为3的卷积层，步长为1；第二层为卷积核大小为3的卷积层，步长为1；第一层和第二层卷积层之前均加入批量归一化层(bn)，之后均加入激活函数relu。卷积块能够有效地学习和提取图像的局部特征，通过多次堆叠的方式，逐渐形成更加抽象的特征表示；本实施例中深层全局网络分支包括串联设置的四个卷积层以及一个全局注意力机制层，第一层是卷积核大小为3的卷积层，步长为2；第二层为卷积核大小为3的卷积层，步长为1；第三层为全局注意力机制层，用于对第二层卷积层输出特征f，通过大小为1的卷积核构造出三个特征图q、k和v；特征图q和特征图k再进行矩阵乘法和softmax操作，得到注意力矩阵a，之后a与特征图v相乘得到权重值该权重值再加到特征图f中后输出；第四层是卷积核大小为1的卷积层，步长为1；第五层是卷积核大小为1的卷积层，步长为1。第一层、第二层、第四层、第五层卷积层之前均加入归一化层，之后均加入激活层；本实施例中上下文感知特征融合模块，利用双线性插值将深层全局网络分支输出的特征上采样，使得浅层局部网络分支、深层全局网络分支的特征为同一种尺度，并将两个特征按照通道维度连接起来，再经过一层卷积核大小为3，步长为1的卷积层得到融合特征；本实施例中分类器包括一个全连接层与一个softmax激活函数，用于在特征提取后，将特征映射到不同类别上，输出每个类别的预测概率。在一种实施方式中，使用交叉熵函数计算模型的损失，并使用反向传播算法来计算梯度，并根据下降法来更新模型参数，以使模型的损失最小化。梯度下降算法会根据当前梯度的方向，以一定的步长来更新模型参数值。训练过程具体可以分为以下几个步骤：正向传播：将训练集中的图像输入到模型中，通过卷积层和池化层进行特征提取，然后经过全连接层得到分类器输出。最后使用softmax函数将输出结果转换为每个类别的概率。计算损失：使用交叉熵函数计算模型的误差(损失)，并根据损失大小来调整模型参数。较大的损失意味着模型预测的结果与实际标签之间存在较大的差异。使用交叉熵损失函数来计算模型的误差，并使用反向传播算法来更新模型权重。反向传播：使用反向传播算法来计算梯度，并根据梯度来更新模型权重。反向传播的过程是从损失开始，逆向传递到各层的参数，以计算出每个参数对损失的影响程度。计算每个参数对损失的影响程度，并将这些信息传递回去，以便更新模型参数。参数更新：根据梯度下降算法来更新模型参数，以使模型的损失最小化。梯度下降算法会根据当前梯度的方向，以一定的步长来更新模型参数值。重复以上步骤：重复以上步骤，直到模型达到预设的训练轮数或者达到一定准确度。本实施例中加载训练好的模型参数，将待预测的茶叶病害图像输入局部全局协同网络模型进行预测，输出结果是每个类别的概率值，选取输出概率最大的类别标签作为当前待预测图像所属的分类。本发明采用高光谱成像技术获取的茶叶叶片高光谱图像，具有更多的波段和更高的光谱分辨率，能够更准确地反映茶叶叶片的病害情况，提高了病害识别的准确性。此外，使用局部全局协同网络模型，能够自动提取茶叶病害的特征，从而实现对茶叶病害的自动识别。本发明不仅仅适用用茶叶，还可以实用与其他叶类农作物病害的自动识别，应用
范围广泛。应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

技术特征：
1.一种基于局部全局协同网络的农产品病害自动识别方法，其特征在于，包括以下步骤：步骤1：采集农产品样本高光谱图像，并进行数据预处理；步骤2：将预处理后的高光谱图像输入局部全局协同网络进行农产品病害的自动识别；所述局部全局协同网络包括浅层局部网络分支、深层全局网络分支、上下文感知特征融合模块和分类器；所述浅层局部网络分支，包括串联设置的两个卷积层，第一层和第二层卷积层之前均加入归一化层，之后均加入激活层；所述深层全局网络分支，包括串联设置的四个卷积层以及一个全局注意力机制层，第一层、第二层为卷积层；第三层为全局注意力机制层；第四层、第五层为卷积层；所述第一层、第二层、第四层、第五层卷积层之前均加入归一化层，之后均加入激活层；所述上下文感知特征融合模块，利用双线性插值将深层全局网络分支输出的特征上采样，使得浅层局部网络分支、深层全局网络分支的特征为同一种尺度，并将两个特征按照通道维度连接起来，再经过一层卷积层得到融合特征；所述分类器设置在所述上下文感知特征融合模块后，包括一个全连接层与一个softmax激活函数，用于在特征提取后，将特征映射到不同类别上，输出每个类别的预测概率。2.根据权利要求1所述的基于局部全局协同网络的农产品病害自动识别方法，其特征在于：步骤1中，所述预处理步骤包括去噪和归一化；使用中值滤波、高斯滤波或小波变换去除高光谱图像中的噪声，并采用线性归一化、最大最小值归一化或z-score归一化方法对高光谱数据进行归一化处理，使所有波段具有相同的数据范围，消除不同波段间因响应值大小不同导致的光谱差异影响。3.根据权利要求1所述的基于局部全局协同网络的农产品病害自动识别方法，其特征在于：步骤2中，所述浅层局部网络分支，第一层是卷积核大小为3的卷积层，步长为1；第二层为卷积核大小为3的卷积层，步长为1；所述深层全局网络分支，第一层是卷积核大小为3的卷积层，步长为2；第二层为卷积核大小为3的卷积层，步长为1；第三层为全局注意力机制层，用于对第二层卷积层输出特征f，通过大小为1的卷积核构造出三个特征图q、k和v；所述特征图q和特征图k再进行矩阵乘法和softmax操作，得到注意力矩阵a，之后a与特征图v相乘得到权重值该权重值再加到特征图f中后输出；第四层是卷积核大小为1的卷积层，步长为1；第五层是卷积核大小为1的卷积层，步长为1；所述上下文感知特征融合模块，经过一层卷积核大小为3，步长为1的卷积层得到融合特征。4.根据权利要求1-3任一项所述的基于局部全局协同网络的农产品病害自动识别方法，其特征在于：步骤2中所述农产品病害自动识别局部全局协同网络，是训练好的农产品病害自动识别局部全局协同网络；训练过程包括以下子步骤：步骤s1：采集若干健康农产品样本和病害农产品样本，利用成像光谱仪获取高光谱数据；步骤s2：高光谱图像数据预处理；
步骤s3：制作农产品病害识别数据集，划分训练集和测试集；步骤s4：在训练集上训练模型，利用反向传播算法不断优化模型参数，获得训练好的模型。5.根据权利要求4所述的基于局部全局协同网络的农产品病害自动识别方法，其特征在于：步骤s2中，所述预处理步骤包括去噪和归一化；使用中值滤波、高斯滤波或小波变换去除高光谱图像中的噪声，并采用线性归一化、最大最小值归一化或z-score归一化方法对高光谱数据进行归一化处理，使所有波段具有相同的数据范围，消除不同波段间因响应值大小不同导致的光谱差异影响。6.根据权利要求4所述的基于局部全局协同网络的农产品病害自动识别方法，其特征在于：步骤s3中，制作的农产品病害识别数据集包括覆盖不同农产品病害的图像样本以及相应的标签，将数据集按照不同病害的比例划分成训练集和测试集。7.根据权利要求4所述的基于局部全局协同网络的农产品病害自动识别方法，其特征在于：步骤s4中，训练过程包括以下几个步骤：(1)正向传播：将训练集中的图像输入到模型中，通过浅层局部网络分支和深层全局网络分支进行特征提取，然后利用上下文感知特征融合模块进行特征融合，最后经过全连接层得到分类器输出，使用softmax函数将输出结果转换为每个类别的概率；(2)计算损失：使用交叉熵函数计算模型的误差，并根据损失大小来调整模型参数；(3)反向传播：使用反向传播算法来计算梯度，并根据梯度来更新模型权重；反向传播的过程是从损失开始，逆向传递到各层的参数，以计算出每个参数对损失的影响程度；(4)参数更新：根据梯度下降算法来更新模型参数，以使模型的损失最小化；(5)重复以上步骤，直到模型达到预设的训练轮数或者达到预设准确度。8.一种基于局部全局协同网络的农产品病害自动识别系统，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的基于局部全局协同网络的农产品病害自动识别方法。

技术总结
本发明公开了一种基于局部全局协同网络的农产品病害自动识别方法及系统，首先采集农产品样本高光谱图像，并进行数据预处理；然后将预处理后的高光谱图像输入局部全局协同网络进行农产品病害的自动识别；输出结果是每个类别的概率值，选取输出概率最大的类别标签作为当前待预测图像所属的分类。本发明采用高光谱成像技术获取的茶叶叶片高光谱图像，其具有更多的波段和更高的光谱分辨率，能够更准确地反映茶叶叶片的病害情况，提高病害识别的准确性。此外，使用局部全局协同网络模型，能够自动提取茶叶病害的特征，从而实现对茶叶病害的自动识别。动识别。动识别。


技术研发人员：宋阳 李卓鸿 汪雨晴 刘泽鹏 邹佳琦 杨光义 贺威 张洪艳
受保护的技术使用者：武汉大学
技术研发日：2023.06.14
技术公布日：2023/10/15