一种基于深度卷积神经网络的跨域田间棉铃识别方法

1.本发明涉及农业计算机视觉技术领域，尤其涉及一种基于深度卷积神经网络的跨域田间棉铃识别方法。


背景技术：

2.棉花是世界上重要的经济作物之一，也是重要的纤维和饲料来源。棉铃的生长状态是影响棉花产量和品质的决定性因素。及时掌控棉铃的生长状态，可以进行预防，避免棉铃的早熟或过熟腐烂，增加棉花产量和提高棉花品质。由于棉花生长环境、生长年份、生长地域等的不同，对不同领域的棉铃状态识别存在一定困难。因此，借助一定数量的棉铃数据集完成对不同领域棉铃状态识别的研究具有重要意义。
3.迁移学习技术的发展提高了农业应用领域的泛化能力。sofia marino等人2020年发表论文“unsupervised adversarial deep domain adaptation method for potato defects classification”利用对抗学习的策略，使用伪标签损失来训练分类器，在构建的马铃薯数据集得到验证。李亚楠等人在2020年发表论文“unsupervised domain adaptation for in-field cotton boll status identification”首次将无监督域适应运用在田间棉铃状态识别，为实现源域到目标域的自适应，使用深度神经网络提取特征，近邻成分分析方法生成特征变换矩阵，最后得到目标标签，实现了对目标域的棉铃状态识别。与早期的基于手工提取特征的方法相比，其分类精度大幅提升。
4.但是这些迁移学习方法没有从特征提取的角度出发，导致提取到的特征仍然具有大量域特定特征。因此，有必要从特征提取的角度出发，探索如何获得更加精确的域不变特征来解决跨域棉铃状态识别问题。


技术实现要素：

5.本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度卷积神经网络的跨域田间棉铃识别方法。
6.本发明解决其技术问题所采用的技术方案是：
7.本发明提供一种基于深度卷积神经网络的跨域田间棉铃识别方法，该方法包括以下步骤：
8.步骤1、构建田间棉铃图像数据集，并将其划分为源域和目标域；
9.步骤2、构建基于深度卷积神经网络的mdlnet网络模型，mdlnet网络模型包括特征提取模块、分类模块和判别模块；其中：特征提取模块用于提取图像的深度特征，分类模块用于监督图像分类，判别模块用于判定图像来自源域或目标域；
10.步骤3、训练模型：初始化模型参数，将源域中的棉铃图像输入到mdlnet网络模型进行参数调整；
11.步骤4、验证模型：将目标域中的棉铃图像输入到训练好的mdlnet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性；
12.步骤5、将实时获取的待识别的棉铃图像输入至训练好的mdlnet网络模型，输出田间棉铃状态识别结果。
13.进一步地，本发明的所述步骤1的方法具体为：
14.田间棉铃图像数据集一部分拍摄于试验田中，选取不同种植年份、不同种植区域条件的棉铃；另一部分从网络棉铃图像中截取；经过筛选分类后构建田间棉铃图像数据集，具体包括源域和目标域。
15.进一步地，本发明的所述步骤2的特征提取模块具体为：
16.mdlnet网络模型的特征提取模块由resnet基础模块组成；使用resnet50作为特征提取器，resnet50包括1层7
×
7卷积和四个卷积块组成；输入的源域中的棉铃图像经过四个卷积块后，输出四个特征图像；
17.分别构建与卷积块相同的四个差异块，输入的目标域中的棉铃图像经过四个差异块后，输出四个特征图像；
18.构建与卷积块、差异块的输出均相连的视差模块，视差模块中使用每个卷积块的中间结果c
l
减去差异块的结果g
l
得到域不变特征r
l
，使用上采样和卷积将四个中间输出转化为相同尺寸和维度；将四个结果相加得到最终结果g，称为“视差”，解释为每层源域或目标域的独有特征；g定义如下：
19.r
l
＝c
l-g
l
[0020][0021]
其中，ip为上采样操作，为了更好的获得域不变特征，减少领域独有特征对域迁移的影响，使g最小化；特征提取损失定义如下：
[0022][0023]
其中，ns、ny为源域、目标域样本数；c为类别数；l为骨干网络层数；g为第i个样本的独有特征，特征提取损失的目标是最小化领域独有特征，在特征提取阶段获得更好的域不变特征。
[0024]
进一步地，本发明的所述步骤2的分类模块具体为：
[0025]
mdlnet网络模型的分类模块使用resnet50的线形层作为分类器，输入为特征提取模块的输出，通过平均池化层和softmax函数进行映射得到分类结果；分类模块通过交叉熵损失进行监督，保证分类的准确度，分类损失的定义如下：
[0026][0027]
其中，l
ce
为交叉熵损失，为特征提取模块的输出，为真实标签；交叉熵损失衡量预测结果与真实结果之间的差异，交叉熵损失越小，分类性能越高。
[0028]
进一步地，本发明的所述步骤2的判别模块具体为：
[0029]
mdlnet网络模型的判别模块包括线性层、dropout层和sigmod层，用于判断图片的领域标签，即图片来自与哪个领域；通过判别模块与特征提取模块进行对抗，定义对抗损失，具体如下：
[0030][0031]
其中，d为判别模块，通过对抗损失，判别模块无法分辨图片来自哪个领域，特征提取模块更容易提取到域不变特征，实现跨域棉铃状态识别鲁棒性的提高。
[0032]
进一步地，本发明的所述步骤4中验证模型的方法具体为：
[0033]
将目标域中的棉铃图像输入到训练好的mdlnet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性；棉铃图像的分类精度通过计算mdlnet网络模型预测正确的棉铃图像个数与棉铃图像总数的比值得到。
[0034]
进一步地，本发明的所述特征提取模块，在特征提取过程中，使用了预训练的resnet50模型参数，以保证生成的特征图像质量。
[0035]
本发明产生的有益效果是：
[0036]
本发明提供了一种基于深度卷积神经网络的跨域田间棉铃识别方法，以田间棉铃图像为处理对象，构建一种深度卷积神经网络模型，自动对田间棉铃图像进行特征提取，并利用对抗学习的领域适应方法，获取到域不变特征输入分类模块，更好的识别来自不同领域的棉铃图像；本发明通过训练和迭代反馈，得到棉铃数据集中棉铃状态的分类结果，具有准确率高，鲁棒性好的特点。
附图说明
[0037]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0038]
图1是本发明实施例的整体流程图；
[0039]
图2是本发明实施例的mdlnet网络结构示意图。
具体实施方式
[0040]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0041]
实施例一
[0042]
本发明实施例的基于深度卷积神经网络的跨域田间棉铃识别方法，该方法包括以下步骤：
[0043]
步骤1、构建田间棉铃图像数据集，并将其划分为源域和目标域；
[0044]
获取不同种植区域、种植年份的田间棉铃图像，经过筛选分类后构建田间棉铃图像数据集，具体包括源域(训练集)和目标域(测试集)；
[0045]
步骤2、构建基于深度卷积神经网络的mdlnet网络模型，mdlnet网络模型包括特征提取模块、分类模块和判别模块；其中：特征提取模块用于提取图像的深度特征，分类模块
用于监督图像分类，判别模块用于判定图像来自源域或目标域；
[0046]
步骤3、训练模型：初始化模型参数，将源域中的棉铃图像输入到mdlnet网络模型进行参数调整；
[0047]
步骤4、验证模型：将目标域中的棉铃图像输入到训练好的mdlnet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性；
[0048]
步骤5、将实时获取的待识别的棉铃图像输入至训练好的mdlnet网络模型，输出田间棉铃状态识别结果。
[0049]
实施例二
[0050]
本发明实施例的基于深度卷积神经网络的跨域田间棉铃识别方法，该方法包括以下步骤：
[0051]
1.获取田间棉铃图像，经过筛选分类后构建田间棉铃图像数据集，具体包括源域和目标域；
[0052]
其中，数据集中的棉铃图像一部分拍摄于新疆的试验田，综合考虑了不同种植年份、不同种植区域条件；另一部分从网络棉铃图像中截取。从采集到的棉铃图像数据中选取了1400幅图像，分别为五个不同种植年份，三个不同种植地区，每个地区或年份文件夹包含200张棉铃图片；网络图片总1000张，都包含棉铃的四种生长状态。
[0053]
2.构建基于深度卷积神经网络的mdlnet网络模型；
[0054]
所述的mdlnet网络模型由特征提取模块、分类模块和判别模块三个部分组成。其中特征提取模块用于提取图像的深度特征；分类模块用于监督图像分类，判别模块用于判定图像来自源域或目标域。
[0055]
mdlnet的特征提取模块由resnet基础模块组成。使用resnet50作为特征提取器，resnet50包括1层7
×
7卷积和四个卷积块组成。输入图像(尺寸为h
×w×
3)。经过四个卷积块之后，特征图像的尺寸大小分别为(56
×
56
×
256)，(28
×
28
×
512)，(14
×
14
×
1024)，(7
×7×
2048)。然后分别构建与卷积块相同的四个差异块，与特征提取模块做相同操作。同时使用每个卷积块的中间结果c
l
减去差异块g
l
的结果得到域不变特征r
l
，使用上采样和卷积将四个中间输出转化为相同尺寸和维度。最后，将四个结果相加得到最终结果g，称为“视差”，可解释为每层源域或目标域的独有特征。g定义如下：
[0056]rl
＝c
l-g
l
[0057][0058]
其中ip为上采样操作，为了更好的获得域不变特征，减少领域独有特征对域迁移的影响，需要最小化g，具体来说，特征提取损失定义如下：
[0059][0060]
其中ns，n
t
为源域、目标域样本数；c为类别数；l为骨干网络层数，此时l＝4；g为第i个样本的独有特征，特征提取损失的目标是最小化领域独有特征，在特征提取阶段获得更
好的域不变特征。
[0061]
此外，在特征提取过程中，使用了预训练的resnet50模型参数，以保证生成的特征图像质量。
[0062]
mdlnet的分类模块使用的resnet50的线形层作为分类器，输入为特征提取模块的输出，尺寸为(7
×7×
2048)，通过平均池化层和softmax函数进行映射得到分类结果，在本方法中分类数为4。分类模块通过交叉熵损失进行监督，保证分类的准确度，分类损失的定义如下：
[0063][0064]
其中l
ce
为交叉熵损失，为特征提取模块的输出，为真实标签。交叉熵损失衡量预测结果与真实结果之间的差异，交叉熵损失越小，分类性能越高。
[0065]
mdlnet的判别模块由线性层，dropout层和sigmod层组成，主要是判断图片的领域标签，即图片来自与哪个领域。通过判别模块与特征提取模块进行对抗，定义对抗损失，具体如下：
[0066][0067]
其中d为判别模块，通过对抗损失，判别模块会无法分辨图片来自哪个领域，特征提取模块会更容易提取到域不变特征，实现跨域棉铃状态识别鲁棒性的提高。
[0068]
3.训练模型。
[0069]
初始化模型参数，将源域棉铃图像输入到mdlnet网络模型进行参数调整；其中，在棉铃图像输入到mdlnet网络模型之前需要修改尺寸至224*224；训练时并行学习数(batch size)设置为16，训练迭代次数(iteration)为4000，学习率设置为0.001。
[0070]
4.验证模型。
[0071]
将目标域中的棉铃图像输入到mdlnet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性。棉铃图像的精度是通过计算网络预测正确的棉铃图像个数与棉铃图像总数的百分比。
[0072]
5.将实时获取的棉铃图像输入至训练好的mdlnet网络模型，输出结果即为田间棉铃状态识别结果；
[0073]
本发明自动对田间棉铃图像进行特征提取，并利用对抗学习的领域适应方法，获取到域不变特征输入分类模块，更好的识别来自不同领域的棉铃图像。增强了棉铃状态识别的鲁棒性。
[0074]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：
1.一种基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，该方法包括以下步骤：步骤1、构建田间棉铃图像数据集，并将其划分为源域和目标域；步骤2、构建基于深度卷积神经网络的mdlnet网络模型，mdlnet网络模型包括特征提取模块、分类模块和判别模块；其中：特征提取模块用于提取图像的深度特征，分类模块用于监督图像分类，判别模块用于判定图像来自源域或目标域；步骤3、训练模型：初始化模型参数，将源域中的棉铃图像输入到mdlnet网络模型进行参数调整；步骤4、验证模型：将目标域中的棉铃图像输入到训练好的mdlnet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性；步骤5、将实时获取的待识别的棉铃图像输入至训练好的mdlnet网络模型，输出田间棉铃状态识别结果。2.根据权利要求1所述的基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，所述步骤1的方法具体为：田间棉铃图像数据集一部分拍摄于试验田中，选取不同种植年份、不同种植区域条件的棉铃；另一部分从网络棉铃图像中截取；经过筛选分类后构建田间棉铃图像数据集，具体包括源域和目标域。3.根据权利要求1所述的基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，所述步骤2的特征提取模块具体为：mdlnet网络模型的特征提取模块由resnet基础模块组成；使用resnet50作为特征提取器，resnet50包括1层7
×
7卷积和四个卷积块组成；输入的源域中的棉铃图像经过四个卷积块后，输出四个特征图像；分别构建与卷积块相同的四个差异块，输入的目标域中的棉铃图像经过四个差异块后，输出四个特征图像；构建与卷积块、差异块的输出均相连的视差模块，视差模块中使用每个卷积块的中间结果c
l
减去差异块的结果g
l
得到域不变特征r
l
，使用上采样和卷积将四个中间输出转化为相同尺寸和维度；将四个结果相加得到最终结果g，称为“视差”，解释为每层源域或目标域的独有特征；g定义如下：r
l
＝c
l-g
l
其中，ip为上采样操作，为了更好的获得域不变特征，减少领域独有特征对域迁移的影响，使g最小化；特征提取损失定义如下：其中，n
s
、n
t
为源域、目标域样本数；c为类别数；l为骨干网络层数；g为第i个样本的独有
特征，特征提取损失的目标是最小化领域独有特征，在特征提取阶段获得更好的域不变特征。4.根据权利要求3所述的基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，所述步骤2的分类模块具体为：mdlnet网络模型的分类模块使用resnet50的线形层作为分类器，输入为特征提取模块的输出，通过平均池化层和softmax函数进行映射得到分类结果；分类模块通过交叉熵损失进行监督，保证分类的准确度，分类损失的定义如下：其中，l
ce
为交叉熵损失，为特征提取模块的输出，为真实标签；交叉熵损失衡量预测结果与真实结果之间的差异，交叉熵损失越小，分类性能越高。5.根据权利要求4所述的基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，所述步骤2的判别模块具体为：mdlnet网络模型的判别模块包括线性层、dropout层和sigmod层，用于判断图片的领域标签，即图片来自与哪个领域；通过判别模块与特征提取模块进行对抗，定义对抗损失，具体如下：其中，d为判别模块，通过对抗损失，判别模块无法分辨图片来自哪个领域，特征提取模块更容易提取到域不变特征，实现跨域棉铃状态识别鲁棒性的提高。6.根据权利要求1所述的基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，所述步骤4中验证模型的方法具体为：将目标域中的棉铃图像输入到训练好的mdlnet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性；棉铃图像的分类精度通过计算mdlnet网络模型预测正确的棉铃图像个数与棉铃图像总数的比值得到。7.根据权利要求3所述的基于深度卷积神经网络的跨域田间棉铃识别方法，其特征在于，所述特征提取模块，在特征提取过程中，使用了预训练的resnet50模型参数，以保证生成的特征图像质量。

技术总结
本发明公开了一种基于深度卷积神经网络的跨域田间棉铃识别方法，该方法包括以下步骤：以田间棉铃图像为处理对象，构建基于深度卷积神经网络的MDLNet网络模型，MDLNet网络模型包括特征提取模块、分类模块和判别模块；初始化模型参数，将源域中的棉铃图像输入到MDLNet网络模型进行参数调整；将目标域中的棉铃图像输入到训练好的MDLNet网络模型，计算分类精确度和损失结果以验证模型的有效性和收敛性；将实时获取的待识别的棉铃图像输入至训练好的MDLNet网络模型，输出田间棉铃状态识别结果。本发明的MDLNet网络模型能对田间棉铃图像进行识别，自动对田间棉铃图像进行特征提取，并利用提取到的图像特征判定目标域田间棉铃状态的类别，检测结果准确率高，鲁棒性强。鲁棒性强。鲁棒性强。


技术研发人员：李亚楠 刘弈飞 黄雨涵
受保护的技术使用者：武汉工程大学
技术研发日：2023.06.06
技术公布日：2023/9/9