一种基于深度学习的作物种子品质预测方法和系统

1.本发明属于作物种子的无损检测技术领域，具体涉及一种基于深度学习的作物种子品质预测方法和系统。


背景技术：

2.对作物种子的相关成分的品质进行检测，从而辅助专家选种育种、指导农民生产、提高作物的产量具有重要的意义；以形态学方法、蛋白电泳和dna分子标记技术为代表的传统农产品品质检测技术需要价格高昂的精密仪器，通过破坏作物种子的结构测得反应品质的数据，其不仅效率低下，并且数据评估需要依赖专家经验，主观性强，不满足我国现阶段对作物种子的品质检测规模化和产业化的需求。因此，开展作物种子的品质的无损快速检测技术已成为一个重要的研究课题。随着近红外光谱技术的发展，其在无损检测方面的应用越来越多。但在作物种子的无损检测领域，大多数近红外光谱检测技术都是依据传统算法进行建模，导致其精度较低，不能够支撑高精度的作物种子的品质检测。


技术实现要素：

3.本发明采用近红外光谱方法对作物种子进行无损检测，并将深度学习方法应用到无损检测中，提出了一种基于深度学习的作物种子品质预测方法和系统；该方法是基于1d-cnn-lstm与近红外光谱的作物种子品质无损检测技术，该1d-cnn-lstm网络结构针对作物种子进行品质的精确预测。
4.实现本发明目的之一的一种基于深度学习的作物种子的品质预测方法，包括：
5.构建基于卷积神经网络的作物种子品质预测模型；
6.将多份作物种子的红外光谱数据及对应的品质指标作为训练集对所述模型进行训练，得到训练完成的作物种子品质预测模型；所述品质指标用于评价作物种子的品质优劣；所述作物种子品质预测模型用于根据作物种子的红外光谱数据预测油菜籽的品质优劣。
7.进一步地，所述卷积神经网络包括inception模块，其位于卷积神经网络中的一个或多个卷积层，用于将同一个卷积层里的每个卷积核转换为大小不等的多个卷积核，转换后的卷积核的大小小于转换前的卷积核的大小，以提取更多的光谱信息特征；
8.光谱数据可以看作一个很长的一维向量，在处理这种向量时，卷积神经网络很难建立全局的联系，比如说光谱的首尾信息，lstm网络可以针对全局特征进行较好的提取，所以，进一步地，所述卷积神经网络还包括lstm(long short-term memory)模块，其位于卷积神经网络中的全连接层和拉伸层之间，用于对光谱信息特征进行提取，以增强光谱采样点之间的联系。
9.进一步地，所述方法还包括对所述多份作物种子的红外光谱数据进行数据剔除，以去除环境中的因素干扰导致部分样本光谱偏离了群体样本集。
10.进一步地，所述方法还包括对所述多份作物种子的红外光谱数据进行预处理，以
去除原始光谱图中存在的噪声信号和基线漂移信号。
11.更进一步地，所述预处理方法包括savitsky.golay平滑方法和/或多元散射矫正和/或标准正态变换和/或均值中心化和/或标准化处理。
12.进一步地，所述卷积神经网络的输出层采用softmax激活函数；卷积层、拉伸层、池化层、全连接层采用relu(rectified linearunit)激活函数；softmax激活函数为归一化指数函数；
13.实现本发明目的之二的一种基于深度学习的作物种子的品质预测系统，包括卷积神经网络构建模块、红外光谱数据获取模块、品质指标获取模块、模型训练模块；
14.所述卷积神经网络构建模块用于构建基于卷积神经网络的作物种子品质预测模型；
15.所述红外光谱数据获取模块用于获取多份作物种子的红外光谱数据；
16.所述品质指标获取模块用于多份作物种子的品质指标；
17.所述模型训练模块用于训练作物种子品质预测模型；所述作物种子品质预测模型用于根据作物种子的红外光谱数据预测作物种子的品质优劣。
18.进一步地，所述卷积神经网络包括inception模块和/或lstm模块，所述inception模块位于卷积神经网络中的一个或多个卷积层，用于将同一个卷积层里的每个卷积核转换为大小不等的多个卷积核，转换后的卷积核的大小小于转换前的卷积核的大小，以提取更多的光谱信息特征；所述lstm模块位于卷积神经网络中的全连接层和拉伸层之间，用于对光谱信息特征进行提取，以增强光谱采样点之间的联系。
19.有益效果：
20.本发明以作物种子为研究对象，根据近红外光谱特征波长范围大、采样点多的特点，设计了一种一维卷积神经网络结构，并引入inception模块和lstm模块，使得网络可以提取更加多样化的特征信息，预测更为精确；
21.通过光谱采集仪器采集近红外光谱信息，通过平台测定作物种子中的油菜籽的蛋白质含量和含油量，剔除了异常样本，构建了标准数据集。分别训练本发明所提出的1d-cnn-lstm网络模型和常规pls算法模型，对比两者结果。在蛋白质评价指标中，r2提升了0.05，rmsep降低了0.21；在含油量评价指标中，r2提升了0.07，rmsep降低了0.81，识别精度均有较大提升；
22.在作物种子的无损检测中，本发明首次引入深度学习的方式对其品质进行预测，并通过与传统方式的对比，可以得出，深度学习方法在作物种子的检测中依然适用且精度有较大的提升。
附图说明
23.图1为本发明所述的1d-cnn-lstm网络的结构；
24.图2为1d-cnn-lstm网络中的lstm模块结构；
25.图3为1d-cnn-lstm网络中的inecption模块结构；
26.图4(a)为原始光谱的图像；
27.图4(b)为对原始光谱进行多元散射校正后的图像；
28.图4(c)为对原始光谱进行标准正态变换后的图像；
29.图4(d)为对原始光谱进行均值中心化后的图像；
30.图4(e)为对原始光谱进行标准化处理后的图像；
31.图5是预测模型的训练步骤；
32.图6是采用本发明预测的蛋白质含量的可视化结果；
33.图7是采用本发明预测的含油量的可视化结果；
34.图8是本发明的结构示意图。
具体实施方式
35.下列具体实施方式用于对本发明权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本发明的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本发明权利要求书技术方案而不同于下列具体实施方式的也是本发明的保护范围。
36.油菜是世界三大油料作物之一，长期以来是我国应用最广泛的油料作物，在国产植物油市场中占据重要地位。研究表明油菜籽品质对于产油量有着重要的参考价值。快速、精准地对油菜籽相关成分的品质进行检测，对辅助专家选种育种、指导农民生产、提高作物的产量有重要意义，油菜籽的质量评价、分类检测、品质检测是研究油菜籽高产的重要过程。本技术实施例以作物种子中广泛应用的油菜籽为例，讲述一种基于深度学习的作物种子的品质检测方法，包括以下步骤：
37.构建基于卷积神经网络的作物种子品质预测模型；
38.将多份油菜籽的红外光谱数据及对应的品质指标作为训练集对所述模型进行训练，得到训练完成的油菜籽品质预测模型；所述品质指标用于评价油菜籽的品质优劣；所述作物种子品质预测模型用于根据油菜籽的红外光谱数据预测油菜籽的品质优劣。
39.上述技术方案中，油菜籽的红外光谱数据及及对应的品质指标采集的技术方案包括：
40.1)油菜籽品质与近红外光谱数据采集
41.a.采用antarisii ft-nir分析仪对油菜籽进行红外光谱采集，该分析仪的波长范围是830～2630nm(12000～3800c-1)，其取样器为一个底部透明的圆筒，为防止光的散射，至少要把油菜籽铺满样品杯的一层以覆盖近红外光谱分析仪取样器为标准，每份油菜籽样本取14克左右放置于取样器中，取样器置于近红外光谱仪的通光孔位置，使用光谱仪对应的rapeseed模型对油菜籽光谱信息进行提取，一共提取180组光谱数据，每组光谱数据作为一份样本，将样本按编号排列保存按照编号排列，其中1～12号样本品种为华油杂62，13～66号样本为其余混杂品种混合，67～90号为高产油菜籽，91～120号为试验田里收获的油菜籽，121～180号为各种品种混合样本。
42.b.样本品质测定。通过中国农业科学院油料作物研究所进行传统方法的理化值测量，所述品质测定包括油菜籽的含油量测定和粗蛋白含量测定。
43.(1)含油量的测定：本实施例采用残余法测定油料种籽的含油量，首先按照gb5491取样，将样品放入烘干箱中进行干燥，过直0.42mm分样筛后装入磨口瓶备用，并按标准准备培养皿和纸包。样包在脂肪抽提器中经过无水乙醚浸泡和抽提后，取出样包并置于通风处使乙醚挥发，之后对样包进行称重及烘干后再称重处理，通过以下公式对油菜籽含油量质
量分数w进行计算：
[0044][0045]
式中：
[0046]
m为油菜籽含水量，按照国标gb/t 5497测定，单位为质量分数(％)；
[0047]
a、b、c分别为纸包质量、纸包质量加烘干样质量、纸包质量加抽题后样质量，单位均为克(g)，计算保留小数点后两位。
[0048]
(2)粗蛋白含量的测定：传统方法根据gb5009.5-2016规定，蛋白质含量在10g/100g以上的粮食、豆类奶粉、米粉、蛋白质粉等固体试样的测定，应使用燃烧法，将在900℃-1200℃高温下燃烧，燃烧过程中产生的混合气体(no
x
)由运载气体例如氮气等运送至还原炉中，在800℃下经过还原生成的氮气后气流通过热导检测器(tcd)进行检测其含量。
[0049]
上述技术方案中，还包括对所述多份作物种子的红外光谱数据进行预处理，以去除原始光谱图中存在的噪声信号和基线漂移信号。本实施例采用的数据预处理方法包括如下五种：savitsky.golay平滑方法(sg)、多元散射矫正(msc)、标准正态变换(snv)、均值中心化(ct)、标准化处理(ss)，本发明不限定每个预处理方法的执行顺序。
[0050]
savitsky.golay平滑方法(sg)用于光谱分析的预处理，对一定长度窗口内的数据点进行k阶多项式拟合，从而得到拟合后的结果。采用savitzky-golay方法进行平滑滤波可以提高光谱的平滑性，并降低噪音的干扰。
[0051]
多元散射校正(msc)算法用于高光谱数据的预处理，msc可以有效的消除由于散射水平不同带来的光谱差异，从而增强光谱与数据之间的相关性。该方法通过理想光谱修正光谱数据的基线平移和偏移现象。
[0052]
标准正态变换(snv)用于校正样品间因散射而引起的光谱误差。
[0053]
标准化处理(ss)使数据集中每列数据(也就是每个特征数据)都统一标准化。即：采用z-score规范化数据，保证每个特征维度的数据均值为0，方差为1；
[0054]
保存预处理后的数据。原始光谱图像及预处理后的光谱图像如图4(a)～图4(e)所示：
[0055]
上述技术方案中，由于在采集光谱数据的过程中，人为原因造成的误差以及一些环境中的因素干扰导致部分样本光谱偏离了群体样本集，这些样本光谱夹杂着许多不相关的信息，且携带的数据特征也较少，导致所建立的模型对未知样本的预测效果较差。因此在数据预处理之前还包括对所述多份作物种子的红外光谱数据进行数据剔除，以去除环境中的因素干扰导致部分样本光谱偏离了群体样本集，以保证所建立模型的精度。本发明采用的剔除方法为马氏距离算法，根据样本间的马氏距离得到离群点，将离群点对应的样本剔除。
[0056]
在完成对样本的剔除之后，为了保证模型的有效性及准确性，需要进行划分样本集的操作。本实施例中按4:1的比例将样本集划分为训练集与验证集，最终的训练集样本数为140，验证集样本数为35。分别建立基于1d-cnn-lstm(1d convolutional neural-long short-term memory networks)网络的油菜籽含油量预测模型和蛋白质含量预测模型。使用训练集对上述两个预测模型进行训练，之后使用验证集样品对模型进行验证与评估。
[0057]
上述技术方案中，所述卷积神经网络包括inception模块，其位于卷积神经网络中
的一个或多个卷积层，用于将同一个卷积层里的每个卷积核转换为大小不等的多个卷积核，转换后的卷积核的大小小于转换前的卷积核的大小，以提取更多的光谱信息特征。
[0058]
上述技术方案中，所述卷积神经网络还包括lstm模块，其位于卷积神经网络中的全连接层和拉伸层之间，用于对光谱信息特征进行提取，以增强光谱采样点之间的联系。
[0059]
如图1，所述油菜籽含油量和蛋白质含量预测模型由卷积神经网络和循环神经网络组成：其为基于一维卷积神经网络、结合了cnn和lstm的定量预测模型1d-cnn-lstm。卷积神经网络模型具有稀疏连接、参数共享、池化和深层次结构等特征。预测模型的输入为油菜籽样本的原始光谱，其维度是1*1556的一维向量，输出是模型预测的油菜籽的含油量和粗蛋白含量，在整个网络模型中，采用一维卷积神经网络的基础设计，卷积层主要是通过卷积运算来进行特征提取，卷积核在一维向量上进行滑动并进行卷积运算来生成特征映射(feature map)。在卷积层2和卷积层3之间采用了inception模块，其结构图3所示，在卷积层3内设置两个1*1卷积核、一个3*1卷积核和一个5*1卷积核，通过并行连接，从而使得预测模型可以在同一卷积层中提取到不同大小的特征，增加了光谱分析模型的宽度和深度，使得提取的光谱信息更为丰富。提取到的特征信息经过lstm网络可以更好地利用其时序信息，光谱数据通过卷积层和lstm网络的运算，在预测模型中不断进行数据转换，最后通过输出层输出预测结果。
[0060]
相比较于全连接模型，卷积神经网络通过两层神经元之间的局部连接大大减少了参数量。ltsm网络则可以提取光谱数据中的时序信息，使其预测更为精准，单个lstm的结构如图2所示，计算公式如下。
[0061][0062]
式中：
[0063]ht
和h
t-1
分别表示第t层和第t-1层的输出；
[0064]it
为h
t-1
与x
t
相乘之后经过激活函数σ的输出；
[0065]ft
为遗忘门；
[0066]
tanh为激活函数；
[0067]ot
为h
t-1
与x
t
经过卷积和点乘操作，通过激活函数σ之后的输出
[0068]wxi
、w
xf
、w
xo
、w
xc
分别表示xi、xf、xo、xc的权重，其中i、f、o、c分别对应输入i,遗忘门f、o
t
、c
t
；
[0069]whi
、w
hf
、w
ho
、w
hc
分别表示hi、hf、ho、hc的权重；
[0070]wci
、w
cf
、w
co
分别表示ci、cf、co的权重；
[0071]ct-1
和c
t
分别表示上一层t-1的输出和当前层t的输出；
[0072]bi
、bf、bo、bc分别表示i、f、o、c对应的偏置；
[0073]
x
t
为t层的输入。
[0074]
模型训练方法如图5所示，分别表示采用传统pls方法对模型进行训练和采用本发
明所述的基于1d-cnn-lstm的模型进行训练，下面以基于1d-cnn-lstm的模型进行训练，讲述其训练步骤：
[0075]
a.实验平台搭建。
[0076]
实验平台为windows10、64位操作系统，cuda版本为10.0，以pytorch为学习框架作为基础编写python程序，搭建一维卷积神经网络。主要预测品质为蛋白质与含油量。
[0077]
b.数据处理及模型训练。1d-cnn-lstm模型输入的数据是整个光谱，波数一共有1557个，故输入1*1557的向量，光谱数据输入后，经过卷积层、池化层、拉伸层、lstm模块以及全连接层，最后通过输出层输出预测结果，最后一层采用softmax激活函数，其余采用relu激活函数。将预测值与真实值进行对比，采用mae(mean square error)作为损失函数，进行反向传播，更新权值，直至损失函数收敛。具体的超参数设置如表1所示：
[0078][0079]
表11d-cnn-lstm网络超参数设置
[0080]
c.模型测试
[0081]
在训练中，本发明采用多次迭代的方式进行训练，并在不同的迭代次数中挑选出最优模型进行测试。在模型测试期间，将预测结果与真实结果进行对比，计算根误差预测rmsep与相关系数r2。
[0082]
评估标准
[0083]
为了量化评估本发明的效果，采用均方根误差预测rmsep与相关系数r2作为评价
指标。
[0084]
均方根误差预测rmsep计算公式如下
[0085][0086]
相关系数r2计算公式如下
[0087][0088]
经过训练后发现，在迭代到150次时，损失之趋向于稳定，故最终取epoch＝150时得训练模型，保存此时得模型，按照评价指标分别对蛋白质含量和含油量进行预测，预测结果如图6和图7所示，表3是不同预处理条件下蛋白质和含油量的模型结果。结果表明当采用标准正态变换snv预处理的方法时，蛋白质1d-cnn-lstm模型的r2指标最大为0.94，同时均方误差rmse最小为0.21，此时模型的性能最好；当采用sg平滑预处理时，含油量1d-cnn-lstm模型的r2指标最大为0.78，均方误差rmse最小为0.29。
[0089][0090]
表2多种预处理方法比较表
[0091]
为了与传统方法对比，本发明采用传统方法中表现最好的方法pls做对比试验。通过对比1d-cnn-lstm网络模型和pls模型，我们可以得出，在同样的预处理方式下，一维卷积神经网络的预测精度更高，这是由于油菜种子的光谱是一个1*1557的一维向量，采样点比较多，基于pls的算法提取的特征信息较少，不能够完全反映种子的信息。而在一维卷积神经网络中，卷积网络能够提取更深层次的特征信息，并且我们通过inception模块扩大了感受野范围，使得网络提取的光谱信息更为多样化，预测结果更为准确。相比较pls算法，如表3所示本发明所采用的卷积神经网络在指标上都有着明显的提升，证明了本发明所提出的方法在油菜籽无损检测方面优于最好的传统算法。
[0092][0093]
表3本发明与pls算法结果比较
[0094]
从图6和图7所示的品质预测可视化结果中可以看出1d-cnn-lstm误差较小，可以实现精确的油菜籽品质无损检测。
[0095]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限
定。
[0096]
本技术实施例还包括一种作物种子的品质预测系统，如图8所示，包括卷积神经网络构建模块、红外光谱数据获取模块、品质指标获取模块、模型训练模块；
[0097]
卷积神经网络构建模块用于构建基于卷积神经网络的作物种子品质预测模型；
[0098]
红外光谱数据获取模块用于获取多份作物种子的红外光谱数据；
[0099]
品质指标获取模块用于多份作物种子的品质指标；
[0100]
模型训练模块用于训练作物种子品质预测模型；所述作物种子品质预测模型用于根据作物种子的红外光谱数据预测作物种子的品质优劣。
[0101]
上述技术方案中，卷积神经网络包括inception模块和/或lstm模块，所述inception模块位于卷积神经网络中的一个或多个卷积层，用于将同一个卷积层里的每个卷积核转换为大小不等的多个卷积核，转换后的卷积核的大小小于转换前的卷积核的大小，以提取更多的光谱信息特征；所述lstm模块位于卷积神经网络中的全连接层和拉伸层之间，用于对光谱信息特征进行提取，以增强光谱采样点之间的联系。
[0102]
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

技术特征：
1.一种基于深度学习的作物种子品质预测方法，其特征在于，包括：构建基于卷积神经网络的作物种子品质预测模型；将多份作物种子的红外光谱数据及对应的品质指标作为训练集对所述模型进行训练，得到训练完成的作物种子品质预测模型；所述品质指标用于评价作物种子的品质优劣；所述作物种子品质预测模型用于根据作物种子的红外光谱数据预测作物种子的品质优劣。2.如权利要求1所述的基于深度学习的作物种子品质预测方法，其特征在于，所述卷积神经网络包括inception模块，其位于卷积神经网络中的一个或多个卷积层，用于将同一个卷积层里的每个卷积核转换为大小不等的多个卷积核，转换后的卷积核的大小小于转换前的卷积核的大小，以提取更多的光谱信息特征。3.如权利要求1所述的基于深度学习的作物种子品质预测方法，其特征在于，所述卷积神经网络还包括lstm模块，其位于卷积神经网络中的全连接层和拉伸层之间，用于对光谱信息特征进行提取，以增强光谱采样点之间的联系。4.如权利要求1所述的基于深度学习的作物种子品质预测方法，其特征在于，还包括对所述多份作物种子的红外光谱数据进行数据剔除，以去除环境中的因素干扰导致部分样本光谱偏离了群体样本集。5.如权利要求4所述的基于深度学习的作物种子品质预测方法，其特征在于，还包括对所述多份作物种子的红外光谱数据进行预处理，以去除原始光谱图中存在的噪声信号和基线漂移信号。6.如权利要求5所述的基于深度学习的作物种子品质预测方法，其特征在于，所述预处理方法包括savitsky.golay平滑方法和/或多元散射矫正和/或标准正态变换和/或均值中心化和/或标准化处理。7.如权利要求1所述的基于深度学习的作物种子品质预测方法，其特征在于，所述卷积神经网络的输出层采用softmax激活函数。8.如权利要求1所述的基于深度学习的作物种子品质预测方法，其特征在于，所述卷积神经网络的卷积层、拉伸层、池化层、全连接层采用relu激活函数。9.一种作物种子的品质预测系统，其特征在于，包括卷积神经网络构建模块、红外光谱数据获取模块、品质指标获取模块、模型训练模块；所述卷积神经网络构建模块用于构建基于卷积神经网络的作物种子品质预测模型；所述红外光谱数据获取模块用于获取多份作物种子的红外光谱数据；所述品质指标获取模块用于多份作物种子的品质指标；所述模型训练模块用于将多份作物种子的红外光谱数据及对应的品质指标作为训练集对作物种子品质预测模型进行训练，得到训练完成的的作物种子品质预测模型；所述作物种子品质预测模型用于根据作物种子的红外光谱数据预测作物种子的品质优劣。10.如权利要求9所述的作物种子的品质预测系统，其特征在于，所述卷积神经网络包括inception模块和/或lstm模块，所述inception模块位于卷积神经网络中的一个或多个卷积层，用于将同一个卷积层里的每个卷积核转换为大小不等的多个卷积核，转换后的卷积核的大小小于转换前的卷积核的大小，以提取更多的光谱信息特征；所述lstm模块位于卷积神经网络中的全连接层和拉伸层之间，用于对光谱信息特征进行提取，以增强光谱采样点之间的联系。

技术总结
本发明公开了一种基于深度学习的作物种子品质预测方法和系统，其将多份作物种子的红外光谱数据及对应的品质指标作为训练集对基于卷积神经网络的作物种子品质预测模型进行训练，得到训练完成的作物种子品质预测模型；所述品质指标用于评价作物种子的品质优劣；所述作物种子品质预测模型用于根据作物种子的红外光谱数据预测作物种子的品质优劣。本发明根据作物种子的近红外光谱特征波长范围大、采样点多的特点，设计了一种基于一维卷积神经网络结构，并引入Inception模块和LSTM模块，使得网络可以提取更加多样化的特征信息，预测更为精确。精确。精确。


技术研发人员：彭望 张蒙召 王前 王振炅 廖庆喜
受保护的技术使用者：华中农业大学
技术研发日：2023.06.25
技术公布日：2023/9/20