一种一体化水稻穗部谷粒粒型性状的提取方法

1.本发明涉及图像处理技术领域，尤其涉及一种一体化水稻穗部谷粒粒型性状的提取方法。


背景技术：

2.水稻是重要的粮食作物，已在世界各地被广泛种植。水稻穗部的粒型性状是重要的水稻基因体现，也是水稻基因研究的重要途径，在粒型性状中谷粒长度的增加会使谷粒长宽比提高、谷粒形状由短圆形向细长形变化，但会使谷粒宽度、谷粒厚度下降；谷粒宽度、谷粒厚度协同提高的同时，会使谷粒长宽比下降、谷粒形状由细长形向短圆形改变，谷粒形状与谷粒长宽比具有较高的相关性。
3.在当前水稻遗传育种的过程中，需要大量表型数据为水稻穗部的粒型基因选择作支撑。传统的表型测量方法主要依赖人工，工作量大、效率低下，且人工测量法受人主观性的影响较大，难以满足当前遗传育种的需求，同时当下劳动力成本逐年增高，水稻穗部粒型性状检测的成本也越来越高。随着成像技术和计算机技术的发展，高通量自动化进行表型测量方法已越来越普遍，但水稻穗部谷粒之间存在大量的相互遮挡，极大地限制了水稻谷粒性状提取的效率。目前，高通量水稻谷粒粒型性状主要分为两种：1、将穗部谷粒脱粒后铺在平板上，使用振动装置来避免谷粒之间的相互遮挡，随后使用可见光相机进行成像，并使用数字图像处理技术提取谷粒粒型性状。此方法进行脱粒的过程耗时较长，且在脱粒过程中存在谷粒破损的情况，会对性状提取的精度造成一定的影响。
4.2、通过人工分开水稻枝梗后铺在平板上，使用可见光相机进行成像，使用数字图像处理技术获取穗部未受遮挡的谷粒并提取其粒型性状。该方法需要破坏水稻稻穗的自然形态，且在人工分开枝梗后仍有大量穗部谷粒存在相互遮挡的情况，导致无法使用数字图像处理技术提取其粒型性状，使得粒型性状提取的精度降低。
5.由上可知，上述方法均不能实现水稻谷粒粒型性状快速准确的提取，水稻穗部谷粒之间的遮挡已成为水稻穗部粒型性状提取的瓶颈。
6.同时，目前针对水稻穗部谷粒的表型测量主要是通过深度学习目标检测技术实现穗部谷粒的检测与计数。基于自然形态下稻穗上的谷粒间存在严重的相互遮挡，即使通过手动分开水稻枝梗的方法可以在很大程度上减轻谷粒遮挡带来的影响，但人工分开枝梗的的过程中会对稻穗进行破坏，是一个有损的过程，且在执行上述操作后仍无法直接提取部分穗部谷粒的粒型性状，因此目前的检测网络结构难以实现自然形态下水稻穗部谷粒的准确检测与计数。
7.综上所述，如何设计一种无需对稻穗进行破坏即可解决谷粒之间相互遮挡的问题，可提高谷粒粒型检测效率及检测精度的一体化水稻穗部谷粒粒型性状提取方法，是当下亟需解决的问题。


技术实现要素：

8.本发明为解决上述问题，提供了一种一体化水稻穗部谷粒粒型性状的提取方法，可对自然形态下水稻穗部谷粒进行准确检测与计数，解决穗部谷粒间相互遮挡的问题，实现一体化穗部谷粒粒型性状提取，可极大提高水稻穗部谷粒粒型性状提取的效率与精度，避免了传统人工测量带来的主观性误差。
9.为达到上述目的，本发明提出如下技术方案：一种一体化水稻穗部谷粒粒型性状的提取方法，包括如下步骤：s1：穗部谷粒检测；s11：对自然形态下的原始稻穗图像进行采集并构建稻穗图像数据集；s12：通过谷粒检测网络模型对稻穗图像数据集进行训练、验证与测试；谷粒检测网络模型包括用以提取稻穗图像特征的特征提取网络、用以将特征提取网络在不同深度提取的特征进行融合的特征金字塔网络、用以生成可能存在目标的预测框的区域提案网络、用以对网络检测到的目标进行分类并对检测到的目标边界框位置进行优化的分类回归网络；s2：遮挡谷粒修复；s21：对遮挡谷粒图像进行采集并获得包括一张未受遮挡的谷粒图像与一张对应受到遮挡的谷粒图像的成对谷粒图像训练集；s22：通过谷粒修复网络模型对成对谷粒图像训练集进行训练与测试；谷粒修复网络模型包括用以将输入的遮挡图像修复为无遮挡图像的生成器、用以判定生成器生成的无遮挡图像真实性的判别器；s3：谷粒粒型性状提取，得到谷粒长度、宽度、周长以及谷粒投影面积；s4：获取一体化穗部谷粒粒型性状提取模型；s41：获取s1中得到的最优谷粒检测网络模型；s42：获取s2中得到的最优谷粒修复网络模型；s43：将谷粒修复网络模型集成到谷粒检测网络模型中，置于区域提案网络之后，与分类回归网络并行，得到一体化穗部谷粒检测修复模型。
10.s44：将性状提取管道集成至一体化穗部谷粒检测修复模型中，得到一体化穗部谷粒粒型性状提取模型。
11.优选的，s12中的谷粒检测网络模型的目标函数公式如下所示：其中，表示第i个anchor预测为目标的概率，为对应真实标签，如anchor内存在目标则为1，反之则为0；为一个坐标参数向量，表示预测边界框与真实边界框坐标之间的补偿，表示存在目标的anchor所对的真实边界框的坐标；表示训练时的批大小；表示区域提案网络生成的anchor的数量；为一个交叉熵损失，用于对anchor中是否包含物体进行分类，具体
计算公式如下所示：；为一个回归损失，用于使网络得到更精确的边界框，具体计算公式如下所示：如下所示：。
12.优选的，s22中的谷粒修复网络模型的目标函数公式如下所示：其中，d为判别器，g为生成器，z为噪声，x为真实图像，y为约束条件；为条件生成式对抗网络的目标函数：为条件生成式对抗网络的目标函数：为网络的l1损失函数：。
13.优选的，s21包括如下子步骤：s211：遮挡谷粒图像采集：获取整株水稻稻穗，将稻穗自然放置于扫描仪盖板上，在稻穗上选择一个受遮挡的谷粒，对受遮挡的谷粒进行固定，将固定好的受遮挡的谷粒连同稻穗共同进行成像，获取受遮挡的谷粒图像；s212：未受遮挡谷粒图像采集：取下s211中的稻穗，仅保留固定在扫描仪盖板上的谷粒，再次进行扫描，获取对应未受遮挡的谷粒图像；s213：合成遮挡谷粒图像对：对于未受遮挡的谷粒图像，取出图像的红色通道，对红色通道进行二值化，获取图像轮廓并求出谷粒轮廓的外接矩形；再根据外接矩形的坐标在遮挡图像中取出对应受到遮挡的子图，将两个子图在水平方向上进行拼接后得到合成的遮挡谷粒修复数据集；s214：数据增强：将s213中获得的合成遮挡谷粒图像进行随机水平或垂直翻转，以扩增数据集，训练集构建完成且每一份训练集图像均包括成对的谷粒图像，即包括一张未受遮挡的谷粒图像与一张对应受到遮挡的谷粒图像；s215：划分数据集：将s214中获得的成对谷粒图像作为数据集，将数据集中的图像按4:1的数量比例划分为训练集和测试集。
14.优选的，s22包括如下子步骤：s221：将s215中获得的成对谷粒图像训练集输入至谷粒修复网络模型中进行训练，对神经网络中的参数进行更新，直到达到指定的迭代次数或指定的精度后，停止训练；s222：将s215中获得的测试集中的合成遮挡谷粒图像输入至谷粒修复网络模型中
得到复原后的完整谷粒图像，再将完整谷粒图像与测试集中的真实完整谷粒图像进行对比测试；选择谷粒的粒长参数、粒宽参数、面积参数、周长参数4个粒型参数进行对比测试，计算4个粒型参数修复值与真实值的平均绝对百分比误差及相关系数r
²
。
15.优选的，s3包括如下子步骤：s31：将单个谷粒图像进行灰度化，提取谷粒与背景之间的对比度最大的r通道的灰度图用于后续的形状提取；s32：使用阈值分割算法对谷粒灰度图像进行二值化，获取谷粒二值图；s33：基于谷粒二值图提取谷粒外轮廓，包括轮廓上各点的坐标；s34：基于s33得到的轮廓坐标计算得到谷粒长度、宽度、周长及谷粒投影面积。
16.优选的，s34中谷粒长度、宽度、周长及谷粒投影面积的计算方法如下：谷粒长度：基于谷粒轮廓上的点，求取任意两点之间的距离，取最大距离作为谷粒长度；谷粒宽度：由求取谷粒长度的两点计算两点之间的直线方程，求取这个直线的法线斜率，随后求取不同截距下法线与轮廓的交点的距离，最大值即为谷粒宽度；谷粒周长：基于谷粒轮廓上的点，若两点在上下或左右相邻，则两点间的距离定义为1像素大小；若两点在左上、左下、右上或右下方向相邻，则两点之间的距离定义为像素大小；将轮廓上所有相邻像素点之间的距离求和即为谷粒周长；谷粒面积：基于谷粒轮廓上的点，谷粒面积即为谷粒轮廓内像素的数量。
17.优选的，s11包括如下子步骤：s111：稻穗图像采集：在成熟水稻收割后获得水稻主穗，将稻穗随意平铺在可见光扫描成像设备上，对稻穗样本进行成像及存储；s112：原始图像裁剪：基于s111采集的稻穗图像，将稻穗图像中的冗余部分去除，并裁剪为统一像素大小的图像；s113：穗部谷粒图像标注：基于s112中得到的裁剪图像，采用边界框标注方式通过软件对所有穗部谷粒进行标注，每个谷粒标注后将边界框的左上角坐标、右下角坐标、边界框面积和框内目标种类记录下来，再将整株稻穗上的谷粒标注完后进行存储；s114：数据增强：对由s112和s113中获取的稻穗图像及标注文件以一定的概率随机进行水平翻转或垂直翻转，数据集中的每个样本包括裁剪后的稻穗图像及相对应的标注文件；s115：数据集划分：在经过s114中的数据增强后，将数据集中的样本以2:1:1的比例划分为训练集、验证集和测试集；s116：数据集格式转换：分别将由s115划分后的数据集样本转换为用于深度学习目标检测方法训练所规定的格式。
18.优选的，s12包括如下子步骤：s121：网络训练：将由s116获取的稻穗图像训练集输入到谷粒检测网络模型中进行训练，采用不同的超参数对网络进行训练，训练过程中不断更新神经网络的参数，直到达到指定的迭代次数，停止训练；s122：网络验证：将由s116获取的稻穗图像验证集输入到谷粒检测网络模型中进
行验证，根据目标检测评价指标获取不同超参数下网络的精度，随之获取最优谷粒检测网络；s123：网络测试：将由s116获取的稻穗图像测试集输入到由s122获取的最优谷粒检测网络中进行测试，得到每个水稻稻穗样本上的谷粒数，计算网络预测值与真实值的平均绝对百分比误差及相关系数r
²
。
19.优选的，s12中的特征提取网络包括：输入层，用于输入采集到的稻穗图像；卷积层，用于提取图像中的信息；池化层，用于对由卷积层提取的信息进行挑选，对信息降维；激活层，用于提高网络的非线性拟合能力；输出层，用于输出经过多个卷积池化激活后富含图像高级语义信息的特征图；特征金字塔网络包括：卷积层，用于对每个阶段输出的特征图进行降维；上采样层：用于对网络得到的特征图进行上采样；区域提案网络包括：滑动窗口，在由特征金字塔网络得到的特征图上进行滑动生成不同大小的锚框用于目标的预测；分类通道，由若干卷积层构成，用于对锚框中的目标进行分类；回归通道，由若干卷积层构成，用于对锚框的位置进行精调；非极大值抑制，用于消除重复检测的锚框及超出图像边界的锚框；分类回归网络包括：分类通道，由若干卷积层构成，用于对由区域提案网络生成的提案区域中的目标进行分类；回归通道，由若干卷积层构成，用于对由区域提案网络生成的提案区域的位置进行精调；非极大值抑制，用于消除冗余的检测框，并输出最终目标检测的结果。
20.与现有技术相比，本发明能够取得如下有益效果：1、本发明可在不对水稻稻穗进行分穗的情况下高精度实现穗部谷粒的计数并对穗部谷粒进行准确定位，避免了传统人工测量带来的主观性误差，省去了手工分开水稻稻穗枝梗所需的时间，避免了对水稻的自然形态造成破坏，节省了工作量及劳动力成本。
21.2、本发明可通过基于生成对抗网络的图像修复技术对自然形态下受到遮挡的水稻穗部谷粒进行修复，使受遮挡的谷粒恢复自然形状，极大地避免了由于遮挡导致无法直接进行表型测量的瓶颈，提高了水稻穗部谷粒粒型性状提取的效率与精度。
附图说明
22.图1是根据本发明实施例提供的一体化穗部谷粒粒型性状提取的整体结构示意图；图2是根据本发明实施例提供的图像采集设备及采集过程的示意图；图3是根据本发明实施例提供的穗部谷粒检测网络模型的结构图；图4是根据本发明实施例提供的谷粒修复网络模型的整体结构图；图5是根据本发明实施例提供的谷粒粒型性状提取过程示意图。
具体实施方式
23.在下文中，将参考附图1-5描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
24.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1-5及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
25.一种一体化水稻穗部谷粒粒型性状的提取方法，包括如下步骤：s1：穗部谷粒检测。
26.s11：对自然形态下的原始稻穗图像进行采集并构建稻穗图像数据集，包括如下子步骤：s111：稻穗图像采集：在成熟水稻收割后获得水稻主穗，将稻穗随意平铺在可见光扫描成像设备上，设置扫描精度为600dpi，对稻穗样本进行成像，并以tiff格式对稻穗样本图像进行存储，单株稻穗的成像时间为60s左右。图像采集过程如图2所示，其中a图为将稻穗随意平铺在扫描成像设备上，b图为对稻穗样本进行成像，c图为扫描得到的原始稻穗图像，d图为裁剪后的稻穗图像。
27.s112：原始图像裁剪：基于s111采集的稻穗图像，将稻穗图像中的冗余部分去除，并统一裁剪为5700
×
6800像素大小的图像。
28.s113：穗部谷粒图像标注：基于s112中得到的裁剪图像，采用边界框标注方式通过labelme软件对所有穗部谷粒进行标注，每个谷粒标注后将边界框的左上角坐标、右下角坐标、边界框面积和框内目标种类记录下来，再将整株稻穗上的谷粒标注完后以json格式进行存储。
29.s114：数据增强：对由s112和s113中获取的稻穗图像及标注文件以0.2的概率随机进行水平翻转或垂直翻转，数据集中的每个样本包括裁剪后的稻穗图像及相对应的标注文件。
30.s115：数据集划分：在经过s114中的数据增强后，将数据集中的样本以2:1:1的比例划分为训练集、验证集和测试集。
31.s116：数据集格式转换：分别将由s115划分后的数据集样本转换为用于深度学习目标检测方法训练所规定的格式。
32.s12：通过谷粒检测网络模型对稻穗图像数据集进行训练、验证与测试，包括如下子步骤：s121：网络训练：将由s116获取的稻穗图像训练集输入到谷粒检测网络模型中进行训练，采用不同的超参数对网络进行训练，训练过程中不断更新神经网络的参数，直到达到指定的迭代次数，停止训练；s122：网络验证：将由s116获取的稻穗图像验证集输入到谷粒检测网络模型中进行验证，根据目标检测评价指标获取不同超参数下网络的精度，随之获取最优谷粒检测网络；s123：网络测试：将由s116获取的稻穗图像测试集输入到由s122获取的最优谷粒检测网络中进行测试，得到每个水稻稻穗样本上的谷粒数，计算网络预测值与真实值的平均绝对百分比误差及相关系数r
²
。
33.本实施例中的谷粒检测网络主要由基于卷积神经网络的faster r-cnn构成，谷粒检测网络模型包括特征提取网络、特征金字塔网络、区域提案网络及分类回归网络。
34.特征提取网络用以提取稻穗的图像特征，特征提取网络包括：
输入层，用于输入采集到的稻穗图像；卷积层，用于提取图像中的信息；池化层，用于对由卷积层提取的信息进行挑选，对信息降维；激活层，用于提高网络的非线性拟合能力；输出层，用于输出经过多个卷积池化激活后富含图像高级语义信息的特征图。
35.特征金字塔网络用以将特征提取网络在不同深度提取的特征进行融合，特征金字塔网络包括：卷积层，卷积核大小为1
×
1，用于对每个阶段输出的特征图进行降维；上采样层：用于对网络得到的特征图进行上采样，使不同阶段的特征图具有相同的分辨率用于特征图之间的融合；区域提案网络用以生成可能存在目标的预测框，区域提案网络包括：滑动窗口，在由特征金字塔网络得到的特征图上进行滑动生成不同大小的锚框用于目标的预测；分类通道，由若干卷积层构成，用于对锚框中的目标进行分类，分别输出目标属于某个类的概率值；回归通道，由若干卷积层构成，用于对锚框的位置进行精调，使之与目标真实位置更加匹配；非极大值抑制，用于消除重复检测的锚框及超出图像边界的锚框。
36.分类回归网络用以对网络检测到的目标进行分类并对检测到的目标边界框位置进行优化，分类回归网络包括：分类通道，与区域提案网络中分类通道相同，由若干卷积层构成，用于对由区域提案网络生成的提案区域中的目标进行分类，分别输出目标属于某个类的概率值；回归通道，与区域提案网络中分类通道相同，由若干卷积层构成，用于对由区域提案网络生成的提案区域的位置进行精调，使之与目标真实位置更加匹配；非极大值抑制，与区域提案网络中非极大值抑制相同，用于消除冗余的检测框，并输出最终目标检测的结果。
37.穗部谷粒检测网络的结构如图3所示。谷粒检测网络模型的目标函数公式如下所示：其中，表示第i个anchor预测为目标的概率，为对应真实标签，如anchor内存在目标则为1，反之则为0；为一个坐标参数向量，表示预测边界框与真实边界框坐标之间的补偿，表示存在目标的anchor所对的真实边界框的坐标；表示训练时的批大小；表示区域提案网络生成的anchor的数量；为一个交叉熵损失，用于对anchor中是否包含物体进行分类，具体计算公式如下所示：
；为一个回归损失，用于使网络得到更精确的边界框，具体计算公式如下所示：如下所示：。
38.s2：遮挡谷粒修复。
39.s21：对遮挡谷粒图像进行采集并获得包括一张未受遮挡的谷粒图像与一张对应受到遮挡的谷粒图像的成对谷粒图像训练集，包括如下子步骤：s211：遮挡谷粒图像采集：获取整株水稻稻穗，将稻穗自然放置于扫描仪盖板上，在稻穗上选择一个受遮挡的谷粒，对受遮挡的谷粒进行固定，将固定好的受遮挡的谷粒连同稻穗共同进行成像，获取受遮挡的谷粒图像。
40.s212：未受遮挡谷粒图像采集：取下s211中的稻穗，仅保留固定在扫描仪盖板上的谷粒，再次进行扫描，获取对应未受遮挡的谷粒图像。
41.s213：合成遮挡谷粒图像对：对于未受遮挡的谷粒图像，取出图像的红色通道，对红色通道进行二值化，获取图像轮廓并求出谷粒轮廓的外接矩形；再根据外接矩形的坐标在遮挡图像中取出对应受到遮挡的子图，将两个子图在水平方向上进行拼接后得到合成的遮挡谷粒修复数据集。
42.s214：数据增强：将s213中获得的合成遮挡谷粒图像进行随机水平或垂直翻转，以扩增数据集，训练集构建完成且每一份训练集图像均包括成对的谷粒图像，即包括一张未受遮挡的谷粒图像与一张对应受到遮挡的谷粒图像。
43.s215：划分数据集：将s214中获得的成对谷粒图像作为数据集，将数据集中的图像按4:1的数量比例划分为训练集和测试集。
44.s22：通过谷粒修复网络模型对成对谷粒图像训练集进行训练与测试，包括如下子步骤：s221：将s215中获得的成对谷粒图像训练集输入至谷粒修复网络模型中进行训练，对神经网络中的参数进行更新，直到达到指定的迭代次数或指定的精度后，停止训练。
45.s222：将s215中获得的测试集中的合成遮挡谷粒图像输入至谷粒修复网络模型中得到复原后的完整谷粒图像，再将完整谷粒图像与测试集中的真实完整谷粒图像进行对比测试。
46.选择谷粒的粒长参数、粒宽参数、面积参数、周长参数4个粒型参数进行对比测试，计算4个粒型参数修复值与真实值的平均绝对百分比误差及相关系数r
²
。
47.谷粒修复网络模型包括生成器和判别器，生成器用以将输入的遮挡图像修复为无遮挡图像，生成器包括：输入层，用于输入人工合成的遮挡谷粒图像或实际的稻穗遮挡谷粒图像子图；编码层，用于对输入图像编码，将输入图像下采样的同时增加通道数，以提取图像
中的高层次语义信息；解码层，用于对图像进行解码，将编码后的特征图上采样的同时减小通道数，抓取不同层次的语义信息以特征叠加的方式予以整合；编码层与解码层之间采用跳跃连接结构，假设网络总层数为n，则在每第i层和第n－i层之间添加跳跃连接，以此避免了编码-解码结构带来的信息瓶颈问题；输出层，用于输出修复后的单颗谷粒图像，输出图像的尺寸与输入图像尺寸相同。
48.判别器用以判定生成器生成的无遮挡图像的真实性，判别器包括：输入层，用于输入生成器生成的谷粒图像或真实的谷粒图像；全卷积层，输入图像各区域都独立经过全卷积层，以提取各区域的特征便于网络判定真伪；输出矩阵，输入图像经过全卷积层后被映射为一个输出矩阵，矩阵的各个值代表着输入图像各区域属于真实图像的概率。
49.谷粒修复网络模型的目标函数公式如下所示：其中，d为判别器，g为生成器，z为噪声，x为真实图像，y为约束条件；为条件生成式对抗网络的目标函数：为条件生成式对抗网络的目标函数：为网络的l1损失函数：。
50.上述遮挡谷粒修复方法通过前后两次扫描获取的受遮挡谷粒图像和未受遮挡谷粒图像制作的图像对，使修复网络得到有效训练后，即可使用网络的生成器将遮挡谷粒图像修复为未遮挡的完整谷粒图像，对不同品种水稻谷粒复原的综合误差低于4%。利用该方法能够从本质上修复因遮挡造成的图像信息缺失，有效消除谷粒遮挡造成的测量误差，从而为水稻产量性状中最为重要的谷粒粒型测量提供一种高精度的测量途径。
51.s3：谷粒粒型性状提取，得到谷粒长度、宽度、周长以及谷粒投影面积，包括如下子步骤：s31：将单个谷粒图像进行灰度化，提取谷粒与背景之间的对比度最大的r通道的灰度图用于后续的形状提取；s32：使用阈值分割算法对谷粒灰度图像进行二值化，获取谷粒二值图；s33：基于谷粒二值图提取谷粒外轮廓，包括轮廓上各点的坐标；s34：基于s33得到的轮廓坐标计算得到谷粒长度、宽度、周长及谷粒投影面积。
52.s34中谷粒长度、宽度、周长及谷粒投影面积的计算方法如下：谷粒长度：基于谷粒轮廓上的点，求取任意两点之间的距离，取最大距离作为谷粒长度；谷粒宽度：由求取谷粒长度的两点计算两点之间的直线方程，求取这个直线的法线斜率，随后求取不同截距下法线与轮廓的交点的距离，最大值即为谷粒宽度；
谷粒周长：基于谷粒轮廓上的点，若两点在上下或左右相邻，则两点间的距离定义为1像素大小；若两点在左上、左下、右上或右下方向相邻，则两点之间的距离定义为像素大小；将轮廓上所有相邻像素点之间的距离求和即为谷粒周长；谷粒面积：基于谷粒轮廓上的点，谷粒面积即为谷粒轮廓内像素的数量。
53.s4：获取一体化穗部谷粒粒型性状提取模型，谷粒粒型性状提取细节由图5所示，a图所示为谷粒原始图像，b图所示为通过r通道提取的灰度图像，c图所示为对灰度图像进行二值化后的二值图，d图所示为通过二值图提取出的谷粒轮廓，e图所示为对各种粒型性状进行提取。
54.s41：获取s1中得到的最优谷粒检测网络模型；s42：获取s2中得到的最优谷粒修复网络模型。
55.s43：将谷粒修复网络模型集成到谷粒检测网络模型中，置于区域提案网络之后，与分类回归网络并行，得到一体化穗部谷粒检测修复模型。
56.s44：将性状提取管道集成至一体化穗部谷粒检测修复模型中，得到一体化穗部谷粒粒型性状提取模型。
57.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
58.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，包括如下步骤：s1：穗部谷粒检测；s11：对自然形态下的原始稻穗图像进行采集并构建稻穗图像数据集；s12：通过谷粒检测网络模型对稻穗图像数据集进行训练、验证与测试；所述谷粒检测网络模型包括用以提取稻穗图像特征的特征提取网络、用以将特征提取网络在不同深度提取的特征进行融合的特征金字塔网络、用以生成可能存在目标的预测框的区域提案网络、用以对网络检测到的目标进行分类并对检测到的目标边界框位置进行优化的分类回归网络；s2：遮挡谷粒修复；s21：对遮挡谷粒图像进行采集并获得包括一张未受遮挡的谷粒图像与一张对应受到遮挡的谷粒图像的成对谷粒图像训练集；s22：通过谷粒修复网络模型对成对谷粒图像训练集进行训练与测试；所述谷粒修复网络模型包括用以将输入的遮挡图像修复为无遮挡图像的生成器、用以判定生成器生成的无遮挡图像真实性的判别器；s3：谷粒粒型性状提取，得到谷粒长度、宽度、周长以及谷粒投影面积；s4：获取一体化穗部谷粒粒型性状提取模型；s41：获取s1中得到的最优谷粒检测网络模型；s42：获取s2中得到的最优谷粒修复网络模型；s43：将谷粒修复网络模型集成到谷粒检测网络模型中，置于区域提案网络之后，与分类回归网络并行，得到一体化穗部谷粒检测修复模型；s44：将性状提取管道集成至一体化穗部谷粒检测修复模型中，得到一体化穗部谷粒粒型性状提取模型。2.根据权利要求1所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s12中的谷粒检测网络模型的目标函数公式如下所示：其中，表示第i个anchor预测为目标的概率，为对应真实标签，如anchor内存在目标则为1，反之则为0；为一个坐标参数向量，表示预测边界框与真实边界框坐标之间的补偿，表示存在目标的anchor所对的真实边界框的坐标；表示训练时的批大小；表示区域提案网络生成的anchor的数量；为一个交叉熵损失，用于对anchor中是否包含物体进行分类，具体计算公式如下所示：；为一个回归损失，用于使网络得到更精确的边界框，具体计算公式如下所示：
。3.根据权利要求2所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s22中的谷粒修复网络模型的目标函数公式如下所示：其中，d为判别器，g为生成器，z为噪声，x为真实图像，y为约束条件；为条件生成式对抗网络的目标函数：为条件生成式对抗网络的目标函数：为网络的l1损失函数：。4.根据权利要求1-3中任一项所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s21包括如下子步骤：s211：遮挡谷粒图像采集：获取整株水稻稻穗，将稻穗自然放置于扫描仪盖板上，在稻穗上选择一个受遮挡的谷粒，对受遮挡的谷粒进行固定，将固定好的受遮挡的谷粒连同稻穗共同进行成像，获取受遮挡的谷粒图像；s212：未受遮挡谷粒图像采集：取下s211中的稻穗，仅保留固定在扫描仪盖板上的谷粒，再次进行扫描，获取对应未受遮挡的谷粒图像；s213：合成遮挡谷粒图像对：对于未受遮挡的谷粒图像，取出图像的红色通道，对红色通道进行二值化，获取图像轮廓并求出谷粒轮廓的外接矩形；再根据外接矩形的坐标在遮挡图像中取出对应受到遮挡的子图，将两个子图在水平方向上进行拼接后得到合成的遮挡谷粒修复数据集；s214：数据增强：将s213中获得的合成遮挡谷粒图像进行随机水平或垂直翻转，以扩增数据集，训练集构建完成且每一份训练集图像均包括成对的谷粒图像，即包括一张未受遮挡的谷粒图像与一张对应受到遮挡的谷粒图像；s215：划分数据集：将s214中获得的成对谷粒图像作为数据集，将数据集中的图像按4:1的数量比例划分为训练集和测试集。5.根据权利要求4所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s22包括如下子步骤：s221：将s215中获得的成对谷粒图像训练集输入至谷粒修复网络模型中进行训练，对神经网络中的参数进行更新，直到达到指定的迭代次数或指定的精度后，停止训练；s222：将s215中获得的测试集中的合成遮挡谷粒图像输入至谷粒修复网络模型中得到复原后的完整谷粒图像，再将完整谷粒图像与测试集中的真实完整谷粒图像进行对比测试；
选择谷粒的粒长参数、粒宽参数、面积参数、周长参数4个粒型参数进行对比测试，计算4个粒型参数修复值与真实值的平均绝对百分比误差及相关系数r
²
。6.根据权利要求5所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s3包括如下子步骤：s31：将单个谷粒图像进行灰度化，提取谷粒与背景之间的对比度最大的r通道的灰度图用于后续的形状提取；s32：使用阈值分割算法对谷粒灰度图像进行二值化，获取谷粒二值图；s33：基于谷粒二值图提取谷粒外轮廓，包括轮廓上各点的坐标；s34：基于s33得到的轮廓坐标计算得到谷粒长度、宽度、周长及谷粒投影面积。7.根据权利要求6所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s34中谷粒长度、宽度、周长及谷粒投影面积的计算方法如下：谷粒长度：基于谷粒轮廓上的点，求取任意两点之间的距离，取最大距离作为谷粒长度；谷粒宽度：由求取谷粒长度的两点计算两点之间的直线方程，求取这个直线的法线斜率，随后求取不同截距下法线与轮廓的交点的距离，最大值即为谷粒宽度；谷粒周长：基于谷粒轮廓上的点，若两点在上下或左右相邻，则两点间的距离定义为1像素大小；若两点在左上、左下、右上或右下方向相邻，则两点之间的距离定义为像素大小；将轮廓上所有相邻像素点之间的距离求和即为谷粒周长；谷粒面积：基于谷粒轮廓上的点，谷粒面积即为谷粒轮廓内像素的数量。8.根据权利要求7所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s11包括如下子步骤：s111：稻穗图像采集：在成熟水稻收割后获得水稻主穗，将稻穗随意平铺在可见光扫描成像设备上，对稻穗样本进行成像及存储；s112：原始图像裁剪：基于s111采集的稻穗图像，将稻穗图像中的冗余部分去除，并裁剪为统一像素大小的图像；s113：穗部谷粒图像标注：基于s112中得到的裁剪图像，采用边界框标注方式通过软件对所有穗部谷粒进行标注，每个谷粒标注后将边界框的左上角坐标、右下角坐标、边界框面积和框内目标种类记录下来，再将整株稻穗上的谷粒标注完后进行存储；s114：数据增强：对由s112和s113中获取的稻穗图像及标注文件以一定的概率随机进行水平翻转或垂直翻转，数据集中的每个样本包括裁剪后的稻穗图像及相对应的标注文件；s115：数据集划分：在经过s114中的数据增强后，将数据集中的样本以2:1:1的比例划分为训练集、验证集和测试集；s116：数据集格式转换：分别将由s115划分后的数据集样本转换为用于深度学习目标检测方法训练所规定的格式。9.根据权利要求8所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s12包括如下子步骤：s121：网络训练：将由s116获取的稻穗图像训练集输入到谷粒检测网络模型中进行训练，采用不同的超参数对网络进行训练，训练过程中不断更新神经网络的参数，直到达到指
定的迭代次数，停止训练；s122：网络验证：将由s116获取的稻穗图像验证集输入到谷粒检测网络模型中进行验证，根据目标检测评价指标获取不同超参数下网络的精度，随之获取最优谷粒检测网络；s123：网络测试：将由s116获取的稻穗图像测试集输入到由s122获取的最优谷粒检测网络中进行测试，得到每个水稻稻穗样本上的谷粒数，计算网络预测值与真实值的平均绝对百分比误差及相关系数r
²
。10.根据权利要求9所述的一体化水稻穗部谷粒粒型性状的提取方法，其特征在于，s12中所述的特征提取网络包括：输入层，用于输入采集到的稻穗图像；卷积层，用于提取图像中的信息；池化层，用于对由卷积层提取的信息进行挑选，对信息降维；激活层，用于提高网络的非线性拟合能力；输出层，用于输出经过多个卷积池化激活后富含图像高级语义信息的特征图；所述特征金字塔网络包括：卷积层，用于对每个阶段输出的特征图进行降维；上采样层：用于对网络得到的特征图进行上采样；所述区域提案网络包括：滑动窗口，在由特征金字塔网络得到的特征图上进行滑动生成不同大小的锚框用于目标的预测；分类通道，由若干卷积层构成，用于对锚框中的目标进行分类；回归通道，由若干卷积层构成，用于对锚框的位置进行精调；非极大值抑制，用于消除重复检测的锚框及超出图像边界的锚框；所述分类回归网络包括：分类通道，由若干卷积层构成，用于对由区域提案网络生成的提案区域中的目标进行分类；回归通道，由若干卷积层构成，用于对由区域提案网络生成的提案区域的位置进行精调；非极大值抑制，用于消除冗余的检测框，并输出最终目标检测的结果。

技术总结
本发明涉及图像处理技术领域，具体提供了一种一体化水稻穗部谷粒粒型性状的提取方法，包括如下步骤：S1：穗部谷粒检测；S11：采集原始稻穗图像，构建稻穗图像数据集；S12：对稻穗图像数据集进行训练、验证与测试；S2：遮挡谷粒修复；S21：对遮挡谷粒图像进行采集并获得成对谷粒图像训练集；S22：对成对谷粒图像训练集进行训练与测试；S3：谷粒粒型性状提取，得到谷粒长度、宽度、周长以及谷粒投影面积；S4：获取一体化穗部谷粒检测修复模型及一体化穗部谷粒粒型性状提取模型。本方案可对自然形态下受到遮挡的水稻穗部谷粒进行修复而解决穗部谷粒间相互遮挡的问题，提高了水稻穗部谷粒粒型性状提取的效率与精度。提取的效率与精度。提取的效率与精度。


技术研发人员：余乐俊 刘谦 卢宇韦 王金虎
受保护的技术使用者：海南大学
技术研发日：2023.07.21
技术公布日：2023/8/21