一种基于动态图卷积和迁移学习的作物器官点云分割方法

1.本发明属于三维点云实例分割技术领域，具体涉及一种基于动态图卷积和迁移学习的作物器官点云分割方法。


背景技术：

2.当前，人类生存生产所需的粮食和生物燃料数量急剧增加，全球普遍存在资源短缺问题，为了满足人类活动的需求，并在现有资源情况下保障粮食供应，需要识别并量化分析各种植物特性，培育更高产的植物品种。植物表型组学通过分析植物内在基因型与外部环境的相互作用，得到植物的生长情况，并利用计算机技术准确、快速的分析表型，从而提高对植物复杂遗传性状的认识，加速育种和精细农业的发展，当前已经成为生物学的一个重要研究方向。
3.一般来说，植物表型分析的数据主要来源于植物器官，例如叶片、根茎和果实等。因此，准确且快速的对植物器官进行有效分割是当前植物表型组学中面临的挑战之一。最初，需要大量人工来收集植株的器官数据，有些性状甚至需要对生长中的植物进行破坏性采样才可获得，这在当前形势下是不切实际的。另有一些工作基于二维图像数据，利用聚类、区域增长或卷积神经网络进行自动化表型提取。但是，二维图像只能记录植株固定角度的特征，丢失了空间结构信息。近年来，三维传感器技术的快速发展加快了植物三维表型分析的进度，基于空间中植物三维点集的分析方法不断涌现，这些工作不仅能够完整描述植物的空间分布，而且提取的表型数据也具有统计意义。
4.由于作物三维点云数据固有的无序性和不规则性，当前分割方法主要基于深度神经网络。然而主流的神经网络往往无法准确的捕获点与点之间几何特征，而局部特征是实现作物点云准确分割的关键因素。图卷积是一种基于图论的方法，天然适应点云这种空间分布不规则的数据，可以利用点与点之间的拓扑关系计算每个点与其邻居点的边缘特征，从而提高神经网络对点云局部特征的感知能力。此外，图卷积能够在保证点云的置换不变性，还可以在不同的特征空间中更新结构，以适应神经网络中的特征数据。
5.为了获得更加准确的点云器官分割结果，训练神经网络所需的数据量通常非常大，而对海量数据进行人工标注的工作量是无法承受的，这直接导致现有模型泛化能力有限。迁移学习方法可以学习源域与目标域的相似性，并且通过微调参数最大化的利用现有预训练模型对未经大量训练的植物三维数据进行分析。因此，迁移学习方法可以采用较少数据进行训练，并获得与现有模型同样甚至更好的效果。


技术实现要素：

6.本发明针对当前作物点云分割模型精度低、泛化能力不足的问题，提出一个基于动态图卷积和迁移学习的作物器官点云分割方法。该方法设计了一个全新的基于动态图卷积的作物器官点云分割网络pointdgcnet。基于此网络训练高粱点云分割模型，对此模型进行参数微调得到单子叶植物点云分割模型。解决了在现有数据量较少的情况下传统神经网
络模型容易过拟合、训练时间长和收敛速度慢的问题，提高植物点云器官分割模型的分割效率和泛化能力。
7.为实现上述目的，本发明采取的技术方案如下：
8.一种基于动态图卷积和迁移学习的作物器官点云分割方法，所述方法为：
9.步骤一：数据获取与数据集建立
10.数据集分为两部分：(1)用三维扫描仪对五种不同环境下处于苗期生长阶段的高粱植株进行无接触扫描，获取微米级别分辨率的高粱三维点云；(2)用三维扫描仪对六种环境下苗期阶段的单子叶植株进行无接触扫描，获取亚毫米级别分辨率的玉米三维点云；
11.步骤二：建立pointdgcnet点云分割网络
12.pointdgcnet网络采用编-解码器架构并基于图卷积操作进行设计，网络中的采样卷积块由边缘卷积层和采样分组层构成；
13.边缘卷积层根据输入的点云信息构建一个图数据结构，其中每个独立点作为图中的顶点，每个顶点与其邻居点之间的关系操作h被定义为边缘卷积，关系函数h的定义如下：
14.h(xi,xj)＝max(mlp(x
i-xj))
15.其中，xi为关注点，xj为关注点周围的邻居点；
16.采样分组层使用fps下采样算法从输入点云pc中选取部分具有代表性的点pc’，并采用k近邻算法将邻居点的特征聚合到点集pc’中；
17.pointdgcnet网络的特征编码器由三个级联的采样卷积块组成，负责对输入点云进行高度的特征抽象；特征解码器由三个级联的上采样插值层构成，负责将抽象的高维度特征逐级恢复到每个独立点中；最终采用平均池化层输出点云分割结果；平均池化操作的公式为
18.f({x1,x2,
…
,xk})＝avg(w(x1),w(x2),
…
,w(xk))
19.其中，w为特征抽象操作；
20.将高粱点云数据输入pointdgcnet网络进行神经网络训练，训练结束后，得到一个高粱点云实例分割模型；
21.步骤三：参数微调
22.对步骤二训练好的高粱模型进行参数微调，以适应单子叶植物数据，具体地，微调与标签预测相关的神经网络层参数，来得到合适的单子叶植物点云分割模型；
23.预训练网络pointdgcnet的输出层修改为：
24.output＝conv2'(dropout(relu(batch_normal(conv1(points)))))
25.其中，conv2'为修改后的二维卷积层，dropout为随机失活层，relu为激活函数，batch_normal为批量标准化层，conv1为一维卷积层，points为经过fp1
′
层输出的抽象特征。
26.进一步地，步骤一中，对上述点云数据集进行归一化处理，将点云坐标规模固定在[-1，1]内，并将点云中心移至坐标轴原点，(xi,yi,zi)代表点云中第i个点的原始坐标，center代表点云中心，biasi代表坐标点和点云中心的坐标偏差，m代表缩放比例，(xi',yi',zi')代表第i个点归一化处理之后的新坐标，具体公式如下：
[0027]
[0028][0029][0030][0031]
其中，x为所有x的平均数，y为所有y的平均数，z为所有z的平均数，n为单株植物点云中独立点的个数；
[0032]
对上述已归一化的点云进行数据增广，首先将原始点云p随机下采样到10000个点得到p
′
，然后对p
′
中每一个点的坐标在随机方向上扰动，扰动距离为0.001，对数据集中每个点云重复上述操作10次，得到标记良好的植物点云数据集s。
[0033]
进一步地，步骤二中，pointdgcnet网络超参数设置为：批次大小为32，设置100个时期，点云采样数设置为2048，初始学习率为0.001，使用adam优化算法。
[0034]
进一步地，步骤三中，微调与标签预测相关的神经网络层参数的具体做法为：
[0035]
(1)提取高粱预训练分割模型中的全部参数，并固定梯度不参与训练；
[0036]
(2)将预训练模型中特征解码器的全连接层fp1和二维卷积层conv2替换成适合单子叶植物点云数据的fp1
′
、conv2
′
层；
[0037]
(3)将高粱预训练分割模型中的独热编码更改为单子叶植物点云数据的独热编码；
[0038]
(4)随机初始化fp1
′
和conv2
′
两层的权重，偏置项设置为0。
[0039]
进一步地，所述方法还包括步骤四：重采样
[0040]
采用两个比例对原始单子叶植物点云进行重新下采样；具体来说，设置参数r1为骨架点数量占整个点云数量的比例，设置参数r2为内部点数量占整个点云数量的比例；以0.1为步长修改参数r1，r2，在单子叶植物点云测试集上重新采样，并采用步骤三中迁移学习模型重新测试分割准确率。
[0041]
本发明相对于现有技术的有益效果为：首先，基于图卷积操作设计了一个全新的点云实例分割网络pointdgcnet。然后，采用迁移学习方法微调预训练分割模型的参数，得到适用于单子叶植株点云的实例分割模型，有效提高了单子叶植物点云的分割准确率(平均准确率68.98％，平均交并比66.53％)，同时极大的缩短了模型的训练时间，并避免了过拟合情况的发生。训练后，采用重采样方法进一步提高了分割的准确率(平均准确率72.10％)。最后，通过进一步实验证明，该方法对于单子叶植物点云，如玉米、小麦等均具有一定的泛化能力。
附图说明
[0042]
图1为本发明的整体流程图；
[0043]
图2为本发明的pointdgcnet网络架构图；
[0044]
图3为本发明的微调网络架构图；
[0045]
图4为本发明采用的部分高粱点云数据图；
[0046]
图5为本发明采用的部分玉米点云数据图；
[0047]
图6为本发明迁移学习方法对玉米点云的分割效果图；
[0048]
图7为本发明中以不同比例重采样后获得的精度散点图；
[0049]
图8为本发明中迁移学习方法应用于小麦点云的分割效果图。
具体实施方式
[0050]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施方式，对本发明进行进一步的详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。
[0051]
实施例1：
[0052]
一种基于动态图卷积和迁移学习的作物器官点云分割方法，整体流程如图1所示，其特征在于：所述方法为：
[0053]
步骤一：数据获取与数据集建立
[0054]
数据集分为两部分：(1)用三维扫描仪对五种不同环境下(环境光、阴影、高温、强光和干旱)处于苗期生长阶段的高粱植株进行无接触扫描，获取到111株微米级别分辨率的高粱三维点云(图4)；(2)用三维扫描仪对六种环境下苗期阶段的玉米植株进行无接触扫描，获取到47株高清玉米三维点云(图5)；多种环境为了说明数据的多样性，因为不同环境下生长的作物形态结构上有较大差异，因此多种环境下的数据可以说明本方法的鲁棒性。
[0055]
人工对以上获取到的点云数据进行器官级别的数据标注，由于高粱苗期即使是有经验的专业人员也无法分辨其茎叶的分隔的交界，因此将点云中圆柱形态的部分标记为茎而非圆柱形态部分标记为叶。
[0056]
对上述点云数据集进行归一化处理，将点云坐标规模固定在[-1,1]内，并将点云中心移至坐标轴原点，(xi,yi,zi)代表点云中第i个点的原始坐标，center代表点云中心，biasi代表坐标点和点云中心的坐标偏差，m代表缩放比例，(xi',yi',zi')代表第i个点归一化处理之后的新坐标，具体公式如下：
[0057][0058][0059][0060][0061]
为所有x的平均数，为所有y的平均数，为所有z的平均数；
[0062]
对上述已归一化的点云进行数据增广，首先将原始点云p随机下采样到10000个点得到p
′
，然后对p
′
中每一个点的坐标在随机方向上扰动，扰动距离为0.001，对数据集中每个点云重复上述操作10次，得到标记良好的植物点云数据集s，其中包括1110株高粱点云和470株玉米点云；
[0063]
步骤二：自创的pointdgcnet点云分割网络
[0064]
本发明首先设计了一个全新的基于图卷积的作物点云分割网络pointdgcnet(图2)，并以此为基础训练得到高粱点云分割预训练模型。pointdgcnet网络采用编-解码器架构并基于图卷积操作进行设计，网络中最重要的模块是采样卷积块，由边缘卷积层和采样
分组层构成；具体来说，边缘卷积层根据输入的点云信息构建一个图数据结构，其中每个独立点作为图中的顶点，每个顶点与其邻居点之间的关系操作h被定义为边缘卷积，本发明中关系函数h的定义如下：
[0065]
h(xi,xj)＝max(mlp(x
i-xj))
[0066]
其中，xi为关注点，xj为关注点周围的邻居点；需要注意的是，这种点与点之间的近邻关系不局限于欧式空间中；随着网络的不断加深，这种近邻搜索同样适用于高维度的特征空间；采样分组层使用fps下采样算法从输入点云pc中选取部分具有代表性的点pc’，并采用k近邻算法将邻居点的特征聚合到点集pc’中；在减少点云中点数量的同时提升每个点包含特征的维度；
[0067]
pointdgcnet网络的特征编码器由三个级联的采样卷积块组成，负责对输入点云进行高度的特征抽象；特征解码器部分较为简单，由三个级联的上采样插值层构成，负责将抽象的高维度特征逐级恢复到每个独立点中；最终采用平均池化层输出点云分割结果。平均池化操作的公式如下，其中w代表特征抽象操作：
[0068]
f({x1,x2,...,xk})＝avg(w(x1),w(x2),...,w(xk))
[0069]
将高粱点云数据输入pointdgcnet网络进行神经网络训练；具体实验设置如下：数据按8:1:1划分为训练集、验证集和测试集，每个实例至少包含3个器官，最多6个器官。计算实验在单机服务器上进行，该服务器包括12核心20线程的cpu、64gb内存和一个nvidia geforce rtx 3090ti gpu。计算实验在windows操作系统中使用pytorch框架进行，在训练阶段，网络的输入仅包含三维坐标和对应点的标注值，点云采样数量规定为4096个。训练批次大小设置为48，初始学习率设置为0.5，使用随机梯度下降算法优化网络，由于数据量不大，共训练50个周期，每10个周期将学习率减小一半，权重衰减设置为0.01，动量设置为0.9。训练结束后，得到一个高粱点云实例分割模型。
[0070]
或者设置为：将1110株标记良好的高粱点云按9：1的比例划分为训练集和测试集，所有高粱点云器官个数最多为6，pointdgcnet网络超参数设置如下：批次大小为32，设置100个时期，点云采样数设置为2048，初始学习率为0.001，使用adam优化算法，最终得到高粱点云的实例分割模型，平均分割准确率为77.23％，平均交并比为73.29％。
[0071]
表1本发明中pointdgcnet与pointnet++的分割精度对比表
[0072]
模型训练时间(秒)平均交并比(％)准确率(％)pointnet++(高粱)270268.7662.17pointnet++(玉米)152262.2363.11pointdgcnet(高粱)290173.2977.23pointdgcnet(玉米)206666.5368.98
[0073]
步骤三：参数微调
[0074]
由于玉米点云数据量较少，从零开始训练一个拥有千万级别参数的模型是不现实的，必然出现过拟合现象。这种情况下，本发明按照图3的架构将特征解码器中与点分类相关的网络层进行修改，使一维、二维卷积等各层的输入输出通道数匹配玉米点云对上述已经训练好的高粱模型进行参数微调，以适应玉米数据，并降低训练的时间成本和人工成本；
[0075]
高粱器官分割模型中，点级别的特征提取都是基于多通道一维、二维卷积操作实现，由于低级别的特征提取层在任何三维点云目标上感受的特征都是相似的，因此本发明
仅微调与标签预测相关的神经网络层参数，来快速得到合适的玉米点云分割模型；
[0076]
具体做法如下：
[0077]
(1)提取高粱预训练分割模型中的全部参数，并固定梯度不参与训练；
[0078]
(2)将预训练模型中特征解码器的全连接层fp1和二维卷积层conv2替换成适合玉米数据的fp1
′
、conv2
′
层；
[0079]
(3)将高粱预训练分割模型中的独热编码更改为玉米数据的独热编码；
[0080]
(4)随机初始化fp1
′
和conv2
′
两层的权重，偏置项设置为0；
[0081]
预训练网络pointdgcnet的输出层修改如下，其中points为经过fp1
′
层输出的抽象特征，conv1为一维卷积层，batch_normal为批量标准化层，relu为激活函数，dropout为随机失活层，conv2'为修改后的二维卷积层。
[0082]
output＝conv2'(dropout(relu(batch_normal(conv1(points)))))
[0083]
表2迁移学习方法与pointdgcnet分别训练玉米点云数据的分割结果表
[0084]
模型训练时间(秒)平均交并比(％)准确率(％)pointdgcnet100466.5368.98迁移学习模型94066.1172.10
[0085]
步骤四：重采样
[0086]
图6是玉米点云的分割效果图，为了进一步提高器官实例分割的准确率，本发明采用两个比例对原始玉米点云进行重新下采样；具体来说，设置参数r1为骨架点数量占整个点云数量的比例，设置参数r2为内部点数量占整个点云数量的比例；以0.1为步长修改参数r1，r2，在玉米点云测试集上重新采样，并重新测试分割准确率；数据表明(图7)，经过重采样后的点云最高可以提高0.77％的分割准确率。图8为本方法应用于小麦点云数据的测试效果图，可以看出本方法在单子叶作物上同样具有一定的泛化能力。不仅能应用于上述实验中的玉米点云，在小麦上进行测试同样获得了较好的效果。

技术特征：
1.一种基于动态图卷积和迁移学习的作物器官点云分割方法，其特征在于：所述方法为：步骤一：数据获取与数据集建立数据集分为两部分：(1)用三维扫描仪对五种不同环境下处于苗期生长阶段的高粱植株进行无接触扫描，获取微米级别分辨率的高粱三维点云；(2)用三维扫描仪对六种环境下苗期阶段的单子叶植株进行无接触扫描，获取亚毫米级别分辨率的玉米三维点云；步骤二：建立pointdgcnet点云分割网络pointdgcnet网络采用编-解码器架构并基于图卷积操作进行设计，网络中的采样卷积块由边缘卷积层和采样分组层构成；边缘卷积层根据输入的点云信息构建一个图数据结构，其中每个独立点作为图中的顶点，每个顶点与其邻居点之间的关系操作h被定义为边缘卷积，关系函数h的定义如下：h(x
i
,x
j
)＝max(mlp(x
i-x
j
))其中，x
i
为关注点，x
j
为关注点周围的邻居点；采样分组层使用fps下采样算法从输入点云pc中选取部分具有代表性的点pc’，并采用k近邻算法将邻居点的特征聚合到点集pc’中；pointdgcnet网络的特征编码器由三个级联的采样卷积块组成，负责对输入点云进行高度的特征抽象；特征解码器由三个级联的上采样插值层构成，负责将抽象的高维度特征逐级恢复到每个独立点中；最终采用平均池化层输出点云分割结果；平均池化操作的公式为f({x1,x2,...,x
k
})＝avg(w(x1),w(x2),...,w(x
k
))其中，w为特征抽象操作；将高粱点云数据输入pointdgcnet网络进行神经网络训练，训练结束后，得到一个高粱点云实例分割模型；步骤三：参数微调对步骤二训练好的高粱模型进行参数微调，以适应单子叶植物数据，具体地，微调与标签预测相关的神经网络层参数，来得到合适的单子叶植物点云分割模型；预训练网络pointdgcnet的输出层修改为：output＝conv2'(dropout(relu(batch_normal(conv1(points)))))其中，conv2’为修改后的二维卷积层，dropout为随机失活层，relu为激活函数，batch_normal为批量标准化层，conv1为一维卷积层，points为经过fp1
′
层输出的抽象特征。2.根据权利要求1所述的一种基于动态图卷积和迁移学习的作物器官点云分割方法，其特征在于：步骤一中，对上述点云数据集进行归一化处理，将点云坐标规模固定在[-1，1]内，并将点云中心移至坐标轴原点，(x
i
,y
i
,z
i
)代表点云中第i个点的原始坐标，center代表点云中心，bias
i
代表坐标点和点云中心的坐标偏差，m代表缩放比例，(x
i
',y
i
',z
i
')代表第i个点归一化处理之后的新坐标，具体公式如下：i个点归一化处理之后的新坐标，具体公式如下：
其中，为所有x的平均数，为所有y的平均数，为所有z的平均数，n为单株植物点云中独立点的个数；对上述已归一化的点云进行数据增广，首先将原始点云p随机下采样到10000个点得到p
′
，然后对p
′
中每一个点的坐标在随机方向上扰动，扰动距离为0.001，对数据集中每个点云重复上述操作10次，得到标记良好的植物点云数据集s。3.根据权利要求1所述的一种基于动态图卷积和迁移学习的作物器官点云分割方法，其特征在于：步骤二中，pointdgcnet网络超参数设置为：批次大小为32，设置100个时期，点云采样数设置为2048，初始学习率为0.001，使用adam优化算法。4.根据权利要求1所述的一种基于动态图卷积和迁移学习的作物器官点云分割方法，其特征在于：步骤三中，微调与标签预测相关的神经网络层参数的具体做法为：(1)提取高粱预训练分割模型中的全部参数，并固定梯度不参与训练；(2)将预训练模型中特征解码器的全连接层fp1和二维卷积层conv2替换成适合单子叶植物点云数据的fp1
′
、conv2
′
层；(3)将高粱预训练分割模型中的独热编码更改为单子叶植物点云数据的独热编码；(4)随机初始化fp1
′
和conv2
′
两层的权重，偏置项设置为0。5.根据权利要求1～4任一项所述的一种基于动态图卷积和迁移学习的作物器官点云分割方法，其特征在于：所述方法还包括步骤四：重采样采用两个比例对原始单子叶植物点云进行重新下采样；具体来说，设置参数r1为骨架点数量占整个点云数量的比例，设置参数r2为内部点数量占整个点云数量的比例；以0.1为步长修改参数r1，r2，在单子叶植物点云测试集上重新采样，并采用步骤三中迁移学习模型重新测试分割准确率。

技术总结
一种基于动态图卷积和迁移学习的作物器官点云分割方法，属于三维点云实例分割技术领域。所述方法首先基于图卷积操作设计了一个全新的点云实例分割网络PointDGCNet。然后，采用迁移学习方法微调预训练分割模型的参数，得到适用于单子叶植株点云的实例分割模型，有效提高了单子叶植物点云的分割准确率(平均准确率68.98％，平均交并比66.53％)，同时极大的缩短了模型的训练时间，并避免了过拟合情况的发生。训练后，采用重采样方法进一步提高了分割的准确率(平均准确率72.10％)。最后，通过进一步实验证明，该方法对于单子叶植物点云，如玉米、小麦等均具有一定的泛化能力。小麦等均具有一定的泛化能力。小麦等均具有一定的泛化能力。


技术研发人员：马韫韬 蔡智博 朱晋宇 郭焱 李保国
受保护的技术使用者：中国农业大学
技术研发日：2023.06.14
技术公布日：2023/9/12