一种基于co-teaching和噪声标签学习的纤维分割方法

1.本发明属于医学图像处理技术领域，具体涉及一种基于co-teaching和噪声标签学习的纤维分割方法。


背景技术：

2.自动纤维分割在脑科学研究中起着至关重要的作用。首先，自动人脑纤维分割技术可以帮助神经科学家在研究中对大脑神经轴突进行定量分析，并以此为依据来进行医学诊断。另外，在通过医学影像进行脑部手术规划时，医生可以利用分割出的纤维束图实现微精准手术治疗，这将确保最小干扰和最佳结果。张帆等提出一种快速且稳定的纤维分割方法deepwma(deep white matter analysis)，通过编码每束纤维的空间信息，形成三通道的二维图像fibermap，并将二维图像fibermap作为神经网络的输入，采用神经网络进行纤维分类。
3.deepwma属于全监督学习，依赖具有高质量人工注释的大型训练数据集。而脑纤维的手动标注耗时长、成本高、标注难，在许多临床应用中很难获得，因此在实际应用中，训练数据集的获取与构建难度较大。


技术实现要素：

4.本发明的目的在于提供一种基于co-teaching和噪声标签学习的纤维分割方法，利用更少的专家标注标签对纤维分割框架进行训练，训练后的纤维分割框架能对未标注的脑纤维图像进行纤维分割处理，有效缓解了专家对于人脑纤维图像进行手动标注时标注的成本高且标注较困难的问题。
5.为实现以上目的，本发明采用以下技术方案：
6.一种基于co-teaching和噪声标签学习的纤维分割方法，包括：
7.s1、获取无关联性的全脑纤维图像作为数据样本，并构建训练数据集；
8.s2、将专家标注的脑纤维图片标签作为输入数据，预训练piont net1和piont net2；
9.s3、将训练数据集分别输入至预训练的piont net1、piont net2中，预训练的piont net1、piont net2均通过classifier为训练数据集中的各样本数据打上伪标签(positive voxel和negative voxel)，并将带标签的样本数据分别输入至预训练的piont net1、piont net2中；
10.s4、piont net1、piont net2均根据阈值，对打上伪标签的样本数据以及带标签的样本数据进行筛选，并根据阈值将样本数据的标签划分为高质量标签、噪声标签；
11.s5、将piont net1筛选出的高质量标签、噪声标签均输入piont net2中进行再次判别，将piont net2筛选出的高质量标签、噪声标签均输入piont net1中进行再次判别，以得到piont net1最终的筛选结果以及piont net2最终的筛选结果，利用co-teaching思想采用并行网络，减少了误差的累计和传播，使piont net1、piont net2均具有较高的鲁棒
性；
12.s6、分别从piont net1、piont net2最终筛选出的噪声标签中随机选取一部分噪声标签，对噪声标签对应的数据进行数据增强处理，并预测数据增强处理后的输出，以从图像中挖掘到更多的潜在特征，并减少数据损失；
13.s7、计算训练过程中piont net1、piont net2的损失函数，并依据损失函数更新piont net1、piont net2的参数；
14.s8、在piont net1、piont net2更新后，使用数据增强处理后的预测输出对满足预设条件的噪声标签进行校正；
15.s9、不断迭代以得到最后需要进行分割的纤维的标签。
16.从piont net1、piont net2最终筛选出的噪声标签中随机选取一部分噪声标签进行数据增强，再重新进行预测，而非将噪声标签全部抛弃，这能从图像中挖掘到更多的潜在特征，并减少数据损失。划分高质量标签与噪声标签的阈值会随着训练的进行不断提升。
17.本发明利用更少的专家标注标签对纤维分割框架进行训练，训练后的纤维分割框架能对未标注的脑纤维图像进行纤维分割处理，有效缓解了专家对于人脑纤维图像进行手动标注时标注的成本高且标注较困难的问题。
18.作为优选方案，piont net1、piont net2均由依次连接的三个全连接层和一个最大池化层组成，全连接层中使用的各个神经元共享参数，每个全连接层均使用batchnormalization技术以促进网络收敛，每个全连接层均使用relu作为激活函数。
19.作为优选方案，预训练piont net1和piont net2时，采用分割损失作为损失函数。
20.作为优选方案，classifier为两层全连接网络，用于阳性纤维束和阴性纤维束的二分类，并采用交叉熵损失作为损失函数。
21.作为优选方案，随机选取一部分噪声标签对应的数据进行数据增强处理具体为，对随机选取的噪声标签对应的数据进行旋转或者反转处理，以挖掘图像中存在的潜在特征。
22.作为优选方案，步骤s7中，损失函数由一致性损失和分割损失加权计算得到。
23.作为优选方案，一致性损失由均方损失求得，用于衡量预测值y'和真实值y之间的差异，一致性损失的计算公式为：
[0024][0025]
其中，yi表示一个批次中第i个标签的真实值，y'i表示一个批次中第i个标签的预测值，n表示一个批次中标签的总数，l
con
表示y'关于y的一致性损失；
[0026]
分割损失利用dice损失和交叉熵损失加权计算得到，分割损失的计算公式为：
[0027][0028]
其中，l
dice
表示dice损失，l
ce
表示交叉熵损失，α表示加权系数，ε表示确保损失函数值稳定的常数，l
seg
表示y'关于y的分割损失。
[0029]
作为优选方案，piont net1的损失函数为：
[0030][0031]
piont net2的损失函数为：
[0032][0033]
其中，ni(y|dj；wi)中ni表示通过piont neti进行训练，dj表示输入的进行训练的样本数据，wi表示ni的网络参数，d
hi
、d
li
、分别表示高质量标签对应的数据、噪声标签对应的数据、增强后的数据，分别表示piont neti筛选得到的高质量标签、噪声标签、数据增强后生成的噪声标签，n1表示piont net1中一个批次的标签总数，n2表示piont net2中一个批次的标签总数，w1、w2分别表示piont net1、piont net2的网络参数，l1、l2分别表示piont net1、piont net2的损失函数，λq表示超参数，qw表示预热训练周期，q表示当前训练周期。
[0034]
作为优选方案，piont net1网络参数w1、piont net2网络参数w2均根据梯度下降原理计算得到，计算公式为：
[0035]
w1＝w1'-lr
▽
l1,
[0036]
w2＝w2'-lr
▽
l2,
[0037]
其中，w1、w2表示更新后的网络参数，w1'、w2'表示更新前的网络参数，lr表示学习率，表示piont net1的损失变化梯度，表示piont net2的损失变化梯度。
[0038]
作为优选方案，步骤s8中，使用数据增强处理后的输出对dice得分最低的25％的噪声标签进行校正，dice得分l
dice
的计算公式为：
[0039][0040]
其中，tp表示真阳性预测的体素数量，fp表示假阳性预测的体素数量，fn表示假阴性预测的体素数量，l
dice
表示dice得分。
[0041]
本发明的有益效果是：
[0042]
1、本发明将co-teaching和伪标签思想改进后应用于纤维分割，使纤维分割的结果更加准确。
[0043]
2、从piont net1、piont net2最终筛选出的噪声标签中随机选取一部分噪声标签对应的数据进行数据增强，再重新进行预测，而非将噪声标签全部抛弃，这能从图像中挖掘到更多的潜在特征，并减少数据损失。
[0044]
3、本发明利用更少的专家标注标签对纤维分割框架进行训练，训练后的纤维分割框架能对未标注的脑纤维图像进行纤维分割处理，有效缓解了专家对于人脑纤维图像进行
手动标注时标注的成本高且标注较困难的问题。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]
图1是一种基于co-teaching和噪声标签学习的纤维分割方法的流程图。
具体实施方式
[0047]
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0048]
参照图1，一种基于co-teaching和噪声标签学习的纤维分割方法，包括：
[0049]
s1、获取无关联性的全脑纤维图像作为数据样本，并构建训练数据集。收集与纤维分割任务无关的全脑纤维图像，并将它们组成一个训练数据集，为后续的纤维分割框架训练做准备。
[0050]
s2、将专家标注的脑纤维图片标签作为输入数据，预训练piont net1和piont net2；这有助于piont net1和piont net2网络学习脑纤维的特征和结构。
[0051]
s3、将训练数据集分别输入至预训练的piont net1、piont net2中，预训练的piont net1、piont net2均通过classifier为训练数据集中的各样本数据打上伪标签(positive voxel和negative voxel)，并将带标签的样本数据分别输入至预训练的piont net1、piont net2中。
[0052]
s4、piont net1、piont net2均根据阈值，对打上伪标签的样本数据以及带标签的样本数据进行筛选，并根据阈值将样本数据的标签划分为高质量标签、噪声标签。噪声标签学习利用了dnn(deep neural network)优先记忆“简单”(高质量)样本，随后拟合“复杂”(噪声)样本的特性，故在标签过滤时，会设置相对高的阈值，尽量筛选出高质量的标签。划分高质量标签与噪声标签的阈值会随着训练的进行不断提升。
[0053]
s5、piont net1、piont net2基于co-teaching思想互相教导，以得到piont net1最终的筛选结果以及piont net2最终的筛选结果。将piont net1筛选出的高质量标签、噪声标签均输入piont net2中进行再次判别，将piont net2筛选出的高质量标签、噪声标签均输入piont net1中进行再次判别，利用co-teaching思想采用并行网络，减少了误差的累计和传播，使piont net1、piont net2均具有较高的鲁棒性。
[0054]
s6、分别从piont net1、piont net2最终筛选出的噪声标签中随机选取一部分噪声标签，对噪声标签对应的数据进行数据增强处理，并预测数据增强处理后的输出；从piont net1、piont net2最终筛选出的噪声标签中随机选取一部分噪声标签对应的数据进行数据增强，再重新进行预测，而非将噪声标签全部抛弃，这能从图像中挖掘到更多的潜在
特征，并减少数据损失。
[0055]
s7、计算训练过程中piont net1、piont net2的损失函数，并依据损失函数更新piont net1、piont net2的参数。
[0056]
s8、在piont net1、piont net2更新后，使用数据增强处理后的预测输出对满足预设条件的噪声标签进行校正，使纤维分割框架有自我演进的能力。
[0057]
s9、不断迭代以得到最后需要进行分割的纤维的标签。
[0058]
本发明利用更少的专家标注标签对纤维分割框架进行训练，训练后的纤维分割框架能对未标注的脑纤维图像进行纤维分割处理，有效缓解了专家对于人脑纤维图像进行手动标注时标注的成本高且标注较困难的问题。
[0059]
进一步，piont net1、piont net2均由依次连接的三个全连接层(fully connected layers,fc)和一个最大池化层(max-pooling layer)组成，全连接层中使用的各个神经元共享参数。每个全连接层均使用batchnormalization技术以促进网络收敛，每个全连接层均使用relu作为激活函数。在piont net中加入bn层，可以有效地解决网络内部协变量偏移问题，提高网络的训练速度和准确性。同时，bn技术还具有一定的正则化效果，可以缓解过拟合问题。
[0060]
进一步，预训练piont net1和piont net2时，采用分割损失作为损失函数。
[0061]
进一步，classifier为两层全连接网络，用于阳性纤维束和阴性纤维束的二分类，并采用交叉熵损失作为损失函数。
[0062]
进一步，随机选取一部分噪声标签对应的数据进行数据增强处理具体为，对随机选取的噪声标签对应的数据进行旋转或者反转处理，以挖掘图像中存在的潜在特征。从piont net1、piont net2最终筛选出的噪声标签中随机选取一部分噪声标签，对噪声标签对应的数据进行数据增强，再用piont net1、piont net2进行重新预测。采用这种类似数据蒸馏的方法选择性地将噪声标签投入训练中，而非将噪声标签全部抛弃，利用率dnn的网络特性，使原本无标签的数据能更好地被利用，能从图像中挖掘到更多的潜在特征，并减少数据损失。
[0063]
进一步，损失函数由一致性损失和分割损失加权计算得到。引入分割损失，能避免高噪声标签的负面影响。引入一致性损失，分别对数据增强前后的噪声标签进行一致性损失的预测，同时没有进行数据增强的噪声标签在一致性损失预测前采用temperature sharpening，防止在训练中发生过拟合的情况。
[0064]
一致性损失由均方损失求得，用于衡量预测值y'和真实值y之间的差异，一致性损失的计算公式为：
[0065][0066]
其中，yi表示一个批次中第i个标签的真实值，y'i表示一个批次中第i个标签的预测值，n表示一个批次中标签的总数，l
con
表示y'关于y的一致性损失；
[0067]
分割损失利用dice损失和交叉熵损失加权计算得到，分割损失的计算公式为：
[0068][0069]
其中，l
dice
表示dice损失；l
ce
表示交叉熵损失；α表示加权系数，设置为1，使dice损失和交叉熵损失权重相等；ε表示确保损失函数值稳定的常数，设置为1；l
seg
表示y'关于y的分割损失。
[0070]
通过控制超参数λq，将一致性损失和分割损失加权计算，分别得到piont net1以及piont net2的损失函数，使噪声标签的一致性损失的比重在训练中逐步下降，并使在数据增强后筛选得到的噪声标签的一致性损失比重在训练中逐步上升。这能减小噪声标签的副作用，并尽可能地利用噪声标签中的有效信息。
[0071]
piont net1的损失函数为：
[0072][0073]
piont net2的损失函数为：
[0074][0075][0076]
其中，ni(y|dj；wi)中ni表示通过piont neti进行训练，dj表示输入的进行训练的样本数据，wi表示ni的网络参数，d
hi
、d
li
、分别表示高质量标签对应的数据、噪声标签对应的数据、增强后的数据，分别表示piont neti筛选得到的高质量标签、噪声标签、数据增强后生成的噪声标签，n1表示piont net1中一个批次的标签总数，n2表示piont net2中一个批次的标签总数，w1、w2分别表示piont net1、piont net2的网络参数，l1、l2分别表示piont net1、piont net2的损失函数，λq表示超参数，qw表示预热训练周期，q表示当前训练周期。这一步主要计算第二次输出标签与第一次输出标签的分割损失与一致性损失。
[0077]
进一步，piont net1网络参数w1、piont net2网络参数w2均根据梯度下降原理计算得到，计算公式为：
[0078][0079][0080]
其中，w1、w2表示更新后的网络参数，w1'、w2'表示更新前的网络参数，lr表示学习率，表示piont net1的损失变化梯度，表示piont net2的损失变化梯度。
[0081]
进一步，步骤s8中，使用数据增强处理后的输出对dice得分最低的25％的噪声标签进行校正，dice得分l
dice
的计算公式为：
[0082][0083]
其中，tp表示真阳性预测的体素数量，fp表示假阳性预测的体素数量，fn表示假阴性预测的体素数量，l
dice
表示dice得分。
[0084]
在训练初期，在达到预设的预热训练周期qw前，每个训练周期都更新一次标签；此后，只需每10个训练周期更新标签一次即可。校正后的标签会不断迭代，最后得到所需要分割纤维的标签。纤维分割框架每次只进行一对纤维束的分割，附图中的输出结果为进行多次分割后得到的效果。
[0085]
本发明利用更少的专家标注标签对纤维分割框架进行训练，训练后的纤维分割框架能对未标注的脑纤维图像进行纤维分割处理，有效缓解了专家对于人脑纤维图像进行手动标注时标注的成本高且标注较困难的问题。
[0086]
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

技术特征：
1.一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，包括：s1、获取无关联性的全脑纤维图像作为数据样本，并构建训练数据集；s2、将专家标注的脑纤维图片标签作为输入数据，预训练piontnet1和piont net2；s3、将训练数据集分别输入至预训练的piontnet1、piontnet2中，预训练的piont net1、piontnet2均通过classifier为训练数据集中的各样本数据打上伪标签，并将带标签的样本数据分别输入至预训练的piontnet1、piontnet2中；s4、piontnet1、piontnet2均根据阈值，对打上伪标签的样本数据以及带标签的样本数据进行筛选，并根据阈值将样本数据的标签划分为高质量标签和噪声标签；s5、piontnet1、piontnet2基于co-teaching思想互相教导，以得到piontnet1最终的筛选结果以及piontnet2最终的筛选结果；s6、在互相教导时，随机筛选出一部分噪声标签对应的数据进行数据增强，并预测数据增强处理后的输出；s7、计算训练过程中piontnet1、piontnet2的损失函数，并依据损失函数更新piontnet1、piontnet2的参数；s8、在piont net1、piont net2更新后，使用数据增强处理后的预测输出对满足预设条件的噪声标签进行校正；s9、不断迭代以得到最后需要进行分割的纤维的标签。2.根据权利要求1所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，piontnet1、piontnet2均由依次连接的三个全连接层和一个最大池化层组成，每个全连接层均使用batch normalization技术以促进网络收敛，每个全连接层均使用relu作为激活函数。3.根据权利要求1所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，预训练piontnet1和piontnet2时，采用分割损失作为损失函数。4.根据权利要求1所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，classifier为两层全连接网络，用于阳性纤维束和阴性纤维束的二分类，并采用交叉熵损失作为损失函数。5.根据权利要求1所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，随机选取一部分噪声标签对应的数据进行数据增强处理具体为，对随机选取的噪声标签对应的数据进行旋转或者反转处理，以挖掘图像中存在的潜在特征。6.根据权利要求1所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，步骤s7中，损失函数由一致性损失和分割损失加权计算得到。7.根据权利要求6所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，一致性损失的计算公式为：其中，y
i
表示一个批次中第i个标签的真实值，y'
i
表示一个批次中第i个标签的预测值，n表示一个批次中标签的总数，l
con
表示y'关于y的一致性损失；分割损失的计算公式为：
其中，l
dice
表示dice损失，l
ce
表示交叉熵损失，α表示加权系数，ε表示确保损失函数值稳定的常数，l
seg
表示y'关于y的分割损失。8.根据权利要求7所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，piontnet1的损失函数为：piont net2的损失函数为：net2的损失函数为：其中，n
i
(yd
j
；wi)中n
i
表示通过piontneti进行训练，d
j
表示输入的进行训练的样本数据，wi表示n
i
的网络参数，d
hi
、d
li
、分别表示高质量标签对应的数据、噪声标签对应的数据、增强后的数据，分别表示piont neti筛选得到的高质量标签、噪声标签、数据增强后生成的噪声标签，n1表示piont net1中一个批次的标签总数，n2表示piontnet2中一个批次的标签总数，w1、w2分别表示piontnet1、piontnet2的网络参数，l1、l2分别表示piontnet1、piont net2的损失函数，λ
q
表示超参数，q
w
表示预热训练周期，q表示当前训练周期。9.根据权利要求8所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，piontnet1网络参数w1、piontnet2网络参数w2均根据梯度下降原理计算得到，计算公式为：公式为：其中，w1、w2表示更新后的网络参数，w1'、w2'表示更新前的网络参数，lr表示学习率，表示piont net1的损失变化梯度，表示piont net2的损失变化梯度。10.根据权利要求1所述的一种基于co-teaching和噪声标签学习的纤维分割方法，其特征在于，步骤s8中，使用数据增强处理后的输出对dice得分最低的25％的噪声标签进行校正，dice得分l
dice
的计算公式为：
其中，tp表示真阳性预测的体素数量，fp表示假阳性预测的体素数量，fn表示假阴性预测的体素数量，l
dice
表示dice得分。

技术总结
本发明属于医学图像处理技术领域，具体涉及一种基于co-teaching和噪声标签学习的纤维分割方法。方法包括：构建训练数据集；使用专家标注的脑纤维图片标签预训练两个Piont Net网络；将训练数据集分别输入至预训练后的两个网络中为各样本打上伪标签，并将带标签的样本输入分别至预训练的两个网络中；将所有打上标签的样本划分为高质量标签、噪声标签，基于co-teaching思想让两个网络互相教导；分别从两个网络筛选的噪声标签中，随机选取部分噪声标签对应的数据进行数据增强处理，并预测其输出；计算训练过程中两个网络的损失函数，对两个网络的参数进行更新；使用数据增强处理后的预测输出对满足条件的噪声标签进行校正；不断迭代以得到最后需要进行分割的纤维的标签。以得到最后需要进行分割的纤维的标签。以得到最后需要进行分割的纤维的标签。


技术研发人员：冯远静 周宇轩 何建忠 潘轶昂 程一峰 陈淑琪
受保护的技术使用者：浙江工业大学
技术研发日：2023.06.27
技术公布日：2023/9/16