一种基于自监督学习的小样本医学图像分割方法、系统、设备及介质

1.本发明涉及医学图像分割技术领域，具体涉及一种基于自监督学习的小样本医学图像分割方法、系统、设备及介质。


背景技术：

2.医学图像分割是医学图像分析的基础，其主要目的是将医学图像中的目标区域与背景分离出来。医学图像的分割任务往往需要人工参与，由于人工参与的成本高昂、工作量大、且易出现主观误差等问题，因此，研究如何利用计算机算法自动实现医学图像分割成为当前医学图像分析领域的热门研究方向。
3.现有的医学图像分割算法主要有：
4.(1)基于u-net的医学图像分割
5.u-net采用了一种跳层的对称编码器—解码器架构，解码网络中使用上采样加卷积的结构，简单高效，容易构建，该结构在数据量较少的医学影像数据集中取得了不错的图像分割结果。residual u-net是对u-net的一种改进，它将残差网络和u-net结合起来，可以更好地利用图像中上下文空间信息，有效减少错误预测，加强了卷积神经网络学习方式，同时防止更深层次的梯度退化问题，在网络层提取特征的同时保证图像本质属性特征的识别更加明显。此外，r2u-net使用了循环残余卷积网络，能够训练更深的网络，并且能够提取到更好的特征，在拥有相同参数量的情况下，获得了更好的表现。但是此类方法通常需要大量的数据集进行训练，而医学图像数据标注困难，在数据集量少的情况下，难以实现较好的效果。
6.(2)基于transformer的医学图像方法
7.unetr模型则将视觉transformer模型融入到了u-net的特征提取中，用于3d影像数据的肝脏分割任务，该模型借助transformer很好地建立了特征之间的远距离联系和依赖，相比于经典的u-net，unetr可以发掘出更大范围的上下文语义信息，对肝脏器官的轮廓和复杂的病灶等具有更强的分割能力。近几年来，基于transformer强大的全局上下文信息表示能力以及cnn在局部特征提取的优势，一些研究人员提出了transformer和cnn相结合的方法来实现全局和局部特征的融合。如transunet模型，在保留编码器—解码器网络的基础上，在解码器部分的最后一层，通过引入transformer模块，弥补了全局信息的丢失相比于纯transformer的方法，提高了分割精度。但基于transformer的医学图像方法也无法在数据集量较少的情况下获得良好的精度，由此导致此类模型通常抗噪性能，全局多样性以及泛化能力较差。
8.(3)基于半监督的医学图像分割
9.urpc模型提出了不确定性纠正金字塔一致性正则化方法用于半监督医学图像分割，文章一方面对于有标签的数据采用监督损失来训练网络，另一方面对于没有标记的数据采用金字塔结构生成多尺度的预测值进行一致性约束。但是此类方法依旧需要一定的有
标注数据集作为支撑进行训练，无法在未标记的数据集上进行训练，此外，对于医学图像中前景背景不平衡的问题，此类模型也难以解决，导致分割性能较差。
10.专利申请号为[cn202211432379.4]的专利申请，提供了“一种基于自监督学习的全视野医学图片区域分割方法”，首先进行数据预处理，过程包括组织区域分割，采样图像块，通过随机裁剪、高斯模糊、颜色变换等方式进行数据增强；然后，对图像块进行自监督预训练，保存预训练模型；最后，构建语义分割网络，完成区域的分割；但是此方法只在进行训练的数据集中表现良好，使用其他数据集后效果不佳，不具有很强的泛化能力。


技术实现要素：

[0011]
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于自监督学习的小样本医学图像分割方法、系统、设备及介质，通过采用数据增强策略、医学图像数据增强策略，融入自监督学习maskslic算法，利用小样本图像分割特点，采用基于原型网络的小样本分割模型，在数据集少的情况下同样可取得较好的效果，在标注和未标注的数据集上进行训练，适用的数据集范围广，缓解了医学数据标注的压力、前景背景不平衡和抗噪性能差的问题，因此具有泛化能力强、全局多样性充裕、分割性能好的特点。
[0012]
一种基于自监督学习的小样本医学图像分割方法，包括以下步骤：
[0013]
步骤1：获取未标注图片的医学图像数据集，采用数据增强策略对未标注图片的医学图像数据集进行数据增强，得到增强后的医学图像数据集；
[0014]
步骤2：对未标注的医学图像数据集和步骤1得到的增强后的医学图像数据集利用自监督学习maskslic算法进行聚类处理，生成伪标签；
[0015]
步骤3：采用医学图像数据增强策略将有标注的图片的医学图像数据集和根据步骤2得到的伪标签进行数据增强，得到支持集和查询集；
[0016]
步骤4：构建基于原型网络的小样本分割模型；
[0017]
步骤5：将步骤3得到的支持集和查询集输入到步骤4得到的小样本分割模型，得到对医学图像数据集分割后的预测结果；
[0018]
步骤6：将步骤5得到的对医学图像数据集分割后的预测结果输入到步骤4得到的小样本分割模型，得到微调后的小样本分割模型，将微调后的小样本分割模型用于医学图像分割，得到一种基于自监督学习的小样本医学图像分割结果。
[0019]
所述步骤1中的数据增强策略，包括：
[0020]
1)水平翻转：利用opencv即一个基于apache2.0许可发行的跨平台计算机视觉和机器学习软件库的数据增强操作以及python图像处理库中的图像类pil方法进行操作:先从pil中导入未标注图片的医学图像数据集，然后进行图像裁剪image.resize，图像旋转image.rotate操作；
[0021]
2)随机旋转：采用随机角度旋转策略进行数据增强；
[0022]
3)随机裁剪：对未标注图片的医学图像数据集随机选取数据集中的图片进行随机尺度裁剪操作，从而实现数据增强。
[0023]
所述步骤2利用自监督学习maskslic算法对未标注的医学图像数据集和增强后的医学图像数据集进行聚类处理，生成伪标签，具体为：
[0024]
步骤2.1：获得邻域聚类中心：按照设定的超像素个数，对于步骤1中数据增强后的
医学图像数据集均匀的分配种子点，假设医学图像数据集总共有n个像素点，预分割为k个相同尺寸的超像素，那么每个超像素的大小为n/k，得到邻域聚类中心；
[0025]
步骤2.2：在种子点的邻域聚类中心内重新选择种子点：计算步骤2.1得到的邻域聚类中心内所有像素点的梯度值，将种子点移到邻域聚类中心内梯度最小的地方；
[0026]
步骤2.3：在步骤2.2得到的每个种子点周围的邻域聚类中心内为每个像素点分配类标签；
[0027]
步骤2.4：根据步骤2.3得到的分配类标签，使用欧几里德距离变换迭代查找距离邻域边界和任何其他种子点的最大距离的种子点；
[0028]
所述的欧几里德距离变换，公式为如下：
[0029][0030]
其中，d(x)表示在位置x上的距离变换，n表示空间维度数量，l是包含背景b和标记点p的集合，b是背景标签没有掩码的集合；
[0031]
最大距离p
*
可通过下式得到：
[0032]
p
*
＝arg
x
maxd(x)
[0033]
当标记点p变成p∪{p
*
}时，对应于下一次迭代，迭代需要重复n次，直至得到最大距离的种子点p；
[0034]
步骤2.5：将步骤2.4得到的最大距离的种子点带入到线性迭代聚类slic，得到超像素，将得到的超像素用于指定标签mask内部定义的像素，生成伪标签。
[0035]
所述步骤3的具体过程为：
[0036]
步骤3.1：采用医学图像数据增强策略对图像进行数据增强，得到融合图像；所述的医学图像数据增强策略分为全局位置尺度增强模块、局部位置尺度增模块和显著性融合模块；
[0037]
步骤3.2：采用显着性平衡融合策略模块对步骤3.1中的融合图像通过输入通道的梯度值取范式，然后，对取范式后的融合图像下采样，对采样后的模块进行线性插值操作输出增强后的融合图像；
[0038]
步骤3.3：对于每一次迭代i，由步骤3.2得到的增强后的融合图像中每张图片xi和步骤2中生成的超像素来构成支持集
[0039]
每一次迭代的查询集为其中和是对于支持集中的图片进行随即转换。
[0040]
所述步骤3.1的具体过程为：
[0041]
步骤3.1.1：使用全局位置尺度增强模块对有标注的图片的医学图像数据集和伪标签进行约束贝塞尔变换，得到增强图像多样性的医学图像数据集，计算高斯分布的标准差，根据差值选取位置尺度因子，通过对增强图像多样性的医学图像数据集输入通道上的梯度值取范数以及进行下采样操作和线性插值操作计算显著图，得到全局中最大梯度区域；
[0042]
步骤3.1.2：使用局部位置尺度增模块将步骤3.1.1得到的全局中最大梯度区域的有标注的图片的医学图像数据集和伪标签进行约束贝塞尔变换，得到增强图像多样性的医学图像数据集，然后计算高斯分布的标准差，根据差值选取位置尺度因子，通过对增强图像多样性的医学图像数据集输入通道上的梯度值取范数以及进行下采样操作和线性插值操作计算显著图，得到前景区域中最大梯度区域；
[0043]
步骤3.1.3：将步骤3.1.1得到的全局中最大梯度区域和步骤3.1.2得到的前景区域中最大梯度区域进行融合，得到融合图像。
[0044]
所述步骤4基于原型网络的小样本分割模型，结构为：
[0045]
1)特征提取模块：用于使用特征提取函数f
θ
(
·
)对支持集和查询集进行特征提取，生成支持集和查询的
[0046]
2)自适应局部原型池化模块：用于对支持集提取的特征进行求和取均值操作，生成局部原型p
l,mn
(c)和类级原型通过生成的局部原型和类级原型划分出前景和背景；
[0047]
3)基于相似性的分类器模块：用于对支持集中的前景和查询集中的特征提取计算相似度，得到查询集中前景的分类结果；
[0048]
所述自适应局部原型池化模块中的局部原型表示为：
[0049][0050]
其中，表示查询集中序号为l的图像。
[0051]
对每个局部原型p
l,mn
(c)的类c进行如下操作来执行类别划分：
[0052][0053]
其中，表示步骤3中生成的超像素在位置(m,n)上使用平均池化后的值，t为前景的下界阈值，t在0-1之间；
[0054]
所述自适应局部原型池化模块为中的类级原型表示为：
[0055][0056]
其中，为查询集中序号为l，类别为的二进制掩码。
[0057]
所述步骤5的具体过程为：
[0058]
步骤5.1：将步骤3得到的支持集和查询集输入到步骤4中的特征提取模块进行特
征提取，生成支持集和查询集的
[0059]
步骤5.2：将步骤5.1得到的支持集提取的特征输入到自适应局部原型池化模块，生成局部原型和类级原型，将生成局部原型和类级原型划分为前景和背景；
[0060]
步骤5.3：将步骤5.2得到的前景和查询集中的特征提取输入到基于相似性的分类器模块，计算计算相似度，得到查询集中前景的分类结果；
[0061]
步骤5.4：将步骤5.3得到的查询集中前景的分类结果用归一化指数函数进行归一化处理，得到最终对医学图像数据集分割后的预测结果。
[0062]
一种基于自监督学习的小样本医学图像分割系统，包括：
[0063]
自监督模块：本模块采用自监督学习maskslic算法生成伪标签；
[0064]
数据增强模块：本模块采用水平翻转、随机裁剪、随机旋转以及医学图像数据增强策略对医学图像进行数据增强；
[0065]
小样本图像分割模块：本模块采用微调后的小样本分割模型对医学图像任务进行分割，得到一种基于自监督学习的小样本医学图像分割结果。
[0066]
一种基于自监督学习的小样本医学图像分割设备，包括：
[0067]
存储器：用于存储实现所述的一种基于自监督学习的小样本医学图像分割方法的计算机程序；
[0068]
处理器，用于执行所述计算机程序时实现所述的一种基于自监督学习的小样本医学图像分割方法。
[0069]
一种计算机可读存储介质，包括：
[0070]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现一种基于自监督学习的小样本医学图像分割方法。
[0071]
相对于现有技术，本发明的有益效果在于：
[0072]
1.本发明对未标注的医学图像数据集采用自监督学习maskslic算法增强其鲁棒性，相比于现有的未采用自监督学习算法的网络结构u-net，r2u-net等，本发明减少了对于数据标注的依赖，从而缓解了医学图像数据集标注的压力。
[0073]
2.本发明采用的数据增强策略，如水平翻转、随机旋转、随机裁剪，相比于未采用数据增强策略的医学图像分割方法，可以更显著地改善医学图像数据量少的问题，因此具有分割性能好的特点。
[0074]
3.本发明采用针对医学图像使用医学图像数据增强策略，相较于自然图像中采用的数据增强策略，医学图像数据增强策略改善了全局增强多样性不足的问题，执行了特定类的转化，因此具有全局多样性充裕、泛化能力强的特点。
[0075]
4.本发明采用显著性平衡融合策略，为前景区域特定类的方向和强度提供梯度信息的增强，提高医学图像分割性能，因此具有分割性能好的特点。
[0076]
5.本发明利用小样本图像分割的特点，相较于目前其他的医学图像分割网络，如urpc，transu-net等模型，采用基于原型结构的小样本分割模型，有效的缓解医学图像前景背景模糊、抗噪性差等问题，提升了模型的泛化能力，因此具有泛化能力强的特点。
[0077]
综上所述，本发明通过采用数据增强策略、医学图像数据增强策略，融入自监督学
习maskslic算法，利用小样本图像分割特点，采用基于原型网络的小样本分割模型，在数据集少的情况下同样可取得较好的效果，在标注和未标注的数据集上进行训练，适用的数据集范围广，缓解了医学数据标注的压力、前景背景不平衡和抗噪性能差的问题，因此具有泛化能力强、医学图像数据量多、全局多样性充裕、分割性能好的特点。
附图说明
[0078]
图1为本发明的方法流程图。
[0079]
图2为小样本原型网络模型处理支持集和查询集的流程图。
[0080]
图3为本发明使用maskslic自监督算法的部分结果图。
[0081]
图4为本发明与其他主流方法效果的对比图。
具体实施方式
[0082]
下面结合附图对本发明作详细叙述。
[0083]
参见图1，步骤1：获取未标注图片的医学图像数据集，采用数据增强策略对未标注图片的医学图像数据集进行数据增强，得到增强后的医学图像数据集；由于医学图像数据集种类较多，我们要针对医学图像数据集的特定特点进行增强操作，在常见的ct图像处理中可以进行一些常见的增强处理策略，如：在各个方位上进行水平翻转、随机旋转、随机裁剪、位置尺度增强操作，这些操作都能够增强数据的多样性并且提高模型的鲁棒性，改善了医学图像数据量少的问题；
[0084]
所述的医学图像数据集包括：
[0085]
abide数据集是一个多中心、跨国的核磁共振mri数据集，其中包含了1,126名自闭症患者和1,181名典型人群的核磁共振mri扫描图像、性别和年龄信息、认知和行为评估数据等；这些核磁共振mri扫描图像由不同的成像设备生成，使用不同的成像参数设置，图像质量和噪音水平也有所不同，abide数据集提供了对来自不同来源的核磁共振mri数据进行标准化和校正的方法。
[0086]
cmr数据集收集了大量的心脏磁共振成像数据，包括乳头肌运动、左心室形态和功能、冠状动脉血流等多个方面的数据，这些数据可以为心血管疾病的诊断和治疗提供重要支持，此外，cmr数据集还包含了大量的心脏样本数据，如心肌细胞、血管内皮细胞等，对于心脏疾病的分子机制研究也有很大的参考价值；
[0087]
所述步骤1中的数据增强策略，包括：
[0088]
1)水平翻转：利用opencv即一个基于apache2.0许可发行的跨平台计算机视觉和机器学习软件库的数据增强操作以及python图像处理库中的图像类pil方法进行操作:先从pil中导入未标注图片的医学图像数据集，然后进行图像裁剪image.resize，图像旋转image.rotate操作；
[0089]
2)随机旋转：采用随机角度旋转策略进行数据增强；具体为：读取未标注图片的医学图像数据集，然后对医学图像数据集中的图片进行预处理操作，先使用使用图像处理函数transforms.resize对医学图像数据集的图片大小进行裁剪，然后将裁剪后的图片使用自由角度旋转函数transforms.random.rotation，其中第一个参数为旋转角度，第二个参数为旋转中心，进行随机旋转，然后将随机旋转后的医学图像数据集继续使用
transforms.resize函数进行裁剪，最后转变成张量型变量
[0090]
3)随机裁剪：对未标注图片的医学图像数据集随机选取数据集中的图片进行随机尺度裁剪操作，从而实现数据增强；具体为：读取未标注图片的医学图像数据集，然后打乱数据，随机选取医学图像数据集中的图片使用图像预处理包transforms.compose中的randomresizedcrop将给定图像随机裁剪为不同的大小和宽高比，然后缩放所裁剪得到的图像为制定的大小，即先随机采集，然后对裁剪得到的图像缩放为同一大小；
[0091]
步骤2：对未标注的医学图像数据集和步骤1得到的增强后的医学图像数据集利用自监督学习maskslic算法进行聚类处理，生成伪标签；
[0092]
所述步骤2中的自监督学习maskslic算法进行聚类处理，具体为：
[0093]
步骤2.1：获得邻域聚类中心：按照设定的超像素个数，对于步骤1中数据增强后的医学图像数据集均匀的分配种子点，假设医学图像数据集总共有n个像素点，预分割为k个相同尺寸的超像素，那么每个超像素的大小为n/k，得到邻域聚类中心；
[0094]
步骤2.2：在种子点的邻域聚类中心内重新选择种子点：计算步骤2.1得到的邻域聚类中心内所有像素点的梯度值，将种子点移到邻域聚类中心内梯度最小的地方；这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果；
[0095]
步骤2.3：在步骤2.2得到的每个种子点周围的邻域内为每个像素点分配类标签；
[0096]
步骤2.4：根据步骤2.3得到的分配类标签，使用欧几里德距离变换迭代查找距离邻域边界和任何其他种子点的最大距离的种子点；
[0097]
所述的欧几里德距离变换，公式为如下：
[0098][0099]
其中，d(x)表示在位置x上的距离变换，n表示空间维度数量，l是包含背景b和标记点p的集合，b是背景标签没有掩码的集合；
[0100]
最大距离p
*
可通过下式得到：
[0101]
p
*
＝arg
x
maxd(x)
[0102]
当标记点p变成p∪{p
*
}时，对应于下一次迭代，迭代需要重复n次，直至得到最大距离的种子点p；
[0103]
步骤2.5：将步骤2.4得到的最大距离的种子点带入到线性迭代聚类slic，得到超像素，将得到的超像素用于指定标签mask内部定义的像素，生成伪标签。
[0104]
步骤3：将有标注的图片的医学图像数据集和根据步骤2得到的伪标签进行数据增强，得到支持集和查询集；
[0105]
步骤3.1：采用医学图像数据增强策略对图像进行数据增强，得到融合图像；
[0106]
所述的医学图像数据增强模块分为全局位置尺度增强模块、局部位置尺度增模块和显着性平衡融合模块；
[0107]
步骤3.1.1：使用全局位置尺度增强模块对有标注的图片的医学图像数据集和伪标签进行约束贝塞尔变换，得到增强图像多样性的医学图像数据集，计算高斯分布的标准差，根据差值选取位置尺度因子，确保全局位置尺度增强后的医学图像数据集与有标注的图片的医学图像数据集和伪标签具有相似的外观，通过对增强图像多样性的医学图像数据
集输入通道上的梯度值取范数以及进行下采样操作和线性插值操作计算显著图，得到全局中最大梯度区域；
[0108]
步骤3.1.2：使用局部位置尺度增模块将步骤3.1.1得到的全局中最大梯度区域的有标注的图片的医学图像数据集和伪标签进行约束贝塞尔变换，得到增强图像多样性的医学图像数据集，然后计算高斯分布的标准差，根据差值选取位置尺度因子，确保局部位置尺度增强后的样本与有标注的图片的医学图像数据集和伪标签具有相似的外观具有相似的外观，通过对增强图像多样性的医学图像数据集输入通道上的梯度值取范数以及进行下采样操作和线性插值操作计算显著图，得到前景区域中最大梯度区域；
[0109]
步骤3.1.3：将步骤3.1.1得到的全局中最大梯度区域和步骤3.1.2得到的前景区域中最大梯度区域进行融合，得到融合图像；通过显著图将局部位置尺度增强图像与全局位置尺度增强图像融合，保留了全局位置尺度增强图像中的大梯度区域，并将剩余区域替换为局部位置尺度增强部分，这些区域可以观察到外观上的变化，此模块只对前景区域进行非线性变换操作，使用位置尺度增强策略可以增强样本的多样性和信息量，使得分割结果更加准确；
[0110]
步骤3.2：由于融合图像包含增强图像的两个部分，显着性平衡融合策略鼓励模型在全局位置尺度增强和局部位置尺度增强示例之间表现出线性，它以梯度分布作为增强幅度的指标来解决随机增强的过度泛化问题；采用显着性平衡融合策略模块对步骤3.1中的融合图像通过输入通道的梯度值取范式，然后，对取范式后的融合图像下采样，对采样后的模块进行线性插值进行平滑处理操作输出增强后的融合图像；与直接输入局部位置尺度增强样本相比，这种线性行为在预测分布外样本时减少了不良振荡的数量，为适当的梯度信息提供增强方向和强度；
[0111]
步骤3.3：对于每一次迭代i，由步骤3.2得到的增强后的融合图像中每张图片xi和步骤2中生成的超像素来构成支持集
[0112]
每一次迭代的查询集为其中和是对于支持集中的图片进行随即转换。
[0113]
所述步骤4基于原型网络的小样本分割模型，结构为：
[0114]
1)特征提取模块：用于使用特征提取函数f
θ
(
·
)对支持集和查询集进行特征提取，生成支持集和查询集的
[0115]
2)自适应局部原型池化模块：用于对支持集提取的特征进行求和取均值操作，生成局部原型p
l,mn
(c)和类级原型通过生成的局部原型和类级原型划分出前景和背景；
[0116]
3)基于相似性的分类器模块：用于对支持集中的前景和查询集中的特征提取计算相似度，得到查询集中前景的分类结果；
[0117]
所述的自适应局部原型池化模块为中的局部原型，表示为：
[0118][0119]
其中，表示查询集中序号为l的图像。
[0120]
为了使得每个局部原型p
l,mn
(c)的类c平均前景类的二值掩码到相同大小，进行如下操作：
[0121][0122]
其中，表示步骤3中生成的超像素在位置(m,n)上使用平均池化后的值。t为前景的下界阈值，t设置为0.95；
[0123]
所述的自适应局部原型池化模块为中的类级原型表示为：
[0124][0125]
其中，为查询集中序号为l，类别为的二进制掩码。
[0126]
步骤4：构建基于原型网络的小样本分割模型；所述步骤4基于原型网络的小样本分割模型，结构为：
[0127]
1)特征提取模块：用于使用特征提取函数f
θ
(
·
)对支持集和查询集进行特征提取，生成支持集和查询的
[0128]
2)自适应局部原型池化模块：用于对支持集提取的特征进行求和取均值操作，生成局部原型p
l,mn
(c)和类级原型通过生成的局部原型和类级原型划分出前景和背景；
[0129]
3)基于相似性的分类器模块：用于对支持集中的前景和查询集中的特征提取计算相似度，得到查询集中前景的分类结果；
[0130]
所述自适应局部原型池化模块中的局部原型表示为：
[0131][0132]
其中，表示查询集中序号为l的图像。
[0133]
为了使得每个局部原型p
l,mn
(c)的类c平均前景类的二值掩码到相同大小，进行如下操作：
[0134][0135]
其中，表示步骤3中生成的超像素在位置(m,n)上使用平均池化后的值，t为前景的下界阈值，t在0-1之间；
[0136]
所述自适应局部原型池化模块中的类级原型表示为：
[0137][0138]
其中，为查询集中序号为l，类别为的二进制掩码；
[0139]
为了提高基于原型网络的小样本分割模型的精度，在将支持集和查询集送入小样本分割模型之前，先用预训练模型对支持集和查询集进行预训练，所述的预训练模型使用残差网络resnet-101在真实图像数据集ms-coco上预训练的权重作为特征提取的主干网络，该网络是由一个7
×
7，步幅为2的卷积层，最大池化层以及四个残差块组成，其中网络中第一个残差块的输出特征比输入分辨率小4倍，网络对最后3个带扩张的残差块进行三倍下采样操作。
[0140]
参见图2，步骤5：将步骤3得到的支持集和查询集输入到步骤4得到的小样本分割模型，得到对医学图像数据集分割后的预测结果；具体过程为：
[0141]
步骤5.1：将步骤3得到的支持集和查询集输入到步骤4中的特征提取模块进行特征提取，生成支持集和查询的
[0142]
步骤5.2：将步骤5.1得到的支持集提取的特征输入到自适应局部原型池化模块，生成局部原型和类级原型，将生成局部原型和类级原型划分为前景和背景；
[0143]
步骤5.3：将步骤5.2得到的前景和查询集中的特征提取输入到基于相似性的分类器模块，计算计算相似度，得到查询集中前景的分类结果；
[0144]
步骤5.4：将步骤5.3得到查询集中前景的分类结果用softmax函数进行归一化处理，得到最终对医学图像数据集分割后的预测结果。
[0145]
使用batch-size为1的随机梯度下降算法对步骤4构建小样本分割模型的10万次迭代进行最小化批量处理，其中设置学习率为0.001，每1000次迭代的衰减速率为0.98。
[0146]
步骤6：将步骤5得到的对医学图像数据集分割后的预测结果输入到步骤4得到的小样本分割模型，得到微调后的小样本分割模型，将微调后的小样本分割模型用于医学图像分割，得到一种基于自监督学习的小样本医学图像分割结果。
[0147]
参见图3，其中，图3(a)为医学图像原图，图3(b)为使用maskslic算法生成伪标签，可以看出，使用自监督学习算法maskslic可以将相似的特征聚集在一起，捕获局部相似性
的同时，减少了图像的冗余，加快了处理速度，从而使复杂的区域关系分析更加可行，也获得了对噪声和部分体积更稳健的表示。
[0148]
此外，为了使实验结果更加真实可靠，本发明设置查询集和支持集的图片数据集的比例，并将查询集划分为测试类和训练类，进行对比实验，采用了如下两种设置：
[0149]
设置1:标准设置，其中查询集中的测试类可以出现在查询集中的训练类的背景中，测试类的对象可能被隐含地涉及在训练过程中，在这种情况下，测试类对于基于原型的小样本分割模型来说并不是真正“看不见的”类。
[0150]
设置2:严格设置，查询集中的测试类不可以出现在查询集中的训练类的背景中，本发明从查询集中的训练类中删除包含测试类的图像切片训练数据，此设置模式能保证测试类是模型真正“看不见的”类。
[0151]
为了评估本发明提出的医学图像小样本分割模型的性能，将本发明的实验结果与目前针对医学图像分割所设计的一些优秀方法进行比对。
[0152]
表1:在abide数据集中采用标准设置1，得到的实验结果：
[0153]
methodliverr.kidneyl.kidneyspleenmeanalpnet78.5583.1178.1670.5877.60q-net81.7487.9878.3675.9981.02se-net20.0247.9645.7847.3042.51panet76.8183.3575.0575.7777.74ours82.1287.8880.1176.0281.53
[0154]
表2:在abide数据集中采用严格设置2，得到的实验结果：
[0155]
methodliverr.kidneyl.kidneyspleenmeanalpnet72.5381.1568.0471.0078.43q-net80.4475.9876.2674.1976.71se-net27.4361.3262.1151.8050.66panet73.4479.2177.0573.4875.79ours81.2181.5878.2175.9979.24
[0156]
从表1和表2可以看出，在abide数据集上，本发明(ours)所采用的基于自监督的小样本医学图像分割方法得到的效果较alpnet、q-net、se-net、panet方法在liver、r.kidney、l.kidney、spleen分类中测试结果显著，尤其是l.kidney和liver分类中测试结果明显提升，主要是由于本发明提出的小样本原型算法中针对前景背景模糊问题设计了专门的局部原型和类级原型模块进行处理。
[0157]
表3:在cmr数据集中采用标准设置1，得到的实验结果：
[0158]
methodlv-bplv-myorvmeanalpnet85.4263.3874.0774.29q-net88.2556.9278.1974.45se-net58.0425.1812.8632.02panet87.6360.2371.9873.28ours89.2163.1173.0275.11
[0159]
表4:在cmr数据集中采用严格设置2，得到的实验结果：
[0160]
methodlv-bplv-myorvmeanalpnet83.1258.3471.2870.91q-net82.1052.1378.1070.77se-net53.0423.1015.5330.55panet81.0761.5469.2870.63ours84.2361.2871.1272.21
[0161]
从表3和表4可以看出，在cmr数据集上，本发明(ours)所采用的基于自监督的小样本医学图像分割方法得到的效果较alpnet、q-net、se-net、panet方法在lv-bp、lv-myo、rv分类中测试精度，尤其是在lv-bp分类中，测试精度显著提升。
[0162]
综上所述，由于本发明在标准设置1中训练类背景中存在一些测试类中的对象，所以标准设置1的实验精度要比严格设置2的实验精度更高，但还是可以看出，由于本发明在数据处理以及原型网络中做出的改进策略，相比其他医学图像分割模型，本发明的标准设置1和严格设置2的精度差并不是很大，这也从另一个方面体现出本发明的适用性较强。
[0163]
参见图4，可以看出本发明(ours)所采用的医学图像分割方法与q-net、alpnet、senet、panet、groundtruth医学图像分割方法的可视化对比结果图，可以看出，本发明提出的模型结果无论是在关键器官的分割边界，还是在分割的范围上都更加准确，其结果较真实值更加相近；尤其是相较于se-net和alpnet网络将其他部位进行了错误的划分，更加可以看出本发明实验结果的优越性。
[0164]
一种基于自监督学习的小样本医学图像分割系统，包括：
[0165]
自监督模块：本模块采用自监督学习maskslic算法生成伪标签，使用这些超像素进行训练可以直观地提高网络对各种形状的不可见类的泛化能力；
[0166]
数据增强模块：本模块采用水平翻转、随机裁剪、随机旋转以及位置尺度增强策略对医学图像进行数据增强，提升了增强操作后图像的信息量和多样性；
[0167]
小样本图像分割模块：本模块采用微调后的小样本分割模型对医学图像任务进行分割，得到一种基于自监督学习的小样本医学图像分割结果，提升了图像分割的准确度。
[0168]
一种基于自监督学习的小样本医学图像分割设备，包括：
[0169]
存储器：用于存储实现所述的一种基于自监督学习的小样本医学图像分割方法的计算机程序；
[0170]
处理器，用于执行所述计算机程序时实现所述的一种基于自监督学习的小样本医学图像分割方法。
[0171]
一种计算机可读存储介质，包括：
[0172]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现一种基于自监督学习的小样本医学图像分割方法。

技术特征：
1.一种基于自监督学习的小样本医学图像分割方法，其特征在于，包括以下步骤：步骤1：获取未标注图片的医学图像数据集，采用数据增强策略对未标注图片的医学图像数据集进行数据增强，得到增强后的医学图像数据集；步骤2：对未标注的医学图像数据集和步骤1得到的增强后的医学图像数据集利用自监督学习maskslic算法进行聚类处理，生成伪标签；步骤3：采用医学图像数据增强策略将有标注的图片的医学图像数据集和根据步骤2得到的伪标签进行数据增强，得到支持集和查询集；步骤4：构建基于原型网络的小样本分割模型；步骤5：将步骤3得到的支持集和查询集输入到步骤4得到的小样本分割模型，得到对医学图像数据集分割后的预测结果；步骤6：将步骤5得到的对医学图像数据集分割后的预测结果输入到步骤4得到的小样本分割模型，得到微调后的小样本分割模型，将微调后的小样本分割模型用于医学图像分割，得到一种基于自监督学习的小样本医学图像分割结果。2.根据权利要求1所述的一种基于自监督学习的小样本医学图像分割方法，其特征在于，所述步骤1中的数据增强策略，包括：1)水平翻转：利用opencv即一个基于apache2.0许可发行的跨平台计算机视觉和机器学习软件库的数据增强操作以及python图像处理库中的图像类pil方法进行操作:先从pil中导入未标注图片的医学图像数据集，然后进行图像裁剪image.resize，图像旋转image.rotate操作；2)随机旋转：采用随机角度旋转策略进行数据增强；3)随机裁剪：对未标注图片的医学图像数据集随机选取数据集中的图片进行随机尺度裁剪操作，从而实现数据增强。3.根据权利要求1所述的一种基于自监督学习的小样本医学图像分割方法，其特征在于，所述步骤2利用自监督学习maskslic算法对未标注的医学图像数据集和增强后的医学图像数据集进行聚类处理，生成伪标签，具体为：步骤2.1：获得邻域聚类中心：按照设定的超像素个数，对于步骤1中数据增强后的医学图像数据集均匀的分配种子点，假设医学图像数据集总共有n个像素点，预分割为k个相同尺寸的超像素，那么每个超像素的大小为n/k，得到邻域聚类中心；步骤2.2：在种子点的邻域聚类中心内重新选择种子点：计算步骤2.1得到的邻域聚类中心内所有像素点的梯度值，将种子点移到邻域聚类中心内梯度最小的地方；步骤2.3：在步骤2.2得到的每个种子点周围的邻域聚类中心内为每个像素点分配类标签；步骤2.4：根据步骤2.3得到的分配类标签，使用欧几里德距离变换迭代查找距离邻域边界和任何其他种子点的最大距离的种子点；所述的欧几里德距离变换，公式为如下：
其中，d(x)表示在位置x上的距离变换，n表示空间维度数量，l是包含背景b和标记点p的集合，b是背景标签没有掩码的集合；最大距离p
*
可通过下式得到：p
*
＝arg
x
maxd(x)当标记点p变成p∪{p
*
}时，对应于下一次迭代，迭代需要重复n次，直至得到最大距离的种子点p；步骤2.5：将步骤2.4得到的最大距离的种子点带入到线性迭代聚类slic，得到超像素，将得到的超像素用于指定标签mask内部定义的像素，生成伪标签。4.根据权利要求1所述的一种基于自监督学习的小样本医学图像分割方法，其特征在于，所述步骤3的具体过程为：步骤3.1：采用医学图像数据增强策略对图像进行数据增强，得到融合图像；所述的医学图像数据增强策略分为全局位置尺度增强模块、局部位置尺度增模块和显著性融合模块；步骤3.2：采用显着性平衡融合策略模块对步骤3.1中的融合图像通过输入通道的梯度值取范式，然后，对取范式后的融合图像下采样，对采样后的模块进行线性插值操作输出增强后的融合图像；步骤3.3：对于每一次迭代i，由步骤3.2得到的增强后的融合图像中每张图片x
i
和步骤2中生成的超像素来构成支持集每一次迭代的查询集为其中和是对于支持集中的图片进行随即转换。5.根据权利要求4所述的一种基于自监督学习的小样本医学图像分割方法，其特征在于，所述步骤3.1的具体过程为：步骤3.1.1：使用全局位置尺度增强模块对有标注的图片的医学图像数据集和伪标签进行约束贝塞尔变换，得到增强图像多样性的医学图像数据集，计算高斯分布的标准差，根据差值选取位置尺度因子，通过对增强图像多样性的医学图像数据集输入通道上的梯度值取范数以及进行下采样操作和线性插值操作计算显著图，得到全局中最大梯度区域；步骤3.1.2：使用局部位置尺度增模块将步骤3.1.1得到的全局中最大梯度区域的有标注的图片的医学图像数据集和伪标签进行约束贝塞尔变换，得到增强图像多样性的医学图像数据集，然后计算高斯分布的标准差，根据差值选取位置尺度因子，通过对增强图像多样性的医学图像数据集输入通道上的梯度值取范数以及进行下采样操作和线性插值操作计算显著图，得到前景区域中最大梯度区域；步骤3.1.3：将步骤3.1.1得到的全局中最大梯度区域和步骤3.1.2得到的前景区域中最大梯度区域进行融合，得到融合图像。6.根据权利要求1所述的一种基于自监督学习的小样本医学图像分割方法，其特征在于，所述步骤4基于原型网络的小样本分割模型，结构为：1)特征提取模块：用于使用特征提取函数f
θ
(
·
)对支持集和查询集进行特征提取，生成支持集和查询的
2)自适应局部原型池化模块：用于对支持集提取的特征进行求和取均值操作，生成局部原型p
l,mn
(c)和类级原型通过生成的局部原型和类级原型划分出前景和背景；3)基于相似性的分类器模块：用于对支持集中的前景和查询集中的特征提取计算相似度，得到查询集中前景的分类结果；所述自适应局部原型池化模块中的局部原型表示为：其中，表示查询集中序号为l的图像；对每个局部原型p
l,mn
(c)的类c进行如下操作来执行类别划分：其中，表示步骤3中生成的超像素在位置(m,n)上使用平均池化后的值，t为前景的下界阈值，t在0-1之间；所述自适应局部原型池化模块中的类级原型表示为：其中，为查询集中序号为l，类别为的二进制掩码。7.根据权利要求1所述的一种基于自监督学习的小样本医学图像分割方法，其特征在于，所述步骤5的具体过程为：步骤5.1：将步骤3得到的支持集和查询集输入到步骤4中的特征提取模块进行特征提取，生成支持集和查询集步骤5.2：将步骤5.1得到的支持集提取的特征输入到自适应局部原型池化模块，生成局部原型和类级原型，将生成局部原型和类级原型划分前景和背景；步骤5.3：将步骤5.2得到的前景和查询集中的特征提取输入到基于相似性的分类器模块，计算计算相似度，得到查询集中前景的分类结果；步骤5.4：将步骤5.3得到的查询集中前景的分类结果用归一化指数函数进行归一化处理，得到最终对医学图像数据集分割后的预测结果。8.一种基于自监督学习的小样本医学图像分割系统，其特征在于，包括：
自监督模块：本模块采用自监督学习maskslic算法生成伪标签；数据增强模块：本模块采用水平翻转、随机裁剪、随机旋转以及医学图像数据增强策略对医学图像进行数据增强；小样本图像分割模块：本模块采用微调后的小样本分割模型对医学图像任务进行分割，得到一种基于自监督学习的小样本医学图像分割结果。9.一种基于自监督学习的小样本医学图像分割设备，其特征在于，包括：存储器：用于存储实现权利要求1-7所述的一种基于自监督学习的小样本医学图像分割方法的计算机程序；处理器，用于执行所述计算机程序时实现权利要求1-7所述的一种基于自监督学习的小样本医学图像分割方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7所述一种基于自监督学习的小样本医学图像分割方法。

技术总结
一种基于自监督学习的小样本医学图像分割方法、系统、设备及介质，方法包括：对未标注图片医学图像数据集进行数据增强，得到增强后医学图像数据集，用自监督学习maskSLIC算法进行聚类处理，生成伪标签，将有标注图片医学图像数据集和伪标签进行数据增强，得到支持集和查询集，构建基于原型网络小样本分割模型，将支持集和查询集输入上述模型，得到医学图像数据集分割后的预测结果，将其输入上述模型，得到微调小样本分割模型，将其用于医学图像分割，得到基于自监督学习的小样本医学图像分割结果；系统、设备及介质，用于实现基于自监督学习的小样本医学图像分割方法；本发明具有泛化能力强、医学图像数据量多、全局多样性充裕、分割性能好的特点。割性能好的特点。割性能好的特点。


技术研发人员：张方蓉 纪建 廖俊茹
受保护的技术使用者：西安电子科技大学
技术研发日：2023.06.01
技术公布日：2023/9/5