基于遗传算法的脑肿瘤图像分割方法与系统

1.本发明涉及脑肿瘤图像技术领域，尤其涉及一种基于遗传算法的脑肿瘤图像分割方法与系统。


背景技术：

2.脑肿瘤作为死亡率最高的流行疾病之一，其诊断与治疗受到广大医疗工作者的关注。在实际临床诊疗过程中，磁共振成像(magneti resonance imaging,mri)技术被广泛用于颅脑，及其脊髓、心脏大血管、关节骨骼、软组织及盆腔等系统的成像诊断。临床医生通过多序列的mri成像来分析脑肿瘤的病变状况，如flair,t1,t1c,t2等常规序列的脑部影像，而脑部肿瘤诊断鉴别的任务主要是关注脑部的神经胶质瘤，神经胶质瘤在成人脑部肿瘤中最为常见，由于它解剖结构的特殊性，可以通过mri影像进行直观检查与分析。而由于不同个体在临床诊疗上的差异以及医生医疗资源的不足，这使得计算机进行辅助诊疗已经成为了必不可少的工具。
3.在计算机辅助诊疗过程中，一个准确可靠的神经胶质瘤图像分割步骤起着关键性的作用，通过对脑部病灶肿瘤区域的快速定位与多类别肿瘤的区分，可以辅助医生进行临床诊疗，并且可以应用于医学教学以及虚拟手术等医学技术领域。由于手工进行脑肿瘤图像的分割是一项非常繁琐复杂的工作，而且需要经验丰富的临床诊疗医生来完成，这不仅会大幅增加医生的额外工作时间，同时严重影响医生临床诊疗工作的效率，也是对极其宝贵的医疗资源浪费，对于这种重复性较强且繁琐的任务，更适合由计算机来自动化处理。
4.随着大数据的发展，脑肿瘤mri影像数据样本逐渐丰富，有监督学习的深度学习分割方法成为分割算法的主流。在深度学习中，卷积神经网络(convolution neural network,cnn)在分割目标时引入了语义信息，为语义分割研究注入了新的活力。深度卷积神经网络，如resnet,dense-net,fcn等，由于其突出的拓扑结构，为有效分析计算机视觉任务开辟了道路。全卷积网络(full convolution network,fcn)由于多尺度特征提取、编码器-解码器结构，以及端到端方式已成为当前医学图像处理方法主流。fcn及其变体3dunet,3dvnet和3d-resunet提高了三维医学图像分割的准确性，这表明细化网络拓扑结构可以有效提高模型的分割能力。
5.同时为了解决如何构建神经网络结构这个问题，提出了神经体系结构搜索(neural architecture search,nas)自动完成神经网络结构的设计。zoph等人首先提出了一种基于强化学习的nas方法，以在图像分类数据集中找到最佳网络结构。wen和mortazi等人将nas方法应用于二维医学图像分割，不过这些方法对网络拓扑优化有限，但神经网络的拓扑结构对于特征提取具有重要意义；
6.由于神经网络的拓扑结构较多，但优秀的拓扑结构肯定助于提升网络的分割精度，但想要获得最优结构，如果使用人工设计，难度肯定大，而且需要消耗大量计算资源。
7.现有的方法对网络拓扑优化有限，但神经网络的拓扑结构对于特征提取又具有重要意义。因此，将nas方法应用于脑胶质瘤图像分割仍然存在两个问题。首先，构建分割网络
结构的搜索空间中的每个结构都应该能够提取图像的语义信息，并且在搜索过程中应该优化网络的拓扑结构。其次，三维卷积计算成本高，gpu内存消耗大，nas遍历搜索方法存在时间长、算法参数多、效率低等问题；
8.为此，我们设计一种基于遗传算法的脑肿瘤图像分割方法与系统，用于对上述技术问题提供另一种技术解决方案。


技术实现要素：

9.基于此，有必要针对上述技术问题，提供一种基于遗传算法的脑肿瘤图像分割方法与系统，用于解决上述背景技术中提出的技术问题。
10.为了解决上述的技术问题，本发明采用了如下技术方案：
11.一种基于遗传算法的脑肿瘤图像分割方法，步骤如下：
12.s1：获取由t1、t2、t1-ce和flair组成的mri医学影像数据集；
13.s2：基于pytorch框架搭建深度学习网络模型，使用3dfcn模型作为骨干网络，在搜索空间中对神经网络的拓扑进行编码，然后使用遗传算法搜索神经网络的最优结构；
14.s3：将训练数据输入最优网络拓扑结构模型中进行训练，最后得到效果最佳的网络模型；
15.s4：使用最佳的网络模型对测试集的脑肿瘤图像进行分割得到分割结果，将分割结果可视化展示。
16.作为本发明提供的所述的一种基于遗传算法的脑肿瘤图像分割方法的一种更优的实施方式，所述s1步骤中，对医学影像数据集中的脑肿瘤mri图像通过多模态拼接和随机裁剪进行预处理。
17.作为本发明提供的所述的一种基于遗传算法的脑肿瘤图像分割方法的一种更优的实施方式，对进行随机裁剪后的影像数据进行归一化处理。
18.作为本发明提供的所述的一种基于遗传算法的脑肿瘤图像分割方法的一种更优的实施方式，所述s2步骤中，通过遗传算法调整各个阶段的拓扑结构，并在每一个种群中寻找最优适应度的个体。
19.作为本发明提供的所述的一种基于遗传算法的脑肿瘤图像分割方法的一种更优的实施方式，在遗传算法中每轮种群训练完成之后，使用改进的锦标赛算法来选择下一代种群的父代，以提高搜索效率，再进行交叉和变异产生新的种群，进行下一轮的选择，直到达到迭代次数，输出最优个体的拓扑结构和训练参数。
20.作为本发明提供的所述的一种基于遗传算法的脑肿瘤图像分割方法的一种更优的实施方式，所述s3步骤中，在最优网络拓扑结构模型中的训练，训练时选择的损失函数是loss
dice
公式如下：
[0021][0022]
其中，nv为体素的数量，ui是预测图，gi为真实图。
[0023]
作为本发明提供的所述的一种基于遗传算法的脑肿瘤图像分割方法的一种优选实施方式，所述s4步骤中，分割结果的评估指标公式如下：
[0024][0025]
hd(a,b)＝max(h(a,b),h(b,a))
[0026][0027]
其中，tp,fp,fn,tn分别代表真阳性、假阳性、假阴性、真阴性，a和b分别代表a,b表面的点，其中a为预测图，b为真实图，d(a,b)表示a与b之间的欧氏距离，k
95
为距离的95％分位数，替换最大值以消除异常值的影响。
[0028]
一种基于遗传算法的脑肿瘤图像分割系统，用于如上任意一项，所述图像分割系统包括数据采集模块、数据预处理模块、分割网络拓扑结构自动搜寻模块、参数训练模块和图像分割模块；
[0029]
所述数据采集模块用于从不同的医学影像设备获取mri神经胶质瘤医学影像，根据不同的弛豫时间，获取t1、t2、t1-ce和flair等4种模态的mri影像；
[0030]
所述数据预处理模块用于对数据采集模块中获取的四种模态的mri神经胶质瘤的影像数据进行拼接，再将其随机裁剪成固定大小的输入张量，并进行标准化；
[0031]
所述分割网络拓扑结构自动搜寻模块用于使用3dfcn模型作为骨干网络，在搜索空间中对神经网络的拓扑进行编码，然后使用遗传算法搜索神经网络的最优结构；
[0032]
所述参数训练模块用于将训练数据输入最优网络拓扑结构模型中进行训练，通过不断迭代后训练得到最佳网络模型；
[0033]
所述图像分割模块用于将训练得到的模型对待处理的mri图像进行分割得到脑肿瘤分割结果，并进行可视化显示。
[0034]
综上所述，通过本技术的上述技术方案，必然可以解决本技术要解决的技术问题。
[0035]
同时，通过以上技术方案，本发明至少具备以下有益效果：
[0036]
本发明提供的一种基于遗传算法的脑肿瘤图像分割方法与系统，使用遗传算法自动搜索三维全卷积的拓扑结构，减少了研究者手动设计网络拓扑结构的负担，但又能构建更加优秀的网络拓扑结构；同时使用了改进的锦标赛算法，通过进一步寻找锦标赛算法中被拒绝的个体来提高遗传算法的搜索效率，能够更加准确找到更加优秀的网络拓扑结构。
附图说明
[0037]
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1为本发明提供的脑肿瘤分割网络拓扑结构自动搜寻方法流程图；
[0039]
图2为四种模态的神经胶质瘤患者的mri样例影像图；
[0040]
图3为本发明提供的脑肿瘤分割网络拓扑结构自动搜寻系统的结构图；
[0041]
图4为本发明提供的分割网络拓扑结构自动搜寻网络结构图；
[0042]
图5为本发明与其他分割方法的2d切片分割对比效果图；
[0043]
图6为本发明与其他分割方法的3d神经胶质瘤可视化效果图。
具体实施方式
[0044]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0045]
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0046]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。
[0047]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0048]
实施例一
[0049]
参照图1-图6，一种基于遗传算法的脑肿瘤图像分割方法，步骤如下：
[0050]
使用三个公共数据集中评估了算法的有效性：brats2018、brats2019和brats 2020，得到医学图像数据集；
[0051]
图像数据集中，每组数据由四种模式组成，分别为t1加权(t1)、t1加权对比增强(t1-ce)、t2加权(t2)和液体衰减反转恢复(flair)。这些图像的大小为240
×
240
×
155，空间分辨率为1
×1×
1毫米。标签包含四类：背景(标签0)、坏死性和非增强性肿瘤(标签1)、水肿区域(标签2)和gb增强型肿瘤(标签4)，用于评估的区域包括增强肿瘤区域(et，标签4)、核心肿瘤区域(tc，标签1，4)和整个肿瘤区域(wt，标签1、2、4)；
[0052]
为了使mri图像更有利于训练，对原始图像进行了预处理。对四种模态的mri神经胶质瘤的影像数据进行多模态的拼接，最大程度移除值为0的体素点，再将其随机裁剪成大小为4*128*128*128大小的输入张量，并进行归一化；
[0053]
使用3dfcn作为模型的骨干网络，它由7个阶段组成，对每个阶段的拓扑结构进行编码，同时各阶段之间使用步长为2的2*2*2卷积层来连接每个阶段，以取代原来的最大池操作，它可以灵活地调整特征映射中的通道数，并减少因下采样而导致的细粒度特征数。之后使用遗传算法自适应调整各个阶段的拓扑结构，并在每一个种群中寻找最优适应度的个体并比较并搜寻最优个体，以提高模型的分割能力。在遗传算法每轮种群训练完成之后，使用改进的锦标赛算法来选择下一代种群的父代，以提高搜索效率，再进行交叉和变异产生新的种群，进行下一轮的选择，直到达到迭代次数，输出最优个体的拓扑结构和训练参数。本发明基于pytorch框架搭建训练模型，实验具体环境和配置如表1所示。模型的训练超参数如表2所示；
[0054]
表1.实验环境配置
[0055]
实验环境配置信息gpurtx3090内存24g操作系统windows10编程库pytorch1.12.0
[0056]
表2.模型训练的超参数设置
[0057][0058][0059]
再将训练数据输入搜寻到的最优网络拓扑结构模型中进行训练，迭代更新模型的权重参数，最终得到训练完成的模型。训练时选择的损失函数是loss
dice
，具体公式如下：
[0060][0061]
其中，nv为体素的数量，ui是预测图，gi为真实图。
[0062]
将测试集中的mri图像输入训练得到的最终模型，模型通过计算对脑肿瘤各个区域进行分割并可视化展示。本发明的模型预测精度对比于现有的技术有一定程度上的提升，模型与现有技术在三个数据集上的性能对比如表3、表4、表5所示。
[0063]
对模型使用dice系数和95％豪斯多夫距离(95％hausdorff distance,hd)两个官方评价指标，dice系数测量预测区域和标签区域的重叠率，hausdorff 95％通过选择95％的最大误差距离(0毫米最佳)确定最大误差范围。其公式为：
[0064][0065]
hd(a,b)＝max(h(a,b),h(b,a))
[0066][0067]
其中，tp,fp,fn,tn分别代表真阳性、假阳性、假阴性、真阴性，a和b分别代表a,b表面的点，其中a为预测图，b为真实图，d(a,b)表示a与b之间的欧氏距离，k
95
为距离的95％分位数，替换最大值以消除异常值的影响。
[0068]
表3as-3dfcn模型在brats2018在线验证数据集上与其他先进分割算法指标比较
[0069][0070]
表4as-3dfcn模型在brats2019在线验证数据集上与其他先进分割算法指标比较
[0071][0072]
表5as-3dfcn模型在brats2020在线验证数据集上与其他先进分割算法指标比较
[0073][0074]
达成效果：
[0075]
使用遗传算法自动搜索三维全卷积的拓扑结构，减少了研究者手动设计网络拓扑结构的负担，但又能构建更加优秀的网络拓扑结构。同时使用了改进的锦标赛算法，通过进一步寻找锦标赛算法中被拒绝的个体来提高遗传算法的搜索效率，能够更加准确找到更加优秀的网络拓扑结构。
[0076]
基于遗传算法的分割网络模型中利用更加优秀的拓扑结构传递了更为有效的信息，使得网络一方面可保持较低的参数量，另一面也可使得对于边界区域的分割更加精确，从而保证了分割精度的提升。
[0077]
具体分割精度的提升，以人工手动分割的神经胶质瘤图像为标准(ground truth,gt)，部分样例的神经胶质瘤的2d切片对比效果如图4所示，其中有坏死区域，增强肿瘤区域，水肿区域。可以观测到，在脑肿瘤的可视化分割结果中，3d u-net、3d v-net在第1行,第3行样本中的坏疽区域的边界处，出现了不同程度的欠分割的情况，而基于遗传算法的分割模型在这些区域中的分割更接近真实标签。而在第2,4行的样本中,3d v-net和3d u-net在分割的水肿区域均出现了欠分割或者过分割的现象,而基于遗传算法的分割算法对于边界的细节区域分割的更为精确。
[0078]
本发明与其他分割方法的3d神经胶质瘤可视化效果对比可见图5。可以发现，3d u-net和3d v-net中浮肿区域存在较为明显的过分割的现象，相反而本文提出的基于遗传算法的分割模型在边界处则表现出较清晰和完整的轮廓,表明本文模型通过搜索最优模型结构，降低了分割的误差，提升了图像对肿瘤区域的分割效果。
[0079]
实施例二
[0080]
在上述实施例一和实施例二的基础上，公开一种基于遗传算法的脑肿瘤图像分割系统，图像分割系统包括数据采集模块、数据预处理模块、分割网络拓扑结构自动搜寻模块、参数训练模块和图像分割模块；
[0081]
数据采集模块：从不同的医学影像设备获取mri神经胶质瘤医学影像，根据不同的
弛豫时间，获取t1,t2,t1-ce,flair4种模态的mri影像。
[0082]
数据预处理模块：对四种模态的mri神经胶质瘤的影像数据进行拼接，再将其随机裁剪成固定大小的输入张量，并进行标准化。
[0083]
分割网络拓扑结构自动搜寻模块：使用3dfcn模型作为骨干网络，在搜索空间中对神经网络的拓扑进行编码，然后使用遗传算法搜索神经网络的最优结构。
[0084]
参数训练模块：将训练数据输入最优网络拓扑结构模型中进行训练，通过不断迭代后训练得到最佳网络模型。
[0085]
图像分割模块：将训练得到的模型对待处理的mri图像进行分割得到脑肿瘤分割结果，并进行可视化显示。
[0086]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，步骤如下：s1：获取由t1、t2、t1-ce和flair组成的mri医学影像数据集；s2：基于pytorch框架搭建深度学习网络模型，使用3dfcn模型作为骨干网络，在搜索空间中对神经网络的拓扑进行编码，再使用遗传算法搜索神经网络的最优结构；s3：将训练数据输入最优网络拓扑结构模型中进行训练，得到效果最佳的网络模型；s4：使用最佳的网络模型对测试集的脑肿瘤图像进行分割得到分割结果，将分割结果可视化展示。2.根据权利要求1所述的一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，所述s1步骤中，对医学影像数据集中的脑肿瘤mri图像通过多模态拼接和随机裁剪进行预处理。3.根据权利要求2所述的一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，对进行随机裁剪后的影像数据进行归一化处理。4.根据权利要求1所述的一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，所述s2步骤中，通过遗传算法调整各个阶段的拓扑结构，并在每一个种群中寻找最优适应度的个体。5.根据权利要求4所述的一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，在遗传算法中每轮种群训练完成后，使用改进的锦标赛算法来选择下一代种群的父代，再进行交叉和变异产生新的种群，进行下一轮的选择，直到达到迭代次数，输出最优个体的拓扑结构和训练参数。6.根据权利要求1所述的一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，所述s3步骤中，在最优网络拓扑结构模型中的训练，训练时选择的损失函数是loss
dice
公式如下：其中，nv为体素的数量，u
i
是预测图，g
i
为真实图。7.根据权利要求1所述的一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，所述s4步骤中，分割结果的评估指标计算公式如下：hd(a,b)＝max(h(a,b),h(b,a))其中，tp,fp,fn,tn分别代表真阳性、假阳性、假阴性、真阴性，a和b分别代表a,b表面的点，其中a为预测图，b为真实图，d(a,b)表示a与b之间的欧氏距离，k
95
为距离的95％分位数，替换最大值以消除异常值的影响。8.一种基于遗传算法的脑肿瘤图像分割系统，用于权利要求1-7任意一项的所述一种基于遗传算法的脑肿瘤图像分割方法，其特征在于，所述图像分割系统包括数据采集模块、数据预处理模块、分割网络拓扑结构自动搜寻模块、参数训练模块和图像分割模块；所述数据采集模块用于从不同的医学影像设备获取mri神经胶质瘤医学影像；
所述数据预处理模块用于对数据采集模块中获取的四种模态的mri神经胶质瘤的影像数据进行拼接，再将其随机裁剪成固定大小的输入张量，并进行标准化；所述分割网络拓扑结构自动搜寻模块用于使用3dfcn模型作为骨干网络，在搜索空间中对神经网络的拓扑进行编码，然后使用遗传算法搜索神经网络的最优结构；所述参数训练模块用于将训练数据输入最优网络拓扑结构模型中进行训练，通过不断迭代后训练得到最佳网络模型；所述图像分割模块用于将训练得到的模型对待处理的mri图像进行分割得到脑肿瘤分割结果，并进行可视化显示。

技术总结
本发明涉及脑肿瘤图像技术领域，尤其涉及一种基于遗传算法的脑肿瘤图像分割方法与系统。步骤如下：S1：获取由T1、T2、T1-ce和flair组成的MRI医学影像数据集；S2：基于PyTorch框架搭建深度学习网络模型，使用3DFCN模型作为骨干网络，在搜索空间中对神经网络的拓扑进行编码，再使用遗传算法搜索神经网络的最优结构。本发明提供的一种基于遗传算法的脑肿瘤图像分割方法与系统，使用遗传算法自动搜索三维全卷积的拓扑结构，减少了研究者手动设计网络拓扑结构的负担，但又能构建更加优秀的网络拓扑结构；同时使用了改进的锦标赛算法，通过进一步寻找锦标赛算法中被拒绝的个体来提高遗传算法的搜索效率，能够更加准确找到更加优秀的网络拓扑结构。网络拓扑结构。网络拓扑结构。


技术研发人员：刘瑞华 罗洋 南浩宇 邹洋杨 谢挺 郝子赫 陈星启
受保护的技术使用者：重庆理工大学
技术研发日：2023.05.11
技术公布日：2023/8/13