基于改进EfficientNet-B0模型的肺结节良恶性分类方法

基于改进efficientnet-b0模型的肺结节良恶性分类方法
技术领域
1.本发明属于医学图像分类技术领域，具体涉及基于改进efficientnet-b0模型的肺结节良恶性分类方法。


背景技术：

2.由于肺癌具有侵袭性和早期难以发现等特征，在世界范围内，肺癌仍是造成癌症死亡的主要原因。根据美国癌症协会发布的数据显示，平均每天会有350人死于癌症。另外数据还显示原位期、局部期和晚期肺癌的5年生存率分别为60％、33％和6％。因此，早诊断、早治疗对于提高肺癌患者生存率至关重要。肺癌患者早期肺部多以结节症状出现，因此对肺结节良恶性的诊断成为肺癌预防和治疗的重要方法。在医学上，病理学诊断是鉴别肺结节的金标准，但是具有耗时间和侵袭性的问题。计算机断层扫描(ct)作为一种非侵入方法为肺癌早期诊断提供了有效补充。然而一个病人往往有上百张ct图像，仅仅依靠人工对ct图像进行诊断工作量大、易漏诊，并且高强度的工作在一定程度上会造成医生误诊。因此，开发一种计算机辅助诊断系统自动诊断肺结节良恶性具有重要临床意义。
3.传统的计算机辅助诊断系统包括以下步骤：先获取出肺结节区域，从所选结节图像中人工提取底层特征，例如结节的强度、纹理、形状、密度等，然后把这些特征输入支持向量机(svm)、随机森林(rf)、k近邻等传统机器学习方法实现结节良恶性自动分类。虽然以上方法能够达到较好的分类效果，但需要人工设计特征提取器，且训练样本大时易发生欠拟合现象。且该方法很难得到医生易理解的分类结果，也无法为医生的临床诊断提供合理性依据。
4.得益于计算机性能的提升和人工智能理论的发展近年来，深度学习技术在医学图像处理领域有了长足发展，相比于传统的基于人工设计特征的机器学习肺结节分类方法，基于大数据驱动的深度学习方法表现出更为优异的分类性能，并将用户从繁琐的手工特征提取中解脱出来。采用深度学习的方法对医学图像进行分类，总体来看其分类效果优于传统的特征提取方法，且省去了人工设计要提取的特征这一复杂、耗时的步骤，促进了医学图像分类研究工作的发展。
5.虽然基于深度学习的肺结节分类研究目前已经取得了较好的研究结果和进展，但是仍旧存在以下比较普遍的问题：(1)肺结节ct图像数据集的类不平衡和数据量不充足问题会对网络模型的分类准确度造成影响；(2)肺结节ct图像特征复杂，深度学习网络在学习与分类过程中难以做出精准的判断。


技术实现要素：

6.针对现有肺结节图像分类技术的不足，本发明提出一种基于改进efficientnet-b0模型的肺结节良恶性分类方法。
7.一种基于改进efficientnet-b0模型的肺结节良恶性分类方法，包括以下步骤：
8.步骤1：利用ct设备获取肺部断层图像，本次分类任务使用的是美国肺部图像数据
联盟(lidc-idri)数据集。然后获取具有标签的肺结节ct图像，对具有标签的肺结节ct图像进行预处理，得到训练图像数据集、验证图像数据集和测试图像数据集；
9.步骤1.1：从lidc-idri数据集中获取已知具有肺结节区域的标签ct图像。由于非结节和小于3mm的结节，放射科医生只大致给出结节中心坐标，而对于大于等于3mm的结节，放射科医生给出了结节的三维轮廓坐标，为了后续进行肺结节图像精细化分割，选取该类型结节。根据结节轮廓坐标，采用u-net+++进行图像分割，并进行裁剪，得到裁剪后的肺结节图像；
10.步骤1.2：对分割获取到的肺结节图像进行数据增强操作；
11.步骤1.3：选取每个结节中较大的切片分割ct图像作为数据集，将其按照7：2：1划分为训练集图像、验证集图像和测试集图像；
12.步骤2：建立基于改进efficientnet-b0模型的肺结节良恶性分类模型；
13.所述基于改进efficientnet-b0模型的肺结节良恶性分类模型结构为：
14.第一层结构是多尺度特征融合模块(msfm)；
15.等二层为eca-mbconv1卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为1次；
16.第三层为eca-mbconv6卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为2次；
17.第四层为eca-mbconv6卷积结构，卷积核尺寸为5
×
5，卷积结构重复次数为2次；
18.第五层为eca-mbconv6卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为3次；
19.第六层为eca-mbconv6卷积结构，卷积核尺寸为5
×
5，卷积结构重复次数为3次；
20.第七层为eca-mbconv6卷积结构，卷积核尺寸为5
×
5，卷积结构重复次数为4次；
21.第八层为eca-mbconv6卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为1次；
22.第九层为1
×
1普通卷积，池化和全连接层结构。
23.步骤3：将肺结节训练图像数据集和验证集输入到基于改进efficientnet-b0模型的肺结节良恶性分类模型，经过多轮训练出基于改进的efficientnet-b0模型的参数，从而获得基于改进efficientnet-b0模型的肺结节良恶性分类最终模型结构；
24.步骤4：将肺结节测试集图像输入基于改进efficientnet-b0模型的最终分类模型结构中，得到测试集图像的肺结节良恶性分类预测结果。
25.本发明的有益效果：
26.本发明提出一种基于改进efficientnet-b0模型的肺结节良恶性分类方法，本发明方法将efficientnet-b0中第一层的3
×
3普通卷积层替换为多尺度特征融合模块(msfm)，从而融合了不同尺度的特征信息，提高了浅层特征的提取。将mbconv卷积结构中的se注意力模块换用eca注意力机制模块，重新搭建新的eca-mbconv卷积结构，最终设计出改进后的efficientnet-b0网络模型。输入肺结节ct图像即可实现肺结节良恶性分类，辅助医生进行诊断和后续管理方案决策，降低过诊断和漏诊断概率，为受检者提供精准医疗服务。
附图说明
27.图1为本发明基于改进efficientnet-b0的网络模型结构示意图；
28.图2为本发明重新搭建的eca-mbconv结构示意图；
29.图3为本发明eca注意力机制模型结构示意图。
具体实施方式
30.下面结合附图对本发明具体实施方式加以详细的说明。
31.一种基于改进efficientnet-b0模型的肺结节良恶性分类方法，包括以下步骤：
32.步骤1：从lidc-idri数据集中获取已知具有肺结节区域的ct标签图像，并选取大于等于3mm的结节图像进行预处理，得到对应的训练图像数据集、验证图像数据集和测试图像数据集。
33.步骤1.1：获取大于等于3mm的肺结节区域的具有标签的肺结节ct图像，对具有标签的肺结节ct图像采用u-net+++网络进行结节区域分割，并进行裁剪，得到裁剪后的肺结节ct图像，裁剪成64
×
64的ct图像。
34.本实施方式中，能够减少肺部其它部分组织结构对肺结节区域识别的干扰。
35.步骤1.2：将裁剪后的肺结节ct图像进行划分得到训练图像数据集、验证图像数据集和测试图像数据集。
36.本实施方式中，将裁剪后的肺结节图像平均分为十份，其比例是7∶2∶1，分别作为训练图像数据集、验证图像数据集和测试图像数据集。在此基础上做图像数据增强不会造成数据泄露，这样会使结果的准确性更值得信赖。
37.步骤1.3：将各数据集中的肺结节图像分别旋转90
°
、180
°
、270
°
，并进行图像翻转处理，从而获取扩充后的图像，最后得到图像增强后的训练图像数据集、验证图像数据集和测试图像数据集。
38.步骤2：建立基于改进efficientnet-b0模型的肺结节良恶性分类模型。
39.本实施方式中，建立基于改进efficientnet-b0模型的肺结节ct图像分类模型，模型结构如图1所示：
40.第一层为多尺度特征融合模块(msfm)。
41.本实施方式中，第一层中，把它归为一个多尺度特征融合模块，首先并行三个不同尺度的卷积层，第一个卷积层卷积核c1尺寸为3
×
3，有16个卷积核，后面连接有激活函数relu1，第二个卷积层卷积核c2尺寸为5
×
5，有8个卷积核，后面连接有激活函数relu2，第三个卷积层卷积核c3尺寸为1
×
1，有8个卷积核，后面连接有激活函数relu3，三个并行卷积层均连接concat层。将并行的三个16个、8个和8个卷积核个数合并为一个32个卷积核数作为输出。在输出之后加入通道混洗(channel shuffle)操作，可以促进通道之间的信息融合。在msfm模块作用下提高了深度学习网络对肺结节ct图像浅层特征的提取。
42.第二层为eca-mbconv1模块，该模块采用eca注意力机制，重新搭建的eca-mbconv结构示意图如图2所示，采用卷积核尺寸为3
×
3，eca-mbconv后面的数字1或6是倍率因子，即eca-mbconv中第一个1
×
1的卷积层会将输入特征矩阵的channels扩充为1或6倍，其中k3
×
3或k5
×
5表示eca-mbconv中depthwise conv所采用的卷积核大小；在第一个1
×
1卷积后使用swish激活函数和bn操作，在后面一个1
×
1卷积后只进行bn操作，然后进行droupout过程。在eca-mbconv结构中，仅当输入的特征矩阵与输出特征矩阵shape相同时才存在shortcut连接。
43.本实施方式中采用eca(efficient channel attention module)注意力机制，原理图如图3所示。相较于se(squeeze-and-excitation)模块，eca模块避免降维，能够有效地捕捉跨通道信息。eca模块在没有降维处理的情况下进行了通道级全局平均池化，通过考虑
每个通道和其k个最近邻来捕获本地跨通道交互。eca模块加强了不同通道之间的联系，目标是获取局部的跨通道信息交互，即只考虑每个通道与其k近邻之间的相互作用，yi的权重可以表示为：
[0044][0045]
式中表示yi的k个相邻通道的集合。通过获取局部跨通道交互建立局部约束机制，从而避免所有通道的信息交互，使模型的效率得到提高。每个通道的注意力模块包含k
×
c个参数，交互的覆盖范围与通道维数c是成正比的。
[0046]
然后，给定通道维数c就可以自适应确定核大小k，k的表达式为：
[0047][0048]
式中，|t|
odd
表示t最接近的奇数。实验中分别设γ和b为2和1。通过ψ映射，低维通道具有更小范围的相互作用，高维通道具有更大范围的相互作用。结合eca注意力机制，搭建出eca-mbconv结构。该模块同时适用以下几层结构。
[0049]
第三层为eca-mbconv6模块，采用卷积核尺寸为k3
×
3,该模块中重复eca-mbconv6结构2次；
[0050]
第四层为eca-mbconv6模块，采用卷积核尺寸为k5
×
5,该模块中重复eca-mbconv6结构2次；
[0051]
第五层为eca-mbconv6模块，采用卷积核尺寸为k3
×
3,该模块中重复eca-mbconv6结构3次；
[0052]
第六层为eca-mbconv6模块，采用卷积核尺寸为k5
×
5,该模块中重复eca-mbconv6结构3次；
[0053]
第七层为eca-mbconv6模块，采用卷积核尺寸为k5
×
5,该模块中重复eca-mbconv6结构4次；
[0054]
第八层为eca-mbconv6模块，采用卷积核尺寸为k3
×
3,该模块中重复eca-mbconv6结构1次；
[0055]
第九层为普通卷积层，卷积核大小1
×
1，然后进行池化和全连接操作。
[0056]
步骤3：将训练图像数据集和验证图像数据集输入基于改进efficientnet-b0模型的肺结节良恶性分类模型中，训练基于改进efficientnet-b0模型的肺结节良恶性分类模型的训练参数，从而获取基于改进efficientnet-b0模型的肺结节良恶性分类模型的最终结构。
[0057]
步骤4：将测试图像数据集输入基于efficientnet-b0模型的肺结节良恶性分类模型的最终形式中，得到测试图像数据集中肺结节良恶性分类结果。

技术特征：
1.一种基于改进efficientnet-b0模型的肺结节良恶性分类方法，其特征在于，包括以下步骤：步骤1：利用ct设备获取肺部断层扫描图像，本次分类任务使用的是美国肺部图像数据联盟(lidc-idri)数据集。然后获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行预处理，得到训练图像数据集、验证图像数据集和测试图像数据集；步骤2：建立基于改进efficientnet-b0模型的肺结节良恶性分类模型；步骤3：将肺结节训练图像数据集和验证集输入到基于改进的efficientnet-b0模型的肺结节良恶性分类模型，经过多轮训练出基于改进的efficientnet-b0模型的参数，从而获得基于改进efficientnet-b0模型的肺结节良恶性分类最终模型结构；步骤4：将肺结节测试集图像输入基于改进的efficientnet-b0模型的最终分类模型结构中，得到测试集图像的肺结节良恶性分类预测结果；所述基于改进efficientnet-b0模型的肺结节良恶性分类模型结构为：第一层结构是多尺度特征融合模块(msfm)；等二层为eca-mbconv1卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为1次；第三层为eca-mbconv6卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为2次；第四层为eca-mbconv6卷积结构，卷积核尺寸为5
×
5，卷积结构重复次数为2次；第五层为eca-mbconv6卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为3次；第六层为eca-mbconv6卷积结构，卷积核尺寸为5
×
5，卷积结构重复次数为3次；第七层为eca-mbconv6卷积结构，卷积核尺寸为5
×
5，卷积结构重复次数为4次；第八层为eca-mbconv6卷积结构，卷积核尺寸为3
×
3，卷积结构重复次数为1次；第九层为1
×
1普通卷积、池化和全连接层结构。2.根据权利要求书1所述的一种基于改进efficientnet-b0模型的肺结节良恶性分类方法，其特征在于，所述步骤1包括以下步骤：步骤1.1：从lidc-idri数据集中获取已知具有肺结节区域的标签图像。由于非结节和小于3mm的结节，放射科医生只大致给出结节中心坐标，而对于大于等于3mm的结节，放射科医生给出了结节的三维轮廓坐标，为了后续进行肺结节图像精细化分割，选取该类型结节。根据肺结节轮廓坐标，采用u-net+++进行图像精细化分割，并进行裁剪，得到裁剪后的肺结节ct图像；步骤1.2：对分割获取到的肺结节进行图像预处理和数据增强操作；步骤1.3：选取每个结节中较大的切片分割图像作为数据集，将其按照7：2：1划分为训练集图像、验证集图像和测试集图像。

技术总结
本发明公开了一种基于改进EfficientNet-B0的肺结节良恶性分类方法，该方法包含如下步骤：1)选取LIDC-IDRI数据集中大于等于3mm的肺结节图像，采用U-Net+++进行肺结节区域精细化分割，获取分割后图像数据集；2)改进EfficientNet-B0模型，将第一层普通3


技术研发人员：周孟然 王宁 高立鹏 王昊男
受保护的技术使用者：安徽理工大学
技术研发日：2023.04.11
技术公布日：2023/8/21