一种基于MobileViT网络的角膜溃疡分类识别方法

一种基于mobile vit网络的角膜溃疡分类识别方法
技术领域
1.本发明涉及角膜溃疡分类领域，具体涉及一种基于mobile vit的角膜溃疡分类识别方法。


背景技术：

2.角膜溃疡，也称为角膜炎，是一种常见的眼部疾病，如果不及时发现和治疗，可能会对眼睛造成不可逆转的损伤。这种情况通常由细菌、病毒、真菌或寄生虫感染、眼外伤、干眼综合征、角膜炎、免疫系统疾病、不当使用隐形眼镜或滴眼液和角膜细胞缺陷引起。根据国家卫生健康委员会发布的统计数据，中国角膜溃疡的新增病例已超过10万例，是导致失明的主要原因之一。及时有效地检测角膜溃疡对于正确治疗和预防视力损伤至关重要。荧光染色技术等新技术的发展彻底改变了角膜溃疡的诊断和治疗。
3.荧光染色技术是一种广泛使用的诊断方法，用于评估眼表面完整性，尤其是角膜溃疡。这项技术包括使用荧光素染料，对角膜及其缺陷进行染色。染色后，可以准确地确定和评定溃疡的面积和类型，从而进行适当的治疗。裂隙灯显微镜与荧光染色技术相结合的使用使研究人员能够更准确地诊断和分析角膜溃疡，同时减少患者在测试过程中的不适和疼痛。
4.神经网络的快速发展导致越来越多的网络模型被应用于医学的各个领域。通过了解相关文献和诊疗技术，我们发现传统的诊疗方法不仅减缓了诊断速度，而且在诊断过程中给患者带来了痛苦。结合深度学习方法辅助诊断和治疗，不仅可以加快诊断速度，还可以减轻患者的痛苦。在本发明中，我们结合深度学习方法来改进一个新的神经网络模型。通过提取角膜溃疡图像上溃疡区域的特征，我们利用这些特征来学习一个新的网络模型来自动识别角膜溃疡的类型。经过我们的长期研究和反复实验，最终修改的模型得到了我们的认可，也取得了良好的效果。我们的模型不仅精度高，而且从最终的可视化结果来看也非常准确。
5.总之，随着电子设备在我们日常生活和工作中的使用越来越多，患角膜溃疡的人数也在逐年增加。因此，迫切需要开发新的、有效的诊断方法。本发明将结合深度学习和荧光染色技术，改进一种诊断角膜溃疡的新方法，以提高诊断的速度和准确性。


技术实现要素：

6.本发明所要解决的技术问题在于：如何快速准确地识别出角膜溃疡的类型，在减少病人痛苦的同时，能够快速准确地识别，通过机器实现自动分类识别，降低人工成本，提供了一种基于mobile vit网络的角膜溃疡分类识别方法，以提高识别的速度和准确性。
7.本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
8.s1：样本预处理
9.对角膜溃疡数据集的图像样本进行预处理；
10.s2：增加注意力机制
11.在原始mobile vit网络的mv2模块中融合se注意力模块，得到改进后的mv2模块，即mv2-se模块；
12.s3：特征拼接
13.将原始mobile vit网络的mobile vit模块中的局部表征提取出来，与全局表征融合，再与原输入进行concat拼接操作，得到改进后的mobile vit模块，即mobile vit x模块；
14.s4：网络搭建
15.以原始mobile vit网络的结构为原型，使用mv2-se模块、mobile vit x模块搭建出新的mobile vit网络；
16.s5：网络训练
17.利用训练集对步骤s4中新的mobile vit网络进行训练，训练后得到角膜溃疡分类识别模型，并用独立的测试集对角膜溃疡分类识别模型进行测试，利用grad-cam方法对角膜溃疡分类识别模型的输出进行可视化验证；
18.s6：分类识别
19.将待检测图片输入角膜溃疡分类识别模型进行分类识别，获取分类识别结果。
20.更进一步地，在所述步骤s1中，将角膜溃疡数据集按照设定比例划分为训练集、测试集，并将训练集中的图像尺寸调整为设定尺寸。
21.更进一步地，在所述步骤s1中，图像样本的标签类型包括点状角膜溃疡、点片状混合角膜溃疡、片状角膜溃疡。
22.更进一步地，在所述步骤s2中，原始mobile vit网络的mv2模块包括依次连接的第一个卷积层、深度可分离卷积层、第二个卷积层，三个卷积层均用于提取特征。
23.更进一步地，在所述步骤s2中，所述se注意力模块包括压缩层、激励层；所述激励层包括两个依次连接的全连接层，所述压缩层通过全局池化将特征映射压缩成1*1*c向量，所述激励层的第一个全连接层具有c*se-radio神经元，其输入为1*1*c，输出为1*1*c*se-radio，第二个全连接层有c个神经元，输入为1*1*c*se-radio，输出为1*1*c，其中se-radio作为缩放参数；压缩层和激励层计算公式如下：
[0024][0025]
其中，f
sq
表示squeeze操作，zc是经过squeeze操作后的输出，uc为输入；h和w分别表示特征图的长和宽，i和j分别表示图片像素点的长宽，通过i和j来表示具体位置；
[0026]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
[0027]
其中，squeeze操作的输出命名为z，w1和w2分别是第一个和第二个全连接操作的权重，在第一次全连接操作结束后经过一个relu激活函数，第二个全连接层后接sigmoid函数，最终得到输出权重s。
[0028]
更进一步地，在所述步骤s2中，在原始mobile vit网络的mv2模块中融合se注意力模块，得到改进后的mv2模块，即mv2-se模块，其中，se注意力模块插入到mv2模块中的深度可分离卷积层与第二个卷积层之间。
[0029]
更进一步地，在所述步骤s3中，mobile vit x模块包括一个局部表征层、一个全局
表征层、一个融合层，将局部表征层输出的局部表征提取出来与全局表征层输出的全局表征通过进行融合层相加提高融合部分的特征提取量和融合能力。
[0030]
更进一步地，在所述步骤s5中，角膜溃疡分类识别模型的具体训练过程主要包括以下步骤：
[0031]
s501：测试图片经过预处理后尺寸被调整为224
×
224；
[0032]
s502：经过一个3
×
3的卷积层进行两倍的下采样，输出特征图尺寸为128
×
128；
[0033]
s503：特征图依次通过三个mv2-se模块进行处理，将特征图尺寸下采样到64
×
64，其中第一个mv2-se模块、第三个mv2-se模块的输入输出尺寸不变，第二mv2-se模块进行两倍的下采样；
[0034]
s504：然后特征图依次经过三个混合模块，输出特征图尺寸为8
×
8，其中，各混合模块包括依次连接的一个mv2-se模块和一个mobile vit x模块；
[0035]
s505：特征图经过一个1
×
1的卷积层和全局池化层后进行输出，并进行类型判断。
[0036]
更进一步地，在所述步骤s5中，对角膜溃疡分类识别模型进行测试，利用grad-cam方法对角膜溃疡分类识别模型的输出进行可视化验证，将提取到的特征反向传播得到权重矩阵，通过热力图的方法显示在原图上，重要特征到次要特征为由红到蓝渐变显示。
[0037]
本发明相比现有技术具有以下优点：
[0038]
(1)在mv2模块中增加了se注意力模块来提高特征提取能力，se注意力模块可以有效地学习到特征通道的相关性，从而提高模型的表现能力；通过调整特征通道的权重，se注意力模块可以增强特定的特征表达，从而使模型更加专注于重要的特征；其次，se注意力模块可以很容易地与各种深度神经网络结构相结合，具有很强的可插拔性；最后，se注意力可以使用全局池化和一小组全连接层实现，计算成本较低，因此可以在不增加计算负担的情况下增强模型性能；在模型中增加se注意力模块后，不仅将准确率从88.7％提高到了90.8％，其次通过grad-cam可视化也可以看出，所提取到特征的特征图与溃疡区域已经有很大的相似之处。
[0039]
(2)将局部表征与全局表征进行融合，可以提高模型的准确性，局部特征可以帮助模型识别图像中的局部结构和纹理信息，而全局特征则可以提供图像的整体上下文信息；将这两种信息融合在一起可以提高模型的准确性和鲁棒性；还可以增强模型的泛化能力，局部特征通常只能表示图像中的局部信息，而全局特征则可以提供图像的整体结构和语义信息；将两种特征融合在一起可以使模型更好地理解图像，从而提高其泛化能力；除此之外还可以减少过拟合的风险：将局部特征和全局特征进行融合可以降低模型的过拟合风险；通过这项改进，将原先90.8％的准确率提高到了91.5％，在经过可视化操作后，可以看出提取的特征图区域与溃疡区域已经基本吻合，因此可以看出，所提取的特征是正确的。
附图说明
[0040]
图1是本发明实施例中基于mobile vit网络的角膜溃疡分类识别方法的流程示意图；
[0041]
图2是本发明实施例中mv2结合se模块(即mv2-se模块)的结构示意图；
[0042]
图3是本发明实施例中改进后mobile vit block(即mobile vit x模块)的结构示意图；
[0043]
图4是本发明实施例中改进后的mobile vit网络整体结构示意图；
[0044]
图5(a)是本发明实施例中点状角膜溃疡的示例图；
[0045]
图5(b)是本发明实施例中点片状混合角膜溃疡的示例图；
[0046]
图5(c)是本发明实施例中片状角膜溃疡的示例图；
[0047]
图6是本发明实施例中增加不同模块后的可视化效果图，其中(a)-(d)为原始图片，(e)-(h)为不做任何改进的效果图，(i)-(l)为添加se注意力模块后的效果图，(m)-(p)为最终改进后的效果图；
[0048]
图7是本发明实施例中增加不同注意力模块后的可视化效果图，其中(a)-(d)为原始图片，(e)-(h)为添加se注意力模块后的效果图，(i)-(l)为添加cbam注意力模块后的效果图，(m)-(p)为添加ca注意力模块后的效果图；
[0049]
图8是本发明实施例中根据mobile vit v3改进的模块的结构示意图。
具体实施方式
[0050]
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0051]
本实施例提供一种技术方案：一种基于mobile vit网络的角膜溃疡分类识别方法，包括以下步骤：
[0052]
s1：对角膜溃疡数据集进行预处理。
[0053]
s2：在原始mobile vit网络的mv2模块中融合se注意力模块，提高模型提取特征能力，同时增加模型在不同维度上的信息交流。
[0054]
s3：将原始mobile vit网络的mobile vit模块中的局部表征提取出来，与全局表征融合，再与原输入进行concat拼接操作，提高特征提取能力和信息交流能力。
[0055]
s4：以原mobile vit网络结构为原型，使用改进的模块进行搭建出新的网络。
[0056]
s5：在测试集上测试结果并用grad-cam方法进行可视化验证结果。
[0057]
在本实施例中，所述步骤s1包括以下子步骤：
[0058]
s11：本发明中使用的数据集是南方科技大学-中山大学发布的角膜溃疡自动分类数据集，其中包含712张眼睛染色图像。此外，每个图像都提供了一个三类标签。本发明研究的重点是对三种常见溃疡模式的分类和识别。其中包括点状角膜溃疡、点片状混合角膜溃疡以及片状角膜溃疡。在这项工作中，我们将分配80％的数据用于训练集，20％用于测试集。并且确保用于测试集的数据不存在于训练集中，并且不参与任何模型训练过程。表1显示了每种类型在整个数据集中的数量和比例。
[0059]
表1各种类型角膜溃疡数据的数量和比例
[0060]
标识类型数量占比0点状角膜溃疡35850.28％1点片状混合角膜溃疡26336.94％2片状角膜溃疡9112.78％
[0061]
s12：将训练集中的图像尺寸调整为224
×
224。
[0062]
更进一步地，所述步骤s2的具体过程为：
[0063]
s21：se(squeeze and excitation)注意力模块是一种用于卷积神经网络(cnn)的模块，旨在通过增强网络中重要的特征图，以提高模型性能。se注意力模块的核心思想是，对于给定的输入特征图，首先通过一个全局池化层(通常是平均池化)来压缩特征图的通道维度，从而生成一个全局描述符。然后通过一些全连接层将该描述符转换为一个向量，该向量可以用于对每个通道进行加权。这些权重用于缩放特征图中每个通道的激活值，从而增强重要的特征图，抑制不重要的特征图；se注意力模块包括压缩层、激励层；所述激励层包括两个依次连接的全连接层，所述压缩层通过全局池化将特征映射压缩成1*1*c向量，所述激励层的第一个全连接层具有c*se-radio神经元，其输入为1*1*c，输出为1*1*c*se-radio，第二个全连接层有c个神经元，输入为1*1*c*se-radio，输出为1*1*c，其中se-radio作为缩放参数；压缩层和激励层计算公式如下，
[0064][0065]
其中，f
sq
表示squeeze操作，zc是经过squeeze操作后的输出，uc为输入；h和w分别表示特征图的长和宽，i和j分别表示图片像素点的长宽，通过i和j来表示具体位置；
[0066]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
[0067]
其中，squeeze操作的输出命名为z，w1和w2分别是第一个和第二个全连接操作的权重，在第一次全连接操作结束后经过一个relu激活函数，第二个全连接层后接sigmoid函数，最终得到输出权重s。
[0068]
s22：mv2模块主要包括三个部分，依次连接的第一个卷积层、深度可分离卷积层、第二个卷积层，三个卷积层的作用都是用来提取特征的，其中深度可分离卷积不仅可以提取特征，他与普通卷积的最大区别就是没有大量的权重冗余，可以大大减少参数量。
[0069]
s23：mv2模块对于图片的特征提取能力不够完善，在提取特征时mv2模块与mobile vit模块都有空间归纳偏置，但是却缺少通道之间的信息交流，所以在mv2模块中加入se注意力模块来提高通道间的信息交流，同时也可以将特征放大，增加对重要特征的提取能力。
[0070]
更进一步地，所述步骤s3具体分为以下部分:
[0071]
s31：mobile vit block(mobile vit模块)是mobile vit网络中的核心组件，它是mobile vit网络中的基本组成单元，具有较高的可重用性。mobile vit block内部由多个层组成，包括一个局部表征层(local representation)、一个全局表征层(global representation)和一个融合层(fusion)；
[0072]
mobile vit网络的结构与vit网络类似，但引入了一些改进来适应移动设备上的限制；mobile vit网络中使用了轻量级的注意力机制(lightweight attention mechanism)代替原本的多头注意力机制，用更少的计算量实现了vit网络中的核心机制。mobile vit网络的整体结构由一个类似于vit网络的编码器和一个分类头组成；编码器由多个轻量化的vit模块组成，每个模块包含多个基于注意力机制的块(attention block)和一个使用深度可分离卷积实现的mlp(multilayer perceptron)模块；分类头将编码器输出的特征向量映射到类别分数上，用于分类任务。相比于传统的卷积神经网络，mobile vit网络在参数数量和计算复杂度上都有了很大的优化，适合于在移动设备上进行实时的计算机视觉任务。
[0073]
s32：原始mobile vit网络将局部表征输出后，将输出的结果作为全局表征的输入；我们认为这可能会导致局部表征提取的特征丢失，在后续的测试中也证实了这一点；所以我们将局部表征层的输出提取出来与全局表征进行相加提高融合部分的特征提取量和融合能力。
[0074]
更进一步地，所述步骤s5的具体过程为：首先，训练图片经过预处理，被调整为224
×
224的大小。接着，图片经过一个3
×
3的卷积进行下采样两倍，输出大小为128
×
128。然后，图片通过三个mv2-se模块处理，其中中间的模块进行下采样两倍，而其余模块输入输出大小不变，从而将图片大小下采样到64
×
64。接下来，图片经过三个混合结构，这些混合结构由mv2-se模块和mobile vit x模块交替组成。其中，三个混合结构的mv2-se模块均进行下采样操作，输出图片大小为8
×
8。最后，图片经过一个1
×
1卷积和全局池化操作进行输出，并进行类型判断；最后使用grad-cam进行可视化验证结果。
[0075]
在本实施例中，表2表示的是在调节不同模块后，对实验结果的影响，其中+se表示是添加se注意力模块后对实验结果的影响，可以看到，在增加了se注意力模块后，准确率从88.7％增加到了90.8，+se+x1表示的是增加se注意力模块和图8中的mobile vit x1结构后，对实验结果的影响，而最后一个是本发明最终改进后的网络模型的实验结果为91.5％。图6是增加不同模块后的可视化效果图，其中(a)-(d)为原始图片，(e)-(h)为不做任何改进的效果图，(i)-(l)为添加se注意力后的效果图，(m)-(p)为我们最终改进的版本的效果图，可以看出经过我们的改进后提取的特征位置与原图溃疡区域近乎完全对应。
[0076]
表2添加不同模块的实验结果比较
[0077]
方法准确率总参数参数内存总占用内存mobile vit88.7％9519873.63mb3440.32mb+se block90.8％9698073.70mb3651.96mb+se+x190.1％969,8073.70mb3651.96mbours91.5％(
↑
2.8)9698073.70mb3651.96mb
[0078]
表3表示的是不同注意机制的实验结果比较，通过比较和验证实验发现，se注意力模块更适合我们的网络和所使用的数据集，主要是因为se注意力模块相对简单。在比较了cbam注意力模块和ca注意力模块后，认为se注意力模块更容易与原始mobile vit网络集成。此外，数据集具有较少的图像，并且图像数据的相似度很高。se注意力模块对网络具有良好的正则化效果，可以有效防止过拟合。图7是增加不同注意力模块后的可视化效果图，其中(a)-(d)为原始图片，(e)-(h)为添加se注意力模块后的效果图，(i)-(l)为添加cbam注意力模块后的效果图，(m)-(p)为添加ca注意力模块后的效果图，可以看出添加se注意力模块提取的特征位置与原图溃疡区域最接近。
[0079]
表3不同注意机制的实验结果比较
[0080]
[0081][0082]
表4表示的是不同网络在角膜溃疡数据集上的实验结果，其中，modified vgg是tang ningbjao等人对vgg网络进行改进后得到的分类结果。另一个网络shuffle vit网络是通过shuf-flenet和移动vit网络的组合开发的。这种新型网络是对shufflenet网络的改进尝试，与除移动vit网络之外的其他网络相比，它已经证明了显著的改进。然而，在性能方面，它仍然略微落后于移动vit网络。被比较的其他网络包括经典的resnet网络、轻量级的shufflenet网络、convnext网络、目前最热门的网络swin transformer和经典的vision transformer网络。在彻底比较所有结果后，可以看出，改进的mobile vit网络模型不仅比原始模型高，而且比最佳结果高1.4％。
[0083]
表4不同网络在角膜溃疡数据集上的实验结果
[0084]
模型准确率modified vgg88.89％resnet83.0％shufflenet83.5％vision transformer73.0％swin transformer90.1％convnext85.1％shuffle+vit85.3％mobile vit88.7％ours91.5％
[0085]
综上所述，上述实施例的基于mobile vit网络的角膜溃疡分类识别方法，通过在原始mobile vit网络中添加se注意力模块，增强了网络提取重要特征的能力，同时抑制了不必要的特征；例如，荧光溶液保留在角膜表面以及上下眼睑上，这些残留的荧光溶液与溃疡非常相似，很容易混淆；提出了一种优化方案，通过添加se注意力模块来显著减少这些混杂特征；在本发明中，mobile vit网络的连接方法也得到了改进，增加了一个部分，从原始模型中提取局部特征图，并将其与全局特征图融合，以提取更有效的特征，同时增加了各种特征之间的信息交换；最后，还通过各种比较实验证明了改进的有效性，并成功地将准确率从88.7％提高到91.5％。还将改进后的网络模型与其他方法进行了比较，证明它具有最佳的准确度和目前可用的参数数量；同时，使用grad-cam对一些输出特征图的热图进行可视化，可以看出提取的特征几乎与溃疡区域重叠，因此可以看出，所提取的特征是正确的。
[0086]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于mobile vit模型的角膜溃疡识别方法，其特征在于，包括以下步骤:s1：样本预处理对角膜溃疡数据集的图像样本进行预处理；s2：增加注意力机制在原始mobile vit网络的mv2模块中融合se注意力模块，得到改进后的mv2模块，即mv2-se模块；s3：特征拼接将原始mobile vit网络的mobile vit模块中的局部表征提取出来，与全局表征融合，再与原输入进行concat拼接操作，得到改进后的mobile vit模块，即mobile vit x模块；s4：网络搭建以原始mobile vit网络的结构为原型，使用mv2-se模块、mobile vit x模块搭建出新的mobile vit网络；s5：网络训练利用训练集对步骤s4中新的mobile vit网络进行训练，训练后得到角膜溃疡分类识别模型，并用独立的测试集对角膜溃疡分类识别模型进行测试，利用grad-cam方法对角膜溃疡分类识别模型的输出进行可视化验证；s6：分类识别将待检测图片输入角膜溃疡分类识别模型进行分类识别，获取分类识别结果。2.根据权利要求1所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s1中，将角膜溃疡数据集按照设定比例划分为训练集、测试集，并将训练集中的图像尺寸调整为设定尺寸。3.根据权利要求2所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s1中，图像样本的标签类型包括点状角膜溃疡、点片状混合角膜溃疡、片状角膜溃疡。4.根据权利要求3所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s2中，原始mobile vit网络的mv2模块包括依次连接的第一个卷积层、深度可分离卷积层、第二个卷积层，三个卷积层均用于提取特征。5.根据权利要求4所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s2中，所述se注意力模块包括压缩层、激励层；所述激励层包括两个依次连接的全连接层，所述压缩层通过全局池化将特征映射压缩成1*1*c向量，所述激励层的第一个全连接层具有c*se-radio神经元，其输入为1*1*c，输出为1*1*c*se-radio，第二个全连接层有c个神经元，输入为1*1*c*se-radio，输出为1*1*c，其中se-radio作为缩放参数；压缩层和激励层计算公式如下：其中，f
sq
表示squeeze操作，z
c
是经过squeeze操作后的输出，u
c
为输入；h和w分别表示特征图的长和宽，i和j分别表示图片像素点的长宽，通过i和j来表示具体位置；s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
其中，squeeze操作的输出命名为z，w1和w2分别是第一个和第二个全连接操作的权重，在第一次全连接操作结束后经过一个relu激活函数，第二个全连接层后接sigmoid函数，最终得到输出权重s。6.根据权利要求5所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s2中，在原始mobile vit网络的mv2模块中融合se注意力模块，得到改进后的mv2模块，即mv2-se模块，其中，se注意力模块插入到mv2模块中的深度可分离卷积层与第二个卷积层之间。7.根据权利要求6所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s3中，mobile vit x模块包括一个局部表征层、一个全局表征层、一个融合层，将局部表征层输出的局部表征提取出来与全局表征层输出的全局表征通过进行融合层相加提高融合部分的特征提取量和融合能力。8.根据权利要求7所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s5中，角膜溃疡分类识别模型的具体训练过程主要包括以下步骤：s501：测试图片经过预处理后尺寸被调整为224
×
224；s502：经过一个3
×
3的卷积层进行两倍的下采样，输出特征图尺寸为128
×
128；s503：特征图依次通过三个mv2-se模块进行处理，将特征图尺寸下采样到64
×
64，其中第一个mv2-se模块、第三个mv2-se模块的输入输出尺寸不变，第二mv2-se模块进行两倍的下采样；s504：然后特征图依次经过三个混合模块，输出特征图尺寸为8
×
8，其中，各混合模块包括依次连接的一个mv2-se模块和一个mobile vit x模块；s505：特征图经过一个1
×
1的卷积层和全局池化层后进行输出，并进行类型判断。9.根据权利要求8所述的一种基于mobile vit网络的角膜溃疡分类识别方法，其特征在于：在所述步骤s5中，对角膜溃疡分类识别模型进行测试，利用grad-cam方法对角膜溃疡分类识别模型的输出进行可视化验证，将提取到的特征反向传播得到权重矩阵，通过热力图的方法显示在原图上，重要特征到次要特征为由红到蓝渐变显示。

技术总结
本发明公开了一种基于Mobile ViT网络的角膜溃疡分类识别方法，属于角膜溃疡分类识别技术领域，包括以下步骤：S1：样本预处理；S2：增加注意力机制；S3：特征拼接；S4：网络搭建；S5：网络训练；S6：分类识别。本发明通过在原始Mobile ViT网络中添加SE注意力模块，增强了网络提取重要特征的能力，同时抑制了不必要的特征；从原始Mobile ViT网络中提取局部特征图，并将其与全局特征图融合，以提取更有效的特征，同时增加了各种特征之间的信息交换；通过各种比较实验证明了改进的有效性，并成功地将准确率从88.7％提高到91.5％。准确率从88.7％提高到91.5％。准确率从88.7％提高到91.5％。


技术研发人员：王兵 朱陈林 卢琨 汪文艳 吴紫恒 赵远 马小陆
受保护的技术使用者：安徽工业大学
技术研发日：2023.06.25
技术公布日：2023/9/13