一种胶囊内窥镜图像分类方法、装置、设备及存储介质与流程

1.本发明涉及医疗检测辅助领域，特别涉及一种胶囊内窥镜图像分类方法、装置、设备及存储介质。


背景技术：

2.胃部主要分为由六个大类：贲门、胃底、胃体、胃角、胃窦、幽门。胶囊内窥镜，是一种做成胶囊形状的内窥镜，它是用来检查人体肠道的医疗仪器。胶囊内窥镜能进入人体，用于窥探人体肠胃和食道部位的健康状况，用来帮助医生对病人消化道系统疾患进行诊断。由于胶囊内窥镜是一颗小小的胶囊，所以胶囊内窥镜的摄像头容易被黏液糊住，导致胃部情况拍摄不清楚，再者，胃部空虚状态时是瘪陷的，胶囊内窥镜在胃部移动完全依靠自身重力和胃肠收缩蠕动，因此胶囊内窥镜不能自主控制移动，更到不了胃每一个角落，也看不清近视距内的物体，所以胶囊内窥镜角度具有不确定性，位置也具有不确定性。胶囊内窥镜依靠肠胃收缩沿消化方向运行，由于胃部环境减小，导致胃部各个类间距离减小，例如胃体-胃底，两个类的特征比较相似容易混淆，若是炎症和水泡较多，类间距离减小，会给胃部部位识别带来困难。胃部部位间形态差异不明显，胶囊内窥镜依靠肠胃收缩移动会使胶囊内窥镜拍摄图像角度不确定，胶囊内窥镜的位置也不确定，部位不确定。而且即使是同一个部位，在不同角度，胃部不同收缩程度，水泡黏液的影响下也会存在不同的形态，因此胶囊内窥镜拍摄的图像形态具有多样性。现有的胶囊内窥镜图像胃部部位图像分类，主要依靠采集的胶囊内窥镜图像的边缘信息(边缘信息是指其周围像素的集合)训练分类模型对图像进行分类，没有考虑图像的纹理和细粒度，由于胃部部位形态多变，各部位间特征差异不明显，基于边缘信息的图像分类方法不能取得较好的效果。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种胶囊内窥镜图像分类方法、装置、设备及存储介质，能够提高胶囊内窥镜图像分类的准确性。其具体方案如下：
4.第一方面，本技术公开了一种胶囊内窥镜图像分类方法，包括：
5.获取胶囊内窥镜采集的胃部图像；
6.基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；
7.利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；
8.基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。
9.可选的，所述基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，包括：
10.基于两级注意力算法以及选择性搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景。
11.可选的，所述对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果，包括：
12.将所述过滤后图像中的所述前景对象区域输入预设卷积神经网络，以利用所述预设卷积神经网络中的分类器完成对所述前景对象区域的对象级分类以得到相应的第一分类结果。
13.可选的，所述基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果，包括：
14.利用谱聚类算法对所述若干局部特征信息进行聚类，以得到相应的若干聚类簇；
15.基于所述若干聚类簇确定所述过滤后图像对应的第二分类结果。
16.可选的，所述基于所述若干聚类簇确定所述过滤后图像对应的第二分类结果，包括：
17.将每个所述聚类簇对应的图像块缩放至与所述目标卷积神经网络的输入大小相一致，并生成各所述图像块的激活值；
18.将各所述图像块的激活值进行汇总以得到汇总值，并将所述汇总值输入至目标分类器进行训练，以得到训练后分类器；
19.利用所述训练后分类器对所述过滤后图像中的所述前景对象区域进行分类，以得到所述过滤后图像对应的所述第二分类结果。
20.可选的，所述目标分类器为支持向量机。
21.可选的，所述基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果，包括：
22.基于所述第一分类结果和所述第二分类结果各自在分类准确性方面的优势特点，对所述第一分类结果与所述第二分类结果进行合并以得到所述胃部图像的目标分类结果。
23.第二方面，本技术公开了一种胶囊内窥镜图像分类装置，包括：
24.图像获取模块，用于获取胶囊内窥镜采集的胃部图像；
25.第一结果获取模块，用于基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；
26.第二结果获取模块，用于利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；
27.目标结果确定模块，用于基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。
28.第三方面，本技术公开了一种电子设备，包括：
29.存储器，用于保存计算机程序；
30.处理器，用于执行所述计算机程序以实现前述的胶囊内窥镜图像分类方法。
31.第四方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的胶囊内窥镜图像分类方法。
32.由此可知，本技术首先获取胶囊内窥镜采集的胃部图像；基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；最后基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。可见，本技术利用注意力机制等手段让模型自动发现区别性区域，仅仅使用分类标签即可完成训练，在胶囊内窥镜胃部部位进行分类，取得良好的效果。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
34.图1为本技术公开的一种胶囊内窥镜图像分类方法流程图；
35.图2为本技术公开的一种基于纹理感知细粒度特征网络对胶囊内窥镜胃部部位进行分类流程图；
36.图3为本技术公开的一种采用弱监督细粒度图像分类的示意图；
37.图4为本技术公开的一种完整的基于两级注意力的细粒度分类示意图；
38.图5为本技术公开的一种具体的胶囊内窥镜图像分类方法流程图；
39.图6为本技术公开的一种胶囊内窥镜图像分类装置结构示意图；
40.图7为本技术公开的一种电子设备结构图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.现有的胶囊内窥镜图像胃部部位图像分类，主要依靠采集的胶囊内窥镜图像的边缘信息(边缘信息是指其周围像素的集合)训练分类模型对图像进行分类，没有考虑图像的纹理和细粒度，由于胃部部位形态多变，各部位间特征差异不明显，基于边缘信息的图像分类方法不能取得较好的效果。为解决上述问题，本技术提供了一种胶囊内窥镜图像分类方法，能够提高胶囊内窥镜图像分类的准确性。
43.参见图1所示，本发明实施例公开了一种胶囊内窥镜图像分类方法，包括：
44.步骤s11、获取胶囊内窥镜采集的胃部图像。
45.步骤s12、基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果。
46.本实施例中，如图2所示本技术主要基于纹理感知细粒度特征网络，对胶囊内窥镜采集的胃部部位图像进行分类。细粒度图像分类相对于粗粒度而言，就是对类别进行更加细致的子类划分。如图3中所示，粗粒度就是单纯的区分食道、胃部、肠部等；细粒度则是在胃部的类别中进行更加细致的划分，如胃底、胃体等。细粒度图像具有较大的类内差异和较小的类间差异，胶囊内窥镜采集的胃部部位图像具有此特点，胃部各个部位间的图像常常只有纹理细节处存在差异。若基于图像的边缘信息难以达到较好的分类效果，因此本发明采用弱监督细粒度图像分类来取得较好的分类效果。弱监督即利用图像的类别标注信息，不使用额外的标注。图像过滤的思想为借助于图像的类别信息过滤图片中与物体无关的模块，其中比较有代表性的即两级注意力(two attention level)算法。两级注意力算法主要关注两个不同层次的特征，分别是利用物体对象级(object-level)和局部级(part-level)。所述基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，包括：基于两级注意力算法以及选择性搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景。所述对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果，包括：将所述过滤后图像中的所述前景对象区域输入预设卷积神经网络，以利用所述预设卷积神经网络中的分类器完成对所述前景对象区域的对象级分类以得到相应的第一分类结果。其中，两级注意力结合了三种类型的注意力：生成候选图像块的自底向上注意力、选择相关块形成特定物体的对象级自顶向下注意力、定位判别性部件局部的部件局部级自底向上顶向下注意力。通过整合这些类型的注意力机制训练特定的dcnn(dynamic convolution neural network，深度卷积神经网络)，以提取前景物体对象及特征较强的部件局部。该模型容易泛化，不需要边界框及部件标注。两级注意力算法第一个尝试不依赖额外的标注信息,而仅仅使用类别标签来完成细粒度图像分类的工作。
47.步骤s13、利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果。
48.本实施例中，如图4所示，自上而下的两级注意力算法主要关注两个不同层次的特征。一种是进行对象级过滤，选择与类别相关的区域输入分类器。另一种是局部级检测，检测局部进行分类。domainnet可以为局部级方法提供部分检测器，也可以为两级分类器提供特征提取器。其中domainnet是用来进行细粒度分类的cnn(convolution neural network，卷积神经网络)网络，训练的一个domain(域)分类器，因为它提取了与属于特定大类别相关的特征(例如：胃、肠等)。利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，通过聚类算法将不同位置的特征继续区分，并将不同区域的特征拼接后送入svm分类器进行训练，即获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果。
49.步骤s14、基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。
50.所述基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果，包括：基于所述第一分类结果和所述第二分类结果各自在分类准确性方面的优势特点，对所述第一分类结果与所述第二分类结果进行合并以得到所述胃部图像的目标分类结
果。即后期将两种分类器的预测结果进行合并，结合两种层次关注的优势输出分类结果。
51.由此可知，本技术首先获取胶囊内窥镜采集的胃部图像；基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；最后基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。可见，本技术利用注意力机制等手段让模型自动发现区别性区域，仅仅使用分类标签即可完成训练，在胶囊内窥镜胃部部位进行分类，取得良好的效果。
52.基于上述实施例可知，本技术公开了一种胶囊内窥镜图像分类方法。接下来，将针对确定所述过滤后图像对应的第二分类结果的过程进行具体的描述。参见图5所示，本发明实施例公开了一种具体的胶囊内窥镜图像分类方法，包括：
53.步骤s21、利用目标卷积神经网络对过滤后图像中的前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息。
54.本实施例中，利用filternet(过滤模型)选择出来的框训练domainnet，其中，filternet对提取出来的所有的前景对象及特征较强的局部进行挑选，将和基准类别相近的局部挑出来，将这些filternet挑出来的局部，用来训练一个新的cnn网络(就是domainnet)，并用来进行细粒度分类。即利用对象级模型得到的网络对每一个候选区域提取特征。需要指出的是，所述目标卷积神经网络即domainnet，利用domainnet对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息。
55.步骤s22、利用谱聚类算法对所述若干局部特征信息进行聚类，以得到相应的若干聚类簇。
56.本实施例中，domainnet的隐藏层显示出聚类模式，使用谱聚类的方法，对domainnet的中间层进行聚类，得到k个不同的聚类簇，簇的作用域部件检测器相同，每个簇代表一个局部信息。
57.步骤s23、将每个所述聚类簇对应的图像块缩放至与所述目标卷积神经网络的输入大小相一致，并生成各所述图像块的激活值。
58.步骤s24、将各所述图像块的激活值进行汇总以得到汇总值，并将所述汇总值输入至目标分类器进行训练，以得到训练后分类器。
59.本实施例中，将各所述图像块的激活值进行汇总以得到汇总值，并将所述汇总值输入至目标分类器进行训练，即将不同局部区域的特征级联成一个特征向量，用来训练svm(support vector machine，支持向量机)作为局部级模型给出的分类器。需要指出的是，所述目标分类器为支持向量机。最终获取训练后分类器。
60.步骤s25、利用所述训练后分类器对所述过滤后图像中的所述前景对象区域进行分类，以得到所述过滤后图像对应的所述第二分类结果。
61.本实施例中，利用所述训练后分类器对所述过滤后图像中的所述前景对象区域进行分类，以得到所述过滤后图像对应的所述第二分类结果，即最后得到了局部级的预测结
果。
62.可见，本技术利用注意力机制、聚类等手段让模型自动发现区别性区域，仅仅使用分类标签即可完成训练，对胶囊内窥镜胃部部位进行分类，取得良好的效果。
63.参见图6所示，本发明实施例公开了一种胶囊内窥镜图像分类装置，包括：
64.图像获取模块11，用于获取胶囊内窥镜采集的胃部图像；
65.第一结果获取模块12，用于基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；
66.第二结果获取模块13，用于利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；
67.目标结果确定模块14，用于基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。
68.由此可知，本技术首先获取胶囊内窥镜采集的胃部图像；基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；最后基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。可见，本技术利用注意力机制等手段让模型自动发现区别性区域，仅仅使用分类标签即可完成训练，在胶囊内窥镜胃部部位进行分类，取得良好的效果。
69.在一些具体的实施例中，所述第一结果获取模块12，可以包括：
70.背景过滤单元，用于基于两级注意力算法以及选择性搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景。
71.在一些具体的实施例中，所述第一结果获取模块12，可以包括：
72.第一结果获取单元，用于将所述过滤后图像中的所述前景对象区域输入预设卷积神经网络，以利用所述预设卷积神经网络中的分类器完成对所述前景对象区域的对象级分类以得到相应的第一分类结果。
73.在一些具体的实施例中，所述第二结果获取模块13，可以包括：
74.聚类簇获取单元，用于利用谱聚类算法对所述若干局部特征信息进行聚类，以得到相应的若干聚类簇；
75.第二分类结果获取单元，用于基于所述若干聚类簇确定所述过滤后图像对应的第二分类结果。
76.在一些具体的实施例中，所述第二分类结果获取单元，可以包括：
77.激活值生成子单元，用于将每个所述聚类簇对应的图像块缩放至与所述目标卷积神经网络的输入大小相一致，并生成各所述图像块的激活值；
78.分类器获取子单元，用于将各所述图像块的激活值进行汇总以得到汇总值，并将
所述汇总值输入至目标分类器进行训练，以得到训练后分类器；
79.第二分类结果获取子单元，用于利用所述训练后分类器对所述过滤后图像中的所述前景对象区域进行分类，以得到所述过滤后图像对应的所述第二分类结果。
80.在一些具体的实施例中，所述目标结果确定模块14，可以包括：
81.分类结果获取单元，用于基于所述第一分类结果和所述第二分类结果各自在分类准确性方面的优势特点，对所述第一分类结果与所述第二分类结果进行合并以得到所述胃部图像的目标分类结果。
82.进一步的，本技术实施例还公开了一种电子设备，图7是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
83.图7为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的胶囊内窥镜图像分类方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
84.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
85.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
86.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的胶囊内窥镜图像分类方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
87.进一步的，本技术还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的胶囊内窥镜图像分类方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
88.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
89.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
90.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
91.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
92.以上对本技术所提供的技术方案进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种胶囊内窥镜图像分类方法，其特征在于，包括：获取胶囊内窥镜采集的胃部图像；基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。2.根据权利要求1所述的胶囊内窥镜图像分类方法，其特征在于，所述基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，包括：基于两级注意力算法以及选择性搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景。3.根据权利要求1所述的胶囊内窥镜图像分类方法，其特征在于，所述对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果，包括：将所述过滤后图像中的所述前景对象区域输入预设卷积神经网络，以利用所述预设卷积神经网络中的分类器完成对所述前景对象区域的对象级分类以得到相应的第一分类结果。4.根据权利要求1所述的胶囊内窥镜图像分类方法，其特征在于，所述基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果，包括：利用谱聚类算法对所述若干局部特征信息进行聚类，以得到相应的若干聚类簇；基于所述若干聚类簇确定所述过滤后图像对应的第二分类结果。5.根据权利要求4所述的胶囊内窥镜图像分类方法，其特征在于，所述基于所述若干聚类簇确定所述过滤后图像对应的第二分类结果，包括：将每个所述聚类簇对应的图像块缩放至与所述目标卷积神经网络的输入大小相一致，并生成各所述图像块的激活值；将各所述图像块的激活值进行汇总以得到汇总值，并将所述汇总值输入至目标分类器进行训练，以得到训练后分类器；利用所述训练后分类器对所述过滤后图像中的所述前景对象区域进行分类，以得到所述过滤后图像对应的所述第二分类结果。6.根据权利要求5所述的胶囊内窥镜图像分类方法，其特征在于，所述目标分类器为支持向量机。7.根据权利要求1至6任一项所述的胶囊内窥镜图像分类方法，其特征在于，所述基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果，包括：基于所述第一分类结果和所述第二分类结果各自在分类准确性方面的优势特点，对所述第一分类结果与所述第二分类结果进行合并以得到所述胃部图像的目标分类结果。8.一种胶囊内窥镜图像分类装置，其特征在于，包括：图像获取模块，用于获取胶囊内窥镜采集的胃部图像；
第一结果获取模块，用于基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对所述过滤后图像中的所述前景对象区域进行对象级分类以得到相应的第一分类结果；第二结果获取模块，用于利用目标卷积神经网络对所述过滤后图像中的所述前景对象区域进行局部级检测，以获取所述目标卷积神经网络的中间层输出的若干局部特征信息，并基于所述若干局部特征信息确定所述过滤后图像对应的第二分类结果；目标结果确定模块，用于基于所述第一分类结果与所述第二分类结果确定所述胃部图像的目标分类结果。9.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的胶囊内窥镜图像分类方法。10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的胶囊内窥镜图像分类方法。

技术总结
本申请公开了一种胶囊内窥镜图像分类方法、装置、设备及存储介质，涉及医疗检测辅助领域，包括：获取胶囊内窥镜采集的胃部图像；基于两级注意力算法以及预设搜索算法对所述胃部图像进行对象级过滤，以过滤掉所述胃部图像中的背景，得到包含前景对象区域的过滤后图像，并对过滤后图像中的前景对象区域进行对象级分类以得到相应的第一分类结果；利用目标卷积神经网络对过滤后图像中的前景对象区域进行局部级检测，以获取目标卷积神经网络的中间层输出的若干局部特征信息，并基于若干局部特征信息确定过滤后图像对应的第二分类结果；基于第一分类结果与第二分类结果确定胃部图像的目标分类结果。本申请提高了胶囊内窥镜图像分类的准确性。类的准确性。类的准确性。


技术研发人员：王淑贤 高敏
受保护的技术使用者：重庆金山医疗技术研究院有限公司
技术研发日：2023.06.08
技术公布日：2023/9/12