一种基于宫颈细胞的多类别分类与置信判别方法与流程

1.本发明涉及计算机视觉领域，尤其涉及一种基于宫颈细胞的多类别分类与置信判别方法。


背景技术：

2.宫颈癌的筛查对于宫颈癌的防治具有非常重要意义，非常有必要根据我国具体情况进行较为准确的筛查。随着卷积神经网络的发展以其在图像任务中的有效性，结合医疗图像识别的需求，越来越多的卷积神经网络算法应用到宫颈细胞的检测中。
3.中国公开号公开了cn111274903b一种基于图卷积神经网络的宫颈细胞图像分类方法，其通过使用图卷积神经网络结构，结合大量标注宫颈细胞图像数据，构建了一个能够对七类宫颈细胞图像进行分类的分类模型。但是，该方法能够识别的宫颈细胞类别数不够全面，数量较少。另，由于不同的亚型的细胞由于其整体结构相似，通用的分类网络对此任务的效果并不理想。若采取对于不同亚型细胞细粒度特征进行特别的标注，如额外标注mask等信息，又会进一步增加医疗数据集及标签的获取成本；而且对于每种大类下的亚型特征相似的宫颈细胞，在经过图片打乱后会影响分类效果。此外，在模型应用到宫颈细胞检测的任务中时，如果输入到模型中的是非宫颈细胞的图片，那么模型不论将其归类到什么类别都是错误的；此类情况会造成医疗工作者对于模型的质疑，不利于人工智能技术在医疗图像处理任务中的推广；如果采取分类的方法，将非宫颈细胞的图片制作成一类，那么数据集难以包括所有的情况。
4.因此，克服上述存在的缺陷，已成为本领域技术人员亟待解决的重要课题。


技术实现要素：

5.本发明公开了一种基于宫颈细胞的多类别分类与置信判别方法，能够在预测阶段，只采用概率与置信度的输出，能够对宫颈细胞进行多个类别的分类，并且可以得到网络对于该宫颈细胞预测结果的置信度。经过了多次实验结果表明了本发明分类的效果好，可以满足宫颈健康医疗检测的需要，并且模型的鲁棒性更好。
6.本发明公开了一种基于宫颈细胞的多类别分类与置信判别方法，所述方法包括以下步骤：
7.s1:训练18个类别的宫颈细胞的图片，然后对训练图片进行破坏处理；
8.s2:将已破坏处理的图片和原始图片成对输入到神经网络模型中；图片首先输入到特征提取器中，并得到对应的特征图；
9.s3：将s2得到的特征图分别输入到不同的全连接层中，其中一个全连接层输出类别概率值；另一个全连接层输出置信度值；
10.s4：将s3得到的概率值，置信度值与标签进行计算得到新的概率值，再与18个类别的标签进行交叉熵损失函数的计算；
11.s5：将s2得到的特征图输入到区域对齐网络并与打乱图片的位置信息进行l1loss
函数的计算；
12.s6：在步骤s5进行的同时，将s2得到的特征图进行输入到对抗网络的全连接层中并与未打乱标签和打乱标签进行a-softmax的损失函数计算；
13.s7：将s4、s5、s6得到的损失函数得到的各个损失进行整合，以使所述损失函数优化为最小化；
14.s8：将训练好的模型进行预测，将正常图片输入模型中并输出最终结果。
15.作为一种可选的实施方式，步骤s2所述的对训练图片进行破坏处理包括：
16.将训练的原始图片分割为若干个局部小块并随时打乱，再将随机打乱后的小块进行重排成新的已打乱图片。
17.作为一种可选的实施方式，步骤s2所述的特征提取器为残差网络(resnet)。
18.作为一种可选的实施方式，步骤s3所述的与18个类别的标签进行交叉熵损失函数的计算包括：
19.对分类网络的损失函数进行计算得到分类损失lt，其计算公式为：
20.对置信网络的损失函数进行计算得到置信损失lc，其计算公式为：lc＝-log(c)
21.将加权后的置信损失和分类损失相加，组成置信和分类的总损失lcls，其计算公式为：l
cls
＝l
t
+λlc。
22.作为一种可选的实施方式，所述步骤s5包括：
23.s51：将步骤s2得到的特征图输入到形状为2048
×
1的卷积中，得到通道数为1的特征图；
24.s52：将步骤s51得到的特征图输入到tanh激活函数，经过最大池化的筛选，与打乱图片的位置信息进行l1loss函数的计算得到区域对齐损失lloc。
25.作为一种可选的实施方式，所述步骤s6包括：
26.s61：将s2得到的特征图进行拉平操作，输入到对抗网络的全连接层中，将每一张图片标记为d∈{0,1}2,表示这个图片是否被破坏，将特征图输入到对抗网络中，与未打乱和打乱标签进行a-softmax的抗函数的计算；
27.s62：添加一个判别器作为一个新分支，以判断图片是否被破坏并计算判别器的损失。
28.作为一种可选的实施方式，所述步骤s8包括：将训练好的模型进行预测，输入图片为正常的图片，输出结果只取分类分支的结果，同时产生概率值与置信度值。
29.与现有技术相比，本发明的有益效果是：
30.1、本案首先通过步骤s1和s2的设置，对18类宫颈细胞图片进行区域打乱重排，以便于网络学习图像区域之间的关联信息，有利于更好地识别区分区域和学习局部的细粒度特征。通过步骤s3和s4的设置，一方面能够对宫颈细胞的18个类别进行分类，分类的数量更多，更全面；另一方面能够形成置信预测分支，便于通过网络预测的置信值，概率值与数据集标签计算得到新的概率值，与数据标签计算损失，以便于训练置信度分支与概率分支，对于不属于宫颈细胞的涂片，或特征与宫颈细胞相似的涂片，能通过模型推理出的置信度值进行区分，而不是强行输出为宫颈细胞的某种类别。通过步骤s5的设置，能够形成区域对齐
网络分支，有助于定位图像中的主要目标，并有助于找到子区域之间的相关性。通过步骤s6的设置，能够形成混淆对抗分支，使网络的特征提取器可以得到细粒度的局部特征，对于宫颈细胞某些类别间的特征非常相似的情况，也可以很好地学习到不同类别间的细粒度特征，并且能够不受训练时随机打乱图片产生的噪声影响。通过以上设置，实现了基于区域定位感知，混淆对抗与添加置信预测分支的细粒度神经网络，使其在宫颈细胞涂片的分类与置信度判别上有着较好的表现。
附图说明
31.图1是本发明公开的一种基于宫颈细胞的多类别分类与置信判别方法的流程示意图。
32.图2是本发明公开的一种基于宫颈细胞的多类别分类与置信判别方法的整体训练网络算法结构示意图。
具体实施方式
33.以下通过实施例对本发明特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：
34.如图1和图2所示，本案一种基于宫颈细胞的多类别分类与置信判别方法包括以下步骤：
35.在训练图片之前，将采集的宫颈细胞进行分类并将每个类别进行数字编码。其中，18类别分为非病变类别、病变类别以及其他类别。所述非病变类别包括：萎缩；妊娠反应；炎症反应；放化疗反应；滴虫；念珠菌；放线菌；细菌性阴道菌。所述病变类别包括：asc-us；asc-h；hg4/hsil；lsil；鳞状细胞癌、agc-nos；agc-fn；腺癌；其他类别包括：疱疹病毒、少量反应性细胞。将以上18类的宫颈细胞的每种类别名称用数字1-18进行编码。
36.s1：训练图片统一524
×
524的尺寸，并随机截取428
×
428的尺寸。将训练的原始图片均分为49个小块，并将其随机打乱后，进行重排得到新的已打乱的图片。
37.s2：将原始图片和已打乱的图片成对的输入模型中；首先，将训练图片输入到resnet的残差网络，原始图像为i，被破坏的图像/打乱重排的图像为φ(i)，两种图像经过resnet，得到通道数为2048的特征图；
38.s3:将通道数为2048的特征图输入分类网络中的第一全连接层，得到维度为18的分类概率p；将通道数为2048的特征图输入到置信网络中的第二全连接层，得到维度为1的置信度c。其中，分类概率p通过softmax函数获得，置信度c通过sigmoid函数获得。置信度c在[0,1]的区间内，如果网络确信它能对给定的输入产生正确的预测，它的输出应该接近1。相反，如果网络不能确信它能产生正确的预测，那么它的输出应该接近于0。
[0039]
s4：将s3得到的分类概率p、置信度c与标签y进行计算得到新的概率p'；其中，标签y是指目标概率分布。所述概率值p'如下公式计算得到：
[0040]
p
′
＝c
·
p+(1-c)
·y[0041]
当模型输出的置信度c越大，p'的值越接近p，即c越趋向于1，p'越趋向于p。反之，当模型输出的置信度c越低，p'的值越接近标签y，即c越趋向于0，p'越趋向于y。
[0042]
与18个类别的标签进行交叉熵损失函数的计算；
[0043]
交叉熵损失函数首先对分类网络的损失函数进行计算，分类网络的损失函数计算公式为：
[0044][0045]
模型为了降低模型的loss，置信度c的输出会倾向0，所以还要为c添加一个激励loss,希望c越大越好，因此置信网络的损失函数为：
[0046]
lc＝-log(c)
[0047]
最终置信和分类总损失lcls由置信损失和分类损失组成，再由一个权重参数λ调节，公式如下：
[0048]
l
cls
＝l
t
+λlc[0049]
其中，权重参数λ能够平衡置信损失和分类损失。
[0050]
s51：将s2得到的特征图输入到形状为2048
×
1的卷积中，得到通道数为1的特征图；其中，区域对齐网络的输入是分类网络的一个卷积层的输出特征n代表第n层，通过1
×
1卷积处理特征，以获得具有两个通道的输出；
[0051]
s52：然后通过tanh激活函数和平均池化处理输出，以得到尺寸为2
×n×
n的映射，最后的区域对齐网络的输出为：
[0052][0053]
其中m(i)的两个通道分别对应于行和列的位置坐标，其中h是我们提出的区域对齐网络，θ
loc
是区域对齐网络的参数。在i中预测的r
σ(i，j)
和位置m
σ(i，j)
(φ(i))，在i中预测的r
i，j
的位置为m
i，j
(i,i,j)。对应的标签为(i，j)，区域对齐损失l
loc
定义为预测坐标与原始坐标之间的l1距离，计算公式如下：
[0054][0055]
如上所述，采用tanh激活函数的设置，与常用的sigmoid函数相比，其收敛速度更快，其输出以0为中心。
[0056]
s61:将每一张图片标记为d∈{0,1}2,表示这个图片是不是被打乱。将2048张特征图输入到对抗网络中，与0(未打乱)和1(打乱)标签进行a-softmax函数的计算。
[0057][0058]
如上所述，通过运用a-softmax函数，与一般的softmax函数相比，可以使得学习到的特征具有更明显的角分布。
[0059]
s62:其中是分类网络第m层卷积网络输出的特征向量，是分类网络的可学习参数，θ
adv
∈rd×2是一个线性的映射。判别器的损失l
adv
如下：
[0060][0061]
s7：得到三种损失函数之后，将置信和分类的总损失lcls、区域对齐损失l
loc
、对抗损失l
adv
三者整合到一起，进行最小化的优化，具体公式如下：
[0062]
l＝αl
cls
+βl
abc
+γl
loc
[0063]
如此，以便于得到最小的损失，有利于提高模型的鲁棒性。
[0064]
s8：训练后的模型推理，测试图片使用未打乱的图片，输入分类的模型中，结果进行softmax后，得到最终的输出，也能通过置信度c衡量输入的数据是不是分布外的样本。
[0065]
如上所述，在本发明实施例中本案首先通过步骤s1和s2的设置，对18类宫颈细胞图片进行区域打乱重排，以便于网络学习图像区域之间的关联信息，有利于更好地识别区分区域和学习局部的细粒度特征。通过步骤s3和s4的设置，一方面能够对宫颈细胞的18个类别进行分类，分类的数量更多，更全面；另一方面能够形成置信预测分支，便于通过网络预测的置信值，概率值与数据集标签计算得到新的概率值，与数据标签计算损失，以便于训练置信度分支与概率分支，对于不属于宫颈细胞的涂片，或特征与宫颈细胞相似的涂片，能通过模型推理出的置信度值进行区分，而不是强行输出为宫颈细胞的某种类别。通过步骤s5的设置，能够形成区域对齐网络分支，有助于定位图像中的主要目标，并有助于找到子区域之间的相关性。通过步骤s6的设置，能够形成混淆对抗分支，使网络的特征提取器可以得到细粒度的局部特征，对于宫颈细胞某些类别间的特征非常相似的情况，也可以很好地学习到不同类别间的细粒度特征，并且能够不受训练时随机打乱图片产生的噪声影响。通过以上设置，实现了基于区域定位感知，混淆对抗与添加置信预测分支的细粒度神经网络，使其在宫颈细胞涂片的分类与置信度判别上有着较好的表现。
[0066]
作为一种可选的实施方式，步骤s2所述的特征提取器为残差网络(resnet)。如此，其能够有效解决网络层数增加产生的梯度消失、爆炸和网络退化问题。
[0067]
以上对本发明实施例公开的一种基于宫颈细胞的多类别分类与置信判别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，包括以下步骤：s1:训练18个类别的宫颈细胞的图片，然后对训练图片进行破坏处理；s2:将已破坏处理的图片和原始图片成对输入到神经网络模型中；图片首先输入到特征提取器中，并得到对应的特征图；s3：将s2得到的特征图分别输入到不同的全连接层中，其中一个全连接层输出类别概率值；另一个全连接层输出置信度值；s4：将s3得到的概率值，置信度值与标签进行计算得到新的概率值，再与18个类别的标签进行交叉熵损失函数的计算；s5：将s2得到的特征图输入到区域对齐网络并与打乱图片的位置信息进行l1 loss函数的计算；s6：在步骤s5进行的同时，将s2得到的特征图进行输入到对抗网络的全连接层中并与未打乱标签和打乱标签进行a-softmax的损失函数计算；s7：将s4、s5、s6得到的损失函数得到的各个损失进行整合，以使所述损失函数优化为最小化；s8：将训练好的模型进行预测，将正常图片输入模型中并输出最终结果。2.根据权利要求1所述的一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，步骤s2所述的对训练图片进行破坏处理包括：将训练的原始图片分割为若干个局部小块并随时打乱，再将随机打乱后的小块进行重排成新的已打乱图片。3.根据权利要求1所述的一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，步骤s2所述的特征提取器为残差网络(resnet)。4.根据权利要求1所述的一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，步骤s3所述的与18个类别的标签进行交叉熵损失函数的计算包括：对分类网络的损失函数进行计算得到分类损失lt，其计算公式为：对置信网络的损失函数进行计算得到置信损失lc，其计算公式为：l
c
＝-log(c)将加权后的置信损失和分类损失相加，组成置信和分类的总损失lcls，其计算公式为：l
cls
＝l
t
+λl
c
。5.根据权利要求1所述的一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，所述步骤s5包括：s51：将步骤s2得到的特征图输入到形状为2048
×
1的卷积中，得到通道数为1的特征图；s52：将步骤s51得到的特征图输入到tanh激活函数，经过最大池化的筛选，与打乱图片的位置信息进行l1 loss函数的计算得到区域对齐损失lloc。6.根据权利要求1所述的一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，所述步骤s6包括：s61：将s2得到的特征图进行拉平操作，输入到对抗网络的全连接层中，将每一张图片标记为d∈{0,1}2,表示这个图片是否被破坏，将特征图输入到对抗网络中，与未打乱和打乱标签进行a-softmax的抗函数的计算；
s62：添加一个判别器作为一个新分支，以判断图片是否被破坏并计算判别器的损失。7.根据权利要求1所述的一种基于宫颈细胞的多类别分类与置信判别方法，其特征在于，所述步骤s8包括：将训练好的模型进行预测，输入图片为正常的图片，输出结果只取分类分支的结果，同时产生概率值与置信度值。

技术总结
本发明公开了一种基于宫颈细胞的多类别分类与置信判别方法，本案基于区域定位感知，混淆对抗与添加置信预测分支的细粒度神经网络，能够对宫颈细胞的18个类别进行分类；并能够训练置信度分支与概率分支，对于不属于宫颈细胞的涂片，或特征与宫颈细胞相似的涂片，可通过推理出的置信度值进行区分，而不是强行输出为宫颈细胞的某种类别；再通过区域对齐网络，有助于定位图像中的主要目标；最后通过混淆对抗分支，使网络的特征提取器可以得到细粒度的局部特征，对于宫颈细胞某些类别间的特征非常相似的情况，也可以很好地学习到不同类别间的细粒度特征，并且能够不受训练时随机打乱图片产生的噪声影响。由此，可实现宫颈细胞涂片的分类与置信判别。片的分类与置信判别。片的分类与置信判别。


技术研发人员：刘赟 陈自强 卢思奇
受保护的技术使用者：广东劢智医疗科技有限公司
技术研发日：2023.02.21
技术公布日：2023/7/19