有丝分裂细胞检测方法、装置、设备及存储介质与流程

1.本发明涉及细胞检测技术领域，尤其涉及一种有丝分裂细胞检测方法、装置、设备及存储介质。


背景技术：

2.有丝分裂细胞目标检测是医学图像处理的重要研究热点，主要是对显微镜下图像中存在的有丝分裂细胞目标进行检测和计数。由于有丝分裂的细胞的密度与肿瘤增殖高度相关，所以他在肿瘤的诊断和预后当中有着非常关键的作用。随着近年来深度学习的进一步发展，基于深度学习的有丝分裂细胞目标检测取得了优异的效果并且得到了广泛的应用。
3.但是，基于深度学习的目标检测网络也存在一定的缺陷。首先，在进行有丝分裂细胞检测时，网络需要大规模的数据进行训练，这在标记困难的医学图像领域难以实现。其次，在面对与训练集数据分布不同的测试图像时，检测器的性能受到域偏移的影响会大幅下降，这点同样表现在不同扫描仪镜头下的医学图像上，一种镜头的图像信息很难应用到其他镜头上。


技术实现要素：

4.本发明的主要目的在于提供一种有丝分裂细胞检测方法、装置、设备及存储介质，旨在解决现有技术细胞检测中标记困难导致难以实现使用大规模的数据进行训练以及检测器的性能受到域偏移的影响会大幅下降的技术问题。
5.为实现上述目的，本发明提供了一种有丝分裂细胞检测方法，所述方法包括以下步骤：
6.获取待检测图像；
7.将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，所述有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，所述特征矫正模块用于对提取到的特征图进行通道级矫正。
8.可选地，所述将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签之前，还包括：
9.基于yolov5算法模型构建初始有丝分裂细胞检测模型，其中，所述初始有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层；
10.在所述初始有丝分裂细胞检测模型的特征提取层插入特征矫正模块，得到改进的有丝分裂细胞检测模型；
11.冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型。
12.可选地，所述冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改
进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型，包括：
13.采集第一有丝分裂数据集与第二有丝分裂数据集，其中，所述第一有丝分裂数据集与第二有丝分裂数据集是通过不同参数的镜头采集得到的；
14.通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型；
15.将所述第二有丝分裂数据集根据预设比例分为训练集与测试集；
16.冻结所述预训练的有丝分裂细胞检测模型的分类回归层，并通过所述训练集对所述预训练的有丝分裂细胞检测模型进行微调训练，得到微调训练的有丝分裂细胞检测模型；
17.通过所述测试集对所述微调训练的有丝分裂细胞检测模型进行测试，得到最终权重；
18.通过所述最终权重对所述微调训练的有丝分裂细胞检测模型的特征提取层进行权重更新，得到所述有丝分裂细胞检测模型。
19.可选地，所述通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型，包括：
20.将所述第一有丝分裂数据集中的图像输入至所述改进的有丝分裂细胞检测模型；
21.通过所述改进的有丝分裂细胞检测模型中带有特征矫正模块的特征提取层对所述第一有丝分裂数据集中的图像进行特征提取，得到数据集特征图；
22.将所述数据集特征图输入所述改进的有丝分裂细胞检测模型的分类回归层，得数据集检测结果；
23.根据所述数据集检测结果计算损失函数，通过所述损失函数对所述改进的有丝分裂细胞检测模型进行反向传播训练，得到中间权重；
24.通过所述中间权重对所述改进的有丝分裂细胞检测模型进行权重更新，得到预训练的有丝分裂细胞检测模型。
25.可选地，所述将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，包括：
26.通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图；
27.通过所述有丝分裂细胞检测模型的分类回归层对所述待检测特征图进行预测，输出预设数量的预测结果，其中，所预测结果包括细胞边界框坐标和边界框大小、细胞种类以及置信度；
28.通过将所述置信度与置信度阈值进行对比实现对所述预设数量的预测结果的筛选，得到筛选后的预测结果；
29.对所述筛选后的预测结果进行极大值抑制处理，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签。
30.可选地，所述通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图，包括：
31.通过所述特征提取层的卷积层对所述待检测图像进行特征提取，得到初始特征图；
32.通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图。
33.可选地，所述通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图，包括：
34.将所述初始特征图经过所述特征矫正模块分为两路，并将所述两路中的一路的特征图保持不变；
35.将所述两路中的另一路的特征图进行全局平均池化处理，得到处理后的特征图；
36.将所述处理后的特征图进行深度卷积，得到目标维度的向量；
37.对所述目标维度的向量进行函数激活后与保持不变的特征图进行对应通道相乘，得到待检测特征图。
38.此外，为实现上述目的，本发明还提出一种有丝分裂细胞检测装置，所述有丝分裂细胞检测装置包括：
39.获取模块，用于获取待检测图像；
40.检测模块，用于将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，所述有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，所述特征矫正模块用于对提取到的特征图进行通道级矫正。
41.此外，为实现上述目的，本发明还提出一种有丝分裂细胞检测设备，所述有丝分裂细胞检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的有丝分裂细胞检测程序，所述有丝分裂细胞检测程序配置为实现如上文所述的有丝分裂细胞检测方法的步骤。
42.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有有丝分裂细胞检测程序，所述有丝分裂细胞检测程序被处理器执行时实现如上文所述的有丝分裂细胞检测方法的步骤。
43.本发明通过获取待检测图像；将待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，有丝分裂细胞检测模型是基于yolov5算法模型并在特征提取层插入特征矫正模块构建的。通过上述方法，通过插入特征矫正模块的有丝分裂细胞检测模型对待检测图像进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，解决了现有细胞检测中标记困难导致难以实现使用大规模的数据进行训练以及检测器的性能受到域偏移的影响会大幅下降的问题，能够使用少样本进行训练且训练时间短、检测精度高。
附图说明
44.图1是本发明实施例方案涉及的硬件运行环境的有丝分裂细胞检测设备的结构示意图；
45.图2为本发明有丝分裂细胞检测方法第一实施例的流程示意图；
46.图3为本发明有丝分裂细胞检测方法第二实施例的流程示意图；
47.图4为本发明有丝分裂细胞检测方法二实施例中的特征提取结构图；
48.图5为本发明有丝分裂细胞检测方法二实施例中的整体流程图；
49.图6为本发明有丝分裂细胞检测方法第三实施例的流程示意图；
50.图7为本发明有丝分裂细胞检测方法三实施例中的特征矫正模块结构图；
51.图8为本发明有丝分裂细胞检测方法三实施例中的应用效果图；
52.图9为本发明有丝分裂细胞检测装置第一实施例的结构框图。
53.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
54.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
55.参照图1，图1为本发明实施例方案涉及的硬件运行环境的有丝分裂细胞检测设备结构示意图。
56.如图1所示，该有丝分裂细胞检测设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
57.本领域技术人员可以理解，图1中示出的结构并不构成对有丝分裂细胞检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
58.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及有丝分裂细胞检测程序。
59.在图1所示的有丝分裂细胞检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明有丝分裂细胞检测设备中的处理器1001、存储器1005可以设置在有丝分裂细胞检测设备中，所述有丝分裂细胞检测设备通过处理器1001调用存储器1005中存储的有丝分裂细胞检测程序，并执行本发明实施例提供的有丝分裂细胞检测方法。
60.本发明实施例提供了一种有丝分裂细胞检测方法，参照图2，图2为本发明有丝分裂细胞检测方法第一实施例的流程示意图。
61.本实施例中，所述有丝分裂细胞检测方法包括以下步骤：
62.步骤s10：获取待检测图像。
63.需要说明的是，本实施例的执行主体为有丝分裂细胞检测设备，还可为其他可实现相同或相似功能的设备，本实施例对此不加以限定，本实施例以有丝分裂细胞检测设备为例进行说明。
64.可以理解的是，待检测图像为需要进行有丝分裂细胞检测的图像。
65.步骤s20：将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，所述有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，所述特征矫正模块用于对提取到的特征图进行通道级矫正。
66.需要说明的是，有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层，特征提取层中包括卷积层与特征矫正模块，卷积层用于对输入的待检测图像进行特征提取，得到初始特征图，特征矫正模块用于对提取到的初始特征图进行通道级矫正。
67.本实施例通过获取待检测图像；将待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，有丝分裂细胞检测模型是基于yolov5算法模型并在特征提取层插入特征矫正模块构建的。通过上述方法，通过插入特征矫正模块的有丝分裂细胞检测模型对待检测图像进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，解决了现有细胞检测中标记困难导致难以实现使用大规模的数据进行训练以及检测器的性能受到域偏移的影响会大幅下降的问题，能够使用少样本进行训练且训练时间短、检测精度高。
68.参考图3，图3为本发明有丝分裂细胞检测方法第二实施例的流程示意图。
69.基于上述第一实施例，本实施例有丝分裂细胞检测方法在所述步骤s20之前，还包括：
70.步骤s11：基于yolov5算法模型构建初始有丝分裂细胞检测模型，其中，所述初始有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层。
71.需要说明的是，yolov5算法是一种单阶段目标检测算法，yolov5算法模型包括输入层、backbone层、neck层以及head层，其中，输入层用于实现数据增强，backbone层用于同图像细粒度上聚合并形成图像特征的卷积神经网络；neck层为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；head层用于对图像特征进行预测，生成边界框并预测类别。
72.可以理解的是，基于yolov5算法模型创建的初始有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层，特征提取层相当于yolov5算法模型的backbone层，特征融合层相当于yolov5算法模型的neck层，分类回归层相当于yolov5算法模型的head层。
73.步骤s12：在所述初始有丝分裂细胞检测模型的特征提取层插入特征矫正模块，得到改进的有丝分裂细胞检测模型。
74.需要说明的是，将特征矫正模块均匀插入特征提取层，从而对不同层次的特征图进行矫正，初始有丝分裂细胞检测模型采用cspdarknet53作为特征提取层，将特征矫正模块均匀插入cspdarknet53，使得网络提取的特征图能够在全局和语义信息两方面都得到矫正。
75.如图4所示，图4为本实施例有丝分裂细胞检测方法中的特征提取层结构图，特征提取层包括卷积层、特征矫正模块以及空间金字塔，特征矫正模块均匀插入cspdarknet53。
76.可以理解的是，特征提取层的浅层负责提取图像的全局特征，深层负责提取图像中的语义信息。而有丝分裂细胞的医学影像同时存在全局特征和语义特征上的域偏移。受到不同镜头放大倍数和光学形变等影响，不同的图像细胞形体存在一定差异，这造成了图像上的语义特征偏移。不同镜头下，受到镜头光学特征以及细胞染色的影响，图像整体会出现较为严重的色偏，这造成了图像上的全局特征偏移，将特征矫正模块均匀插入特征提取
网络可以使得图像的全局和语义特征都得到矫正。
77.步骤s13：冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型。
78.需要说明的是，基于深度学习的网络模型在少样本、大网络的情况下，极易出现过拟合。在医学图像领域，标注数据集极为困难。如果直接训练检测模型会出现过拟合现象，因此，冻结分类和回归层，只训练更为重要的特征提取层，从而得到有丝分裂细胞检测模型。
79.进一步地，所述步骤s13包括：采集第一有丝分裂数据集与第二有丝分裂数据集，其中，所述第一有丝分裂数据集与第二有丝分裂数据集是通过不同参数的镜头采集得到的；通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型；将所述第二有丝分裂数据集根据预设比例分为训练集与测试集；冻结所述预训练的有丝分裂细胞检测模型的分类回归层，并通过所述训练集对所述预训练的有丝分裂细胞检测模型进行微调训练，得到微调训练的有丝分裂细胞检测模型；通过所述测试集对所述微调训练的有丝分裂细胞检测模型进行测试，得到最终权重；通过所述最终权重对所述微调训练的有丝分裂细胞检测模型的特征提取层进行权重更新，得到所述有丝分裂细胞检测模型。
80.需要说明的是，第一有丝分裂数据集即源域数据集，第二有丝分裂数据集即目标域数据集。域，由数据特征和特征分布组成。源域是已有知识的域，有标签，在此训练。目标域是要进行学习和适配的域，无标签，在此落地。有标签的源域和无标签的目标域拥有相同的特征，但是特征分布不同。
81.可以理解的是，第一有丝分裂数据集与第二有丝分裂数据集是通过不同参数的镜头采集得到的，第一有丝分裂数据集(即源域数据集)由采集的其他镜头图像构成，第二有丝分裂数据集(即目标域数据集)由采集的待检测镜头的图像构成。
82.如图5所示，图5为本实施例有丝分裂细胞检测方法的整体流程图，采集待检测镜头和其他镜头图像，将特征矫正模块插入检测模型的特征提取层，使用其他镜头图像作为源域数据集训练检测模型，冻结检测模型分类和回归层并使用待检测镜头图像作为目标域数据集训练图像进行训练，将需要进行目标检测的图像输入网络，得到目标的坐标和类别。
83.在具体实现中，将第二有丝分裂数据集(即目标域数据集)中少量图像进行标注，将标注的图像作为数据集，对冻结分类回归层的预训练的有丝分裂细胞检测模型进行微调训练，使其只传递梯度而不更新参数，只训练检测器的特征提取层，如以下公式1：
[0084][0085]
其中，代表在训练源域或者目标域数据时的分类和回归层，代表训练目标域时的特征提取层，w代表特征提取层的权重。
[0086]
在第二有丝分裂数据集(即目标域数据集)训练时，采用的二元交叉熵损失和ciou损失函数调整为以下公式2：
[0087][0088]
其中，l
bce
表示二元交叉熵损失，l
ciou
'表示调整后的ciou损失函数，ω表示自定义超参，x和y代表图像和标签，n表示样本的数量，f代表检测模型，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，v是用来描述预测框和真实框的长宽比的比例一致性的参数，α是用于平衡比例的参数即权重函数，ρ表示标记框与真实框的中心点之间的欧氏距离，bs和分别表示标记框与真实框的中心点，iou代表标记框与真实框之间的交并比。
[0089]
将未标注的图像作为测试集，对微调训练的有丝分裂细胞检测模型进行测试，得到最终权重。
[0090]
进一步地，所述通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型，包括：将所述第一有丝分裂数据集中的图像输入至所述改进的有丝分裂细胞检测模型；通过所述改进的有丝分裂细胞检测模型中带有特征矫正模块的特征提取层对所述第一有丝分裂数据集中的图像进行特征提取，得到数据集特征图；将所述数据集特征图输入所述改进的有丝分裂细胞检测模型的分类回归层，得数据集检测结果；根据所述数据集检测结果计算损失函数，通过所述损失函数对所述改进的有丝分裂细胞检测模型进行反向传播训练，得到中间权重；通过所述中间权重对所述改进的有丝分裂细胞检测模型进行权重更新，得到预训练的有丝分裂细胞检测模型。
[0091]
需要说明的是，将所述第一有丝分裂数据集(即源域数据集)中的图像输入至所述改进的有丝分裂细胞检测模型中进行训练，使的模型具有优秀的初始化权重，经过多次反向传播训练最终得到中间权重。
[0092]
可以理解的是，开始训练时，图像首先经过特征提取层，在经过不同层数的特征提取和矫正后，分为三条通路输入分类和回归层。分类和回归层根据这三条通路的信息综合判断给出检测出的有丝分裂细胞的位置和类别。检测模型根据图像上有丝分裂细胞的真值对检测模型的输出计算损失，损失函数如以下公式3：
[0093]
l
total
＝α1l
cls
+α2l
obj
+α3l
box
ꢀꢀꢀ
(公式3)
[0094]
其中，α1、α2与α3为超参，l
cls
表示分类损失，l
obj
表示前背景损失，l
box
表示边界框损失。
[0095]
根据分类损失l
cls
与前背景损失l
obj
计算二元交叉熵(bce)损失，如以下公式4：
[0096][0097]
其中，l
bce
表示二元交叉熵损失，ω表示自定义超参，x和y代表图像和标签，n表示
样本的数量，f代表检测模型。
[0098]
根据边界框损失l
box
计算ciou损失函数，如以下公式5：
[0099][0100]
其中，l
ciou
表示ciou损失函数，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，v是用来描述预测框和真实框的长宽比的比例一致性的参数，α是用于平衡比例的参数即权重函数，ρ表示标记框与真实框的中心点之间的欧氏距离，bs和分别表示标记框与真实框的中心点，iou代表标记框与真实框之间的交并比，w、h分别代表预测框的高和宽，w
gt
、h
gt
分别代表真实框的高和宽。
[0101]
经过多次损失计算和反向传播训练后，得到在源域上训练好的中间权重，通过中间权重对改进的有丝分裂细胞检测模型进行权重更新，得到预训练的有丝分裂细胞检测模型。
[0102]
在进行训练时，有丝分裂细胞的图像的标签标注采用(label，x，y，w，h)形式，label表示有丝分裂细胞类别，x、y分别表示标记框中心点横纵坐标，w，h则表示标记框的宽和高，均为归一化后的数值。
[0103]
本实施例通过基于yolov5算法模型构建初始有丝分裂细胞检测模型，其中，所述初始有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层；在所述初始有丝分裂细胞检测模型的特征提取层插入特征矫正模块，得到改进的有丝分裂细胞检测模型；冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型。通过上述方式，通过插入特征矫正模块和冻结分类回归层进行微调训练，使得检测能够在少样本情况下快速完成训练，特征矫正模块所含参数量极少，不会影响到yolov5的推理速度，可以保证实时性。
[0104]
参考图6，图6为本发明有丝分裂细胞检测方法第三实施例的流程示意图。
[0105]
基于上述第一实施例，本实施例有丝分裂细胞检测方法中所述步骤s20，包括：
[0106]
步骤s201：通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图。
[0107]
需要说明的是，有丝分裂细胞检测模型的特征提取层包括卷积层与特征矫正模块，分别用于提取与矫正。
[0108]
进一步地，所述步骤s201包括：通过所述特征提取层的卷积层对所述待检测图像进行特征提取，得到初始特征图；通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图。
[0109]
需要说明的是，卷积层的作用是提取输入图片中的信息，这些信息被称为图像特征，这些特征是由图像中的每个像素通过组合或者独立的方式所体现，比如图片的纹理特
征，颜色特征等，本实施例对此不作具体限制。
[0110]
可以理解的是，特征矫正模块对提取出的特征进行通道级重加权，以此来完成对初始特征图的矫正。
[0111]
进一步地，所述通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图，包括：将所述初始特征图经过所述特征矫正模块分为两路，并将所述两路中的一路的特征图保持不变；将所述两路中的另一路的特征图进行全局平均池化处理，得到处理后的特征图；将所述处理后的特征图进行深度卷积，得到目标维度的向量；对所述目标维度的向量进行函数激活后与保持不变的特征图进行对应通道相乘，得到待检测特征图。
[0112]
需要说明的是，特征矫正模块为双分支通路，其中一条通路不对初始特征图处理，另外一条通路则先将初始特征图经过全局平均池化，维度为c*n*n的初始特征图经过池化处理后将变为c*1*1维度的向量。处理后的特征图与c组1*1大小的卷积核进行深度卷积。经过深度卷积的向量仍为c*1*1维度，为了更好的完成重加权操作对此向量进行sigmoid函数激活，最终将这两条通路的输出进行对应通道相乘，得到待检测特征图，如图7所示，图7为本实施例有丝分裂细胞检测方法中的特征矫正模块结构图。
[0113]
步骤s202：通过所述有丝分裂细胞检测模型的分类回归层对所述待检测特征图进行预测，输出预设数量的预测结果，其中，所预测结果包括细胞边界框坐标和边界框大小、细胞种类以及置信度。
[0114]
需要说明的是，预测结果即可能存在有丝分裂细胞的边界框地址和边界框大小、有丝分裂细胞种类以及置信度。
[0115]
步骤s203：通过将所述置信度与置信度阈值进行对比实现对所述预设数量的预测结果的筛选，得到筛选后的预测结果。
[0116]
步骤s204：对所述筛选后的预测结果进行极大值抑制处理，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签。
[0117]
需要说明的是，根据设置的置信度阈值对可能存在有丝分裂细胞进行筛选，得到筛选后的检测结果，例如，筛选之后得到6个预测框，再根据分类器类别分类概率做排序，从小到大分别属于有丝分裂细胞的概率分别为a《b《c《d《e《f，从最大概率矩形框f开始，分别判断a、b、c、d、e与f的重叠度iou是否大于某个设定的阈值(如0.5或0.7)，如果大于阈值，则将其看做是回归f预测框对应的物体；反之，将其看做是回归的其他物体；假设b、d与f的重叠度超过阈值，那么就扔掉b、d，即对超过阈值的框进行抑制，抑制的做法是将检测框的得分设置为0，并标记第一个矩形框f，是保留下来的(b、f、d三个预测框回归的是同一个物体，对于同一个物体，选择出score最大的预测框f)，从剩下的矩形框a、c、e中，选择概率最大的e，然后判断a、c与e的重叠度，重叠度大于一定的阈值，那么就扔掉；并标记e是保留下来的第二个矩形框，重复这个过程，直到得到被保留下来的矩形框，作为输出的标记框。
[0118]
可以理解的是，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，标记框为标记有丝分裂细胞位置的矩形框，标签用于表明有丝分裂细胞类别，有丝分裂细胞类别即有丝分裂细胞与非有丝分裂细胞。
[0119]
如图8所示，图8为本实施例有丝分裂细胞检测方法的应用效果图，图中包括真实框、模型检测出的标记框以及漏检框，真实框包括有丝分裂细胞标签，模型检测出的标记框
包括有丝分裂细胞标签以及对应的标记框置信度，而漏检框则为单独的框。
[0120]
本实施例通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图；通过所述有丝分裂细胞检测模型的分类回归层对所述待检测特征图进行预测，输出预设数量的预测结果，其中，所预测结果包括细胞边界框坐标和边界框大小、细胞种类以及置信度；通过将所述置信度与置信度阈值进行对比实现对所述预设数量的预测结果的筛选，得到筛选后的预测结果；对所述筛选后的预测结果进行极大值抑制处理，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签。通过上述方式，通过特征提取模块对特征图进行矫正，通过分类回归层进行极大值抑制预测结果，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，检测精度高。
[0121]
参照图9，图9为本发明有丝分裂细胞检测装置第一实施例的结构框图。
[0122]
如图9所示，本发明实施例提出的有丝分裂细胞检测装置包括：
[0123]
获取模块10，用于获取待检测图像。
[0124]
检测模块20，用于将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，所述有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，所述特征矫正模块用于对提取到的特征图进行通道级矫正。
[0125]
本实施例通过获取待检测图像；将待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，有丝分裂细胞检测模型是基于yolov5算法模型并在特征提取层插入特征矫正模块构建的。通过上述方法，通过插入特征矫正模块的有丝分裂细胞检测模型对待检测图像进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，解决了现有细胞检测中标记困难导致难以实现使用大规模的数据进行训练以及检测器的性能受到域偏移的影响会大幅下降的问题，能够使用少样本进行训练且训练时间短、检测精度高。
[0126]
在一实施例中，所述检测模块20，还用于基于yolov5算法模型构建初始有丝分裂细胞检测模型，其中，所述初始有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层；在所述初始有丝分裂细胞检测模型的特征提取层插入特征矫正模块，得到改进的有丝分裂细胞检测模型；冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型。
[0127]
在一实施例中，所述检测模块20，还用于采集第一有丝分裂数据集与第二有丝分裂数据集，其中，所述第一有丝分裂数据集与第二有丝分裂数据集是通过不同参数的镜头采集得到的；通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型将所述第二有丝分裂数据集根据预设比例分为训练集与测试集；冻结所述预训练的有丝分裂细胞检测模型的分类回归层，并通过所述训练集对所述预训练的有丝分裂细胞检测模型进行微调训练，得到微调训练的有丝分裂细胞检测模型；通过所述测试集对所述微调训练的有丝分裂细胞检测模型进行测试，得到最终权重；通过所述最终权重对所述微调训练的有丝分裂细胞检测模型的特征提取层进行权重更新，得到所述有丝分裂细胞检测模型。
[0128]
在一实施例中，所述检测模块20，还用于将所述第一有丝分裂数据集中的图像输入至所述改进的有丝分裂细胞检测模型；通过所述改进的有丝分裂细胞检测模型中带有特
征矫正模块的特征提取层对所述第一有丝分裂数据集中的图像进行特征提取，得到数据集特征图；将所述数据集特征图输入所述改进的有丝分裂细胞检测模型的分类回归层，得数据集检测结果；根据所述数据集检测结果计算损失函数，通过所述损失函数对所述改进的有丝分裂细胞检测模型进行反向传播训练，得到中间权重；通过所述中间权重对所述改进的有丝分裂细胞检测模型进行权重更新，得到预训练的有丝分裂细胞检测模型。
[0129]
在一实施例中，所述检测模块20，还用于通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图；通过所述有丝分裂细胞检测模型的分类回归层对所述待检测特征图进行预测，输出预设数量的预测结果，其中，所预测结果包括细胞边界框坐标和边界框大小、细胞种类以及置信度；通过将所述置信度与置信度阈值进行对比实现对所述预设数量的预测结果的筛选，得到筛选后的预测结果；对所述筛选后的预测结果进行极大值抑制处理，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签。
[0130]
在一实施例中，所述检测模块20，还用于通过所述特征提取层的卷积层对所述待检测图像进行特征提取，得到初始特征图；通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图。
[0131]
在一实施例中，所述检测模块20，还用于将所述初始特征图经过所述特征矫正模块分为两路，并将所述两路中的一路的特征图保持不变；将所述两路中的另一路的特征图进行全局平均池化处理，得到处理后的特征图；将所述处理后的特征图进行深度卷积，得到目标维度的向量；对所述目标维度的向量进行函数激活后与保持不变的特征图进行对应通道相乘，得到待检测特征图。
[0132]
此外，为实现上述目的，本发明还提出一种有丝分裂细胞检测设备，所述有丝分裂细胞检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的有丝分裂细胞检测程序，所述有丝分裂细胞检测程序配置为实现如上文所述的有丝分裂细胞检测方法的步骤。
[0133]
由于本有丝分裂细胞检测设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0134]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有有丝分裂细胞检测程序，所述有丝分裂细胞检测程序被处理器执行时实现如上文所述的有丝分裂细胞检测方法的步骤。
[0135]
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0136]
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
[0137]
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
[0138]
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的有丝分裂细胞检测方法，此处不再赘述。
[0139]
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵
盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0140]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0141]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0142]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种有丝分裂细胞检测方法，其特征在于，所述方法包括：获取待检测图像；将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，所述有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，所述特征矫正模块用于对提取到的特征图进行通道级矫正。2.如权利要求1所述的方法，其特征在于，所述将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签之前，还包括：基于yolov5算法模型构建初始有丝分裂细胞检测模型，其中，所述初始有丝分裂细胞检测模型包括输入层、特征提取层、特征融合层以及分类回归层；在所述初始有丝分裂细胞检测模型的特征提取层插入特征矫正模块，得到改进的有丝分裂细胞检测模型；冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型。3.如权利要求2所述的方法，其特征在于，所述冻结所述改进的有丝分裂细胞检测模型的分类回归层，并对所述改进的有丝分裂细胞检测模型进行训练，得到所述有丝分裂细胞检测模型，包括：采集第一有丝分裂数据集与第二有丝分裂数据集，其中，所述第一有丝分裂数据集与第二有丝分裂数据集是通过不同参数的镜头采集得到的；通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型；将所述第二有丝分裂数据集根据预设比例分为训练集与测试集；冻结所述预训练的有丝分裂细胞检测模型的分类回归层，并通过所述训练集对所述预训练的有丝分裂细胞检测模型进行微调训练，得到微调训练的有丝分裂细胞检测模型；通过所述测试集对所述微调训练的有丝分裂细胞检测模型进行测试，得到最终权重；通过所述最终权重对所述微调训练的有丝分裂细胞检测模型的特征提取层进行权重更新，得到所述有丝分裂细胞检测模型。4.如权利要求3所述的方法，其特征在于，所述通过所述第一有丝分裂数据集对所述改进的有丝分裂细胞检测模型进行预训练，得到预训练的有丝分裂细胞检测模型，包括：将所述第一有丝分裂数据集中的图像输入至所述改进的有丝分裂细胞检测模型；通过所述改进的有丝分裂细胞检测模型中带有特征矫正模块的特征提取层对所述第一有丝分裂数据集中的图像进行特征提取，得到数据集特征图；将所述数据集特征图输入所述改进的有丝分裂细胞检测模型的分类回归层，得数据集检测结果；根据所述数据集检测结果计算损失函数，通过所述损失函数对所述改进的有丝分裂细胞检测模型进行反向传播训练，得到中间权重；通过所述中间权重对所述改进的有丝分裂细胞检测模型进行权重更新，得到预训练的有丝分裂细胞检测模型。
5.如权利要求1所述的方法，其特征在于，所述将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，包括：通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图；通过所述有丝分裂细胞检测模型的分类回归层对所述待检测特征图进行预测，输出预设数量的预测结果，其中，所预测结果包括细胞边界框坐标和边界框大小、细胞种类以及置信度；通过将所述置信度与置信度阈值进行对比实现对所述预设数量的预测结果的筛选，得到筛选后的预测结果；对所述筛选后的预测结果进行极大值抑制处理，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签。6.如权利要求5所述的方法，其特征在于，所述通过所述有丝分裂细胞检测模型的特征提取层对所述待检测图像进行特征提取与矫正，得到待检测特征图，包括：通过所述特征提取层的卷积层对所述待检测图像进行特征提取，得到初始特征图；通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图。7.如权利要求6所述的方法，其特征在于，所述通过所述特征提取层的特征矫正模块对所述初始特征图进行矫正，得到待检测特征图，包括：将所述初始特征图经过所述特征矫正模块分为两路，并将所述两路中的一路的特征图保持不变；将所述两路中的另一路的特征图进行全局平均池化处理，得到处理后的特征图；将所述处理后的特征图进行深度卷积，得到目标维度的向量；对所述目标维度的向量进行函数激活后与保持不变的特征图进行对应通道相乘，得到待检测特征图。8.一种有丝分裂细胞检测装置，其特征在于，所述有丝分裂细胞检测装置包括：获取模块，用于获取待检测图像；检测模块，用于将所述待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，所述有丝分裂细胞检测模型是基于yolov5算法模型并在yolov5算法模型的特征提取层插入特征矫正模块构建的，所述特征矫正模块用于对提取到的特征图进行通道级矫正。9.一种有丝分裂细胞检测设备，其特征在于，所述有丝分裂细胞检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的有丝分裂细胞检测程序，所述有丝分裂细胞检测程序配置为实现如权利要求1至7中任一项所述的有丝分裂细胞检测方法。10.一种存储介质，其特征在于，所述存储介质上存储有有丝分裂细胞检测程序，所述有丝分裂细胞检测程序被处理器执行时实现如权利要求1至7中任一项所述的有丝分裂细胞检测方法。

技术总结
本发明涉及细胞检测技术领域，公开了一种有丝分裂细胞检测方法、装置、设备及存储介质，该方法包括：获取待检测图像；将待检测图像输入至有丝分裂细胞检测模型进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，其中，有丝分裂细胞检测模型是基于YOLOv5算法模型并在特征提取层插入特征矫正模块构建的。本发明通过插入特征矫正模块的有丝分裂细胞检测模型对待检测图像进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，解决了现有细胞检测中标记困难导致难以实现使用大规模的数据进行训练以及检测器的性能受到域偏移的影响会大幅下降的问题，能够使用少样本进行训练且时间短、检测精度高。检测精度高。检测精度高。


技术研发人员：韩路 王昱博 请求不公布姓名 周东
受保护的技术使用者：武汉博视曼医疗科技有限公司
技术研发日：2023.05.15
技术公布日：2023/9/12