一种骨髓细胞中白细胞的自动分割方法与流程

1.本发明涉及医疗病理分析技术领域，具体涉及一种骨髓细胞中白细胞的自动分割方法。


背景技术：

2.白血病是造血干细胞在体内外多种病理因素作用下，引起白细胞发生表观遗传学和遗传学的异常改变，导致造血转化的恶性血液病。骨髓穿刺是白血病不可缺少的一项检查，典型的骨髓涂片图像由白细胞、红细胞、血小板和背景组成，病理医生通过人眼在显微镜下观察骨髓涂片中的白细胞种类和数量，为各类白血病提供诊断依据，是一个非常复杂、繁琐、耗时的任务，且容易受主观因素影响。
3.如今，随着计算机辅助方法的快速发展及相关计算硬件的更新迭代，使得计算机自动分析辅助诊断成为可能，计算机自动分析辅助诊断不仅可以模拟病理医生的诊断流程先从复杂的场景中提取定位里面的白细胞，而且可以对定位的白细胞进行识别。
4.目前，细胞分割一般采用实例分割网络，例如maskrcnn分割模型，在细胞边缘分割的精准度不够，难以应对细胞密集情况下的细胞分割任务。为了应对边缘分割不准确的问题，部分工作会在原有损失函数的基础上，新增边缘分割损失，该边缘分割损失对预测结果和标注结果进行边界提取，从而计算预测边界和标注边界之间的差异，通过减小该边缘分割损失的方式提高边缘分割准确度。然而，此种方式会受到边界提取算法的性能的干扰，边界提取效果越差，边缘分割损失的计算误差也越大。尤其对于密集细胞场景，细胞之间相互挤压、细胞会产生形变，细胞边界变得不规则，导致边界提取效果劣化，反而会对分割模型的训练产生负面影响。此外，还有部分工作会在计算损失时，对预测结果进行边界提取，并强化该边界上各像素的分割损失，一方面，上述方式同样会受到边界提取算法的性能的干扰，难以很好地适应密集细胞分割场景；另一方面，仅加强边界上像素的分割损失的做法，难以解决边界外和边界内部分信号点的分类错误，而信号点分类错误会导致细胞分割效果下降，并对下游任务产生不良影响。
5.现有技术中，公开号为：cn110060229a的中国专利申请公开了一种骨髓白细胞的细胞自动定位分割方法，包括从输入的骨髓rgb图像中提取出骨髓白细胞图像whitecellgray，使用最大类间方差法(o t s u)对骨髓白细胞图像whitecellgray进行二值化得到白细胞二值图像whitecellbw等。该方法通过颜色去卷积对标本图像进行骨髓白细胞通道图像提取；再经过二值化、孔洞填充、形态学平滑、分水岭等操作实现骨髓白细胞的分割定位；其中颜色去卷积可以从根本上消除成熟红细胞对于后期骨髓白细胞的分割识别的不良影响，从而提高骨髓白细胞的分割定位准确率；而分割使用的分水岭可以很好地分离开粘连细胞，减少细胞的漏检率。但是，该方法计算复杂，仅采用一次二值化处理无法有效提高定位分割的准确率，导致细胞分割过程中的定位分割的准确率低，操作效率低，而且只能针对一种类型的白细胞(没有细胞膜的白细胞)操作，因此需要改进。


技术实现要素：

6.针对现有技术的不足，本发明提出了一种骨髓细胞中白细胞的自动分割方法，通过卷积神经网络对图像进行骨髓细胞的特征提取，可以大范围的处理不同操作获取的骨髓细胞数据，采用多次二值化对白细胞核影像和白细胞膜影像进行独立处理后，再通过叠加的方式获得整体的白细胞影像，可以有效提高白细胞影像整体定位分割的准确率，并可以生成数据集，方便后续白细胞种类识别的人工智能的开发。
7.本发明提供了一种骨髓细胞中白细胞的自动分割方法，包括如下步骤：
8.s1、通过卷积神经网络从输入的骨髓细胞rgb图像中提取出明显的细胞cellgray；
9.s2、对骨髓细胞图像cellgray进行二值化得到白细胞核二值图像；
10.s3、对白细胞核二值图像进行图像形态学上的开闭运算得到whitecellmorph，对whitecellmorph做分水岭算法操作，得到完整的白细胞核的分割图leukocytenucleus；
11.s4、在步骤s1得到的cellgray数据中使用步骤s3得到的leukocytenucleus屏蔽掉相应数，然后使用最大类间方差法和图像形态学上的开闭运算得到白细胞膜leukocytemembrane；
12.s5、将步骤s3和步骤s4得到的数据进行组合得到分割的完整白细胞图像，提取白细胞准确位置，生成标准数据集。
13.优选的，所述步骤s1中具体通过如下方式从骨髓细胞rgb图像中提取出明显的细胞cellgray：采用深度神经网络vgg16模型通过数据微调模型和分析输出，抑制各种干扰输出明显的细胞，提取出明显的细胞cellgray，其中：cellgray＝vgg16['block1_conv2']，vgg16是由多层神经元经过z
lp(i,j)
函数组成的网络结构模型，
[0014][0015]nl
为第l层卷积核数目，
[0016]klp，q
为第l层p通道与第l-1层q通道对应卷积核，
[0017]blp
为第l层p节点对应卷积核，
[0018]alq
为第l层q通道经过激活函数后的输出，
[0019]zlp(i,j)
为第l层p通道(i,j)经过激活函数后的输出。
[0020]
优选的，所述步骤s2中使用最大类间方差法，首先根据骨髓细胞图像cellgray的灰度特性，将图像分成背景和前景两部分，然后按照大津法求得的阈值进行图像二值化分割，最后得到前景与背景图像的最大类间方差。
[0021]
优选的，所述步骤s3中whitecellmorph通过如下计算公式获得：
[0022][0023]
上述公式中b表示结构元素，
⊙
表示形态学腐蚀操作，边说形态学膨胀操作。
[0024]
优选的，所述步骤s3中对whitecellmorph做分水岭算法操作具体包括如下步骤：
[0025]
s31、把梯度图像中的所有像素按照灰度值进行分类，并设定一个测地距离阈值；
[0026]
s32、找到灰度值最小的像素点，让阈值从最小值开始增长，这些点为起始点；
[0027]
s33、水平面在增长的过程中，会碰到周围的邻域像素，测量这些像素到起始点的
测地距离，如果小于设定阈值，则将这些像素淹没，否则在这些像素上设置大坝，对这些邻域像素进行了分类；
[0028]
s34、随着水平面越来越高，会设置更多更高的大坝，直到灰度值的最大值，所有区域都在分水岭线上相遇，这些大坝就对整个图像像素的进行了分区。
[0029]
优选的，所述步骤s4中，白细胞膜优选的，所述步骤s4中，白细胞膜公式中b表示结构元素，
⊙
表示形态学腐蚀操作，边说形态学膨胀操作。
[0030]
优选的，所述步骤s5中，将步骤s3得到的白细胞核和步骤s4得到的细胞膜，两者相加得到完整的白细胞，然后对白细胞进行形态学运算，然后对运算后的白细胞提取轮廓获取位置，根据提取的坐标按照pascal voc的数据集格式生成数据集。
[0031]
本发明提供的一种骨髓细胞中白细胞的自动分割方法的有益效果在于：本发明通过卷积神经网络对图像进行骨髓细胞的特征提取，可以大范围的处理不同操作获取的骨髓细胞数据；再经过二值化、孔洞填充、形态学平滑、分水岭等多次组合操作实现骨髓白细胞的分割；其中卷积神经网络可以从根本消除染色剂、冰冻、人工操作等因素导致生成骨髓细胞图像差异对目标细胞不良影响，从而提高骨髓白细胞的分割准确率；而分割使用的分水岭可以很好地分离开粘连细胞，减少细胞的漏检率；采用多次二值化对白细胞核和白细胞膜进行独立处理后，再通过叠加的方式，可以有效提高白细胞影像整体定位分割的准确率，并可以生成数据集，方便后续白细胞种类识别的人工智能的开发。
附图说明
[0032]
图1是本发明的流程图。
[0033]
图2是骨髓细胞原始图像。
[0034]
图3是通过卷积神经网络特征提取后的图像。
[0035]
图4是使用最大类间方差法处理后的白细胞核二值图像。
[0036]
图5是通过分水岭算法处理后的白细胞核图像。
[0037]
图6是经过形态学运算后的细胞膜图像。
[0038]
图7是经过数据组合得到分割的白细胞图像。
[0039]
图8是根据提取的坐标按照pascal voc的数据集格式生成的数据集。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
[0041]
实施例：一种骨髓细胞中白细胞的自动分割方法。
[0042]
参照图1至图8所示，一种骨髓细胞中白细胞的自动分割方法，包括如下步骤：
[0043]
(一)、骨髓细胞图像神经网络处理：从输入的骨髓rgb图像中提取出明显的细胞cellgray，包括白细胞核，白细胞膜，红细胞。本方法采用泛化性较强的深度神经网络vgg处理方式，通过少量的数据微调模型和分析输出，vgg深度神经网络的浅层能够抑制各种干扰输出明显的细胞，提取出明显的细胞cellgray，其中：cellgray＝vgg16['block1_conv2']，
vgg16是由多层神经元经过z
lp(i,j)
函数组成的网络结构模型，
[0044][0045]nl
为第l层卷积核数目，
[0046]klp，q
为第l层p通道与第l-1层q通道对应卷积核，
[0047]blp
为第l层p节点对应卷积核，
[0048]alq
为第l层q通道经过激活函数后的输出，
[0049]zlp(i,j)
为第l层p通道(i,j)经过激活函数后的输出。
[0050]
对比图1和图2所示，通过对骨髓细胞图像进行神经网络处理可以从根本消除染色剂、冰冻、人工操作等因素导致生成骨髓细胞图像差异对目标细胞不良影响，凸显出骨髓细胞影像，从而提高骨髓白细胞的分割准确率。
[0051]
(二)、使用最大类间方差法(otsu)对骨髓细胞图像cellgray进行二值化得到白细胞核二值图像。
[0052]
otsu是一种确定图像二值化分割阈值的算法，该方法又称作最大类间方差法，因为按照该方法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。使用最大类间方差法(otsu)是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。使用类间方差最大的分割意味着错分概率最小。
[0053]
otsu的特点是对图像噪声敏感，只针对单一目标分割，当目标和背景大小比例悬殊、类间方差函数可能呈现双峰或者多峰，这样一来就可以减少错分概率。参照图4所示，通过使用最大类间方差法处理后的白细胞核二值图像显示清晰，可以大幅减少错分概率。
[0054]
(三)、白细胞核二值图像数据中存在空洞，需要对其进行图像形态学上的开闭运算得到whitecellmorph(白色细胞形态)，whitecellmorph通过如下计算公式获得：
[0055][0056]
上述公式中b表示结构元素，
⊙
表示形态学腐蚀操作，边说形态学膨胀操作。
[0057]
然后按照如下方式对whitecellmorph做分水岭操作，得到白细胞核的分割图leukocytenucleus：
[0058]
a、把梯度图像中的所有像素按照灰度值进行分类，并设定一个测地距离阈值；
[0059]
b、找到灰度值最小的像素点，让阈值从最小值开始增长，这些点为起始点；
[0060]
c、水平面在增长的过程中，会碰到周围的邻域像素，测量这些像素到起始点的测地距离，如果小于设定阈值，则将这些像素淹没，否则在这些像素上设置大坝，对这些邻域像素进行了分类；
[0061]
d、随着水平面越来越高，会设置更多更高的大坝，直到灰度值的最大值，所有区域都在分水岭线上相遇，这些大坝就对整个图像像素的进行了分区。
[0062]
参照图5所示，分割使用的分水岭可以很好地分离开粘连细胞，减少细胞的漏检率。
[0063]
(四)、在步骤(一)得到的cellgray数据中用步骤(三)得到的leukocytenucleus屏蔽掉相应数然后使用最大类间方差法(otsu)图像形态学开闭运算得到白细胞膜leukocytemembrane。其中白细胞膜leukocytemembrane。其中白细胞膜公式中b表示结构元素，
⊙
表示形态学腐蚀操作，边说形态学膨胀操作。参照图6所示，通过步骤(四)的操作，可以得到清晰的细胞膜图像，实现了细胞膜图像的加强，提高了细胞膜定位分割的准确率。
[0064]
(五)、将步骤(三)和步骤(四)得到的数据进行组合得到分割的白细胞图像，提取白细胞准确位置，生成标准数据集。其中，步骤(三)得到的是白细胞核影像，步骤(四)得到的是细胞膜影像，两者相加就是完整的白细胞影像(参照图7所示)，白细胞核影像与细胞膜影像相加以后可以得到清晰且完整的白细胞影像，而且只需要简单的叠加即可，计算简单，响应速度快。然后对白细胞影像进行形态学运算，将运算后的白细胞影像提取轮廓获取位置，可以有效提高定位分割的准确率。根据提取的坐标按照pascal voc的数据集格式生成数据集(参照图8所示)，以方便后续系统的调用。
[0065]
本发明通过卷积神经网络对图像进行骨髓细胞的特征提取，可以大范围的处理不同操作获取的骨髓细胞数据；再经过二值化、孔洞填充、形态学平滑、分水岭等多次组合操作实现骨髓白细胞的分割；其中卷积神经网络可以从根本消除染色剂、冰冻、人工操作等因素导致生成骨髓细胞图像差异对目标细胞不良影响，从而提高骨髓白细胞的分割准确率；而分割使用的分水岭可以很好地分离开粘连细胞，减少细胞的漏检率；采用多次二值化对白细胞核影像和白细胞膜影像进行独立处理后，再通过叠加的方式获得整体的白细胞影像，可以有效提高白细胞影像整体定位分割的准确率，并可以生成数据集，方便后续白细胞种类识别的人工智能的开发。
[0066]
以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

技术特征：
1.一种骨髓细胞中白细胞的自动分割方法，其特征在于包括如下步骤：s1、通过卷积神经网络从输入的骨髓细胞rgb图像中提取出明显的细胞cellgray；s2、对骨髓细胞图像cellgray进行二值化得到白细胞核二值图像；s3、对白细胞核二值图像进行图像形态学上的开闭运算得到whitecellmorph，对whitecellmorph做分水岭算法操作，得到完整的白细胞核的分割图leukocytenucleus；s4、在步骤s1得到的cellgray数据中使用步骤s3得到的leukocytenucleus屏蔽掉相应数，然后使用最大类间方差法和图像形态学上的开闭运算得到白细胞膜leukocytemembrane；s5、将步骤s3和步骤s4得到的数据进行组合得到分割的完整白细胞图像，提取白细胞准确位置，生成标准数据集。2.如权利要求1所述的骨髓细胞中白细胞的自动分割方法，其特征在于，所述步骤s1中具体通过如下方式从骨髓细胞rgb图像中提取出明显的细胞cellgray：采用深度神经网络vgg16模型通过数据微调模型和分析输出，抑制各种干扰输出明显的细胞，提取出明显的细胞cellgray，其中：cellgray＝vgg16['block1_conv2']，vgg16是由多层神经元经过z
lp(i,j)
函数组成的网络结构模型，n
l
为第l层卷积核数目，k
lp，q
为第l层p通道与第l-1层q通道对应卷积核，b
lp
为第l层p节点对应卷积核，a
lq
为第l层q通道经过激活函数后的输出，z
lp(i,j)
为第l层p通道(i,j)经过激活函数后的输出。3.如权利要求1所述的骨髓细胞中白细胞的自动分割方法，其特征在于，所述步骤s2中使用最大类间方差法，首先根据骨髓细胞图像cellgray的灰度特性，将图像分成背景和前景两部分，然后按照大津法求得的阈值进行图像二值化分割，最后得到前景与背景图像的最大类间方差。4.如权利要求1所述的骨髓细胞中白细胞的自动分割方法，其特征在于，所述步骤s3中whitecellmorph通过如下计算公式获得：上述公式中b表示结构元素，
⊙
表示形态学腐蚀操作，边说形态学膨胀操作。5.如权利要求1所述的骨髓细胞中白细胞的自动分割方法，其特征在于，所述步骤s3中对whitecellmorph做分水岭算法操作具体包括如下步骤：s31、把梯度图像中的所有像素按照灰度值进行分类，并设定一个测地距离阈值；s32、找到灰度值最小的像素点，让阈值从最小值开始增长，这些点为起始点；s33、水平面在增长的过程中，会碰到周围的邻域像素，测量这些像素到起始点的测地距离，如果小于设定阈值，则将这些像素淹没，否则在这些像素上设置大坝，对这些邻域像素进行了分类；
s34、随着水平面越来越高，会设置更多更高的大坝，直到灰度值的最大值，所有区域都在分水岭线上相遇，这些大坝就对整个图像像素的进行了分区。6.如权利要求1所述的骨髓细胞中白细胞的自动分割方法，其特征在于，所述步骤s4中，白细胞膜公式中b表示结构元素，
⊙
表示形态学腐蚀操作，边说形态学膨胀操作。7.如权利要求1所述的骨髓细胞中白细胞的自动分割方法，其特征在于：所述步骤s5中，将步骤s3得到的白细胞核和步骤s4得到的细胞膜，两者相加得到完整的白细胞，然后对白细胞进行形态学运算，然后对运算后的白细胞提取轮廓获取位置，根据提取的坐标按照pascal voc的数据集格式生成数据集。

技术总结
本发明提供了一种骨髓细胞中白细胞的自动分割方法，包括如下步骤：S1、通过卷积神经网络从输入的骨髓细胞rgb图像中提取出明显的细胞CellGray；S2、对骨髓细胞图像CellGray进行二值化得到白细胞核二值图像；S3、对白细胞核二值图像进行图像形态学上的开闭运算得到WhiteCellMorph，对WhiteCellMorph做分水岭算法操作，得到白细胞核的分割图Leukocytenucleus；S4、在步骤S1得到的CellGray数据中使用步骤S3得到的Leukocytenucleus屏蔽掉相应数，使用最大类间方差法和图像形态学上的开闭运算得到白细胞膜Leukocytemembrane；S5、将步骤S3和步骤S4得到的数据进行组合得到分割的完整白细胞图像，提取白细胞准确位置，生成标准数据集。本发明可以有效提高白细胞影像整体定位分割的准确率，并生成数据集，方便后续白细胞种类识别的人工智能的开发。人工智能的开发。人工智能的开发。


技术研发人员：刘增国 王夏 温韵洁 王晓丹 陈传文 于莹 李奎
受保护的技术使用者：广州华银康医疗集团股份有限公司
技术研发日：2023.05.11
技术公布日：2023/8/4