基于图像的骨髓成分分割方法及系统与流程

1.本发明涉及图像检测技术领域，具体为基于图像的骨髓成分分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.骨髓活检病理学检查图像中包含了骨髓成分的分布与比例信息，这部分骨髓成分信息能够在一定程度上反映患者的身体状态。例如：
4.骨小梁的比例可以反映骨质疏松及骨质硬化等代谢方面的异常；造血组织的比例反映造血组织的过度增生或抑制等异常，其中，不同种类造血细胞的比例，不同阶段造血细胞的比例都有相对应的异常及疾病状态；当骨髓活检图像中骨髓有核造血组织的不正常占比超过一定范围时，会反映相关联的异常。
5.现有技术中以骨髓活检数字图像，识别骨小梁，造血组织及脂肪的成分和比例的方法仍然以人工识别为主，需要在显微镜的目镜上装入装入网形测微器(例如为10
×
10)，并随机选择一定数量的视野(例如选择16个视野)，观察每个视野内100个点所击中的目标，由人工识别出视野中的各类细胞，并计算造血组织，骨小梁以及脂肪细胞的面积在视野中的面积占比。
6.人工在显微镜下观察评估骨髓细胞、骨小梁以及脂肪组织等面积占比的方法受到主观经验因素影响较大、费时费力且容易出现错误，并且现有技术为了节省时间，通常会随机选择一部分视野进行计算，而并非视野内的全部数据，导致最终得到的结果存在一定误差。


技术实现要素：

7.为了解决上述背景技术中存在的技术问题，本发明提供基于图像的骨髓成分分割方法及系统，以骨髓活检数字图像为输入，自动对图像中的骨小梁、造血细胞组织和脂肪细胞组织进行分割，生成三种对应的mask掩码并分别进行面积和比例计算，从而识别出这部分骨髓的成分比例。
8.为了实现上述目的，本发明采用如下技术方案：
9.本发明的第一个方面提供基于图像的骨髓成分分割方法，包括以下步骤：
10.获取原始骨髓活检数字图像并预处理，基于预处理后的图像，得到造血细胞组织与骨小梁的mask掩码图像；
11.基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的mask掩码图像；
12.基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的mask掩码图像；
13.根据得到的骨小梁mask掩码图像、骨小梁与造血细胞组织mask掩码图像、脂肪细
胞组织mask掩码图像，得到每张图像中骨小梁、造血细胞组织以及脂肪细胞组织占原始骨髓活检数字图像的面积比例。
14.预处理包括灰度化、阈值化和孤立点消除，预处理后得到二值图像。
15.基于预处理后的图像，得到造血细胞组织与骨小梁的mask掩码图像的过程，具体为：
16.预处理后得到的二值图像中，脂肪细胞组织与背景被分割在0值像素部分，造血细胞组织和骨小梁被分割在255值像素部分，255值像素部分为造血细胞组织和骨小梁的mask掩码图像。
17.基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的mask掩码图像的过程，具体为：
18.颜色通道转换，包括将原始骨髓活检数字图像的rgb颜色通道转换为hsv颜色通道，通过设定的hsv颜色空间值筛选骨小梁的颜色空间。
19.形态学开运算，包括腐蚀和膨胀，通过腐蚀减少高亮区域，通过膨胀增加高亮区域。
20.孔洞填充包括，对输入图像进行边界校正，将图像中的联通区域进行颜色填充，从一个像素点出发向周边的像素点扩充着色，直到封闭区域内的全部节点都处理过为止，对图像掩码进行非运算处理并与输入图像交集处理，并经阈值化处理得到完整的孔洞填充图像。
21.基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的mask掩码图像的过程，具体为：
22.对预处理后的二值图像进行非运算处理，骨小梁和造血细胞组织标记为0像素的背景区域，脂肪细胞标记为255像素的前景区域；
23.分割脂肪细胞图像，获得图像中所有脂肪细胞的标记。
24.根据图像中脂肪细胞标记所在像素点的坐标值，计算每一个脂肪细胞标记的轮廓属性，根据设定值筛选所需的轮廓属性，得到脂肪细胞组织mask掩码图像。
25.分割脂肪细胞图像，具体为：对脂肪细胞的前景图像依次经形态学开运算和腐蚀处理，使图像中的脂肪细胞区域缩减以获得背景标记图像；
26.对图像进行距离变换运算后进行阈值化处理，使脂肪细胞区域缩减来获得前景标记图像；
27.对标记的背景图像和前景图像进行差分处理获得未知区域标记，对前景和未知区域进行连通域标记作为种子点像素，基于分水岭方法对种子点进行连通域灌溉，得到脂肪细胞的分割图像。
28.本发明的第二个方面提供实现上述方法所需的系统，包括：
29.预处理模块，被配置为：获取原始骨髓活检数字图像并预处理；
30.第一掩码模块，被配置为：基于预处理后的图像，得到造血细胞组织与骨小梁的mask掩码图像；
31.第二掩码模块，被配置为：基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的mask掩码图像；
32.第三掩码模块，被配置为：基于预处理后的图像，根据脂肪细胞形态学特征分割得
到脂肪细胞组织的mask掩码图像；
33.结果输出模块，被配置为：根据得到的骨小梁mask掩码图像、骨小梁与造血细胞组织mask掩码图像、脂肪细胞组织mask掩码图像，得到每张图像中骨小梁、造血细胞组织以及脂肪细胞组织占原始骨髓活检数字图像的面积比例。
34.本发明的第三个方面提供一种计算机可读存储介质。
35.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于图像的骨髓成分分割方法中的步骤。
36.本发明的第四个方面提供一种计算机设备。
37.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于图像的骨髓成分分割方法中的步骤。
38.与现有技术相比，以上一个或多个技术方案存在以下有益效果：
39.1、以骨髓活检数字图像为输入，对图像中的骨小梁、造血细胞组织和脂肪细胞组织进行分割，生成三种对应的mask掩码并分别进行面积和比例计算，相较于目前的人工方法，能够自动且快速的对骨髓活检数字图像中的骨髓成分进行分割，从而识别出骨髓成分的比例；通过计算图像中的全部视野，统计更加全面，计算精度更加准确，极大提高了临床病理医生的工作效率。
40.2、原始的骨髓活检数字图像中，脂肪细胞组织呈白色与背景区域颜色差异较小，骨小梁和造血细胞组织呈红色与背景区域颜色差异较大，因此在预处理完成的二值图像中，脂肪细胞组织与背景被分割在0值像素黑色部分，而造血细胞组织和骨小梁则被分割在255值像素白色部分，得到的二值图像即为造血细胞组织和骨小梁的mask掩码；而骨小梁图像，则基于同一幅原始图像经过颜色通道变换，在hsv通道中筛选骨小梁的颜色空间，从而分割出图像中的造血细胞组织和骨小梁。
附图说明
41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
42.图1是本发明一个或多个实施例提供的骨髓成分识别流程示意图；
43.图2是本发明一个或多个实施例提供的以骨髓活检数字图像为输入进行骨髓成分识别的流程示意图；
44.图3(a)-图3(d)均是本发明一个或多个实施例提供的骨髓成分识别过程中基于原始图像得到的骨小梁和造血细胞组织mask、骨小梁mask、脂肪细胞组织mask的分割结果示例图。
具体实施方式
45.下面结合附图与实施例对本发明作进一步说明。
46.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
47.正如背景技术中所描述的，人工在显微镜下观察评估骨髓细胞、骨小梁以及脂肪组织等面积占比的方法受到主观经验因素影响较大、费时费力且容易出现错误。以下实施例给出基于图像的骨髓成分分割方法及系统，以骨髓活检数字图像为输入，自动对图像中的骨小梁、造血细胞组织和脂肪细胞组织进行分割，生成三种对应的mask掩码并分别进行面积和比例计算，从而识别出这部分骨髓成分在原始图像中的面积占比，从而帮助临床病例医生更高效的获取患者骨髓的病理状态。
48.实施例一：
49.如图1-图3所示，基于图像的骨髓成分分割方法，包括以下步骤：
50.步骤s1：对骨髓活检数字图像进行灰度化、阈值化、孤立点消除等预处理操作；
51.步骤s2：获得造血细胞组织和骨小梁的mask掩码；
52.步骤s3：原始的骨髓活检数字图像从rgb通道转换到hsv颜色通道，通过形态学开运算、孤立点消除和孔洞填充等操作，获得骨小梁的mask掩码；
53.步骤s4：通过分水岭分割方法和脂肪细胞形态学特征，获得脂肪细胞组织的mask掩码；
54.步骤s5：获得图像中骨小梁、造血细胞组织和脂肪细胞组织的掩码后，计算其面积所占比例。
55.步骤s1，如图2所示，图像预处理具体包括：
56.对骨髓活检数字图像进行灰度化处理，把rgb三通道颜色变量使用不同的系数加权求和转换为单通道灰度图像，从而缩减原始图像信息只关注主要特征，灰度化公式如下：
57.y＝0.2126r+0.7152g+0.0722b
58.对灰度图像进行二值化操作，将0-255像素值组成的灰度图像转换为只有0和255两个值的黑白图像，有利于凸显感兴趣目标的轮廓，更加有利于后续感兴趣目标的分割和提取。
59.对二值图像进行孤立点消除处理，由于成像过程中或切片本身存在较多噪声，消除图像中小于结构元素的细节部分保留目标组织部分。
60.孤立点消除方法如下：以二值化图像的0值像素黑色部分为背景区域，255值像素白色部分为前景区域，查找所有目标轮廓并求轮廓面积，对所有所有小于阈值的轮廓使用0值像素黑色填充，本实施例中面积阈值设为8000像素。
61.步骤s2，如图2所示，获得骨小梁和造血细胞组织mask具体包括：
62.在输入的原始图像中，脂肪细胞组织呈白色与背景区域颜色差异较小，骨小梁和造血细胞组织呈红色与背景区域颜色差异较大。故在预处理完成的二值图像中，脂肪细胞组织与背景被分割在0值像素黑色部分；而造血细胞组织和骨小梁会被分割在255值像素白色部分，此时的二值图像即为造血细胞组织和骨小梁的mask掩码。
63.步骤s3，如图2所示，获得骨小梁mask掩码具体包括：
64.将输入的原始图像rgb颜色通道转换为hsv颜色通道，rgb通道为r红色、g绿色和b蓝色三个颜色分类的强度值，hsv通道为h色相、s饱和度和v明度三个通道的强度值，更适合用于图像处理。在hsv通道筛选骨小梁的颜色空间，本实施例中骨小梁在hsv颜色空间阈值定义为[0,43,46]到[10,255,255]和[146,43,46]到[180,255,255]。
[0065]
对hsv通道图像进行形态学开运算，先腐蚀后膨胀。腐蚀是图像中的高亮部分被腐
蚀掉，领域缩减，相邻区域用极小值代替，高亮区域减少。膨胀是图像中的高亮部分进行膨胀，领域扩张，为相邻区域用极大值代替，高亮区域增加。
[0066]
对开运算后的图像进行孤立点消除处理，能够有效去除轮廓外围孤立的小点、毛刺和小桥。
[0067]
进行孔洞填充处理，填充轮廓内部的孔洞，增强轮廓整体性。
[0068]
孔洞填充方法如下，首先对要进行填充的输入图像进行边界校正操作，把图像四周最外圈像素值置为0作为背景以避免前景目标分配到背景中。然后对图像长和宽分别拓宽2像素来获得图像掩码，使用洪水填充方法对图中的联通区域进行像颜色填充，从一个像素点出发向周边的像素点扩充着色，直到封闭区域内的全部节点都处理过为止。对图像掩码进行非运算处理并与输入图像交集运算，最后对掩码进行阈值化得到更完整的孔洞填充图像。
[0069]
经孔洞填充后得到骨小梁mask掩码。
[0070]
步骤s4，如图2所示，获得脂肪细胞组织mask具体包括：
[0071]
输入步骤s1中二值化后的图像进行非运算处理，将骨小梁和造血细胞组织标记为0像素的黑色背景区域，把脂肪细胞标记为255像素白色前景区域。
[0072]
对脂肪细胞前景图像使用分水岭方法进行图像分割，获得图像中所有脂肪细胞的标记。
[0073]
分水岭方法如下：对脂肪细胞前景图像进行开运算处理，消除细小点和毛刺；进行腐蚀运算使图像中的脂肪细胞区域缩减获得背景标记图像；对图像进行距离变换运算后进行阈值化操作，使脂肪细胞区域缩减来获得前景标记图像；对标记的背景图像和前景图像进行差分操作获得未知区域标记；对前景和未知区域进行连通域标记作为分水岭方法的种子点像素；使用分水岭方法对种子点进行连通域灌溉获得脂肪细胞的分割图像。
[0074]
获得图像中的脂肪细胞标记后，根据图像中像素点的坐标值，计算每一个脂肪细胞标记的轮廓属性，具体包括：面积、周长、圆粒度、平均灰度值、长宽比等。
[0075]
对所有脂肪细胞轮廓根据上述轮廓属性筛选符合条件的目标，在本实施例中，面积、周长、圆粒度、平均灰度值、长宽比的阈值区间分别设置为[500,150000]、[500,10000]、[0.5,1]、[200,255]以及[0.3,3]，进而得到脂肪细胞组织mask掩码。
[0076]
步骤s5，如图2所示，计算骨小梁、造血细胞组织和脂肪细胞组织面积比例具体包括：
[0077]
对于获得的骨小梁mask，骨小梁和造血细胞组织mask，以及脂肪细胞组织mask三张图像掩码，分别计算每张图像中，目标像素所占整张图像的百分比，如下所示：
[0078][0079]
perecentage
he
＝perecentage
tra_he-perecentage
tra
[0080]
其中，tra表示骨小梁，tra_he表示骨小梁和造血细胞组织，fat表示脂肪细胞组织。
[0081]
得到的目标像素占比，反映了骨髓活检数字图像中，骨小梁、造血细胞组织以及脂肪细胞组织占原始图像的比例，相较于目前通过在显微镜下划分区域并人工计数的方法，能够自动、快速且准确的对骨髓活检数字图像中的骨小梁、造血细胞组织和脂肪细胞组织
进行分割，从而识别出这部分骨髓的成分比例。
[0082]
如图3(a)-图3(d)所示，展示了骨髓成分识别过程中，原始的骨髓活检数字图像、骨小梁和造血细胞组织mask掩码图像、骨小梁mask掩码图像、脂肪细胞组织mask掩码图像以及最终的分割结果图像，根据测试，本实施例的方法相较于目前的人工方法，消耗的时间由十几分钟缩减到3秒以内，并且将人工方法中的随机挑选视野替换为计算图像中的全部视野，统计更加全面，计算精度更加准确，极大提高了临床病理医生的工作效率。
[0083]
实施例二：
[0084]
实现上述方法的系统，包括：
[0085]
预处理模块，被配置为：获取原始骨髓活检数字图像并预处理；
[0086]
第一掩码模块，被配置为：基于预处理后的图像，得到造血细胞组织与骨小梁的mask掩码图像；
[0087]
第二掩码模块，被配置为：基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的mask掩码图像；
[0088]
第三掩码模块，被配置为：基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的mask掩码图像；
[0089]
结果输出模块，被配置为：根据得到的骨小梁mask掩码图像、骨小梁与造血细胞组织mask掩码图像、脂肪细胞组织mask掩码图像，得到每张图像中骨小梁、造血细胞组织以及脂肪细胞组织占原始骨髓活检数字图像的面积比例。
[0090]
得到的目标像素占比，反映了骨髓活检数字图像中，骨小梁、造血细胞组织以及脂肪细胞组织占原始图像的比例，相较于目前的人工方法，能够自动、快速且准确的对骨髓活检数字图像中的骨髓成分进行分割，从而识别出骨髓成分的比例；通过计算图像中的全部视野，统计更加全面，计算精度更加准确，极大提高了临床病理医生的工作效率。
[0091]
实施例三：
[0092]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于图像的骨髓成分分割方法中的步骤。
[0093]
实施例四：
[0094]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于图像的骨髓成分分割方法中的步骤。
[0095]
以上实施例二至四中涉及的各步骤或网络与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0096]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于图像的骨髓成分分割方法，其特征在于，包括以下步骤：获取原始骨髓活检数字图像并预处理，基于预处理后的图像，得到造血细胞组织与骨小梁的mask掩码图像；基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的mask掩码图像；基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的mask掩码图像；根据得到的骨小梁mask掩码图像、骨小梁与造血细胞组织mask掩码图像、脂肪细胞组织mask掩码图像，得到每张图像中骨小梁、造血细胞组织以及脂肪细胞组织占原始骨髓活检数字图像的面积比例。2.如权利要求1所述的基于图像的骨髓成分分割方法，其特征在于，所述预处理包括灰度化、阈值化和孤立点消除，预处理后得到二值图像。3.如权利要求2所述的基于图像的骨髓成分分割方法，其特征在于，预处理后得到的二值图像中，脂肪细胞组织与背景被分割在0值像素部分，造血细胞组织和骨小梁被分割在255值像素部分，255值像素部分为造血细胞组织和骨小梁的mask掩码图像。4.如权利要求1所述的基于图像的骨髓成分分割方法，其特征在于，所述形态学开运算的过程，具体为：腐蚀和膨胀，通过腐蚀减少高亮区域，通过膨胀增加高亮区域。5.如权利要求1所述的基于图像的骨髓成分分割方法，其特征在于，所述孔洞填充的过程，具体为：对输入图像进行边界校正，将图像中的联通区域进行颜色填充，从一个像素点出发向周边的像素点扩充着色，直到封闭区域内的全部节点都处理过为止，对图像掩码进行非运算处理并与输入图像交集处理，并经阈值化处理得到完整的孔洞填充图像。6.如权利要求1所述的基于图像的骨髓成分分割方法，其特征在于，基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的mask掩码图像的过程，具体为：对预处理后的二值图像进行非运算处理，骨小梁和造血细胞组织标记为0像素的背景区域，脂肪细胞标记为255像素的前景区域；分割脂肪细胞图像，获得图像中所有脂肪细胞的标记。根据图像中脂肪细胞标记所在像素点的坐标值，计算每一个脂肪细胞标记的轮廓属性，根据设定值筛选所需的轮廓属性，得到脂肪细胞组织mask掩码图像。7.如权利要求6所述的基于图像的骨髓成分分割方法，其特征在于，分割脂肪细胞图像的过程，具体为：对脂肪细胞的前景图像依次经形态学开运算和腐蚀处理，使图像中的脂肪细胞区域缩减以获得背景标记图像；对图像进行距离变换运算后进行阈值化处理，使脂肪细胞区域缩减来获得前景标记图像；对标记的背景图像和前景图像进行差分处理获得未知区域标记，对前景和未知区域进行连通域标记作为种子点像素，基于分水岭方法对种子点进行连通域灌溉，得到脂肪细胞的分割图像。8.基于图像的骨髓成分分割系统，其特征在于，包括：预处理模块，被配置为：获取原始骨髓活检数字图像并预处理；第一掩码模块，被配置为：基于预处理后的图像，得到造血细胞组织与骨小梁的mask掩
码图像；第二掩码模块，被配置为：基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的mask掩码图像；第三掩码模块，被配置为：基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的mask掩码图像；结果输出模块，被配置为：根据得到的骨小梁mask掩码图像、骨小梁与造血细胞组织mask掩码图像、脂肪细胞组织mask掩码图像，得到每张图像中骨小梁、造血细胞组织以及脂肪细胞组织占原始骨髓活检数字图像的面积比例。9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述权利要求1-7任一项所述的基于图像的骨髓成分分割方法中的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于图像的骨髓成分分割方法中的步骤。

技术总结
本发明涉及基于图像的骨髓成分分割方法及系统，包括以下步骤：获取原始骨髓活检数字图像并预处理，基于预处理后的图像，得到造血细胞组织与骨小梁的Mask掩码图像；基于原始骨髓活检数字图像，依次经颜色通道转换、形态学开运算、孤立点消除和孔洞填充，得到骨小梁的Mask掩码图像；基于预处理后的图像，根据脂肪细胞形态学特征分割得到脂肪细胞组织的Mask掩码图像；根据得到的骨小梁Mask掩码图像、骨小梁与造血细胞组织Mask掩码图像、脂肪细胞组织Mask掩码图像，得到每张图像中骨小梁、造血细胞组织以及脂肪细胞组织占原始骨髓活检数字图像的面积比例。字图像的面积比例。字图像的面积比例。


技术研发人员：张树鹏 高英华 刘蕾 王迪一 张欣欣 车志龙 蔡东兴
受保护的技术使用者：山东云旗信息科技有限公司
技术研发日：2023.05.17
技术公布日：2023/8/16