免疫组织化学染色影像的分析方法与流程

1.本发明是有关于免疫组织化学染色影像的分析方法，可以利用算法客观的评估每个细胞被染色的程度。


背景技术：

2.免疫组织化学染色(immunohistochemistry，ihc)是一种广泛使用的方法，用以标记特定的有机物质。原理在于使用特定比例的抗原及抗体，可以让特定的抗原物质在切片的数字影像(whole slide image，wsi)中显示出来。免疫组织化学染色常用于医学研究，用以评估被染色细胞的病理参数，观察与癌症等疾病之间的关系。然而，传统的分析方法仰赖医生的主观判断，如何提出客观的分析方法为此领域技术人员所关心的议题。


技术实现要素：

3.本发明提出一种免疫组织化学染色影像的分析方法，适用于计算机系统，此分析方法包括：根据机器学习模型切割出免疫组织化学染色影像的多个细胞核，其中免疫组织化学染色影像包括多个像素，像素包括多个颜色通道；移除免疫组织化学染色影像中属于细胞核的像素以及移除符合一颜色范围的像素以取得多个细胞质像素；根据细胞质像素的位置将细胞质像素分配至细胞核的其中之一以形成多个细胞；以及计算细胞中的像素的像素染色分数，借此计算细胞的细胞染色分数。
4.在一些实施例中，移除符合颜色范围的像素的步骤包括：将像素转换至色彩空间，色彩空间包含一色相、一饱和度与一明度；以及保留色相在一第一预设范围内以及饱和度在一第二预设范围内的像素，并且移除明度大于一第一临界值的像素。
5.在一些实施例中，根据细胞质像素的位置将细胞质像素分配至细胞核以形成细胞的步骤包括：将细胞核当作多个区域低点，将细胞质像素当作集水区，借此执行分水岭算法。
6.在一些实施例中，在形成细胞之后，分析方法还包括：计算细胞中的像素个数；以及如果细胞中的第一细胞的像素个数大于第二临界值且小于一第三临界值，删除第一细胞中的细胞质像素，并且加入根据第一细胞中的细胞核执行形态学扩张处理后的结果来形成第一细胞。
7.在一些实施例中，计算细胞中的像素的像素染色分数，借此计算细胞的细胞染色分数的步骤包括：根据细胞中的像素的饱和度与明度之间的比值来计算像素的像素染色分数；以及以个数作为权重，计算细胞中的像素的像素染色分数的权重平均以作为细胞的细胞染色分数。
8.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
9.图1是根据一实施例绘示免疫组织化学染色影像的分析方法的流程图。
10.图2是根据一实施例绘示取得细胞质像素的示意图。
11.图3是根据一实施例绘示分水岭算法的结果示意图。
12.图4是根据一实施例绘示根据hsv色彩空间来计算像素染色分数的示意图。
13.其中，附图标记：
14.101、102、201、301：免疫组织化学染色影像
15.111～114、211～212：步骤
16.121～123、202、203、302、303：图
17.410：范围
具体实施方式
18.关于本发明中所使用的「第一」、「第二」等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。
19.在此提到的免疫组织化学染色影像是关于肝脏细胞的切片，目的是要染色b型肝炎表面抗原(hepatitis b surface antigen，hbsag)，b型肝炎表面抗原是b型肝炎病毒感染后第一个出现在血清中的病毒抗原，也是b型肝炎的最重要指标，在有b型肝炎表面抗原的免疫组织化学染色影像中，细胞的颜色会偏向红色，在此提出一个方法来分析这样的影像。
20.图1是根据一实施例绘示免疫组织化学染色影像的分析方法的流程图。请参照图1，在图1中绘示了两张免疫组织化学染色影像101、102。免疫组织化学染色影像101、102为彩色影像，其中包含了多个像素，每个像素包括了红色、蓝色与绿色的颜色通道。免疫组织化学染色影像101中有较多的b型肝炎表面抗原，因此相对于免疫组织化学染色影像102来说颜色较红。
21.在步骤111中，根据一机器学习模型切割出免疫组织化学染色影像的多个细胞核。此机器学习模型例如为卷积神经网络，此卷积神经网络的架构可以采用lenet、alexnet、vgg、googlenet、resnet或是volo等。在此实施例中，是采用论文graham,simon,et al."hover-net:simultaneous segmentation and classification of nuclei in multi-tissue histology images."medical image analysis 58(2019):101563所揭露的卷积神经网络，此论文的内容也包含在本说明书中，在此并不赘述论文的内容。在此实施例中，不同于hover-net，损失函数修改如以下数学式1至数学式5。
22.[数学式1]
[0023]
l＝l
np
+lhover；
[0024]
[数学式2]
[0025]
l
np
＝l
bce
+l
dice
+l
focal
；
[0026]
[数学式3]
[0027][0028]
[数学式4]
[0029][0030]
[数学式5]
[0031][0032]
整个网络有两个分支，分别是核像素(nuclear pixel，np)分支与hover分支。l为整个网络的损失函数，核像素分支的损失函数为l
np
，hover分支的损失函数是l
hover
。损失函数l
np
是二元交叉熵(binary cross entropy)损失、骰子(dice)损失和焦点(focal)损失的总和。其中n为影像中所有像素的个数，xi表示真实输出(ground truth)，yi是网络所预测的数值，例如y＝1表示细胞核，y＝0表示背景。ε是一个很小的数值，避免除以0。p是分类为细胞核的估计机率。γ为经过实验决定的实数，在此实施例中为0.5。
[0033]
另一方面，损失函数l
hover
则如以下数学式6～8所示。
[0034]
[数学式6]
[0035]
l
hover
＝l
mse
+l
msge
；
[0036]
[数学式7]
[0037][0038]
[数学式8]
[0039][0040]
其中n是影像中所有像素的个数。pi是hover分支的输出，γi是真实输出。为了计算均方梯度误差(mean squared gradient error)，所输出的水平分量和垂直方量分别表示为p
i，x
以及p
i，y
，分别对应至水平的真实输出γ
i，x
以及垂直的真实输出γ
i，y
。代表水平方向的梯度，代表垂直方向的梯度。m代表影像中所有被分类为细胞核的像素个数与集合。经过步骤111以后可以得到图121，图121中的每个像素的值表示是否为细胞核，例如“1”代表细胞核，“0”代表背景。
[0041]
在切割出细胞核以后，接下来在步骤112，可以根据所辨识出的细胞核进一步辨识出细胞质，但由于细胞的边缘通常很模糊，细胞质较难以辨认，因此利用卷积神经网络并无法得到好的结果。在此提出了四种图像处理的操作，分别是基于扩张(dilation)、区域增长(region-growing)、纹理临界(texture thresholding)以及对比度。
[0042]
首先是形态学的扩张处理，这可以表示为以下数学式9、10。
[0043]
[数学式9]
[0044]
d＝u
b∈bab
；
[0045]
[数学式10]
[0046]
y＝d∩a
′
。
[0047]
其中a是一张二元图，“1”代表细胞核，“0”代表背景，此实施例中可采用图121来做为二元图a。a
′
为二元图a的相反。b是一个遮罩，大小例如为31x31，其中每一个元素都是1。ab是二元图与元素b的及(and)运算，∩为及运算，经过数学式10的处理，细胞核会被移除。形态学扩张处理的结果可以参照图2，在切割出免疫组织化学染色影像201中的细胞核以后，在步骤211根据细胞核执行形态学扩张处理可以得到图202以代表细胞质，图202中代表细胞质的像素也称为细胞质像素。从图202中可以看出所撷取出的细胞质是从细胞核往外延伸一距离，如果某个细胞很大则有些细胞质会遗失，如果细胞很小则也有可能撷取错误的细胞质。
[0048]
第二种图像处理的操作是区域增长，可以将细胞核当作种子，并且判断种子周围的像素是否与种子相似，如果是的话就加入细胞核成为细胞质像素。这样的步骤会一直重复，直到特定范围内的像素都已经处理完，在一些实施例中可以用形态学扩张处理后的结果来做为此特定范围。区域增长可表示为以下数学式11。
[0049]
[数学式11]
[0050]
color
similar
＝|g(seedi)-g(neighbori)|＜ε。
[0051]
其中g(seedi)代表种子的灰阶，例如为经过色彩空间的转换后所取得的亮度灰阶，此色彩空间例如为hsv色彩空间。neighbori代表第i个种子的邻居，在一些实施例中可以设定一个像素的周围8个像素为邻居。ε是一个临界值，在一些实施例中可以设定为7。区域增长仰赖细胞质中的亮度必须相似，如果细胞质的亮度差异很大则细胞质可能撷取的不准确。
[0052]
第三种图像处理的操作是纹理临界，在此实施例中用加柏(gabor)核心来取得多个特征值，然后执行主要成分分析(principle component analyze)来降低维度，每个像素用一个维度来表示，接着用一个临界值来判断此像素是细胞质像素或是背景。
[0053]
第四种图像处理的操作是对比度处理，在免疫组织化学染色影像有些颜色明显不是细胞质，例如白色的区域可能是油滴(oil drop)，蓝色的区域可能是细胞核，而黑色的区域可能是门脉细胞(portal cell)，因此可以移除免疫组织化学染色影像中符合特定颜色范围的像素，剩下的像素就是细胞质像素。具体来说，可以先将像素转换至hsv色彩空间，hsv色彩空间包含色相(phase)、饱和度(saturation)与明度(brightness)。在此只会保留色相在100～125范围(亦称为第一预设范围)内，饱和度在80～255范围(亦称为第二预设范围)内，以及明度在0～110范围内的像素(也就是移除明度大于110的像素)，其余像素则会移除。此外，也会移除步骤111所辨识出的细胞核，结果如图2所示，免疫组织化学染色影像201在步骤212中被移除了属于细胞核的像素以及特定颜色范围的像素，结果如图203所示。在一些实施例中，步骤212也可以移除一些小的碎片，例如实施形态学侵蚀处理。
[0054]
不管经过上述哪一种图像处理的操作，根据细胞质像素的位置将细胞质像素分配至对应的细胞核之后便形成多个细胞。在一些实施例中，可以用区域竞争的概念来分配细胞质像素，也就是说不同的细胞核之间必须要竞争那些细胞质属于自己。举例来说，在此可以采用分水岭(watershed)算法，可以将细胞核当作区域低点，将细胞质像素当作集水区。大致上来说，分水岭算法是在不同的区域低点注入不同种类的水，接着水位在集水区中开
始上升，直到不同种类的水接触便形成的分割线，本领域具有通常知识者当可理解分水岭算法，在此并不赘述。在一些技术中分水岭算法会设定集水区的高度(gradient)，在此实施例中集水区的高度设定为一样，但每次水位上升时往外扩张一个像素。分水岭算法的结果如图3所示，免疫组织化学染色影像301在切割出细胞核、辨识细胞质、并且经过分水岭算法以后可得到图302，其中的“黑色小洞”代表细胞核的位置，在图302中细胞质像素会被分配不同的灰阶(代表不同的细胞)。在一些实施例中，还可以进一步计算每一个细胞中的像素个数，如果像素个数大于第二临界值(例如30000)且小于第三临界值(1500)，则表示这个细胞可能是错误的检测，有可能是门脉等其他组织，因此符合上述条件时可以删除对应细胞中的细胞质像素。在一些实施例中，也可以把根据细胞核执行形态学扩张处理后的结果(例如图202，但图202属于另一个切片)加入至图302，加入之后的结果如图303所示，图303中的细胞质再加上细胞核便形成细胞。我们的目的是要分析每个细胞的颜色，但不应该执着于要取得每个细胞中的所有细胞质，根据细胞核执行形态学扩张处理后的结果中已包含了一部分的细胞质，在一些情况下这些细胞值也足以进行分析，因此才把分水岭算法的结果加上形态学扩张处理后的结果。请参照回图1，经过步骤112的处理后可以得到图122以代表细胞质。
[0055]
在一些实施例中，上述区域竞争的概念也可以用细胞质的位置来决定，例如计算每个细胞质像素与每个细胞核之间在空间上的距离，并且将细胞质像素分配至最接近的细胞核。
[0056]
接下来在步骤113中计算每一个细胞中的每个像素的像素染色分数。在此同样采用hsv色彩空间，首先挑选出“红色”的像素，在此会挑选色相(h)在0～10以及156～180范围内，饱和度(s)在43～255的范围内，且明度(v)在46～255范围内的像素当作红色像素，对于所有非红色的像素都设定像素染色分数为“0”。接下来请参照图4，图4是根据一实施例绘示根据hsv色彩空间来计算像素染色分数的示意图，横轴为饱和度s，纵轴为明度v，由于已经限制了饱和度(s)在43～255的范围内，且明度(v)在46～255范围内，因此只会考虑在范围410的像素。在此会根据饱和度s与明度v之间的比值(i)来计算像素的像素染色分数，当比值i大于0.742时则设定像素染色分数为“3+”，当比值i在0.482～0.742的范围内则设定像素染色分数为“2+”，当比值i小于等于0.482时则设定像素染色分数为“1+”。上述0.742与0.482这两个临界值仅是范例，在其他实施例中也可以根据实验结果挑选出不同的临界值。此外，在其他实施例中也可以采用lab或其他合适的色彩空间，在一些色彩空间中色相也被称为“hue”。在上述实施例中是指定像素染色分数为“0”、“1+”、“2+”、“3+”等四个级距，但在其他实施例中也可以设定更多或更少个级距，本发明并不在此限。请参照图1，经过步骤113的处理以后可以得到图123，其中用较深的灰阶代表较高的像素染色分数。
[0057]
当每一个像素都设定了像素染色分数以后，接下来在步骤114可以计算每一个细胞的细胞染色分数。从图121可以取得细胞核，从图122可以取得细胞质，将细胞质分配至对应的细胞核就可以得到一个细胞的像素。在此实施例中，是以个数作为权重，计算细胞中像素染色分数的权重平均以作为细胞染色分数。具体来说，细胞染色分数的计算如以下数学式12所示。
[0058]
[数学式12]
[0059][0060]
其中α表示像素染色分数为“1+”的像素在对应细胞中所占的比例，β表示像素染色分数为“2+”的像素在对应细胞中所占的比例，γ表示像素染色分数为“3+”的像素在对应细胞中所占的比例。举例来说，如果一个细胞中有1.7％的像素属于“3+”，7.2％的像素属于“2+”，26.1％的像素属于“1+”，则计算出的细胞染色分数为15.2。所计算出的细胞染色分数可以提供给医生做判断。上述数学式12中的“100”、“200”、“300”仅是范例，在其他实施例中也可以采用任意其他的数值。
[0061]
在上述揭露的免疫组织化学染色影像的分析方法中，可以用相对客观的方式切割出细胞且用分数来表示每个细胞红色的程度，可以节省人力并辅助医生的判读。不同于使用卷积神经网络来辨识出细胞质，本发明提出了几种图像处理的操作(例如分水岭算法)来辨识出细胞质，这也克服了细胞质不容易辨认的问题。此外，在处理细胞质时，本发明是用删去法来取得细胞质，这可以解决细胞边界模糊的问题，相较于主动地去检测细胞质，本发明做法的效果更好。最后，本发明采用了饱和度与明度之间的比值来计算像素染色分数，可以得到客观的结果。
[0062]
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有公知常识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求所界定的范围为准。

技术特征：
1.一种免疫组织化学染色影像的分析方法，适用于一计算机系统，其特征在于，所述分析方法包括：根据一机器学习模型切割出所述免疫组织化学染色影像的多个细胞核，其中所述免疫组织化学染色影像包括多个像素，每一所述多个像素包括多个颜色通道；移除所述免疫组织化学染色影像中属于所述多个细胞核的所述多个像素以及移除符合至少一颜色范围的所述多个像素以取得多个细胞质像素；根据所述多个细胞质像素的位置将每一所述多个细胞质像素分配至所述多个细胞核的其中之一以形成多个细胞；以及计算每一所述多个细胞中的每一所述多个像素的像素染色分数，借此计算每一所述多个细胞的细胞染色分数。2.根据权利要求1所述的分析方法，其特征在于，其中移除符合所述至少一颜色范围的所述多个像素的步骤包括：将每一所述多个像素转换至一色彩空间，所述色彩空间包含一色相、一饱和度与一明度；以及保留所述色相在一第一预设范围内以及所述饱和度在一第二预设范围内的所述多个像素，并且移除所述明度大于一第一临界值的所述多个像素。3.根据权利要求2所述的分析方法，其特征在于，其中根据所述多个细胞质像素的位置将每一所述多个细胞质像素分配至所述多个细胞核的其中之一以形成所述多个细胞的步骤包括：将所述多个细胞核当作多个区域低点，将所述多个细胞质像素当作集水区，借此执行一分水岭算法。4.根据权利要求3所述的分析方法，其特征在于，其中在形成所述多个细胞之后，所述分析方法还包括：计算每一所述多个细胞中的像素个数；如果所述多个细胞中的一第一细胞的所述像素个数大于一第二临界值且小于一第三临界值，删除所述第一细胞中的所述细胞质像素，并且加入根据所述第一细胞中的所述细胞核执行形态学扩张处理后的结果来形成所述第一细胞。5.根据权利要求4所述的分析方法，其特征在于，其中计算每一所述多个细胞中的每一所述多个像素的所述像素染色分数，借此计算每一所述多个细胞的所述细胞染色分数的步骤包括：根据每一所述多个细胞中的每一所述多个像素的所述饱和度与所述明度之间的比值来计算所述像素的像素染色分数；以及以个数作为权重，计算每一所述多个细胞中的所述多个像素的所述像素染色分数的权重平均以作为所述细胞的所述细胞染色分数。

技术总结
本发明提出一种免疫组织化学染色影像的分析方法，包括：根据机器学习模型切割出免疫组织化学染色影像的多个细胞核；移除免疫组织化学染色影像中属于细胞核的像素以及移除符合一颜色范围的像素以取得多个细胞质像素；根据细胞质像素的位置将细胞质像素分配至细胞核以形成多个细胞；以及计算细胞中每个像素的像素染色分数，借此计算细胞的细胞染色分数。如此可以客观且自动化的计算出细胞被染色的分数。分数。分数。


技术研发人员：詹宝珠 蔡弘文 廖绍凯 郑国顺
受保护的技术使用者：詹宝珠
技术研发日：2022.12.07
技术公布日：2023/7/31