病理切片影像的脂滴分割方法与电子装置与流程

1.本揭露是有关于病理组织影像中脂滴的分割方法与电子装置。


背景技术：

2.在临床实践中，病理学家使用苏木精和伊红(hematoxylin and eosin，h&e)染色来观察组织切片中的不同结构。也有人提出了诊断非酒精性脂肪肝的几个指标，其中脂肪变性是最重要的指标之一，当脂肪变性发生时，多余的脂肪以脂滴(lipid droplet)的形式储存在肝细胞中，在染色影像中，脂滴看起来就像是白色气泡。在现行的诊断方法中，医生通过显微镜观察脂滴的密度和类型来分析脂肪变性的程度或类型，这一过程不仅相当粗糙、耗费时间，诊断得到的数值很主观，也很可能会出错。因此，迫切需要自动化的脂滴定量系统来协助医生进行诊断过程。


技术实现要素：

3.本揭露的实施例提出一种病理切片影像的脂滴分割方法，适用于计算机系统。此分割方法包括：将病理切片影像输入至机器学习模型以输出区域图以及边缘图，区域图包括多个区域机率值，边缘图包括多个边缘机率值；根据区域机率值与边缘机率值分割出病理切片影像中的多个脂滴。
4.在一些实施例中，机器学习模型为卷积神经网络，此卷积神经网络具有u网络的架构。此u网络的架构包括多次降取样与多次升取样。卷积神经网络在u网络架构的最底层具有感受野方块，感受野方块包括多个卷积核心，至少其中一个卷积核心为扩张(dilation)卷积核心。
5.在一些实施例中，机器学习模型的输出包括第一分支与第二分支，第一分支用以输出区域图，第二分支用以输出边缘图。脂滴分割方法还包括：在训练机器学习模型时，用标记的病理切片影像来训练第一分支；以及将标记的病理切片影像经过型态扩张处理后的结果减去标记的病理切片影像经过型态侵蚀处理的结果，借此训练第二分支。
6.在一些实施例中，上述根据区域机率值与边缘机率分割出脂滴的步骤包括：判断每一个区域机率值是否大于等于第一临界值以产生遮罩；使用区域机率值与相同位置所对应的边缘机率值以计算多个中心分数和梯度；根据所述中心分数产生多个标记；以及根据遮罩、梯度与标记执行分水岭演算法。
7.在一些实施例中，上述的方法还包括：计算每一个脂滴的边缘机率值的平均以作为对应的脂滴的边缘分数；以及如果边缘分数小于第三临界值，删除对应的脂滴。
8.以另一个角度来说，本揭露的实施例提出一个电子装置，包括多个模块来执行上述的脂滴分割方法。
9.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
10.图1是根据一实施例说明病理切片影像的脂滴分割方法的流程示意图；
11.图2是根据一实施例说明卷积神经网络的架构示意图；
12.图3是根据一实施例说明感受野方块的架构示意图；
13.图4是根据一实施例说明分水岭演算法的流程示意图；
14.图5是根据一实施例绘示分水岭演算法中遮罩、梯度与标记的示意图；
15.图6是根据一实施例绘示删除脂滴的示意图；
16.图7是根据一实施例绘示电子装置的示意图。
17.【符号说明】
18.100:脂滴分割方法
19.110:病理切片影像
20.120:结果
21.101～103:步骤
22.210,220:特征图
23.231:区域图
24.232:边缘图
25.240:感受野方块
26.301～310:卷积核心
27.401～404:步骤
28.501:遮罩
29.502:梯度
30.503,504:标记
31.505:结果
32.610,620,630:情境
33.611,621,631,632:脂滴区域
34.612,622,633:区域
35.aa’,bb’,cc’,dd’,ee’,ff’:切线
36.700:电子装置
37.710:处理器
38.720:存储器
具体实施方式
39.关于本文中所使用的“第一”、“第二”等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。
40.在此实施例中是过莱卡扫描器，以40倍的放大倍率来扫描经过h&e染色的肝脏组织以取得数字影像(whole slide image，wsi)，每张数字影像切割为数万张部分重叠的影像，其大小为512像素x512像素，以下将这些切割后的影像称为病理切片影像。然而，在其他实施例中也可以用任意合适的设备来取得关于任意器官或组织的切片影像，本揭露也不限制这些病理切片影像的大小，以及病理切片影像是否重叠。
41.图1是根据一实施例说明病理切片影像的脂滴分割方法的流程示意图。请参照图1，本揭露提出的脂滴分割方法100是要从病理切片影像110中分割出脂滴而输出结果120，结果120中的绿色线代表辨识出的脂滴。脂滴分割方法100可由任意合适的计算机系统来执行，脂滴分割方法100包括了步骤101～103，以下将详细说明这些步骤。
42.首先在步骤101，将病理切片影像110输入至机器学习模型以输出区域图以及边缘图。在此实施例中，机器学习模型为卷积神经网络，具有u网络的架构，例如图2所示。图中的方块为特征图，而特征图上的数字代表长度x宽度x深度，例如特征图210为输入，特征图220的大小为512x512x16，以此类推。此网络的输出为区域图231与边缘图232，两者的大小都为512x512x1。区域图231包括了多个区域机率值，用以指示每个像素被分类为脂滴区域的机率。边缘图232包括了多个边缘机率值，用以指示每个像素被分类为脂滴边缘的机率。在此，区域图231与边缘图232左侧往右方的箭头代表卷基层，包含1x1的卷积核心以及sigmoid函数。其余右方的箭头也表示卷积层，但包含3x3的卷积核心，步距(stride)为1，也包含了批次正规化(batch normalization，bn)以及激活函数(activation，ac)，在此实施例中激活函数采用的是mish函数。右下方的箭头表示降取样，实作上可包含3x3的卷积核心，设定步距为2以达到降取样的目的，另外也包含了批次正规化与激活函数。往上的箭头表示升取样，可以用线性函数或其他任意合适的演算法来实作。则表示特征图的连接，也就是把两个特征图连接在一起以形成深度更大的特征图。换言之，在此采用的网络架构包含了4次降取样与4次升取样，但此架构仅是范例，在其他实施例中也可以采用其他网络架构。
43.特别的是，在此网络架构的最底层具有感受野方块(receptive field block，rfb)240，具体内容如图3所示，感受野方块240包括了卷积核心301～310。来自前一层的输入先经过卷积核心301的计算，其核心大小为1x1，接下来分别经过卷积核心302～305的计算。卷积核心302的大小为1x1，卷积核心303的大小为3x3，卷积核心304的大小为5x5，卷积核心305的大小为7x7。卷积核心302～305的输出分别再给卷积核心306～309进行运算。特别的是，卷积核心306～309属于扩张(dilation)卷积核心，其中卷积核心306的扩张率为1倍，卷积核心307的扩张率为3倍，卷积核心308的扩张率为5倍，卷积核心309的扩张率为7倍，这些卷积核心306～309的大小都是3x3。关于扩张卷积核心的具体内容请参照论文liu,songtao,and di huang."receptive field block net for accurate and fast object detection."proceedings of the european conference on computer vision(eccv).2018，在此并不赘述。最后，卷积核心306～309的输入被连接在一起，之后再经过卷积核心310的计算，并与输入连接在一起以形成输出。
44.在图2的网络架构中，最后的输出包含了两个分支，第一个分支(亦称为区域分支)输出区域图231，第二个分支(亦称为边缘分支)输出边缘图232。在训练此网络时是采用不同的标签来训练这两个分支。具体来说，由专业人士手动标记病理切片影像中的脂滴区域以后，这些标记的病理切片影像可用来训练区域分支。对于边缘分支，则可以用型态学处理(morphological proces)来产生所需要的标签，此分支的真实输出(ground truth)如以下数学式1所示。
45.[数学式1]
[0046]
gtb＝dilate(gtr)-erode(gtr)
[0047]
其中gtr是手动标记的脂滴区域，也就是第一个分支的真实输出。dilate(
·
)表示
经过两次型态扩张处理(dilation process)，其采用的核心大小例如为3x3。erode(
·
)表示经过两次型态侵蚀处理(erosion process)，采用的核心大小例如为3x3。这两个型态学处理后的结果之间的差距，就是第二个分支的真实输出gtb。以另一个角度来说，由于在一般的人工标记中并不会标记脂滴的边缘，因此在此实施例中是通过形态学的手段来产生辨识边缘所需要的真实输出，扩张处理会增加脂滴区域的大小(往外扩张)，而侵蚀处理则会让脂滴区域往内缩，因此这两者之间的差距就可以当作是边缘。在一些实施例中，也可以直接将脂滴区域gtr的边缘作为第二个分支的真实输出。
[0048]
整个网络的损失函数则包含了两个成分，一个是区域损失，另一个则是边缘损失，可表示为以下数学式2。
[0049]
[数学式2]
[0050]
l＝lr(pr,yr)+lb(pb,yb)
[0051]
其中l代表整个网络的损失函数，lr代表区域分支的损失函数，lb代表边缘分支的损失函数。pr代表区域分支所预测的数值，yr代表区域分支的真实输出。pb代表边缘分支所预测的数值，yb代表边缘分支的真实输出。在一些实施例中，区域分支的损失函数还可写为以下数学式3～8。
[0052]
[数学式3]
[0053]
lr(p,y)＝λal
bce
(p,y)+λbl
tversky(0.5,0.5)
(p,y)+λcl
activecontour
(p,y)
[0054]
[数学式4]
[0055]
l
bce
(p,y)＝-(ylog(p)+(1-y)log(1-p))
[0056]
[数学式5]
[0057][0058]
[数学式6]
[0059]
l
activecontour
(p,y)＝l
leng
(p)+λl
region
(p,y)
[0060]
[数学式7]
[0061][0062]
[数学式8]
[0063]
l
region
(p,y)＝μp(y-1)2+(1-p)y2[0064]
其中p为对应分支所输出的数值，y为对应的真实输出。λa、λb、λc为实数，可依照实验决定合适的数值。数学式4代表的是交叉熵，但此损失函数的问题在于前景与背景之间的不平衡。
[0065]
在数学式5中，损失函数l
tversky(α,β)
可用两个参数α、β来调整伪阳性(false positives，fp)与伪阴性(false negatives，fn)，在训练区域分支时，两个参数α、β都设定为0.5，也就是给伪阳性和伪阴性相同的权重。∈为一个很小的数值，用以避免除以0。
[0066]
在数学式6～8中，加入损失函数l
activecontour
(p,y)虽然在数据上没有更好的表现，但在人眼视觉上的效果更好。其中是输出数值p分别在x、y方向上的微分。λ、μ为实数，可依照实验决定合适的数值。数学式7中的损失函数l
leng
(p)可视为一个惩罚，这个惩
罚关于轮廓的长度，借此产生较少破碎的完整物件。
[0067]
另一方面，边缘分支的损失函数如以下数学式9所示。其中λd、λe为实数，可依照实验决定合适的数值。
[0068]
[数学式9]
[0069]
lb(p,y)＝λdl
bce
(p,y)+λel
tversky(0.1,0.9)
(p,y)
[0070]
与区域分支不同的是，在边缘分支必须更在意伪阴性，这有两个理由。第一个理由跟数据的特性有关，相较于区域来说，边缘更加的疏散，数量较少，这样模型会预测得更保守，也就是说模型需要额外的动机来预测出边缘。第二个理由是跟本揭露的方法有关，如果产生太多伪阴性，彼此相连的脂滴可能无法分割，另一方面如果产生太多的伪阳性，由于本方法在意的是伪阴性，因此这些伪阳性并不会对最终结果有太多的负面影响。因此，在计算边缘损失时，损失函数l
tversky(α,β)
中的α设定为0.1，β则设定为0.9来降低伪阴性。
[0071]
接下来说明图1的步骤102，根据区域图中的区域机率值与边缘图中的边缘机率值分割出病理切片影像中的多个脂滴。在一些实施例中，步骤102可以采用分水岭(watershed)演算法，大致上来说，分水岭演算法会将整张影像当作是地形表面，然后不同种类的水会注入在不同的地方并流向低洼处。这些水面会逐渐的上升，直到整个区域都被填慢，这使得原本的影像会被分割为不同种类的水域，这些水域代表分割的结果。通过这样的做法，每个分割出来的物件(即脂滴)会精准的有一个像素宽度的分割线。分水岭演算法的详细流程如图4所示。
[0072]
首先需要计算出遮罩，遮罩用以指出脂滴(有可能是两个脂滴相连在一起)的位置，同时分水岭演算法中的水位只会在遮罩内的区域上升。在步骤401，判断每一个区域机率值是否大于等于第一临界值，如果是的话就代表遮罩的“1”，否则是“0”，如以下数学式10所示。
[0073]
[数学式10]
[0074][0075]
其中τ为第一临界值，mask代表遮罩。图5是根据一实施例绘示分水岭演算法中遮罩、梯度与标记的示意图。请参照图4与图5，在此例子中所计算出的遮罩501包含了两个彼此相连的脂滴，左侧的图表则绘示沿着切线aa’的遮罩数值(1或是0)。以另一个角度来说，遮罩501代表一般的分割演算法的结果，利用固定的临界值来产生前景与背景的二元图，前景为脂滴，但这样的前景会包含多个不同但相连的脂滴，因此需要依靠分水岭演算法进一步分割。
[0076]
在分水岭演算法中，不同物件之间的分割线总是出现在比较高的梯度(代表地势高低)，接下来要计算合适的梯度。在步骤402中，将区域机率值pr分别减去相同位置所对应的边缘机率值pb以计算出中心分数pc，此中心分数代表对应的像素属于脂滴中心的机率。当模型预测出很大的区域机率值以及很小的边缘机率值时，这表示对应的像素可能距离脂滴的边缘很远。相反的，如果区域机率值与边缘机率值都很大，对应的像素可能在两个脂滴的中间。中心分数的负值可以当作是梯度，也就是说脂滴的中心会有较低的梯度。详细的计算如以下数学式11、12所示，其中gradient代表梯度。
[0077]
[数学式11]
[0078]
gradient＝-pc[0079]
[数学式12]
[0080]
pc＝p
r-pb[0081]
在图5中绘示了梯度502，左侧的图表绘示沿着切线bb’的梯度，在此范例中，梯度往脂滴中心逐渐降低形成两个低洼。
[0082]
在步骤403，判断中心分数是否大于等于第二临界值以产生多个标记，如以下数学式13所示。
[0083]
[数学式13]
[0084][0085]
其中τc为第二临界值，marker为标记。标记代表水位开始往上涨的起点，当中心分数越大时对应的像素越有可能在脂滴的中心，水位从脂滴的中心往上涨较有机会在两个脂滴中间形成分割线。经过数学式13的运算会得到许多像素，同一个脂滴中可能会有多个像素的中心分数都大于第二临界值，这些像素可能会彼此相连，因此可以将相连的像素视为同一个种类的水，也就是同一种标记，在图5的例子中会产生两种标记503、504。在其他实施例中，也可以对中心分数执行任意的侦测演算法以得到标记。综合来说，标记是根据中心分数所产生。
[0086]
接下来在步骤404，便可以根据上述计算出的遮罩、梯度以及标记来执行分水岭演算法。也就是说，在遮罩的范围内，不同种类的水从不同的标记开始往上涨，在地势稍为较高的梯度不同种类的水会相接，相接的地方便是分割线。图5绘示了分割后的结果505，可以将原本相连的两个脂滴分开。
[0087]
原则上来说，只要区域机率值pr与边缘机率值pb同时都很大，则比较有可能是两个相连脂滴的中间。在一些实施例中，步骤102也可以根据上述的中心分数pc来分割出脂滴。例如，可以判断中心分数pc是否大于一个临界值，如果是的话判断为脂滴的前景，否则判断为背景。在一些实施例中，也可以采用区域机率值pr与边缘机率值pb之间任意种类的差异作为中心分数pc，例如平方差、绝对值差、区域机率值pr的平方减去边缘机率值pb的平方等等。在一些实施例中，也可以计算区域机率值pr与边缘机率值pb之间的乘积或是和，再判断是否小于一临界值来判断出脂滴的前景。换言之，使用区域机率值pr与相同位置所对应的边缘机率值pb可计算中心分数。由于梯度是根据中心分数所计算出，因此也可以说使用区域机率值pr与相同位置所对应的边缘机率值pb可计算出梯度。本领域具有通常知识者当可根据上述内容而设计出其他方法，在此并不限制步骤102的内容。
[0088]
依靠深度学习模型来分割脂滴还是有可能发生错误，这有三种情况。第一，有些区域不是脂滴但是形状很像。第二，在切片影像撷取过程可能有些物理损害，使得脂滴无法被人眼所辨识用于训练。第三，有些输入在训练集中出现的太少次，以至于产生预测的杂讯，这些情况都可能产生破碎的遮罩。在此实施例中提出了一种边缘分数，用以量化这些不确定性，请参照图1的步骤103，接下来会根据边缘机率值计算每一个脂滴的边缘分数，并根据边缘分数删除部分的脂滴。边缘分数的计算如以下数学式14所定义。
[0089]
[数学式14]
[0090][0091]
其中bms为边缘分数，表示在位置(i,j)的像素所对应的边缘机率值，c是根据分水岭演算法所分割出的一个脂滴中像素的集合。以另一个角度来说，数学式14是计算每一个脂滴中的边缘机率值的平均以作为对应的边缘分数。如果边缘分数小于第三临界值，则可以删除对应的脂滴。图6是根据一实施例绘示删除脂滴的示意图。图6绘示了三种情境610、620、630，上方绘示了所侦测到的脂滴区域611、621、631、632，以及边缘机率值较高的区域612、622、633；下方则分别绘示了沿着切线dd’、ee’、ff’的边缘机率值pb。情境610绘示的是正确的脂滴侦测，所侦测到的脂滴范围611被边缘机率值较高的区域612所包围。情境620与情境630则是错误的侦测，在情境620中所侦测到的脂滴范围621较小，而边缘机率值较高的区域622也不完整。在情境630中，所侦测到的脂滴区域631、632都只重叠了边缘机率值较高的区域633的一小部份。情境610所计算出的边缘分数会比较大，而情境620、630所计算出的边缘分数则比较小，通过上述方式可以删除情境620、630中的错误侦测。
[0092]
图7是根据一实施例绘示电子装置的示意图。请参照图7，电子装置700可以是智能手机、平板计算机、个人计算机、笔记型计算机、服务器、分散式计算机、云端服务器、工业计算机或具有计算能力的各种电子装置等，本发明并不在此限。电子装置700包括了处理器710与存储器720，处理器710通讯连接至存储器720，此通讯连接可以通过任意有线或无线的通讯手段来达成。处理器710可为中央处理器、微处理器、微控制器、影像处理芯片、特殊应用集成电路等，存储器720可为随机存取存储器、只读存储器、快闪存储器、软盘、硬盘、光盘、随身盘、磁带或是可通过网际网络存取的数据库，其中储存有多个模块，这些模块为程序模块，处理器710会执行这些模块来完成上述的脂滴分割方法。
[0093]
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。

技术特征：
1.一种病理切片影像的脂滴分割方法，适用于一计算机系统，其特征在于，所述分割方法包括：将所述病理切片影像输入至一机器学习模型以输出一区域图以及一边缘图，所述区域图包括多个区域机率值，所述边缘图包括多个边缘机率值；以及根据所述区域机率值与所述边缘机率值分割出所述病理切片影像中的多个脂滴。2.如权利要求1所述的脂滴分割方法，其特征在于，其中所述机器学习模型为卷积神经网络，所述卷积神经网络具有u网络的架构，所述u网络的架构包括多次降取样与多次升取样，所述卷积神经网络在所述u网络的架构的最底层具有一感受野方块，所述感受野方块包括多个卷积核心，所述卷积核心的至少其中之一为扩张(dilation)卷积核心。3.如权利要求2所述的脂滴分割方法，其特征在于，其中所述机器学习模型的输出包括第一分支与第二分支，所述第一分支用以输出所述区域图，所述第二分支用以输出所述边缘图，所述脂滴分割方法还包括：在训练所述机器学习模型时，用标记的病理切片影像来训练所述第一分支；以及将所述标记的病理切片影像经过型态扩张处理后的结果减去所述标记的病理切片影像经过型态侵蚀处理的结果，借此训练所述第二分支。4.如权利要求1所述的脂滴分割方法，其特征在于，其中根据所述区域机率值与所述边缘机率值分割出所述病理切片影像中的所述脂滴的步骤包括：判断每一个所述区域机率值是否大于等于一第一临界值以产生一遮罩；使用所述区域机率值与相同位置所对应的所述边缘机率值以计算多个中心分数和梯度；根据所述中心分数产生多个标记；以及根据所述遮罩、所述梯度与所述标记执行一分水岭演算法。5.如权利要求1所述的脂滴分割方法，其特征在于，还包括：计算每一个所述脂滴的所述边缘机率值的平均以作为对应的所述脂滴的一边缘分数；以及如果所述边缘分数小于一第三临界值，删除对应的所述脂滴。6.一种电子装置，其特征在于，包括：用以将一病理切片影像输入至一机器学习模型以输出一区域图以及一边缘图的模块，所述区域图包括多个区域机率值，所述边缘图包括多个边缘机率值；以及用以根据所述区域机率值与所述边缘机率值分割出所述病理切片影像中的多个脂滴的模块。7.如权利要求6所述的电子装置，其特征在于，其中所述机器学习模型为卷积神经网络，所述卷积神经网络具有u网络的架构，所述u网络的架构包括多次降取样与多次升取样，所述卷积神经网络在所述u网络的架构的最底层具有一感受野方块，所述感受野方块包括多个卷积核心，所述卷积核心的至少其中之一为扩张(dilation)卷积核心。8.如权利要求7所述的电子装置，其特征在于，其中所述机器学习模型的输出包括第一分支与第二分支，所述第一分支用以输出所述区域图，所述第二分支用以输出所述边缘图，所述电子装置还包括：用以在训练所述机器学习模型时，用标记的病理切片影像来训练所述第一分支的模
块；以及用以将所述标记的病理切片影像经过型态扩张处理后的结果减去所述标记的病理切片影像经过型态侵蚀处理的结果，借此训练所述第二分支的模块。9.如权利要求6所述的电子装置，其特征在于，其中用以根据所述区域机率值与所述边缘机率值分割出所述病理切片影像中的所述脂滴的模块包括：用以判断每一个所述区域机率值是否大于等于一第一临界值以产生一遮罩的模块；用以使用所述区域机率值与相同位置所对应的所述边缘机率值以计算多个中心分数和梯度的模块；用以根据所述中心分数产生多个标记的模块；以及用以根据所述遮罩、所述梯度与所述标记执行一分水岭演算法的模块。10.如权利要求6所述的电子装置，其特征在于，还包括：用以计算每一个所述脂滴的所述边缘机率值的平均以作为对应的所述脂滴的一边缘分数的模块；以及如果所述边缘分数小于一第三临界值，用以删除对应的所述脂滴的模块。

技术总结
本发明提出一种病理切片影像的脂滴分割方法与电子装置。脂滴分割方法包括：将病理切片影像输入至机器学习模型以输出区域图以及边缘图，区域图包括多个区域机率值，边缘图包括多个边缘机率值；根据区域机率值与边缘机率值分割出病理切片影像中的多个脂滴。借此可以客观的辨识出脂滴。客观的辨识出脂滴。客观的辨识出脂滴。


技术研发人员：詹宝珠 蔡弘文 吴俊忻 林于暄 郑国顺
受保护的技术使用者：詹宝珠
技术研发日：2023.02.22
技术公布日：2023/9/11