全局-局部特征融合的病理图像虚拟重染色方法和装置

1.本发明属于病理图像智能分析技术领域，具体涉及一种全局-局部特征融合的病理图像虚拟重染色方法和装置。


背景技术：

2.病理检查是疾病诊断特别是癌症诊断的金标准。通过对病理切片染色，不同的染料可以与组织或细胞中的不同成分相互作用，从而更容易区分不同的微观结构、异常物质和病变。在各种染色方法中，最常见和基本的一种是苏木精-伊红(he)染色。但是仅凭he染色的结果，很多时候还不足以做出精准诊断，因此，还需要基于抗原和抗体特异性结合的免疫组织化学染色(ihc)来辅助诊断，例如帮助医生消除阅片中的不确定因素。通常来说，癌症的诊断需要多种ihc染色结果相互辅助，因此使得它比较复杂、耗时，同时，也使得检查的费用变得昂贵。由于ihc的缺点，虚拟重染色技术旨在从一种染色切片图像(通常是he)生成另一种类型的虚拟重染色图像。该图像可以准确刻画相应类型的染色图像，达到和真实染色高度接近的效果。基于此，真实的染色过程可以不必再执行，这可以减少病理诊断过程中材料、金钱和时间的消耗。
3.近年来，已经有相当多的工作致力于研究高保真的虚拟重染色方法。虚拟重染色任务接近于自然图像的风格迁移，因此可以将风格迁移方法应用于虚拟重染色。由于病理图像通常是不成对的，因此虚拟重染色一般采用无监督的方法。当前的研究在先进风格迁移模型的基础上，根据病理图像的特点进行了一些改进，已经取得了较好的效果。其发展脉络大致如下：
4.在amallahiani,jacobgildenblat,irinaklaman,shadialbarqouni,nassirnavab,andeldadklaiman.virtualizationoftissuestainingin digitalpathologyusinganunsuperviseddeeplearningapproach.in europeancongressondigitalpathology,pages47
–
55.springer,2019的文献中，使用基于cyclegan的方法实现了fap-ck到ki67-cd8的无监督虚拟重染色，并在进行图像块拼接后处理时添加了重叠区。实验表明该方法在大多数情况下能够生成较为真实的fap-ck图像，同时通过对真实图像和生成图像中肿瘤细胞和fap的定量比较验证了方法的可靠性。
5.在xinyangli,guoxunzhang,huiqiao,fengbao,yuedeng,jiaminwu,yangfanhe,jingpingyun,xinglin,haoxie,etal.unsupervisedcontent-preservingtransformationforopticalmicroscopy.light:science&applications,10(1):1
–
11,2021.的文献中，提出显著性约束损失来定位图像内容，确保在进行跨域风格转换时显著性图保持不变，从而避免图像内容的失真。该方法可以很好地保存语义信息以供进一步的生物医学分析，在不同的成像条件和方式下实现了稳定且高保真的图像转换。
6.在hutingliu,baochangzhang,yiqingliu,anjiahan,huijuanshi,tianguan,andyonghonghe.unpairedstaintransferusing pathology-consistentconstrainedgenerativeadversarialnetworks.ieee transactionsonmedicalimaging,40(8):1977
–
1989,
2021.的文献中，在cyclegan的基础上添加了病理表征网络来挖掘输入图像的病理表征热力图，同时引入了病理一致性约束以弥补cyclegan的不足，保证生成的图像与原图像在不同染色域具有相同的病理特性。另外还通过加入结构一致性约束和跳跃连接来进一步提高模型性能，取得了具有竞争力的结果。
7.但是，与自然图像相比，病理图像也有其自身的特点。病理图像的分辨率通常远远大于自然图像，由于gpu内存有限，整张图像不能一次性放入到内存中进行整体染色转换。大多数现有的虚拟重染色模型通过将wsi图像分割成较小的图像块进行训练和推理，然后通过后处理将这些图像块拼接成wsi图像来解决这个问题。这导致相邻块之间的颜色和亮度存在差异，这种现象被称为方块效应。事实上，方块效应的存在是因为基于块的虚拟重染色缺乏全局信息，导致特别是对于具有不同组织结构的区域和边界区域而言，相邻块之间色调、对比度和亮度不匹配。此外，由于每个图像块的染色都是独立的，因此即使是具有相似组织结构的图像块之间也可能存在一些颜色差异。现有研究大多都是在图像块层次去研究虚拟重染色模型，没有考虑全局信息，导致方块效应严重。但近期也有一些研究试图解决这一问题，举例如下：
8.在amallahiani,irinaklaman,nassirnavab,shadialbarqouni,andeldadklaiman.seamlessvirtualwholeslideimagesynthesisand validationusingperceptualembeddingconsistency.ieeejournalof biomedicalandhealthinformatics,25(2):403
–
411,2020.的文献中，提出了感知嵌入一致性损失来迫使生成器学习颜色、亮度和对比度等特征。该方法的实验证明了感知嵌入一致性损失能够在一定程度上减弱方块效应。但是，感知嵌入一致性损失仅仅针对每个图像块进行计算，并未考虑更多的全局信息，因而其作用仍然是有限的。
9.在ming-yangho,min-shengwu,andche-mingwu.ultra-high-resolutionunpairedstaintransformationviakernelized instancenormalization.ineuropeanconferenceoncomputervision,pages490
–
505.springer,2022的文献中，其尝试使用周边图像块的平均值和标准差来校正中心图像块的平均值和标准差，以达到降低相邻图像块间颜色差异的目的。该方法在公开数据集anhir和私人数据集上取得了较好的效果。但是，该方法的参数是人为设计而非学习得到的，因而泛化性较差，难以直接应用到其他数据集上。
10.综上，由于临床诊断中需要的是高保真的wsi图像，在病理图像虚拟重染色任务中，方块效应问题依然是现有技术中一个亟待解决的痛点。现存的方法均存在一定的问题，或没有考虑图像的全局信息，或泛化性较差。


技术实现要素：

11.本发明是为了解决上述问题而进行的，目的在于提供一种全局-局部特征融合的病理图像虚拟重染色方法和装置。
12.本发明提供了一种全局-局部特征融合的病理图像虚拟重染色方法，用于对染色切片图像进行虚拟重染色得到对应的虚拟重染色图像，具有这样的特征，包括以下步骤：步骤s1，构建包括全局分支和局部分支的病理图像虚拟重染色网络，再根据现有病理图像对病理图像虚拟重染色网络进行训练，得到训练好的病理图像虚拟重染色网络作为病理图像虚拟重染色模型；步骤s2，将染色切片图像输入病理图像虚拟重染色模型，得到虚拟重染色
图像，其中，病理图像虚拟重染色模型对染色切片图像的处理具体包括以下子步骤：步骤t1，对染色切片图像进行下采样得到整体图像作为全局特征图；步骤t2，对染色切片图像进行切分得到多个图像块作为局部特征图；步骤t3，对全局特征图依次进行卷积、空间注意力和通道注意力处理，得到新全局特征图；步骤t4，对局部特征图依次进行卷积、空间注意力、通道注意力和图像块级注意力处理，得到新局部特征图；步骤t5，根据每个图像块在染色切片图像中的对应位置，对新全局特征图进行切分并上采样，再将上采样结果与新局部特征图在通道维度进行拼接，得到全局-局部融合特征图作为局部特征图；步骤t6，根据每个图像块在染色切片图像中的对应位置，对新局部特征图进行拼合并下采样，再将下采样结果与新全局特征图在通道维度进行拼接，得到局部-全局融合特征图作为全局特征图；步骤t7，重复执行步骤t3至步骤t6两次，再将全局特征图和局部特征图分别进行残差处理，分别得到全局残差特征图和局部残差特征图；步骤t8，将全局残差特征图与全局特征图进行拼接，再进行上采样，得到第一全局上采样特征图；步骤t9，将局部残差特征图与局部特征图进行拼接，再进行上采样，得到第一局部上采样特征图；步骤t10，将第二次得到的局部-全局融合特征图与第一全局上采样特征图进行拼接，再进行上采样，得到第二全局上采样特征图；步骤t11，将第二次得到的全局-局部融合特征图与第一局部上采样特征图进行拼接，再进行上采样，得到第二局部上采样特征图；步骤t12，将第二全局上采样特征图、第二局部上采样特征图和第一次得到的全局-局部融合特征图在通道维度进行拼接得到拼接特征图，再将拼接特征图经由输出头得到虚拟重染色图像。
13.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，在步骤t1中，下采样后整体图像的分辨率与图像块的分辨率相同，在步骤t2中得到多个图像块的具体过程为：将分辨率为h
×
w的染色切片图像按顺序切分为分辨率为h
×
w的图像块，相邻的图像块之间有k个像素交叠。
14.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，在步骤t3和步骤t4中，空间注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第二维度上根据平均和最大池化方法，分别得到对应的两个空间注意力特征图，再对两个空间注意力特征图在通道维度进行拼接后依次经由卷积层和sigmoid函数得到最终空间注意力特征图，再将最终空间注意力特征图与输入的特征图相乘，作为空间注意力处理的输出。
15.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，在步骤t3和步骤t4中，通道注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第三和第四维度上根据平均和最大池化方法，分别得到对应的两个通道注意力特征图，再对两个通道注意力特征图进行相加再经由sigmoid函数得到最终通道注意力特征图，再将最终通道注意力特征图与输入的特征图相乘，作为通道注意力处理的输出。
16.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，步骤t4中，图像块级注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第二、第三和第四维度上根据平均和最大池化方法，分别得到对应的两个图像块级注意力特征图，再对两个图像块级注意力特征图在通道维度进行拼接再依次经由卷积和sigmoid函数得到最终图像块级注意力特征图，再将最终图像块级注意力特征图与
输入的特征图相乘，作为图像块级注意力处理的输出。
17.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，在步骤t8和步骤t9中，上采样为通过上采样块对拼接后得到的特征图进行处理，上采样块包括转置卷积层、实例归一化层和relu函数。
18.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，在步骤t12中，输出头包括卷积层和tanh函数。
19.在本发明提供的全局-局部特征融合的病理图像虚拟重染色方法中，还可以具有这样的特征：其中，在训练过程中，将第二全局上采样特征图和第一次得到的局部-全局融合特征图依次经由卷积和tanh函数，得到目标域生成图像，用于全局分支的损失函数计算，将第二局部上采样特征图和第一次得到的全局-局部融合特征图依次经由卷积和tanh函数得到目标域生成图像块，用于局部分支的损失函数计算。
20.本发明还提供一种全局-局部特征融合的病理图像虚拟重染色装置，用于对染色切片图像进行虚拟重染色得到对应的虚拟重染色图像，具有这样的特征，包括：图像输入模块，用于接收待重染色的染色切片图像；虚拟重染色模块，用于对染色切片图像进行处理，得到虚拟重染色图像；结果显示模块，用于显示虚拟重染色图像，其中，虚拟重染色模块包括全局编码器子模块、局部编码器子模块、全局中间子模块、局部中间子模块和解码器子模块，全局编码器子模块用于根据下采样后的染色切片图像进行第一次卷积-注意力处理得到第一全局特征图，对第一全局特征图和第一局部特征图进行局部-全局融合再进行第二次卷积-注意力处理得到第二全局特征图，对第二全局特征图和第二局部特征图进行局部-全局融合再进行第三次卷积-注意力处理得到第三全局特征图，局部编码器子模块用于根据染色切片图像切分后得到的多个图像块进行第一次卷积-注意力处理得到第一局部特征图，对第一局部特征图和第一全局特征图进行全局-局部融合再进行第二次卷积-注意力处理得到第二局部特征图，对第二局部特征图和第二全局特征图进行全局-局部融合再进行第三次卷积-注意力处理得到第三局部特征图，全局中间子模块用于对第三全局特征图和第三局部特征图进行局部-全局融合再进行残差处理，得到全局残差特征图，局部中间子模块用于对第三全局特征图和第三局部特征图进行全局-局部融合再进行残差处理，得到局部残差特征图，解码器子模块用于根据全局残差特征图、第三全局特征图和第二全局特征图进行上采样，得到全局上采样特征图，并根据局部残差特征图、第三局部特征图和第二局部特征图进行上采样，得到局部上采样特征图，再根据第一局部特征图、全局上采样特征图和局部上采样特征图得到虚拟重染色图像，病理图像虚拟重染色模型为通过如上任意一项的全局-局部特征融合的病理图像虚拟重染色方法构建得到。
21.发明的作用与效果
22.根据本发明所涉及的全局-局部特征融合的病理图像虚拟重染色方法和装置，因为通过构建全局分支和局部分支，分别通过三次卷积和注意力处理对全局信息和局部信息进行特征提取得到全局特征和局部特征，并在此过程中通过特征融合在全局分支中将全局特征和对应的局部特征进行融合得到新的全局特征，在局部分支中将局部特征和对应的全局特征进行融合得到新的局部特征，通过多次特征融合将全局信息和局部信息进行融合从而学习到图像块之间的信息，进而提高生成图像块间的色彩、亮度、对比度上的关联性。所以，本发明的全局-局部特征融合的病理图像虚拟重染色方法和装置能够较好地解决方块
效应，从而使虚拟重染色图像更接近真实染色效果。
附图说明
23.图1是本发明的实施例中病理图像虚拟重染色模型的构成及工作原理示意图；
24.图2是本发明的实施例中全局-局部特征融合的病理图像虚拟重染色方法的流程示意图；
25.图3是本发明的实施例中病理图像虚拟重染色模型对染色切片图像进行处理的流程示意图；
26.图4是本发明的实施例中染色切片图像切分得到图像块的示意图；
27.图5是本发明的实施例中全局-局部特征融合的病理图像虚拟重染色装置的框架示意图。
具体实施方式
28.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明全局-局部特征融合的病理图像虚拟重染色方法和装置作具体阐述。
29.本实施例的全局-局部特征融合的病理图像虚拟重染色方法采用训练好的病理图像虚拟重染色网络作为病理图像虚拟重染色模型对病理切片图像进行虚拟重染色得到虚拟重染色图像。
30.图1是本发明的实施例中病理图像虚拟重染色模型的构成及工作原理示意图。
31.如图1所示，病理图像虚拟重染色模型200包括：全局分支210、局部分支220和输出头230，全局分支210包括依次连接的三个卷积+注意力块211、残差块212和两个上采样块213，局部分支220包括依次连接的三个卷积+注意力块221、残差块222和两个上采样块223，其工作原理为：病理图像虚拟重染色模型200对染色切片图像进行下采样，再将下采样得到的整体图像作为全局分支210的输入，同时对染色切片图像进行切分，再将切分得到的多个图像块作为局部分支220的输入，再通过特征融合将局部分支220中图像块的局部信息融入全局分支210，并将全局分支210中整体图像的全局信息融入局部分支220，最后将全局分支210和局部分支220的输出一起经由输出头230处理，则得到虚拟重染色图像。
32.本实施例中染色切片图像为苏木精-伊红染色后的病理切片图像，虚拟重染色图像为基于抗原和抗体特异性结合的免疫组织化学染色的图像。
33.图2是本发明的实施例中全局-局部特征融合的病理图像虚拟重染色方法的流程示意图。
34.如图2所示，本实施例的全局-局部特征融合的病理图像虚拟重染色方法，用于对染色切片图像进行虚拟重染色得到对应的虚拟重染色图像，包括以下步骤：
35.步骤s1，构建包括全局分支和局部分支的病理图像虚拟重染色网络，再根据现有病理图像对病理图像虚拟重染色网络进行训练，得到训练好的病理图像虚拟重染色网络作为病理图像虚拟重染色模型200，本实施例中病理图像虚拟重染色网络基于cyclegan框架构建得到。
36.步骤s2，将染色切片图像输入病理图像虚拟重染色模型200，得到虚拟重染色图
像。
37.图3是本发明的实施例中病理图像虚拟重染色模型对染色切片图像进行处理的流程示意图。
38.如图3所示，病理图像虚拟重染色模型对染色切片图像的处理具体包括以下子步骤：
39.步骤t1，对染色切片图像进行下采样得到整体图像作为全局特征图，本实施例中染色切片图像的分辨率为1600
×
1600，全局特征图的大小为448
×
448。
40.其中，下采样后整体图像的分辨率与图像块的分辨率相同。
41.步骤t2，对染色切片图像进行切分得到多个图像块作为局部特征图。
42.图4是本发明的实施例中染色切片图像切分得到图像块的示意图。
43.如图4所示，左侧为分辨率为h
×
w的染色切片图像，右侧为将染色切片图像按按照三行三列的顺序切分得到的9个分辨率为h
×
w的图像块，相邻的图像块之间有k个像素交叠，例如对于第二行第二列即中心处的图像块，与四个其他图像块相邻，则该图像块中有(h-2*k)
×
(w-2*k)个像素不与其他图像块交叠，有2*h*k+2*w*k-4*k*k个像素与其他四个图像块交叠，本实施例中以k＝64像素对染色切片图像切分，得到448
×
448的图像块。
44.步骤t3，对全局特征图依次进行卷积、空间注意力和通道注意力处理，得到新全局特征图。
45.步骤t4，对局部特征图依次进行卷积、空间注意力、通道注意力和图像块级注意力处理，得到新局部特征图。
46.其中，空间注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第二维度即c上根据平均和最大池化方法，分别得到对应的两个空间注意力特征图，再对两个空间注意力特征图在通道维度进行拼接后依次经由卷积层和sigmoid函数得到最终空间注意力特征图，再将最终空间注意力特征图与输入的特征图相乘，作为空间注意力处理的输出，本实施例中n为特征图的数量，c为通道数，h为高，w为宽。
47.通道注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第三和第四维度即h和w上根据平均和最大池化方法，分别得到对应的两个通道注意力特征图，再对两个通道注意力特征图进行相加再经由sigmoid函数得到最终通道注意力特征图，再将最终通道注意力特征图与输入的特征图相乘，作为通道注意力处理的输出。
48.图像块级注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第二、第三和第四维度即c、h和w上根据平均和最大池化方法，分别得到对应的两个图像块级注意力特征图，再对两个图像块级注意力特征图在通道维度进行拼接再依次经由卷积和sigmoid函数得到最终图像块级注意力特征图，再将最终图像块级注意力特征图与输入的特征图相乘，作为图像块级注意力处理的输出。
49.步骤t5，根据每个图像块在染色切片图像中的对应位置，对新全局特征图进行切分并上采样，再将上采样结果与新局部特征图在通道维度进行拼接，得到全局-局部融合特征图作为局部特征图。
50.步骤t6，根据每个图像块在染色切片图像中的对应位置，对新局部特征图进行拼合并下采样，再将下采样结果与新全局特征图在通道维度进行拼接，得到局部-全局融合特征图作为全局特征图。
51.步骤t7，重复执行步骤t3至步骤t6两次，再将全局特征图和局部特征图分别进行残差处理，分别得到全局残差特征图和局部残差特征图，本实施例中残差处理为包含6个残差块的中间层，在此过程中通道数不发生改变，本实施例中重复执行步骤t3至步骤t6两次即图2中判断是否“已重复执行2次”，使整个流程中步骤t3至步骤t6一共执行了3次，在此过程中全局分支和局部分支分别进行三次卷积，三次卷积的卷积核大小均分别为7
×
7、3
×
3和3
×
3，对应的卷积输出通道数均分别为32、64和128。
52.步骤t8，将全局残差特征图与全局特征图进行拼接，再进行上采样，得到第一全局上采样特征图。
53.步骤t9，将局部残差特征图与局部特征图进行拼接，再进行上采样，得到第一局部上采样特征图。
54.其中，在步骤t8和步骤t9中，上采样为通过上采样块对拼接后得到的特征图进行处理，上采样块包括转置卷积层、实例归一化层和relu函数，本实施例中转置卷积层的转置卷积核大小为3
×
3。
55.步骤t10，将第二次得到的局部-全局融合特征图与第一全局上采样特征图进行拼接，再进行上采样，得到第二全局上采样特征图。
56.步骤t11，将第二次得到的全局-局部融合特征图与第一局部上采样特征图进行拼接，再进行上采样，得到第二局部上采样特征图。
57.步骤t12，将第二全局上采样特征图、第二局部上采样特征图和第一次得到的全局-局部融合特征图在通道维度进行拼接得到拼接特征图，再将拼接特征图经由输出头得到虚拟重染色图像。
58.其中，输出头230包括卷积层和tanh函数，本实施例中该卷积层的核大小为7
×
7，输出头230的输出为448
×
448大小的图像块，再经过处理后得到1600
×
1600大小的虚拟重染色图像。
59.本实施例中通过现有病理图像构建训练数据集，对病理图像虚拟重染色网络进行140轮的训练，其中使用不变的学习率训练70轮，使用线性衰减学习率训练70轮，则得到训练完成的病理图像虚拟重染色网络。
60.其中，在病理图像虚拟重染色网络的训练过程中，将第二全局上采样特征图和第一次得到的局部-全局融合特征图依次经由卷积和tanh函数，得到目标域生成图像，用于全局分支的损失函数计算，将第二局部上采样特征图和第一次得到的全局-局部融合特征图依次经由卷积和tanh函数得到目标域生成图像块，用于局部分支的损失函数计算。
61.本实施例中通过公开数据集anhir的breast子集和lunglesion子集，对病理图像虚拟重染色模型进行虚拟重染色效果评估，对病理图像虚拟重染色模型计算得到的虚拟重染色图像计算css指标，得到在breast子集上的css指标为87.59％，在lunglesion子集上的css指标为93.56％，相较于现有方法构建的模型达到了领先水平。
62.本实施例还提供一种全局-局部特征融合的病理图像虚拟重染色装置，用于实现本实施例的全局-局部特征融合的病理图像虚拟重染色方法。
63.图5是本发明的实施例中全局-局部特征融合的病理图像虚拟重染色装置的框架示意图。
64.如图5所示，病理图像虚拟重染色装置100包括：图像输入模块10、虚拟重染色模块
20和结果显示模块30。
65.图像输入模块10，用于接收待重染色的染色切片图像。
66.虚拟重染色模块20，用于对染色切片图像进行处理，得到虚拟重染色图像，虚拟重染色模块20根据本实施例中病理图像虚拟重染色模型200构建得到。
67.虚拟重染色模块20包括全局编码器子模块201、局部编码器子模块202、全局中间子模块203、局部中间子模块204和解码器子模块205。
68.全局编码器子模块201根据全局分支210的三个卷积+注意力块211构建得到，其执行的动作包括：根据下采样后的染色切片图像进行第一次卷积-注意力处理得到第一全局特征图，即步骤t3中的获得新全局特征图的动作；对第一全局特征图和第一局部特征图进行局部-全局融合再进行第二次卷积-注意力处理得到第二全局特征图，即步骤t6中的获得局部-全局融合特征图的动作，以及步骤t3中的获得新全局特征图的动作；对第二全局特征图和第二局部特征图进行局部-全局融合再进行第三次卷积-注意力处理得到第三全局特征图，即步骤t6中的获得局部-全局融合特征图的动作，以及步骤t3中的获得新全局特征图的动作。
69.局部编码器子模块202根据局部分支220的三个卷积+注意力块221构建得到，其执行的动作包括：根据染色切片图像切分后得到的多个图像块进行第一次卷积-注意力处理得到第一局部特征图，即步骤t4中的获得新局部特征图的动作；对第一局部特征图和第一全局特征图进行全局-局部融合再进行第二次卷积-注意力处理得到第二局部特征图，即步骤t5中的获得全局-局部融合特征图的动作，以及步骤t4中的获得新局部特征图的动作；对第二局部特征图和第二全局特征图进行全局-局部融合再进行第三次卷积-注意力处理得到第三局部特征图，即步骤t5中的获得全局-局部融合特征图的动作，以及步骤t4中的获得新局部特征图的动作。
70.全局中间子模块203根据全局分支210的残差块212构建得到，其执行的动作为：对第三全局特征图和第三局部特征图进行局部-全局融合再进行残差处理，得到全局残差特征图，即步骤t7中的获得全局残差特征图的动作。
71.局部中间子模块204根据局部分支220的残差块222构建得到，其执行的动作为：对第三全局特征图和第三局部特征图进行全局-局部融合再进行残差处理，得到局部残差特征图，即步骤t7中的获得局部残差特征图的动作。
72.解码器子模块205根据两个上采样块213、两个上采样块223和输出头230构建得到，其执行的动作包括：根据全局残差特征图、第三全局特征图和第二全局特征图进行上采样，得到全局上采样特征图，即步骤t8中的获得第一全局上采样特征图的动作，以及步骤t10中的获得第二全局上采样特征图的动作，根据局部残差特征图、第三局部特征图和第二局部特征图进行上采样，得到局部上采样特征图，即步骤t9中的获得第一局部上采样特征图的动作，以及步骤t11中的获得第二局部上采样特征图的动作，根据第一局部特征图、全局上采样特征图和局部上采样特征图得到虚拟重染色图像，即步骤t12中的获得虚拟重染色图像的动作。
73.结果显示模块30，用于显示虚拟重染色图像。
74.实施例的作用与效果
75.根据本实施例所涉及的全局-局部特征融合的病理图像虚拟重染色方法和装置，
通过构建全局分支和局部分支，分别通过三次卷积和注意力处理对全局信息和局部信息进行特征提取得到全局特征和局部特征，并在此过程中通过特征融合在全局分支中将全局特征和对应的局部特征进行融合得到新的全局特征，在局部分支中将局部特征和对应的全局特征进行融合得到新的局部特征，通过多次特征融合将全局信息和局部信息进行融合从而学习到图像块之间的信息，进而提高生成图像块间的色彩、亮度、对比度上的关联性。总之，本方法能够较好地解决方块效应，从而使虚拟重染色图像更接近真实染色效果。
76.上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

技术特征：
1.一种全局-局部特征融合的病理图像虚拟重染色方法，用于对染色切片图像进行虚拟重染色得到对应的虚拟重染色图像，其特征在于，包括以下步骤：步骤s1，构建包括全局分支和局部分支的病理图像虚拟重染色网络，再根据现有病理图像对所述病理图像虚拟重染色网络进行训练，得到训练好的所述病理图像虚拟重染色网络作为病理图像虚拟重染色模型；步骤s2，将所述染色切片图像输入所述病理图像虚拟重染色模型，得到所述虚拟重染色图像，其中，所述病理图像虚拟重染色模型对所述染色切片图像的处理具体包括以下子步骤：步骤t1，对所述染色切片图像进行下采样得到整体图像作为全局特征图；步骤t2，对所述染色切片图像进行切分得到多个图像块作为局部特征图；步骤t3，对所述全局特征图依次进行卷积、空间注意力和通道注意力处理，得到新全局特征图；步骤t4，对所述局部特征图依次进行卷积、空间注意力、通道注意力和图像块级注意力处理，得到新局部特征图；步骤t5，根据每个所述图像块在所述染色切片图像中的对应位置，对所述新全局特征图进行切分并上采样，再将上采样结果与所述新局部特征图在通道维度进行拼接，得到全局-局部融合特征图作为所述局部特征图；步骤t6，根据每个所述图像块在所述染色切片图像中的对应位置，对所述新局部特征图进行拼合并下采样，再将下采样结果与所述新全局特征图在通道维度进行拼接，得到局部-全局融合特征图作为所述全局特征图；步骤t7，重复执行所述步骤t3至所述步骤t6两次，再将所述全局特征图和所述局部特征图分别进行残差处理，分别得到全局残差特征图和局部残差特征图；步骤t8，将所述全局残差特征图与所述全局特征图进行拼接，再进行上采样，得到第一全局上采样特征图；步骤t9，将所述局部残差特征图与所述局部特征图进行拼接，再进行上采样，得到第一局部上采样特征图；步骤t10，将第二次得到的所述局部-全局融合特征图与所述第一全局上采样特征图进行拼接，再进行上采样，得到第二全局上采样特征图；步骤t11，将第二次得到的所述全局-局部融合特征图与所述第一局部上采样特征图进行拼接，再进行上采样，得到第二局部上采样特征图；步骤t12，将所述第二全局上采样特征图、所述第二局部上采样特征图和第一次得到的所述全局-局部融合特征图在通道维度进行拼接得到拼接特征图，再将所述拼接特征图经由输出头得到所述虚拟重染色图像。2.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，在所述步骤t1中，下采样后所述整体图像的分辨率与所述图像块的分辨率相同，在所述步骤t2中得到多个图像块的具体过程为：将分辨率为h
×
w的所述染色切片图像按顺序切分为分辨率为h
×
w的所述图像块，相邻
的所述图像块之间有k个像素交叠。3.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，在所述步骤t3和所述步骤t4中，所述空间注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第二维度上根据平均和最大池化方法，分别得到对应的两个空间注意力特征图，再对两个所述空间注意力特征图在通道维度进行拼接后依次经由卷积层和sigmoid函数得到最终空间注意力特征图，再将所述最终空间注意力特征图与输入的所述特征图相乘，作为所述空间注意力处理的输出。4.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，在所述步骤t3和所述步骤t4中，所述通道注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第三和第四维度上根据平均和最大池化方法，分别得到对应的两个通道注意力特征图，再对两个所述通道注意力特征图进行相加再经由sigmoid函数得到最终通道注意力特征图，再将所述最终通道注意力特征图与输入的所述特征图相乘，作为所述通道注意力处理的输出。5.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，所述步骤t4中，所述图像块级注意力处理的具体过程为：对于输入的尺寸为(n,c,h,w)的特征图，在第二、第三和第四维度上根据平均和最大池化方法，分别得到对应的两个图像块级注意力特征图，再对两个所述图像块级注意力特征图在通道维度进行拼接再依次经由卷积和sigmoid函数得到最终图像块级注意力特征图，再将所述最终图像块级注意力特征图与输入的所述特征图相乘，作为所述图像块级注意力处理的输出。6.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，在所述步骤t8和所述步骤t9中，所述上采样为通过上采样块对拼接后得到的特征图进行处理，所述上采样块包括转置卷积层、实例归一化层和relu函数。7.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，在所述步骤t12中，所述输出头包括卷积层和tanh函数。8.根据权利要求1所述的全局-局部特征融合的病理图像虚拟重染色方法，其特征在于：其中，在训练过程中，将所述第二全局上采样特征图和第一次得到的所述局部-全局融合特征图依次经由卷积和tanh函数，得到目标域生成图像，用于所述全局分支的损失函数计算，将所述第二局部上采样特征图和第一次得到的所述全局-局部融合特征图依次经由卷积和tanh函数得到目标域生成图像块，用于所述局部分支的损失函数计算。9.一种全局-局部特征融合的病理图像虚拟重染色装置，用于对染色切片图像进行虚拟重染色得到对应的虚拟重染色图像，其特征在于，包括：
图像输入模块，用于接收待重染色的所述染色切片图像；虚拟重染色模块，用于对所述染色切片图像进行处理，得到所述虚拟重染色图像；结果显示模块，用于显示所述虚拟重染色图像，其中，所述虚拟重染色模块包括全局编码器子模块、局部编码器子模块、全局中间子模块、局部中间子模块和解码器子模块，所述全局编码器子模块用于根据下采样后的所述染色切片图像进行第一次卷积-注意力处理得到第一全局特征图，对所述第一全局特征图和第一局部特征图进行局部-全局融合再进行第二次卷积-注意力处理得到第二全局特征图，对所述第二全局特征图和第二局部特征图进行局部-全局融合再进行第三次卷积-注意力处理得到第三全局特征图，所述局部编码器子模块用于根据所述染色切片图像切分后得到的多个图像块进行第一次卷积-注意力处理得到第一局部特征图，对所述第一局部特征图和第一全局特征图进行全局-局部融合再进行第二次卷积-注意力处理得到第二局部特征图，对所述第二局部特征图和第二全局特征图进行全局-局部融合再进行第三次卷积-注意力处理得到第三局部特征图，所述全局中间子模块用于对所述第三全局特征图和所述第三局部特征图进行局部-全局融合再进行残差处理，得到全局残差特征图，所述局部中间子模块用于对所述第三全局特征图和所述第三局部特征图进行全局-局部融合再进行残差处理，得到局部残差特征图，所述解码器子模块用于根据所述全局残差特征图、所述第三全局特征图和所述第二全局特征图进行上采样，得到全局上采样特征图，并根据所述局部残差特征图、所述第三局部特征图和所述第二局部特征图进行上采样，得到局部上采样特征图，再根据所述第一局部特征图、所述全局上采样特征图和所述局部上采样特征图得到所述虚拟重染色图像，所述病理图像虚拟重染色模型为通过权利要求1～8任意一项所述的全局-局部特征融合的病理图像虚拟重染色方法构建得到。

技术总结
本发明提供了一种全局-局部特征融合的病理图像虚拟重染色方法，具有这样的特征，包括以下步骤：步骤S1，构建包括全局分支和局部分支的病理图像虚拟重染色网络，再根据现有病理图像对病理图像虚拟重染色网络进行训练，得到训练好的病理图像虚拟重染色网络作为病理图像虚拟重染色模型；步骤S2，将染色切片图像输入病理图像虚拟重染色模型，得到虚拟重染色图像。总之，本方法能够较好地解决方块效应，从而使虚拟重染色图像更接近真实染色效果。使虚拟重染色图像更接近真实染色效果。使虚拟重染色图像更接近真实染色效果。


技术研发人员：陈智能 孙可欣 姜育刚
受保护的技术使用者：复旦大学
技术研发日：2023.06.12
技术公布日：2023/8/28