一种基于多源染色数据的宫颈病理图像融合方法与流程

1.本发明属于医学图像处理领域，具体涉及一种基于多源染色数据的宫颈病理图像融合方法。


背景技术：

2.传统的宫颈癌的诊断方案需要在显微镜下人工寻找病变区域，然后病理学家再整合样本中所有的病变信息给出最终的诊断结果。这样的诊断方式是极其低效的，需要耗费大量的人力物力。此外，人工诊断依赖病理专家的经验与就诊状态，人为主观性强。随着数字化图像采集设备、数字病理学和医学图像处理技术的飞速发展，计算机辅助诊断技术(computer aided diagnosis,cad)被广泛用于各种医学图像处理领域。通过计算机模拟分析宫颈病理图像，可以辅助医生提供更客观、精准的诊断结果，减轻医生工作负担，提高诊断效率。组织病理诊断是癌症诊断的金标准，宫颈癌的诊断主要是基于he染色的宫颈组织病理图像完成的。而免疫组化p16和ki67检查，是两种用于宫颈癌和癌前病变的辅助诊断方式，p16是直接参与细胞周期调控的抑癌基因，而ki67则是提示细胞增殖情况的标志物。如果这两项都明显增高，则提示患者出现恶性肿瘤的可能性大。目前在宫颈癌病理诊断领域，p16和ki67往往是两项独立的辅助测试，没能有效的与he染色图像结合起来，进一步提高诊断的可靠性。
3.综上所述，本发明提出的宫颈组织病理图像融合方法，运用图像拼接和配准算法，自动提取匹配特征点，可以有效地融合三种不同染色的宫颈组织病理图像，提高宫颈癌的检出率。
4.本公司的中国专利文献cn114187334b中记载了一种基于he染色、ki67、p16结合的相邻切片图像叠合对齐方法，其中记载了通过采用先提取轮廓对齐，获取像素位移数据，然后再在全景影像中执行的方案。但专利文献中用到的轮廓识别法没有本发明中提供的寻找匹配点的方法精确。


技术实现要素：

5.针对上述背景技术中存在的问题，本发明提出一种基于多源染色数据的宫颈病理图像融合方法，实现了对宫颈组织病理图像的融合显示，用于辅助医生诊断，提高病理医生的诊断效率。
6.本发明所采用的技术方式是：一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，包括以下步骤：
7.s1：收集宫颈组织病理he染色图像和免疫组织化学ki67与p16染色图像；
8.s2：读取步骤s1中的初始数据并进行预处理操作；
9.s3：构建特征匹配模型，寻找同组织上的特征匹配点；
10.s4：使用步骤s3构建的匹配模型，以he染色图像为原始图像，ki67与p16染色图像为待匹配图像，在ki67与p16染色图像上寻找原始图像的匹配点；
11.s5：筛选匹配模型获得的初始匹配点；利用匹配点筛选算法删除差异大的匹配点，保留局部一致性较好的匹配；
12.s6：利用步骤s5获得的最终匹配，计算待匹配图像(ki67和p16染色图像)和原始图像(he染色图像)的单应性矩阵；
13.s7：将ki67和p16染色图像根据单应性矩阵进行图像变换，获得配准对齐后的图像，按照一定的比例显现在原始he图像上，实现最终的三种数据源的宫颈组织病理图像的融合。
14.在上述的一种基于多源染色数据的宫颈病理图像融合方法，步骤s1中的三种数据为宫颈组织同一部位上的切片获得的图像，图像中组织结构应大体相似，只存在微小形变与位移。
15.在上述的一种基于多源染色数据的宫颈病理图像融合方法，步骤s2中所述的预处理操作包括图像的调整与拼接，将扫描获取的wsi底层图像统一调整至1024*1024大小，并将所有底层图像拼接成一张大图，并进行图像标准化操作。
16.在上述的一种基于多源染色数据的宫颈病理图像融合方法，步骤s3中所述的特征匹配模型为尺度不变特征变换(scale-invariant feature transform，sift)模型。sift模型具体是：利用不同值的高斯核构建图像尺度空间，然后使用高斯差分函数计算并搜索所有尺度上都存在的特征点，即对尺度和方向不变的潜在兴趣点。
17.在上述的一种基于多源染色数据的宫颈病理图像融合方法，步骤s5中所述的匹配点筛选算法为自适应局部仿射匹配(adaptive locally-affine matching，adalam)算法。
18.在上述的一种基于多源染色数据的宫颈病理图像融合方法，步骤s6中所述的单应性矩阵为原始图像和待配准图像的两个平面投影之间的映射矩阵，可以描述两幅图像的位置变化关系。
19.在上述的一种基于多源染色数据的宫颈病理图像融合方法，步骤s7中所述的图形融合的比例值为0.5。
20.本发明对比已有研究具有以下优点：
21.1、本发明使用了一种新的宫颈组织病理图像融合方法，有效的融合了三种不同染色的图像，提升了病理医生的诊断准确率和效率；
22.2、本发明根据宫颈癌的诊断方式，综合各种辅助诊断的图像来源，集成显示多源数据，突显了可疑病变区域特征，方便了医生进行综合诊断；
23.3、本发明使用了自适应局部仿射匹配adalam算法，高效快速地滤除了不精确的匹配点，提高了待融合图像的匹配程度，精确了单应性矩阵的计算，提升了最终的融合效果。
附图说明
24.图1为本发明的工作流程图；
25.图2为本发明实施例中底层图像拼接效果示意图；
26.图3为本发明实施例中高斯差分金字塔的结构图；
27.图4为本发明实施例中图像融合的最终效果示意图。
具体实施方式
28.为了便于本领域普通技术人员理解和实施本发明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.请参阅附图1～4，本发明提出基于多源染色数据的宫颈病理图像融合方法，包括如下步骤：
30.s1：收集宫颈组织病理he染色图像和免疫组织化学ki67与p16染色图像；
31.本实施例中，使用扫描仪收集的he染色、ki67与p16染色图像每个感受野即每个扫描窗口最终获取的图像大小均为1024*1024；
32.s2：读取步骤s1中的初始数据并进行预处理操作；
33.本实施例中，所述的预处理操作包括图像的调整与拼接，底层图像拼接前统一使用resize函数调整图像至1024*1024大小，并为带拼接图像生成空白掩码图(宽为：r*1024，高为：c*1024)。其中，r是c分别为底层图像的总行数与总列数。将所有底层图像像素值填入空白掩码图中，拼接成一张大图，并进行基于图像腐蚀和膨胀方法的空洞填充的标准化操作。底层图像拼接效果示意图如附图2所示；
34.s3：构建特征匹配模型，寻找同组织上的特征匹配点；
35.本实施例中，所述的特征匹配模型为尺度不变特征变换(scale-invariant feature transform，sift)模型。sift模型具体是：利用不同值的高斯核构建尺度空间，如附图3所示。然后使用高斯差分函数计算并搜索所有尺度上都存在的特征点，即对尺度和方向不变的潜在兴趣点，最终每个关键点的可被描述为以下几个部分：坐标、尺度、主方向和方向梯度描述子(128维)。高斯尺度空间可表示为如下：
36.l(x,y,σ)＝g(x,y,σ)*i(x,y)
37.其中，i(x,y)是构建尺度空间的图像，g(x,y,σ)是高斯核函数，表达式如下：
[0038][0039]
s4：使用步骤s3构建的匹配模型，以he染色图像为原始图像，ki67与p16染色图像为待匹配图像，在ki67与p16染色图像上寻找原始图像的匹配点；
[0040]
本实施例中，匹配点的判断使用欧式距离，表达式如下：
[0041][0042]
找出待匹配图像(ki67或p16染色图像)与原始图像(he染色图像)中关键点欧式距离最近的两个点，若最近的距离除以次近的距离小于设定的阈值ratio(本实施例中，ratio＝0.5)，则这一对匹配点寻找成功；
[0043]
s5：筛选匹配模型获得的初始匹配点；利用匹配点筛选算法删除差异大的匹配点，保留局部一致性较好的匹配；
[0044]
本实施例中，所述的匹配点筛选算法为自适应局部仿射匹配(adaptive locally-affine matching，adalam)算法。adalam算法的流程如下：根据sift已找到的匹配点，首先选取置信度高且分布较好的点作为“种子点”，然后在“种子点”一定半径内，进行自适应仿射校验，即“种子点”半径内的匹配点做局部仿射变换，则可以得到位置残差，然后设定一个
置信度，当置信度大于阈值时，表示该匹配拟合较好，视为内点，其余为外点，最终输出所有内点为最终的匹配点；
[0045]
s6：利用步骤s5获得的最终匹配，计算待匹配图像(ki67和p16染色图像)和原始图像(he染色图像)的单应性矩阵。
[0046]
本实例中，所述的单应性矩阵为原始图像和待配准图像的两个平面投影之间的映射矩阵，可以描述两幅图像的位置变化关系。若两幅图像中的匹配点分别为p1和p2，则两者的位置关系可表示为如下：
[0047]
p1＝hp2[0048]
其中，h为3*3的单应性矩阵，若用齐次坐标表示p1和p2，则表达式如下：
[0049][0050]
s7：将ki67和p16染色图像根据单应性矩阵进行图像变换，获得配准对齐后的图像，按照一定的比例显现在原始he图像上，实现最终的三种数据源的宫颈组织病理图像的融合。
[0051]
在本实施例中，所述的图像融合的比例值设为0.5,最终的多源图像融合效果图如附图4所示。
[0052]
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多源染色数据的宫颈病理图像融合方法，其特征在于该方法包括以下步骤：s1：收集宫颈组织病理he染色图像和免疫组织化学ki67与p16染色图像；s2：读取步骤s1中的初始数据并进行预处理操作；s3：构建特征匹配模型，寻找同组织上的特征匹配点；s4：使用步骤s3构建的匹配模型，以he染色图像为原始图像，ki67与p16染色图像为待匹配图像，在ki67与p16染色图像上寻找原始图像的匹配点；s5：利用步骤s5获得的最终匹配，计算待匹配图像和原始图像的单应性矩阵，其中待匹配图像指ki67与p16染色图像，原始图像指he染色图像；s6：将ki67和p16染色图像根据单应性矩阵进行图像变换，获得配准对齐后的图像，按照一定的比例显现在原始he图像上，实现最终的三种数据源的宫颈组织病理图像的融合。2.根据权利要求1所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，步骤s1所述的三种数据为宫颈组织同一部位上的切片获得的图像，图像中组织结构应大体相似，并具有共同的形状特征。3.根据权利要求1所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，步骤s2所述的预处理操作包括图像的调整与拼接，将扫描获取的wsi底层图像统一调整至1024*1024大小，并将所有底层图像拼接成一张大图，并进行图像标准化操作。4.根据权利要求1所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，步骤s3所述的特征匹配模型为尺度不变特征变换模型；sift模型具体是：利用不同值的高斯核构建图像尺度空间，然后使用高斯差分函数计算并搜索所有尺度上都存在的特征点，即对尺度和方向不变的潜在兴趣点，最终每个关键点的可被描述为以下几个部分：坐标、尺度、主方向和方向梯度描述子，高斯尺度空间可表示为如下：l(x,y,σ)＝g(x,y,σ)*i(x,y)其中，i(x,y)是构建尺度空间的图像，g(x,y,σ)是高斯核函数，表达式如下：5.根据权利要求1所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，步骤s4之后还进行以下步骤：筛选匹配模型获得的初始匹配点；利用匹配点筛选算法删除差异大的匹配点，保留局部一致性较好的匹配，用于下一步的计算。6.根据权利要求5所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，筛选匹配点所用的算法为自适应局部仿射匹配算法，算法流程如下：根据sift已找到的匹配点，首先选取置信度高且分布较好的点作为“种子点”，然后在“种子点”一定半径内，进行自适应仿射校验，即“种子点”半径内的匹配点做局部仿射变换，则可以得到位置残差，然后设定一个置信度，当置信度大于阈值时，表示该匹配拟合较好，视为内点，其余为外点，最终输出所有内点为最终的匹配点。7.根据权利要求1所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，步骤s6所述的单应性矩阵为原始图像和待配准图像的两个平面投影之间的映射矩阵，可以描述两幅图像的位置变化关系；单应性矩阵为原始图像和待配准图像的两个平面投影之间的映射矩阵，可以描述两幅图像的位置变化关系；若两幅图像中的匹配点分别为p1和
p2，则两者的位置关系可表示为如下：p1＝hp2其中，h为3*3的单应性矩阵，若用齐次坐标表示p1和p2，则表达式如下：8.根据权利要求1所述的一种基于多源染色数据的宫颈病理图像融合方法，其特征在于，步骤s7所述的图形融合的比例值为0.5。

技术总结
本发明公开了一种基于多源染色数据的宫颈病理图像融合方法，首先，采集不同染色的宫颈组织病理图像，共有三种类型的图像源：HE染色组织病理图像，Ki67染色免疫组化图像和P16染色免疫组化图像。然后使用特征匹配方法，将三种染色图像的相同位点进行匹配，最后将三幅图像进行配准，融合在一起进行最终的显示输出。本发明的方法相较于其他宫颈癌细胞分类方法，关注样本内环境特征以及不同特征的融合使用。本发明有效地将免疫组化图像和组织病理图像融合，从而辅助医生给定病变级别以及观察病理的发展方向，提高诊断效率，具有较高的实用价值。价值。价值。


技术研发人员：刘娟 江鹏 田志超
受保护的技术使用者：武汉兰丁智能医学股份有限公司
技术研发日：2023.04.12
技术公布日：2023/7/28