基于知识增强的胸部X光图像分类方法及成像方法

基于知识增强的胸部x光图像分类方法及成像方法
技术领域
1.本发明属于计算机视觉技术领域，具体涉及一种基于知识增强的胸部x光图像分类方法及成像方法。


背景技术：

2.基于胸部x光的自动诊断方法是计算机辅助诊断cad系统开发的关键步骤之一，近年来出现的胸部x光图像数据集具有规模大、标注良好的优点，为研究人员提供了更多探索自动诊断的资源，但由于医学图像的复杂性、疾病的多样性以及标签的不平衡分布，使得自动诊断对于研究人员而言仍然具有一定的挑战性；尽管，胸部x光的自动诊断能够有效减轻放射科医生的负担，然而，许多现有方法依赖于视觉特征或标签依赖，这对于小型或罕见疾病而言，现有方法可能缺乏鲁棒性。
3.目前，针对胸部x光的自动诊断方法主要分为两类：(1)通过大规模自然图像数据集，针对深度卷积模型进行预训练处理，基于迁移学习算法，通过胸部x光图像数据集，针对训练后的深度卷积模型进行迁移处理，同时基于全局的图像特征判断病变情况；但是由于自然图像和医学影像之间存在的巨大差异，领域知识的迁移可能存在严重的域偏移问题，且由于未关注到局部信息而无法准确定位病变的位置，导致了可解释性的欠缺；(2)利用训练集中多种标签的共现频率构造标签依赖图谱，通过构造得到图谱针对病变之间的依赖进行建模处理，但这种方法会受到训练集中标签长尾分布的限制，并且很可能出现过拟合的问题。
4.综上所述，当前的自动诊断方法在针对胸部x光进行分类时均存在一定的问题，分类的精准性欠缺、效果不够理想，分类的结果缺少泛化性。


技术实现要素：

5.本发明的目的之一在于提供一种有效性高、精准度提升、泛化性增强的基于知识增强的胸部x光图像分类方法。
6.本发明的目的之二在于提供一种包括了所述基于知识增强的胸部x光图像分类方法的成像方法。
7.本发明提供的这种基于知识增强的胸部x光图像分类方法，包括如下步骤：
8.s1.获取基准数据集，构造知识图谱；
9.s2.针对步骤s1构造的知识图谱进行节点类型区分和节点关系建模处理；
10.s3.基于步骤s1获取的数据集构建局部分类器，并针对步骤s2处理后的知识图谱进行局部分类处理；
11.s4.基于步骤s1获取的数据集、和步骤s3构建的局部分类器，构建全局分类器，并针对步骤s2处理后的知识图谱进行全局分类处理；
12.s5.采用步骤s4训练后的全局分类器，完成对实际输入x光图像的分类处理。
13.步骤s1所述的获取基准数据集，构造知识图谱，具体包括：
14.获取的基准数据集包括chest imagenome数据集、chestx-ray14数据集、vinbigdata数据集；基于chest imagenome数据集构造知识图谱kg，具体包括：
15.在chest imagenome数据集中的每一张胸部x光图像中，标注带有边界框的解剖位置，选定“位置”，并标注“位置”上发现的局部发现；
16.针对数据集中的胸部x光图像进行处理，删去不存在任何局部发现的位置，保留设定的局部发现，将“解剖位置”称为“位置”，将“局部发现”称为“属性”，构成知识图谱kg中的节点；
17.chest imagenome数据集提供了位置与属性之间的关系；各个节点通过“关系”连接，构成知识图谱kg中的“边”；构建的知识图谱kg可以用于辅助多个数据集上的病变检测。
18.步骤s2所述的针对步骤s1构造的知识图谱进行节点类型区分和节点关系建模处理，具体包括：
19.1)节点类型区分：
20.采用不同的初始化方式区分节点的类型：
21.①
位置节点：
22.利用解剖位置的感兴趣区域roi特征进行初始化，使节点的特征基于解剖位置，进而区分位置节点，具体包括：
23.将chest imagenome数据集的正面x光图像作为cnn的输入，通过faster r-cnn目标检测算法提取影像特征fi∈rd×h×w、检测输入x光中解剖位置的边界框或感兴趣区域其中，d表示视觉特征的通道数、h表示视觉特征的高度、w表示视觉特征的宽度，no是位置的数量，r表示特征向量的维度；通过在fi和b上应用roi池化，获得每个位置的roi特征用于表示知识图谱中的每个位置节点；
24.②
属性节点：
25.属性节点分布在x光图像的全部区域内，通过对fi应用空间注意力实现初始化，完成对属性节点的区分；
26.通过在空间维度上应用设定过滤器大小的卷积层和softmax函数，针对每个属性生成注意力图，通过注意力图对fi加权完成属性节点的初始化，公式如下所示：
[0027][0028][0029]
其中，是注意力图，conv2d(
·
)为滤波器大小为1
×
1的二维卷积操作，conv2d(
·
)的输入通道数为d，输出通道数为na，na是属性节点的数量，是属性特征，为上述的视觉特征；
[0030]
利用二元分类器对嵌入的每个属性节点进行分类，预测相应属性(局部发现)在整个图像中的存在情况；
[0031]
2)节点关系建模：
proposal network rpn检测每个位置，并将真实的边界框作为网络的训练目标，使得模型能够准确检测每个解剖位置，l
rcnn
表示辅助任务一的损失；
[0049]
辅助任务二：
[0050]
通过辅助任务二进行属性分类，全连通层和sigmoid函数组成分类器，辅助任务二使得模型生成的属性节点特征能够关注到图像上相应发现区域的特征，l
attr
表示辅助任务二的损失；
[0051]
采用下述公式表示局部分类训练的总损失项：
[0052]
l
total
＝l
rcnn
+l
attr
+l
local
[0053]
通过损失函数l
total
更新局部分类器的所有参数，包括faster r-cnn、attribute attention及r-cnn的参数，同时优化解剖位置检测精度和局部分类准确度。
[0054]
步骤s4所述的基于步骤s1获取的数据集、和步骤s3构建的局部分类器，构建全局分类器，并针对步骤s2处理后的知识图谱进行全局分类处理，具体包括：
[0055]
通过全局分类器实现多标签分类，同时根据数据集的差异对应不同的标签集；采用步骤s3中所述的局部分类器，基于训练后的局部分类器提取知识增强的局部特征，并应用全局-局部注意力融合全局和局部特征；
[0056]
采用chest imagenome数据集对局部分类器进行训练，固定训练后的分类器的参数作为全局分类器中的知识增强模块，并在数据集chestx-ray14和vinbigdata上进行训练；
[0057]
采用设定的位置特征属性特征以及检测分数在p
l
上应用sigmoid函数得到每个位置-属性对的概率，根据概率对属性特征进行加权，并与位置特征融合，采用下述公式描述融合过程；
[0058][0059]
其中，是每个位置的知识增强局部特征或ke特征，f
o,i
为第i个位置节点的特征，f
a,j
为第j个属性节点的特征，为第i个位置节点和第j个属性节点之间的得分，σ(
·
)表示sigmoid函数；
[0060]
设计全局-局部关注融合多粒度特征，应用cnn提取全局特征fg∈r1×d，使用fg作为查询，f
ke
作为键和值，通过注意力机制对ke特征进行，然后与全局特征融合，此操作根据位置-属性对的得分，将每个位置上可能出现的各个属性(局部发现)的信息以不同的重要性融合到位置节点的特征中，采用下述公式进行描述：
[0061][0062]
其中，f
final
∈r1×d是多标签分类的最终特征，d为特征维度，为知识增强局部特征的转置；
[0063]
应用一个全连接层将最终特征进行分类，所用公式如下：
[0064]
pg＝f
final
·
wg+b
[0065]
其中，pg是每种分类结果出现的可能性，作为全局分类的结果；wg为分类器的权重项，b为分类器的偏置项；
[0066]
损失函数为二元交叉熵，如下式所述：
[0067][0068]
其中，l为二元交叉熵损失，c是类的数量，yi是第i个类的标签，为第i个病变的预测概率。
[0069]
本发明还提供了一种包括所述的基于知识增强的胸部x光图像分类方法的成像方法，包括如下步骤：
[0070]
s6.基于步骤s5获得的分类结果，在实际的x光图像上进行二次成像处理，得到具有分类结果标记的x光图像。
[0071]
本发明提供的这种基于知识增强的胸部x光图像分类方法，通过基于胸部x光数据集，创建kg知识图谱，将现有知识融入建立的模型中，有效的改善胸部x光局部分类和全局分类的分类效果；同时本发明的有效性高、精准度提升、泛化性增强。
附图说明
[0072]
图1为本发明方法的方法流程示意图。
[0073]
图2为本发明方法提出的知识图谱和模型框架的示意图。
[0074]
图3为本发明方法在测试案例上实施的过程可视化示意图。
[0075]
图4为包括本发明方法的成像方法流程示意图。
具体实施方式
[0076]
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于知识增强的胸部x光图像分类方法，包括如下步骤：
[0077]
s1.获取基准数据集，构造知识图谱；具体包括：
[0078]
获取的基准数据集包括chest imagenome数据集、chestx-ray14数据集、vinbigdata数据集；基于chest imagenome数据集构造知识图谱knowledge graph kg，具体包括：
[0079]
如图2所示，在chest imagenome数据集中的每一张胸部x光图像中，标注带有边界框的解剖位置，选定“位置”，并标注“位置”上发现的局部发现，解剖位置包括left low lung area左下肺区域、cardiac silhouette心间隙，局部发现包括lung opacity肺浑浊、effusion积液，发现类型包括“解剖发现”、“技术评估”、“疾病”；
[0080]
针对数据集中的胸部x光图像进行处理，删去不存在任何局部发现的位置，保留类型为“解剖发现”或“疾病”的局部发现，将“解剖位置”称为“位置”，将“局部发现”称为“属性”，构成kg中的节点；
[0081]
本发明方法使用的数据集中，保留了21个解剖位置和46个局部发现；
[0082]
chest imagenome数据集提供了位置与属性之间的关系；各个节点通过“关系”连接，构成kg图中的“边”；构建的知识图谱kg可以用于辅助多个数据集上的病变检测；
[0083]
s2.针对步骤s1构造的知识图谱进行节点类型区分和节点关系建模处理；具体包括：
[0084]
1)节点类型区分：
[0085]
采用不同的初始化方式区分节点的类型：
[0086]
①
位置节点：
[0087]
利用解剖位置的感兴趣区域roi特征进行初始化，使节点的特征基于解剖位置，进而区分位置节点，具体包括：
[0088]
将chest imagenome数据集的正面x光图像作为cnn的输入，通过faster r-cnn目标检测算法提取影像特征fi∈rd×h×w、检测输入x光中解剖位置的边界框或感兴趣区域其中，d表示视觉特征的通道数、h表示视觉特征的高度、w表示视觉特征的宽度，no是位置的数量，r表示特征向量的维度；通过在fi和b上应用roi池化，获得每个位置的roi特征用于表示知识图谱中的每个位置节点；
[0089]
②
属性节点：
[0090]
属性节点分布在x光图像的全部区域内，通过对fi应用空间注意力实现初始化，完成对属性节点的区分；
[0091]
通过在空间维度上应用设定过滤器大小的卷积层和softmax函数，针对每个属性生成注意力图，通过注意力图对fi加权完成属性节点的初始化，公式如下所示：
[0092][0093][0094]
其中，是注意力图，conv2d(
·
)为滤波器大小为1
×
1的二维卷积操作，conv2d(
·
)的输入通道数为d，输出通道数为na，na是属性节点的数量，是属性特征，为上述的视觉特征；
[0095]
利用二元分类器对嵌入的每个属性节点进行分类，预测相应属性(局部发现)在整个图像中的存在情况；
[0096]
2)节点关系建模：
[0097]
应用r-gcn进行特征聚合处理，针对位置和属性的关系进行建模，具体包括：
[0098]
r-gcn通过为每种关系类型构造独立的消息传播参数，区分不同邻接节点的重要性，采用下述公式描述r-gcn的消息传播过程：
[0099][0100]
其中，是节点i在第l+1层的隐藏状态，为可学习的参数，是节点i在第
l层的隐藏状态，r是关系集，nr(i)是在关系r∈r下节点i的邻居，cr是归一化参数，为基于关系r∈r的可学习的参数，是节点j在第l层的隐藏状态；
[0101]
通过将节点的初始化特征输入到串联连接的两层r-gcn，获得最终的嵌入和和分别为融合了知识结构的位置节点和属性节点的隐藏表示。最终获得的嵌入用于计算每个位置上每个属性节点的得分，以确定该属性节点对应的局部发现是否出现在此位置上；
[0102]
s3.基于步骤s1获取的数据集构建局部分类器，并针对步骤s2处理后的知识图谱进行局部分类处理；具体包括：
[0103]
采用步骤s2中所述的faster r-cnn目标检测网络和r-gcn图神经网络构建局部分类器，给定输入胸部x光，通过局部分类器预测每个属性-位置对的归一化评分，通过评分确定属性与位置的关系；通过归一化评分表示某个位置出现某种属性的可能性，具体结果通过设置评分的阈值决定；利用最大化病变检测的auc指标得到多标签分类的阈值，实现对图像上的多目标多标签的分类；
[0104]
每个属性-位置对的得分通过两种节点嵌入之间的点积计算，公式如下所示：
[0105][0106]
其中，p
l
是检测分数，是检测分数，和分别为融合了知识结构的位置节点和属性节点的隐藏表示，
⊙
为点积操作；
[0107]
损失函数为二元交叉熵，用于在模型训练过程中对模型中的参数进行优化，采用下述公式表示损失函数：
[0108][0109]
其中，l
local
为局部病变分类的损失值，y
i,j
是真实标签，表示第j个属性在第i个位置出现的概率；
[0110]
引入两个辅助任务提高局部分类器的性能，具体包括：
[0111]
辅助任务一：
[0112]
通过辅助任务一进行位置检测，使用faster r-cnn的区域建议网络region proposal network rpn检测每个位置，并将真实的边界框作为网络的训练目标，使得模型能够准确检测每个解剖位置，l
rcnn
表示辅助任务一的损失；
[0113]
辅助任务二：
[0114]
通过辅助任务二进行属性分类，全连通层和sigmoid函数组成分类器，辅助任务二使得模型生成的属性节点特征能够关注到图像上相应发现区域的特征，l
attr
表示辅助任务二的损失；
[0115]
采用下述公式表示局部分类训练的总损失项：
[0116]
l
total
＝l
rcnn
+l
attr
+l
local
[0117]
通过损失函数l
total
更新局部分类器的所有参数，包括faster r-cnn、attribute attention及r-cnn的参数，同时优化解剖位置检测精度和局部分类准确度；
[0118]
roi特征在训练时由真实边界框生成，在测试时由模型生成；
[0119]
s4.基于步骤s1获取的数据集、和步骤s3构建的局部分类器，构建全局分类器，并针对步骤s2处理后的知识图谱进行全局分类处理；具体包括：
[0120]
通过全局分类器实现多标签分类，同时根据数据集的差异对应不同的标签集；采用步骤s3中所述的局部分类器，基于训练后的局部分类器提取知识增强的局部特征，并应用全局-局部注意力融合全局和局部特征；
[0121]
采用chest imagenome数据集对局部分类器进行训练，固定训练后的分类器的参数作为全局分类器中的知识增强模块，并在数据集chestx-ray14和vinbigdata上进行训练；
[0122]
采用设定的位置特征属性特征以及检测分数在p
l
上应用sigmoid函数得到每个位置-属性对的概率，根据概率对属性特征进行加权，并与位置特征融合，采用下述公式描述融合过程；
[0123][0124]
其中，是每个位置的知识增强局部特征或ke特征，f
o,i
为第i个位置节点的特征，f
a,j
为第j个属性节点的特征，为第i个位置节点和第j个属性节点之间的得分，σ(
·
)表示sigmoid函数；
[0125]
设计全局-局部关注融合多粒度特征，应用cnn提取全局特征fg∈r1×d，使用fg作为查询，f
ke
作为键和值，通过注意力机制对ke特征进行，然后与全局特征融合，此操作根据位置-属性对的得分，将每个位置上可能出现的各个属性(局部发现)的信息以不同的重要性融合到位置节点的特征中，采用下述公式进行描述：
[0126][0127]
其中，f
final
∈r1×d是多标签分类的最终特征，d为特征维度，为知识增强局部特征的转置；
[0128]
应用一个全连接层将最终特征进行分类，所用公式如下：
[0129]
pg＝f
final
·
wg+b
[0130]
其中，pg是每种分类结果出现的可能性，作为全局分类的结果；wg为分类器的权重项，b为分类器的偏置项；
[0131]
损失函数为二元交叉熵，如下式所述：
[0132]
[0133]
其中，l为二元交叉熵损失，c是类的数量，yi是第i个类的标签，为第i个病变的预测概率。
[0134]
通过chest imagenome数据集训练得到的局部分类的实验结果如表1所示；
[0135]
结果表明，在解剖位置检测精度ap相近的情况下，本发明方法显著提高了局部分类的auc，与两个基线相比，auc的改进分别为11.2％和8.9％；
[0136]
表1
[0137][0138]
通过chestx-ray14数据集和vinbigdata数据集训练得到的全局分类的实验结果如表2所示；
[0139]
表2
[0140]
[0141][0142]
结果表明，方法在具有不同大小和标签集的两个数据集上都获得了最好的结果，表现出了出色的性能。特别是，我们的方法在检测小面积病变，如nodule(结节)和nodule-mass(结节-肿块)以及罕见病变，如fibrosis(纤维化)、hernia(疝气)和calcification(钙化)方面显示出显著的改进。此外，与最先进的方法相比，kexnet在检测一些常见病变方面显示出具有竞争力的甚至更好的性能，如effusion(积液)、pneumonia(肺炎)和lung opacity(肺浑浊)。一致且稳定的改进证明了该方法的泛化能力和鲁棒性。
[0143]
针对上述两项任务(胸部x光局部病变分类和全局病变分类)进行消融研究，验证本发明方法包含的各个模块(见下文描述)的有效性，并在表3中显示对比结果；
[0144]
表3
[0145][0146]
针对局部分类而言，通过对知识图谱初始化和特征聚合进行消融处理，在-att-init设置中，删除了提出的属性注意力，并且随机初始化属性节点；在-r-gcn设置中，删除了多关系特征聚合；在-relation设置中，使用原始gcn，避免节点之间的消息传播被不同的关系区分；通过观察可知，每个设置对于属性均会产生影响；属性注意力在提示模型生成与分类结果相关的嵌入方面发挥作用，r-gcn和多关系能够建模节点之间的不同约束，这些效应共同指导模型在特定位置进行正确的分类预测；
[0147]
针对全局分类而言，通过对知识增强模块和全局局部关注进行消融处理，在-ke feature设置中，ke特征被roi特征所取代；在-fusion设置中，ke特征被平均池化，并与全局特征直接拼接；在-ke feature&fusion设置中，roi特征被平均池化，并与全局特征直接拼接；通过观察可知，两个模块都有助于提高模型的性能；ke特征包含解剖丰富的信息，而全局-局部注意力使模型能够融合多粒度特征以实现互补的好处；
[0148]
图3所示为使用全局分类检测器预测的两个测试案例，以及与局部分类结果对应的位置和属性节点的可视化；在第一种情况下，局部病变检测器识别出右下肺区的atelectasis肺不张，相应的可视化允许定位病变区域，为整个图像上atelectasis肺不张的存在提供了基础；在第二种情况下，局部分类检测器在cardiac silhouette心脏轮廓中识别出enlarged cardiac silhouette扩大的心脏轮廓，这可以作为存在cardiomegaly心脏扩大的证据；
[0149]
以上分析表明，本发明方法的局部分类器可以定位各个区域的异常发现，为整个x光的最终诊断提供依据，确保了诊断结果的可解释性，这在医学成像分析中很重要。
[0150]
图4所示为本发明提供的包括了所述基于知识增强的胸部x光图像分类方法的成
像方法，包括如下步骤：
[0151]
s1.获取基准数据集，构造知识图谱；
[0152]
s2.针对步骤s1构造的知识图谱进行节点类型区分和节点关系建模处理；
[0153]
s3.基于步骤s1获取的数据集构建局部分类器，并针对步骤s2处理后的知识图谱进行局部分类处理；
[0154]
s4.基于步骤s1获取的数据集、和步骤s3构建的局部分类器，构建全局分类器，并针对步骤s2处理后的知识图谱进行全局分类处理；
[0155]
s5.采用步骤s4训练后的全局分类器，完成对实际输入x光图像的分类处理；
[0156]
s6.基于步骤s5获得的分类结果，通过ct机在实际的x光图像上进行二次成像处理，得到具有分类结果标记的x光图像。
[0157]
本发明提供的这种成像方法，适用于现有的胸部x光图像获取设备，比如现有的x光机设备。具体应用时，将本发明的成像方法应用到x光机设备上；运行时，x光机设备先按照正常工作方式获取实际的胸部x光图像，然后根据获取的胸部x光图像，采用本发明提供的、已经应用到设备上的成像方法进行二次成像，得到胸部x光图像所对应的具有分类结果标记的x光图像，然后x光机设备就能够一次性输出胸部x光图像和具有分类结果标记的x光图像，从而极大的方便了工作人员和被检测人员。

技术特征：
1.一种基于知识增强的胸部x光图像分类方法，包括如下步骤：s1.获取基准数据集，构造知识图谱；s2.针对步骤s1构造的知识图谱进行节点类型区分和节点关系建模处理；s3.基于步骤s1获取的数据集构建局部分类器，并针对步骤s2处理后的知识图谱进行局部分类处理；s4.基于步骤s1获取的数据集、和步骤s3构建的局部分类器，构建全局分类器，并针对步骤s2处理后的知识图谱进行全局分类处理；s5.采用步骤s4训练后的全局分类器，完成对实际输入x光图像的分类处理。2.根据权利要求1所述的基于知识增强的胸部x光图像分类方法，其特征在于步骤s1所述的获取基准数据集，构造知识图谱，具体包括：获取的基准数据集包括chest imagenome数据集、chestx-ray14数据集、vinbigdata数据集；基于chest imagenome数据集构造知识图谱kg，具体包括：在chest imagenome数据集中的每一张胸部x光图像中，标注带有边界框的解剖位置，选定“位置”，并标注“位置”上发现的局部发现；针对数据集中的胸部x光图像进行处理，删去不存在任何局部发现的位置，保留设定的局部发现，将“解剖位置”称为“位置”，将“局部发现”称为“属性”，构成知识图谱kg中的节点；chest imagenome数据集提供了位置与属性之间的关系；各个节点通过“关系”连接，构成知识图谱kg中的“边”。3.根据权利要求2所述的基于知识增强的胸部x光图像分类方法，其特征在于步骤s2所述的针对步骤s1构造的知识图谱进行节点类型区分和节点关系建模处理，具体包括：1)节点类型区分：采用不同的初始化方式区分节点的类型：
①
位置节点：利用解剖位置的感兴趣区域roi特征进行初始化，使节点的特征基于解剖位置，进而区分位置节点，具体包括：将chest imagenome数据集的正面x光图像作为cnn的输入，通过faster r-cnn目标检测算法提取影像特征f
i
∈r
d
×
h
×
w
、检测输入x光中解剖位置的边界框或感兴趣区域其中，d表示视觉特征的通道数、h表示视觉特征的高度、w表示视觉特征的宽度，n
o
是位置的数量，r表示特征向量的维度；通过在f
i
和b上应用roi池化，获得每个位置的roi特征用于表示知识图谱中的每个位置节点；
②
属性节点：属性节点分布在x光图像的全部区域内，通过对f
i
应用空间注意力实现初始化，完成对属性节点的区分；通过在空间维度上应用设定过滤器大小的卷积层和softmax函数，针对每个属性生成注意力图，通过注意力图对f
i
加权完成属性节点的初始化，公式如下所示：
其中，是注意力图，conv2d(
·
)为滤波器大小为1
×
1的二维卷积操作，conv2d(
·
)的输入通道数为d，输出通道数为n
a
，n
a
是属性节点的数量，是属性特征，为上述的视觉特征；利用二元分类器对嵌入的每个属性节点进行分类，预测相应属性在整个图像中的存在情况；2)节点关系建模：应用r-gcn进行特征聚合处理，针对位置和属性的关系进行建模，具体包括：r-gcn通过为每种关系类型构造独立的消息传播参数，区分不同邻接节点的重要性，采用下述公式描述r-gcn的消息传播过程：其中，是节点i在第l+1层的隐藏状态，为可学习的参数，是节点i在第l层的隐藏状态，r是关系集，n
r
(i)是在关系r∈r下节点i的邻居，c
r
是归一化参数，为基于关系r∈r的可学习的参数，是节点j在第l层的隐藏状态；通过将节点的初始化特征输入到串联连接的两层r-gcn，获得最终的嵌入和和和分别为融合了知识结构的位置节点和属性节点的隐藏表示；最终获得的嵌入用于计算每个位置上每个属性节点的得分，以确定该属性节点对应的局部发现是否出现在此位置上。4.根据权利要求3所述的基于知识增强的胸部x光图像分类方法，其特征在于步骤s3所述的基于步骤s1获取的数据集构建局部分类器，并针对步骤s2处理后的知识图谱进行局部分类处理，具体包括：采用步骤s2中所述的faster r-cnn目标检测网络和r-gcn图神经网络构建局部分类器，给定输入胸部x光，通过局部分类器预测每个属性-位置对的归一化评分，通过评分确定属性与位置的关系；通过归一化评分表示某个位置出现某种属性的可能性，具体结果通过设置评分的阈值决定；利用最大化病变检测的auc指标得到多标签分类的阈值，实现对图像上的多目标多标签的分类；每个属性-位置对的得分通过两种节点嵌入之间的点积计算，公式如下所示：其中，p
l
是检测分数，是检测分数，和分别为融合了知识结构的位置节点和属性节点的隐藏表示，
⊙
为点积操作；
损失函数为二元交叉熵，用于在模型训练过程中对模型中的参数进行优化，采用下述公式表示损失函数：其中，l
local
为局部病变分类的损失值，y
i,j
是真实标签，表示第j个属性在第i个位置出现的概率；引入两个辅助任务提高局部分类器的性能。5.根据权利要求4所述的基于知识增强的胸部x光图像分类方法，其特征在于步骤s3包括的两个辅助任务，具体包括：辅助任务一：通过辅助任务一进行位置检测，使用faster r-cnn的区域建议网络region proposal network rpn检测每个位置，并将真实的边界框作为网络的训练目标，使得模型能够准确检测每个解剖位置，l
rcnn
表示辅助任务一的损失；辅助任务二：通过辅助任务二进行属性分类，全连通层和sigmoid函数组成分类器，辅助任务二使得模型生成的属性节点特征能够关注到图像上相应发现区域的特征，l
attr
表示辅助任务二的损失；采用下述公式表示局部分类训练的总损失项：l
total
＝l
rcnn
+l
attr
+l
local
通过损失函数l
total
更新局部分类器的所有参数，包括faster r-cnn、attribute attention及r-cnn的参数，同时优化解剖位置检测精度和局部分类准确度。6.根据权利要求5所述的基于知识增强的胸部x光图像分类方法，其特征在于步骤s4所述的基于步骤s1获取的数据集、和步骤s3构建的局部分类器，构建全局分类器，并针对步骤s2处理后的知识图谱进行全局分类处理，具体包括：通过全局分类器实现多标签分类，同时根据数据集的差异对应不同的标签集；采用步骤s3中所述的局部分类器，基于训练后的局部分类器提取知识增强的局部特征，并应用全局-局部注意力融合全局和局部特征；采用chest imagenome数据集对局部分类器进行训练，固定训练后的分类器的参数作为全局分类器中的知识增强模块，并在数据集chestx-ray14和vinbigdata上进行训练；采用设定的位置特征属性特征以及检测分数在p
l
上应用sigmoid函数得到每个位置-属性对的概率，根据概率对属性特征进行加权，并与位置特征融合，采用下述公式描述融合过程；其中，是每个位置的知识增强局部特征或ke特征，f
o,i
为第i个位置节点的
特征，f
a,j
为第j个属性节点的特征，为第i个位置节点和第j个属性节点之间的得分，σ(
·
)表示sigmoid函数；设计全局-局部关注融合多粒度特征，应用cnn提取全局特征f
g
∈r1×
d
，使用f
g
作为查询，f
ke
作为键和值，通过注意力机制对ke特征进行，然后与全局特征融合，此操作根据位置-属性对的得分，将每个位置上可能出现的各个属性(局部发现)的信息以不同的重要性融合到位置节点的特征中，采用下述公式进行描述：其中，f
final
∈r1×
d
是多标签分类的最终特征，d为特征维度，为知识增强局部特征的转置；应用一个全连接层将最终特征进行分类，所用公式如下：p
g
＝f
final
·
w
g
+b其中，p
g
是每种分类结果出现的可能性，作为全局分类的结果；w
g
为分类器的权重项，b为分类器的偏置项；损失函数为二元交叉熵，如下式所述：其中，l为二元交叉熵损失，c是类的数量，y
i
是第i个类的标签，为第i个病变的预测概率。7.一种包括了权利要求1～6之一所述的基于知识增强的胸部x光图像分类方法的成像方法，其特征在于还包括如下步骤：s6.基于步骤s5获得的分类结果，在实际的x光图像上进行二次成像处理，得到具有分类结果标记的x光图像。

技术总结
本发明公开了一种基于知识增强的胸部X光图像分类方法，包括获取基准数据集，构造知识图谱；针对构造的知识图谱进行节点类型区分和节点关系建模处理；基于获取的数据集构建局部分类器，针对处理后的知识图谱进行局部分类处理；基于获取的数据集和局部分类器，构建全局分类器，并针对处理后的知识图谱进行全局分类处理；采用训练后的全局分类器，完成对实际输入X光图像的分类处理；本发明还公开了包括所述基于知识增强的胸部X光图像分类方法的成像方法。本发明方法通过基于胸部X光数据集，创建KG知识图谱，将现有知识融入建立的模型中，有效的改善胸部X光局部分类和全局分类的分类效果；同时本发明的有效性高、精准度提升、泛化性增强。增强。增强。


技术研发人员：王建新 颜泉 段俊文
受保护的技术使用者：中南大学
技术研发日：2023.05.06
技术公布日：2023/8/6