医学影像目标鉴别方法、装置、设备及介质与流程

1.本技术涉及医学图像处理技术领域，具体涉及一种医学影像目标鉴别方法、装置、设备及介质。


背景技术：

2.随着医学图像处理技术的发展，目标自动识别越来越广泛的用于医学影像目标识别和鉴别中。在医学图像中，病变之所以能被鉴别出来，不只靠大小或边缘特征，更多地靠该区域同周围区域的密度差异。
3.但是现有技术中，在进行医学图像处理时，会导致原图像中大量细微结构信息的丢失，从而不能准确地显示出组织结构及其毗邻关系，最终导致病变被掩盖或遗漏。


技术实现要素：

4.本技术实施例针对上述情况，本技术提出医学影像目标鉴别方法、装置、设备及介质，以克服或者部分克服现有技术的不足之处。
5.第一方面，本技术实施例公开了一种医学影像目标鉴别方法，所述方法通过医学影目标鉴别模型实现，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；所述方法包括：
6.获取待预测图像对，所述待预测图像对包括对应的第一图像和第二图像，其中所述第一图像中的病灶具有标注；
7.基于所述空间转换网络，根据所述第一图像，确定欧几里得变换参数；并根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，以及根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域；
8.基于特征提取网络，所述分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征；
9.基于所述分类预测网络，对所述第一特征和所述第二特征进行融合，得到融合特征，并对所述融合特征进行分类，得到目标鉴别结果。
10.第二方面，本技术实施例还提供了一种医学影像目标鉴别装置，所述装置部署有医学影目标鉴别模型，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；所述装置包括：
11.获取单元，用于获取待预测图像对，所述待预测图像对包括对应的第一图像和第二图像，其中所述第一图像中的病灶具有标注；
12.定位单元，用于基于所述空间转换网络，根据所述第一图像，确定欧几里得变换参数；并根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，以及根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域；
13.提取单元，用于基于特征提取网络，所述分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征；
14.分类单元，用于基于所述分类预测网络，对所述第一特征和所述第二特征进行融合，得到融合特征，并对所述融合特征进行分类，得到目标鉴别结果。
15.第三方面，本技术实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述的医学影像目标鉴别方法。
16.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述的医学影像目标鉴别方法。
17.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：
18.本技术设计了设计了一种医学影像目标鉴别模型，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；在待预测图像进行预测分类时，将同一患者的同一部位的图像分别存储，其中一张事先对病灶进行人工或者自动勾画标注，然后将第一图像和第二图像分别输入到医学影像目标鉴别模型，二者首先进入空间转换网络，通过空间转换网络学习第一图像的欧几里得变换参数，并且根据学习到的欧几里得变换参数对第一图像进行空间变换和插值处理，得到第一图像中的病灶被加强的第一感兴趣区域，从而实现采用线性插值的方式对第一图像中的感兴趣区域进行复原，利用得到的复原图像进行反向传播学习，使得第一图像中的病灶特征被加强；而对于第二图像，根据从第一图像学习到的欧几里得变换参数进行裁剪，得到位置合适的且没有任何信息损失的第二感兴趣区域；然后将第一感兴趣区域和第二感兴趣区域送入特征提取网络，对二者的信息分别进行提取，分别得到第一特征和第二特征；最后将第一特征和第二特征送入分类预测网络，采用特征融合的方式，将第一特征和第二特征进行融合，得到融合特征，并融合特征进行分类，得到目标鉴别结果。
19.本技术针对现有技术中，基于空间变换的注意力机制，为保证网络的反向梯度传递的连续性，采用插值的方法进行感兴趣区域图像的生成，这种操作会导致生成图像的细节损失，可能会导致一些关键诊断特征的信息丢失，从而导致漏诊、误诊发生的情况，本技术提出了一种加入感兴趣区域的原图像复原机制，巧妙的采用了同一患处的两张图像，对其中一张进行标注和欧几里得变换参数的学习，采用线性插值的方式对第一图像中的感兴趣区域进行复原，利用得到的复原图像进行反向传播学习，使得第一图像中的病灶特征被加强，并学习得到欧几里得变换参数，并学习到的欧几里得变换参数运用于另一张图像中的剪裁中，得到没有任何信息损失的感兴趣区域，从而得到目标病灶无损失的多种特征，从而保证原图像中的图像细节信息不丢失，显著提高了医学影像中目标鉴别的准确度；且本技术将整体任务分为两个子任务分支，重新分配网络的学习能力，从而降低原始任务的难度，使网络模型更加容易训练。
附图说明
20.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
21.图1-a示出了通过ct扫描得到的肺部小结节图像；
22.图1-b示出了根据现有技术的通过stn算法对图1-a图像进行处理得到的肺部小结节图像；
23.图1-c示出了根据现有技术的通过插值算法对图1-a图像进行处理得到的肺部小结节图像；
24.图2示出了根据本技术的一个实施例的医学影像目标鉴别方法的流程示意图；
25.图3示出了根据本技术的一个实施例的医学影像目标鉴别模型的结构示意图；
26.图4示出了根据本技术的一个实施例的数据在医学影像目标鉴别模型中流转的示意图；
27.图5示出了根据本技术的一个实施例的医学影像目标鉴别装置的结构示意图；
28.图6为本技术实施例中一种电子设备的结构示意图。
具体实施方式
29.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.以下结合附图，详细说明本技术各实施例提供的技术方案。
31.ct扫描是重要的医学影像技术，医生可以通过辨别病变与正常组织的ct值(hu值)等特征进行疾病诊断。但在人体中，正常组织与病变组织的ct值有时相差很小(3～5hu)。这种情况下，细微的密度差异有可能就意味着某种病变。医生在对ct图像进行诊断时，首先会全局观察图像，然后选取一些重点关注区域，对这些区域投入更多注意力，以获取更多的细节信息，减少无用信息的干扰。
32.深度学习中的视觉注意力机制，其本质是模仿人类视觉的注意力习惯。目前视觉注意力机制主要有两种方式：一是直接学习出一个图像特征的权重分布，再把这个权重分布施加到原来特征上，为后续的任务，如图像分类、图像识别等，提供不同的特征响应。其核心思想是基于原有图像数据寻找其关联性，以突出其重要特征，从而提高识别效率，主要有像素注意力、多阶注意力等；二是对数据/数据特征(feature map)进行空间变换，借此将图像聚焦于某个局部(感兴趣区域)。其核心思想是通过寻找感兴趣区域与原图像之间的空间变换关系，使用网络学习的方式找到主要特征，将感兴趣区域“剪裁”出来，从而突出图像的感兴趣区域以提高识别效率，主要有空间变换网络(spatial transformer network,stn)。这两种方式都可以使任务关注到重要特征，忽略不重要特征，从而提高任务效率。
33.在医学图像中，病变之所以能被鉴别出来，不只靠大小或边缘特征，更多地靠该区域同周围区域的密度差异，因此对于医学诊断对图像质量的要求很高，图像中细微结构的变化至关重要。但是stn算法在应用于医学图像处理时主要存在以下两个问题：1)仿射变换，会导致病变区域的形态变形；2)插值算法，会导致缩放后图像的高频分量受到损失,图像边缘在一定程度上变得较为模糊，因此stn在进行医学图像处理时，会导致原图像中大量细微结构信息的丢失，从而不能准确地显示出组织结构及其毗邻关系，最终导致病变被掩盖或遗漏。
34.以ct图像中的一个肺部结节为例，如图1-a所示，图1-a示出了通过ct扫描得到的肺部小结节图像，如图1-b所示，图1-b示出了根据现有技术的通过stn算法对图1-a图像进行处理得到的肺部小结节图像，由于在图像变换中加入了变形因子，导致处理后的图像存在一定程度的扭曲；如图1-c所示，图1-c示出了根据现有技术的通过插值算法对图1-a图像进行处理得到的肺部小结节图像，由于插值导致图像在一定程度上变得较为模糊。
35.本技术的构思在于，本技术针对stn的注意力机制在医学图像诊断中存在的两个问题进行改进，形成一个医学影像目标鉴别模型，在对医学图像的诊断时，该医学影像目标鉴别模型不仅可以充分利用空间变换网络对病变区域关注的特性，而且可以克服在病变区域提取过程中导致的图像质量损失，从而提升深度学习在医学诊断上的性能。
36.图2示出了根据本技术的一个实施例的医学影像目标鉴别方法的流程示意图，所述方法通过医学影像目标鉴别模型实现，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；从图2可以看出，本技术至少包括步骤s210～步骤s240：
37.步骤s210：获取待预测图像对，所述待预测图像对包括对应的第一图像和第二图像，其中所述第一图像中的病灶具有标注。
38.本技术的医学影像目标鉴别方法可通过医学影像目标鉴别模型实现，图3示出了根据本技术的一个实施例的医学影像目标鉴别模型的结构示意图，从图3可以看出，医学影像目标鉴别模型300包括依次连接的空间转换网络310、特征提取网络320和分类预测网络330，其中，空间转换网络310作为医学影像目标鉴别模型300的输入端，分类预测网络330作为医学影像目标鉴别模型300的输出端。以医学ct影像为例进行说明，在获取到患者的ct图像后，对于同一张图像进行复制，得到原图和一个副本，二者在批注前是一样的，将其中一张记为第一图像，将另外一张记为第二图像。
39.对其中一张图像进行标注，具体的，就是将图像中的病灶(如肺结节)的轮廓圈出来。标注可以是人工的，如请医学专家进行勾画；也可以是自动实现的，如在医学影像目标鉴别模型300的空间转换网络310前置一个自动勾画工具，该工具把识别出的结节的轮廓的先勾勒一下，然后送到医学影像目标鉴别模型300中去鉴别良性或者恶性。勾勒后，对勾勒后的图像的其他部分进行处理，可以均置为黑色(将像素点的像素值或者深度值置为某个预设值)。
40.也可也理解为，第一图像是只包含结节信息的图像，第二图像是同时包含结节和结节周围信息(其余正常组织)的图像。
41.步骤s220：基于所述空间转换网络，根据所述第一图像，确定欧几里得变换参数；并根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理。得到第一感兴趣区域，以及根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域。
42.在现有技术中，stn算法在应用于医学影像中，通常采用仿射变换、投影变换等对图像进行处理，但是对于深度学习中的cnn来说，是通过池化层来保证空间不变性的，但它受限于预先选定的固定尺寸的池化核(感受野是固定的，局部的)，因此它带来的空间不变性是不够的。stn通过学习空间变换的参数，让形变的物体变回到正常的姿态，从而增强空间不变性。现实情况下，肺结节由于体位、呼吸等导致局部压力变化，而产生一定形变，但形变幅度极小，更不会因为不均的受力导致大幅弹性形变。因此，通过仿射变换、投影变换等
产生的变换图像在现实情况下几乎不存在。另外，与自然图像不同，结节的圆形度在有经验的医生看来是重要的良恶性判断指标，因此形变这一特征，不利于结节良恶性的诊断，做太多大尺度的变换不仅没有意义，还会弱化结节的圆形度等特征。
43.发明人经研究发现欧几里得变换保持了矢量的长度和角度，因此在这种变换下，结节的长度、面积和形状保持不变。这种变换提供了空间变换的能力，可以克服ct摄影时因位置错误引起的结节像素旋转。因此欧几里得变换可以使网络更好地对结节特征进行推理，并从纹理和形状上获得结节的姿态。
44.因此，本技术只使用了欧几里得变换来反映结节在图像中的位置变换，并没有使用其它变换。欧几里得变换可以表示为如下式1的矩阵形式，
[0045][0046]
其中r为旋转矩阵，t为平移向量。
[0047]
具体的，将第一图像和第二图像分为两个子任务分别处理，对于第一图像，将其输入空间转换网络后，空间转换网络对第一图像进行学习产生合适的欧几里得变换参数。在本技术中的一些实施例中，空间转换网络可以基于空间转换注意力机制构建的，但是需要说明的是，本技术的空间转换网络仅支持欧式变换，不支持放射变换等其他空间变换。
[0048]
更加具体的，在本技术的一些实施例中，所述空间转换网络设有欧式参数学习子网络；所述根据所述第一图像，确定欧几里得变换参数，包括：将所述第一图像输入所述空间转换网络，并使所述欧式参数学习子网络对所述第一图像中的标注区域的位置信息进行学习，得到所述欧几里得变换参数，所述欧几里得变换参数包括：旋转参数，第一平移参数和第二平移参数。
[0049]
也就是说，欧式参数学习子网络对第一图像的学习，可以欧几里得变换参数，记为θ，欧几里得变换参数θ(r，tx，ty)有3个自由度，其中r代表旋转度，tx和ty均代表平移量。
[0050]
然后采用学习到的欧几里得变换参数分别对第一图像和第二图像分别进行处理。
[0051]
对于第一图像而言，根据学习到的欧几里得变换参数对第一图像进行空间变换和插值处理，具体的，在本技术的一些实施例中，所述根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，包括：基于所述欧几里得变换参数对所述第一图像中的各像素点进行等距变换，得到所述第一感兴趣区域在所述第一图像中的第一位置信息；根据所述第一位置信息，对所述第一感兴趣区域的各像素点进行插值处理，得到所述第一感兴趣区域。
[0052]
将第一图像中的各个像素点的像素值(或者深度值)与欧几里得变换参数形成的矩阵进行相乘，从而实现了第一图像的等距变换，第一图像中仅包含了结节信息，通过欧几里得变换，结节信息在第一图像中得到了增强，且在进行目标坐标点与原坐标点的欧式变换，通过此变换得到感兴趣区域在原图像的坐标位置，即通过此变换得到第一感兴趣区域(结节部分)在第一图像的坐标位置，这里记为第一位置信息，根据该第一位置信息，能够将第一感兴趣区域从第一图像中分离出来，然后对分离出的第一感兴趣区域的各像素点进行插值处理，即可得到第一感兴趣区域。根据预测得到的欧几里得变换参数进行目标坐标点与原坐标点的变换并插值，可以得到没有任何信息损失的感兴趣区域图像，从而避免细节信息的丢失。
[0053]
对于第二图像，可以依据欧几里得变换参数对其进行剪裁，具体的，在本技术的一些实施例中，所述根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域，包括：基于所述欧几里得变换参数对所述第二图像中的各像素点进行等距变换，得到所述第二感兴趣区域在所述第二图像中的第二位置信息；根据所述第二位置信息，从所述第二图像中剪裁出所述第二感兴趣区域。
[0054]
将第二图像中的各个像素点的像素值(或者深度值)与欧几里得变换参数形成的矩阵进行相乘，从而实现了第二图像的等距变换，通过欧几里得变换，结节信息在第二图像中得到了增强，且在进行目标坐标点与原坐标点的欧式变换，通过此变换得到感兴趣区域在原图像的坐标位置，即通过此变换得到第二感兴趣区域(结节部分)在第二图像的坐标位置，这里记为第二位置信息，根据该第二位置信息，能够将第二感兴趣区域从第二图像中分离出来，即剪裁出来，以选择图像中最相关的结节区域，如将第二图像从m
×
m的图像裁剪为n
×
n的图像(n＜m)。
[0055]
另外，在本技术的一些实施例中，在上述方法中，所述根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域，还包括：对所述第二感兴趣区域的各像素点值进行归一化处理，将处理得到的图像作为最终的第二感兴趣区域。通过归一化的处理方式对感兴趣区域进行尺度规格化，可以减少后续的分类负荷，获得更好的分类性能。
[0056]
步骤s230：基于特征提取网络，所述分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征。
[0057]
在获得第一感兴趣区域和第二感兴趣区域后，将第一感兴趣区域和所述第二感兴趣区域分别输入到特征提取网络中，特征提取网络负责提取感兴趣区域的区域特征。
[0058]
在本技术的一些实施例中，特征提取网络可以是基于卷积神经网络cnn形成的，在cnn特征提取网络中，可以根据需求设定网络两个最关键的参数：层数和内核大小，如根据算力和鉴别的精确度进行设定。
[0059]
特征提取网络对第一感兴趣区域和第二感兴趣区域进行特征提取，分别得到对应的第一特征和第二特征。对第一感兴趣区域和第二感兴趣区域进行特征提取时，可以通过调用同一特征提取网络，分别对第一感兴趣区域和第二感兴趣区域进行处理，也可以在特征提取网络设置两个特征提取子网络，采用第一特征提取子网络对第一感兴趣区域进行进行特征提取，采用第二特征提取子网络对第二感兴趣区域进行进行特征提取，第一特征提取子网络和第二特征提取子网络可以相同也可以不同，可以按照需要进行设置；但是第一特征提取子网络和第二特征提取子网络的主要作用均为对第一感兴趣区域和第二感兴趣区域进行特征提取。
[0060]
步骤s240：基于所述分类预测网络，对所述第一特征和所述第二特征进行融合，得到融合特征，并对所述融合特征进行分类，得到目标鉴别结果。
[0061]
在得到第一图像对应的第一特征后，得到第二图像对应的第二特征后，采用特征融合的方式，对第一特征和第二特征进行融合，得到融合特征。第一特征和第二特征通常是以向量或者矩阵的形式呈现，在本技术的一些实施例中，在上述方法中，所述对所述第一特征和所述第二特征进行融合，得到融合特征，包括：若所述第一特征和所述第二特征为一维向量，则将所述第二特征的各元素按照原始顺序连接到所述第一特征的最后一个元素之
后，得到融合向量；
[0062]
若所述第一特征和所述第二特征为为矩阵，则根据指定拼接形式，将所述第二特征的各元素按照原始顺序放置到所述第一特征之后的相应位置上，得到融合向量。
[0063]
举例来讲，假设第一特征为向量(a，b，c)，第二特征为向量(d，e)，在拼接时，按照第二特征中各元素的原始顺序，将其“摆放”到第一特征的最后一个元素之后即可，将融合向量记为向量z，融合向量z为(a，b，c，d，e)。
[0064]
在本技术的另一些实施例中，若所述第一特征和所述第二特征为矩阵；所述将所述第一特征和所述第二特征融合，得到融合向量，包括：根据指定拼接形式，将所述第二特征的各元素按照原始顺序放置到所述第一特征之后的相应位置上，得到融合向量。
[0065]
假设第一特征和第二特征为同形矩阵，假设第一特征和第二特征均为2*2的二维矩阵，分别表示为：和指定拼接形式为竖向拼接，在进行接时，按照第二特征中各元素的原始顺序，将其“摆放”到第一特征的最后一行之后即可，将融合向量记为向量z，融合向量z为一个2*4的矩阵，具体为：
[0066][0067]
若第一特征和第二特征为异形矩阵；则将缺失的元素设置为空即可。
[0068]
然后对融合特征进行分类预测，在本技术的一些实施例中，可以采用全连接层和损失函数构建分类预测网络，这里分类预测网络通常为二分类模型，如判断一个结节是良性还是恶性，良性和恶性作为分类预测网络的两个类别，将融合特征输入其中，可以得到病灶的良性或者恶性。
[0069]
由图2所示的方法可以看出，本技术设计了设计了一种医学影像目标鉴别模型，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；在待预测图像进行预测分类时，将同一患者的同一部位的图像分别存储，其中一张事先对病灶进行人工或者自动勾画标注，然后将第一图像和第二图像分别输入到医学影像目标鉴别模型，二者首先进入空间转换网络，通过空间转换网络学习第一图像的欧几里得变换参数，并且根据学习到的欧几里得变换参数对第一图像进行空间变换和插值处理，得到第一图像中的病灶被加强的第一感兴趣区域，从而实现采用线性插值的方式对第一图像中的感兴趣区域进行复原，利用得到的复原图像进行反向传播学习，使得第一图像中的病灶特征被加强；而对于第二图像，根据从第一图像学习到的欧几里得变换参数进行裁剪，得到位置合适的且没有任何信息损失的第二感兴趣区域；然后将第一感兴趣区域和第二感兴趣区域送入特征提取网络，对二者的信息分别进行提取，分别得到第一特征和第二特征；最后将第一特征和第二特征送入分类预测网络，采用特征融合的方式，将第一特征和第二特征进行融合，得到融合特征，并融合特征进行分类，得到目标鉴别结果。
[0070]
本技术针对现有技术中，基于空间变换的注意力机制，为保证网络的反向梯度传递的连续性，采用插值的方法进行感兴趣区域图像的生成，这种操作会导致生成图像的细节损失，可能会导致一些关键诊断特征的信息丢失，从而导致漏诊、误诊发生的情况，本技术提出了一种加入感兴趣区域的原图像复原机制，巧妙的采用了同一患处的两张图像，对其中一张进行标注和欧几里得变换参数的学习，采用线性插值的方式对第一图像中的感兴
趣区域进行复原，利用得到的复原图像进行反向传播学习，使得第一图像中的病灶特征被加强，并学习得到欧几里得变换参数，并学习到的欧几里得变换参数运用于另一张图像中的剪裁中，得到没有任何信息损失的感兴趣区域，从而得到目标病灶无损失的多种特征，从而保证原图像中的图像细节信息不丢失，显著提高了医学影像中目标鉴别的准确度；且本技术将整体任务分为两个子任务分支，重新分配网络的学习能力，从而降低原始任务的难度，使网络模型更加容易训练。
[0071]
图3示出了根据本技术的一个实施例的数据在医学影像目标鉴别模型中流转的示意图，从图3可以看出，本实施例中的医学影像目标鉴别模型包括自动标注网络，空间转换网络、特征提取网络和分类预测网络，在空间转换网络310中设置有欧式参数学习子网络和空间变换子网络，特征提取网络设置有第一特征提取子网络和第二特征提取子网络，分类预测网络设置有特征融合子网络和全连接层。
[0072]
获取到患者的ct图像，对ct图像进行复制，得到第一图像和第二图像。
[0073]
使第一图像进入自动标注网络进入勾勒，得到标注后的第一图像。
[0074]
使得标注后的第一图像和第二图像分别进入空间转换网络，具体的，第一图像进入欧式参数学习子网络，欧式参数学习子网络对第一图像进行学习，得到欧几里得变换参数。
[0075]
然后进入空间变换子网络，基于欧几里得变换参数对第一图像进行空间转换和插值，得到第一感兴趣区域。
[0076]
第二图像直接进入空间变换子网络，基于欧几里得变换参数对第二图像进行空间转换和裁剪，得到第二感兴趣区域。
[0077]
第一感兴趣区域进入第一特征提取子网络，第二感兴趣区域进入第二特征提取子网络，分别进行特征提取，得到第一特征和第二特征。
[0078]
第一特征和第二特征进入特征融合子网络进行特征融合，得到融合特征。
[0079]
融合特征进入全连接层，输出目标分类结果。
[0080]
此外，本技术将本技术与对比文件做了比较，以验证本技术的结果，以下进行简单描述：
[0081]
肺图像数据库联盟(lidc-idri)数据库是世界上最大的肺结节公共资源。它包含1012例病例，包括胸部ct扫描和相关xml文件。每个xml文件记录了4个经验丰富的胸科放射科医生的注释，其中包括位置、恶性程度评估，标记为“1”、“2”、“3”、“4”和“5”级别，以及检测到的≥3mm结节的其他8个特征。
[0082]
根据切片厚度《2.5mm的原则，本技术从中抽取888例ct扫描图像。ct扫描的矩阵大小为512
×
512像素，轴向面分辨率范围为0.46
×
0.46mm～0.98
×
0.98mm，薄层ct扫描最典型的分辨率为0.78mm。直径小于3mm的结节被认为与肺癌ct扫描无关，因此被排除在学习集之外。每个结节被评为五级，标记为“1”和“2”的结节为良性，标记为“4”和“5”的结节为恶性。标签“3”表示对应结节的良恶性不确定。最终总共得到1372个结节，其中良性结节379个，未确定结节573个，恶性结节420个，其中，结节直径的范围从3.0mm到37.32mm。在一些研究中，标记为“3”的结节可分为两种不同的治疗方法：(1)将其分为标记为“1”和“2”的良性结节；(2)将其分为“4”、“5”良性结节。在本技术的实验中，本技术放弃了标记为“3”的结节，在lidc-idri和医院数据集中总共获得了4622个结节切片，包括1597个良性切片和3025个
恶性切片。
[0083]
在本技术的实验中，使用pytorch来构建所提出的网络。这些实验是在一台使用amd ryzen 1500x cpu工作在3.5ghz，共24gb ram和nvidia rtx3080ti12gb gpu的计算机上进行的。采用5倍交叉验证法建立训练、验证和测试数据。所有数据随机分为5个子集，其中4个用于训练，1个用于验证和测试。为了将所提出的通过医学影像目标鉴别模型(这里记为pladl)与其他深度学习网络的性能进行比较，本技术进行了相关的实验，证明了所提出的pladl网络的优越性。一个实验是基于结节分割网络的resnet50分类方法，这是一种克服干扰信息的通用方法；另一个实验是在特征提取方面表现出了先进的性能的stn分类实验。为了客观比较，这些实验使用了相同的训练、验证和测试图像，均为ct切片上的结节图像。此外，为了进行公正的评价，所有的网络都有相同的后处理方式。实验结果如下表1所示。实验结果表明pladl在结节良恶性分类方面具有优越的性能。
[0084]
表1
[0085][0086]
此外，还将本技术的医学影像目标鉴别模型(pladl)与最近提出的一些先进的网络进行了比较，包括res-trans，mk-ssac，mil，shaffie等人和fuse-tsd。其比较结果如表2所示。shaffie等人有更高的auc，精度。值得注意的是，其输入数据的维数是三维的，以往的研究表明，基于三维斑块的网络获得了更好的分类性能，但代价是模型复杂度较高，计算量较大。
[0087]
表2
[0088][0089]
图5示出了根据本技术的一个实施例的医学影像目标鉴别装置的结构示意图，所述装置部署有医学影像目标鉴别模型，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；医学影像目标鉴别装置500包括：
[0090]
获取单元510，用于获取待预测图像对，所述待预测图像对包括对应的第一图像和第二图像，其中所述第一图像中的病灶具有标注；
[0091]
定位单元520，用于基于所述空间转换网络，根据所述第一图像，确定欧几里得变换参数；并根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，以及根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域；
[0092]
提取单元530，用于基于特征提取网络，所述分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征；
[0093]
分类单元540，用于基于所述分类预测网络，对所述第一特征和所述第二特征进行融合，得到融合特征，并对所述融合特征进行分类，得到目标鉴别结果。
[0094]
在本技术的一些实施例中，在上述装置中，所述空间转换网络设有欧式参数学习子网络；所述定位单元520，用于将所述第一图像输入所述空间转换网络，并使所述欧式参数学习子网络对所述第一图像中的标注区域的位置信息进行学习，得到所述欧几里得变换参数，所述欧几里得变换参数包括：旋转参数，第一平移参数和第二平移参数。
[0095]
在本技术的一些实施例中，在上述装置中，定位单元520，用于基于所述欧几里得变换参数对所述第一图像中的各像素点进行等距变换，得到所述第一感兴趣区域在所述第一图像中的第一位置信息；根据所述第一位置信息，对所述第一感兴趣区域的各像素点进行插值处理，得到所述第一感兴趣区域。
[0096]
在本技术的一些实施例中，在上述装置中，定位单元520，用于基于所述欧几里得变换参数对所述第二图像中的各像素点进行等距变换，得到所述第二感兴趣区域在所述第二图像中的第二位置信息；根据所述第二位置信息，从所述第二图像中剪裁出所述第二感兴趣区域。
[0097]
在本技术的一些实施例中，在上述装置中，定位单元520，还用于对所述第二感兴趣区域的各像素点值进行归一化处理，将处理得到的图像作为最终的第二感兴趣区域。
[0098]
在本技术的一些实施例中，在上述装置中，分类单元540，用于若所述第一特征和所述第二特征为一维向量，则将所述第二特征的各元素按照原始顺序连接到所述第一特征的最后一个元素之后，得到融合向量；若所述第一特征和所述第二特征为为矩阵，则根据指定拼接形式，将所述第二特征的各元素按照原始顺序放置到所述第一特征之后的相应位置上，得到融合向量。
[0099]
在本技术的一些实施例中，在上述装置中，所述空间转换网络是基于空间转换注意力机制构建的；所述特征提取网络是基于卷积神经网络构建的；所述分类预测网络是基于全连接层和损失函数构建的。
[0100]
需要说明的是，上述的医学影像目标鉴别装置可一一实现前述的医学影像目标鉴别方法，不再赘述。
[0101]
图6是本技术的一个实施例电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
[0102]
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0103]
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0104]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成医学影像目标鉴别装置。处理器，执行存储器所存放的程序，并具体用于执行前述
方法。
[0105]
上述如本技术图5所示实施例揭示的医学影像目标鉴别装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0106]
该电子设备还可执行图5中医学影像目标鉴别装置执行的方法，并实现医学影像目标鉴别装置在图5所示实施例的功能，本技术实施例在此不再赘述。
[0107]
本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图5所示实施例中医学影像目标鉴别装置执行的方法，并具体用于执行前述方法。
[0108]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0109]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0112]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0113]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0114]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0115]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的同一要素。
[0116]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0117]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种医学影像目标鉴别方法，其特征在于，所述方法通过医学影像目标鉴别模型实现，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；所述方法包括：获取待预测图像对，所述待预测图像对包括对应的第一图像和第二图像，其中所述第一图像中的病灶具有标注；基于所述空间转换网络，根据所述第一图像，确定欧几里得变换参数；并根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，以及根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域；基于特征提取网络，所述分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征；基于所述分类预测网络，对所述第一特征和所述第二特征进行融合，得到融合特征，并对所述融合特征进行分类，得到目标鉴别结果。2.根据权利要求1所述的方法，其特征在于，所述空间转换网络设有欧式参数学习子网络；所述根据所述第一图像，确定欧几里得变换参数，包括：将所述第一图像输入所述空间转换网络，并使所述欧式参数学习子网络对所述第一图像中的标注区域的位置信息进行学习，得到所述欧几里得变换参数，所述欧几里得变换参数包括：旋转参数，第一平移参数和第二平移参数。3.根据权利要求2所述的方法，其特征在于，所述根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，包括：基于所述欧几里得变换参数对所述第一图像中的各像素点进行等距变换，得到所述第一感兴趣区域在所述第一图像中的第一位置信息；根据所述第一位置信息，对所述第一感兴趣区域的各像素点进行插值处理，得到所述第一感兴趣区域。4.根据权利要求2所述的方法，其特征在于，所述根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域，包括：基于所述欧几里得变换参数对所述第二图像中的各像素点进行等距变换，得到所述第二感兴趣区域在所述第二图像中的第二位置信息；根据所述第二位置信息，从所述第二图像中剪裁出所述第二感兴趣区域。5.根据权利要求4所述的方法，其特征在于，所述根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域，还包括：对所述第二感兴趣区域的各像素点值进行归一化处理，将处理得到的图像作为最终的第二感兴趣区域。6.根据权利要求1所述的方法，其特征在于，所述对所述第一特征和所述第二特征进行融合，得到融合特征，包括：若所述第一特征和所述第二特征为一维向量，则将所述第二特征的各元素按照原始顺序连接到所述第一特征的最后一个元素之后，得到融合向量；若所述第一特征和所述第二特征为为矩阵，则根据指定拼接形式，将所述第二特征的各元素按照原始顺序放置到所述第一特征之后的相应位置上，得到融合向量。7.根据权利要求1～6中任一项所述的方法，其特征在于，所述空间转换网络是基于空
间转换注意力机制构建的；所述特征提取网络是基于卷积神经网络构建的；所述分类预测网络是基于全连接层和损失函数构建的。8.一种医学影像目标鉴别装置，其特征在于，所述装置部署有医学影像目标鉴别模型，所述模型包括依次连接的空间转换网络、特征提取网络和分类预测网络；所述装置包括：获取单元，用于获取待预测图像对，所述待预测图像对包括对应的第一图像和第二图像，其中所述第一图像中的病灶具有标注；定位单元，用于基于所述空间转换网络，根据所述第一图像，确定欧几里得变换参数；并根据所述欧几里得变换参数对所述第一图像进行空间变换和插值处理，得到第一感兴趣区域，以及根据所述欧几里得变换参数对所述第二图像进行空间变换和剪裁处理，得到第二感兴趣区域；提取单元，用于基于特征提取网络，所述分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征；分类单元，用于基于所述分类预测网络，对所述第一特征和所述第二特征进行融合，得到融合特征，并对所述融合特征进行分类，得到目标鉴别结果。9.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，其特征在于，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7中任一项所述的医学影像目标鉴别方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，其特征在于，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7中任一项所述的医学影像目标鉴别方法。

技术总结
本申请公开了一种医学影像目标鉴别方法、装置、设备及介质，其方法包括：获取待预测图像对，待预测图像对包括对应的第一图像和第二图像，第一图像中的病灶具有标注；基于空间转换网络，根据第一图像，确定欧几里得变换参数；根据欧几里得变换参数对第一图像进行空间变换和插值处理，得到第一感兴趣区域，以及对第二图像进行空间变换和剪裁处理，得到第二感兴趣区域；基于特征提取网络，分别对第一感兴趣区域和所述第二感兴趣区域进行特征提取，得到第一特征和第二特征；基于分类预测网络，对第一特征和第二特征进行融合，得到融合特征，并对融合特征进行分类，得到目标鉴别结果。本申请显著提高了医学影像中目标鉴别的准确度。显著提高了医学影像中目标鉴别的准确度。显著提高了医学影像中目标鉴别的准确度。


技术研发人员：张涛 陈鹏 李华 叶丹丹
受保护的技术使用者：中国人民解放军总医院第一医学中心
技术研发日：2023.04.28
技术公布日：2023/8/21