基于机器学习的胎儿肺脏超声影像成熟度预测方法

1.本发明属于智能医疗领域，更具体地，涉及一种基于机器学习的胎儿肺脏超声影像成熟度预测的方法、设备、系统、计算机可读存储介质及其应用。


背景技术：

2.肺脏是人体主要的呼吸器官，胎儿肺脏发育是否成熟直接决定了新生儿能否在宫外存活。早产儿肺脏发育不成熟，易发生新生儿呼吸系统疾病（neonatal respiratory morbidity，nrm），nrm是早产儿死亡主要原因。产前评估胎儿肺脏成熟度可以有效预测nrm的发病率，降低早产儿发病及死亡风险，帮助高危妊娠孕妇选择分娩时间，避免医源性早产。产前糖皮质激素（antenatal corticostemids，acs）治疗降低了早产儿的发病及死亡风险。但acs治疗后胎儿肺脏成熟度与否尚无有效评估方法。妊娠期糖尿病（gestational diabetes mellitus ，gdm）、子痫前期(preeclampsia，pe)、胎儿生长受限(fetal growth restriction fgr)、羊水过少、胎儿胸腔肿物等常见妊娠期疾病也会影响胎儿肺脏发育成熟。
3.对于这类患者，分娩前评估胎儿肺脏成熟度也对临床具有至关重要价值。胎儿肺脏的成熟度是指胎儿肺泡表面活性物质（ps）的产生和肺脏功能的发育情况。在胎儿肺泡发育成熟之前，如果早产或胎儿出现呼吸窘迫综合征等肺部疾病，将会对婴儿的生命和健康造成重大影响。
4.传统的胎儿肺脏成熟度评估方法主要通过羊水检测，但该方法为有创的检测方法，已基本停止应用于临床。目前，超声医生通过一些超声图像特征对胎儿肺脏发育情况进行评估，所述特征有：胎儿肺脏面积、体积大小、肺脏回声强度及肺肝回声强度比等。然而，这种主观评估方法存在一定的局限性和不确定性。
5.现有技术有以下最相近案例：cn202310353365.1提出一种基于异构域的医学图像分类方法和系统，本方法首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。
6.cn202310033703.3提出一种基于自监督和小样本学习的医学图像识别方法、装置、计算机设备、可存储介质，利用图像增强技术对同一张pcle图像进行两次随机增强得到不同的实例，并将两个实例分别输入到孪生神经网络获得相应的图像特征嵌入；接着，对两个图像特征嵌入进行特征混合，使用pcle图像数据集对孪生神经网络进行无监督范式的训练，将获得的预训练模型与分类器进行结合来完成对常见疾病pcle图像的识别，利用在自
监督学习中获得的预训练模型与基于度量的元学习相结合来进一步微调孪生神经网络，以实现对稀有疾病下的pcle图像的识别，具有较好的泛化性，有效实现了对常见类别疾病和稀有类别疾病两种场景下的pcle图像的精准识别。
7.cn202210845069.9提出一种医学图像处理方法、装置、计算机设备及存储介质，其中方法包括：获取目标头部三维图像，并根据预设的分割模型，对所述目标头部三维图像进行每个体素的属于目标病灶的概率预测，得到初始病灶三维掩膜；根据预设的第一概率阈值和所述初始病灶三维掩膜生成二值化三维掩膜；根据所述二值化三维掩膜，从所述目标头部三维图像中提取阳性三维图像块；将每个所述阳性三维图像块输入预设的分类模型进行图像块的包含所述目标病灶的概率预测，得到单图像块阳性概率；根据各个所述单图像块阳性概率，对所述二值化三维掩膜进行假阳性抑制处理，得到目标三维掩膜。从而降低了输出的目标三维掩膜的假阳性。


技术实现要素：

8.现有技术创新性好，但仍然存在以下问题难以解决：1、主观性和操作依赖性：传统的胎儿肺脏成熟度评估方法通常依赖医生的主观判断和经验，结果可能存在主观偏差，并且不同医生之间的评估结果可能存在差异。
9.2、模型精度低：现有的人工智能模型通常存在模型精度低、泛化能力差、鲁棒性差等特点，传统的深度学习算法容易产生梯度消失和梯度爆炸现象，而基于计算机视觉的算法容易在特征提取时无法挖掘充分有效的信息，导致预测精度下降。
10.3、时间和成本高昂：传统方法需要医生手动测量和评估胎儿肺脏超声图像，耗时且需要专业人员参与，增加了医疗成本和工作负担。
11.本发明针对上述问题，公开一种基于机器学习的胎儿肺脏超声影像成熟度预测方法，所述方法包括：获取胎儿超声图像；对所述超声图像进行特征提取，得到第一图像特征，所述特征提取为：使用rpn在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述第一图像特征；将所述第一图像特征输入机器学习模型中，预测胎儿肺脏成熟度。
12.进一步，所述胎儿超声图像为标准四腔心切面，所述标准四腔心切面显示了完整的胎儿胸廓、双侧肺脏组织、降主动脉位置和心脏结构。
13.进一步，所述特征提取具体包括：步骤1：使用rpn在所述超声图像中生成候选区域，计算每个候选区域的边界框得分和偏移量；步骤2：使用全卷积网络分割每个候选区域的得到全局特征图和局部特征图；步骤3：基于所述全局特征图和注意力生成器生成注意力图，将所述局部特征图和所述注意力图进行逐元素相乘得到加权的局部特征图；步骤4：将所述加权的局部特征图与全局特征图进行拼接，得到第一图像特征。
14.进一步，所述方法还包括采用结合纹理特征改进滤波过程的高斯滤波方法处理所
述超声图像，得到第二图像特征，将所述第一图像特征和第二图像特征或第一图像特征和第二图像特征的融合特征输入机器学习模型中，预测胎儿肺脏成熟度。
15.进一步，所述采用结合纹理特征改进滤波过程的高斯滤波方法，具体步骤包括：步骤1：计算纹理特征图：使用灰度共生矩阵特征描述符计算所述超声图像的纹理特征图；步骤2：计算纹理权重：基于所述纹理特征图计算每个像素的纹理权重；步骤3：应用加权高斯滤波：基于所述纹理权重对所述超声图像进行加权高斯滤波，通过加权平均值得到滤波后的像素值。
16.进一步，所述方法还包括采用cnn和transformer集合模块混合模型对所述超声图像进行特征提取，得到第三图像特征，将所述第一图像特征和第三图像特征或第一图像特征和第三图像特征的融合特征输入机器学习模型中，预测胎儿肺脏成熟度；所述cnn和transformer集合模块混合模型首先利用cnn提取所述超声图像的特征得到特征图，将所述特征图输入transformer集合模块得到第三图像特征，所述transformer集合模块包含数个transformer单元，每个transformer单元包括归一化层、多头自注意力层、多层感知机，所述归一化层对输入进行标准化；所述多头注意力层提取序列中不同位置之间的关系，并将这些关系用于计算每个位置的权重；所述多层感知机用于将多头自注意力层中提取到的特征进行变换。
17.进一步，所述采用cnn和transformer集合模块混合模型对所述超声图像进行特征提取，得到第三图像特征，具体步骤包括：步骤1：将所述超声图像输入cnn进行特征提取得到第一特征图，所述特征提取是采用带空洞卷积的跳跃连接方法；步骤2：将部分第一特征图重塑为二维图像块进行线性投影，得到线性投影后的向量；步骤3：将所述线性投影后的向量输入transformer集合模块中，得到第二特征图；步骤4：将所述第一特征图与第二特征图进行特征融合，得到第三图像特征。
18.进一步，所述特征提取方法还包括将所述第一图像特征、第二图像特征、第三图像特征进行特征融合，得到融合特征图，将所述融合特征图输入机器学习模型中，所述特征融合将多个特征图进行加权求和。
19.一种基于机器学习的胎儿肺脏超声影像成熟度预测系统，所述系统包括：获取单元，用于获取胎儿超声图像；特征提取单元，用于对所述超声图像进行特征提取，得到第一图像特征，所述特征提取为：使用rpn在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述第一图像特征；预测单元，用于将所述第一图像特征输入机器学习模型中，预测胎儿肺脏成熟度。
20.一种基于机器学习的胎儿肺脏超声影像成熟度预测设备，所述设备包括：存储器和处理器；所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时，用于执行上述的基于机器学习的胎儿肺脏超声影像成熟度预测方法。
21.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于机器学习的胎儿肺脏超声影像成熟度预测方法。
22.本发明的优点：1. 本技术创造性的提出一种基于机器学习的胎儿肺脏超声影像成熟度预测方法，该方法采用先进的图像处理和机器学习技术，能够准确地评估和预测胎儿肺脏的成熟度。通过图像分割、特征提取和分类器训练等步骤，提取出胎儿肺脏超声图像的关键特征，从而实现更准确的预测结果。
23.2. 本技术所涉及的方法利用人工智能模型进行成熟度预测，可以实现自动化和快速化的评估过程。相比传统的手动评估方法，能够大大节省时间和人力成本，并提高工作效率和医疗资源利用率。
24.3. 本技术所涉及的方法采用了客观的数据处理和分析方法，避免了主观因素对评估结果的影响。通过机器学习模型对大量的数据进行训练和分析，充分挖掘了数据的信息，可以得出客观、可靠的成熟度预测结果。
25.4. 本技术所涉及的方法引入了多分支的人工智能模型架构，结合不同的特征提取方法，提升了模型的性能和预测效果。同时，还引入了通道注意力机制和特征融合方法，进一步提高了模型的准确性和稳定性。
26.5. 本技术所涉及的方法在预测胎儿肺脏超声影像成熟度的临床治疗与研究领域具有重要的应用价值。该方法的研发和应用，可以为医生和临床医学研究人员提供准确、高效和客观的胎儿肺脏成熟度评估和预测工具，促进妇产科医学的发展和进步。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
28.图1是一种本发明实施例提供的基于机器学习的胎儿肺脏超声影像成熟度预测方法流程示意图；图2是一种本发明实施例提供的标准胎儿心脏四腔心切面声像图；图3是一种本发明实施例提供的数据标注过程；图4是一种本发明实施例提供的用于胎儿肺脏成熟度预测的人工智能模型架构；图5是一种本发明实施例提供的基于机器学习的胎儿肺脏超声影像成熟度预测系统示意图；图6是一种本发明实施例提供的基于机器学习的胎儿肺脏超声影像成熟度预测设备示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的
附图，对本发明实施例中的技术方案进行清楚、完整地描述。
30.在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如s101、s102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
32.图1是本发明实施例提供的一种基于机器学习的胎儿肺脏超声影像成熟度预测方法流程示意图，所述方法包括：s101：获取胎儿超声图像；在一个实施例中，收集孕24-41周近一周内有分娩可能的单胎胎儿肺脏超声图像，于分娩前3天内进行胎儿肺脏超声检查，采集肺脏图像。图像在采集过程中，医生或经过培训的技术人员将仔细调整超声设备的参数，确保图像的清晰度和对比度，以获取高质量的胎儿肺脏超声图像。医生在分娩时留存洁净羊水5ml，经阴道分娩孕妇在人工破膜时留取羊水，剖宫产患者开腹破膜时留取羊水。通过羊水检测测量卵磷脂/鞘磷脂值（l/s值），若l／s值》2．0认为胎儿肺脏发育成熟。分娩后进一步随访新生儿出生结局至生后2个月。
33.所述胎儿超声图像为标准四腔心切面，这是常用的用于评估胎儿肺脏发育的超声图像采集切面，如图2所示，所述标准四腔心切面显示了完整的胎儿胸廓、双侧肺脏组织、降主动脉位置和心脏结构。
34.图2中的胎儿标准四腔心切面显示了完整的胎儿胸廓，两侧的胸壁可以分别显示一根完整的或接近完整的肋骨，图像留存时应避开肋骨及脊柱声影清晰显示双侧肺脏组织，降主动脉位于胎儿脊柱的左前方；心脏的左心房、右心房、左心室、右心室，房室间隔及二三尖瓣的十字交叉结构可显示，室间隔完整；胎儿心尖指向左侧约45
º±
20
º
；卵圆孔位于房间隔中部，卵圆孔瓣开口于左房；三尖瓣隔瓣较二尖瓣在室间隔的附着点更靠近心尖；图像上无测量标尺等标记。
35.采集到的胎儿肺脏超声图像需要进行标注，以获取感兴趣区域（roi）的位置和属性信息。在标注过程中，医生或专业的医学影像分析师将仔细勾画出图像中的胎儿肺部区域，勾画时注意避开心脏组织、大血管及肋骨。标注信息将作为训练模型和评估模型的依据，标注过程如图3所示。
36.采集和标注完的数据应组织成适合训练和评估模型的数据集。通常采用图像数据集的常见格式，如文件夹结构或表格形式。每个图像样本将与其相应的孕周和成熟度标签进行关联，以便进行模型的训练和预测。
37.s102：对所述超声图像进行特征提取，得到第一图像特征，所述特征提取为：使用rpn在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部
特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述第一图像特征；在一个实施例中，本发明所提出的人工智能模型架构包含三个分支，分别为第一图像特征提取分支，第二图像特征提取分支和第三图像特征提取分支，具体结构如图4所示。
38.在一个实施例中，所述特征提取具体包括：步骤1：使用rpn在所述超声图像中生成候选区域，计算每个候选区域的边界框得分和偏移量；步骤2：使用全卷积网络分割每个候选区域的得到全局特征图和局部特征图；步骤3：基于所述全局特征图和注意力生成器生成注意力图，将所述局部特征图和所述注意力图进行逐元素相乘得到加权的局部特征图；步骤4：将所述加权的局部特征图与全局特征图进行拼接，得到第一图像特征。
39.在一个具体实施例中，在所述第一图像特征提取中，使用mask r-cnn算法得到分割图像，所述mask r-cnn算法为基于注意力机制改进的图像分割算法。
40.在mask r-cnn算法中，首先利用region proposal network（rpn生成候选区域（region proposals），这些区域可能包含感兴趣的目标（即胎儿肺脏目标）。每个候选区域都用一个边界框（bounding box）来表示，该边界框由四个坐标表示：，分别代表边界框的左上角坐标和宽度、高度。
41.对于每个候选区域，rpn会计算两个值：1、边界框的得分（objectness score）：表示这个候选区域是否包含目标。
42.2、边界框的偏移量（bounding box offset）：用于调整边界框的位置和大小，以更好地匹配目标。
43.进一步地，使用两个向量来表示每个候选区域的得分和偏移量。对于原始超声图像中的每个位置，rpn会输出一个得分向量和一个偏移量向量。这些向量可以表示为：
[0044][0045]
其中，表示特征图中位置处的特征，为候选区域得分计算函数，为候选区域偏移量计算函数。
[0046]
进一步地，使用得分和偏移量来选择最有可能包含目标的候选区域。具体的，使用非极大值抑制（non-maximum suppression，nms）来过滤掉高度重叠的候选区域，只保留得分最高的区域。
[0047]
非极大值抑制是一种常用的图像处理算法，用于抑制图像中的非极大值点，从而实现对图像中极大值点的突出显示。在图像处理中，非极大值抑制通常用于边缘检测算法，边缘检测的目标是找到图像中明显的边缘区域，而非极大值抑制则用于提取这些明显的边缘。该算法的具体步骤如下：1. 对图像进行灰度化处理；2. 使用边缘检测算子（如sobel、prewitt等）对图像进行边缘检测，得到边缘强度图像；
3. 对于每个像素点，比较边缘强度与其周围8个像素点的边缘强度大小，如果当前像素点的边缘强度最大，则将其保留；否则，将其抑制；4. 对于边缘强度图像中的所有像素点，根据非极大值抑制的结果，保留边缘强度最大的像素点，并抑制其他像素点。
[0048]
进一步地，对选定的候选区域进行细化分割。使用全卷积网络（fully convolutional network，fcn）来生成每个候选区域的分割掩码（segmentation mask）。选定的候选区域作为输入，并在fcn中引入注意力机制，使其能够动态地调整对特征的关注程度。
[0049]
分割掩码是一种图像分割任务的标注方式，图像分割是指将图像中的每个像素分配到不同的类别或区域中的过程，而分割掩码则用于标识每个像素所属的类别或区域。分割掩码是与原始图像具有相同尺寸的二维数组，每个元素对应于原始图像中的一个像素，分割掩码中的每个像素值表示该像素所属的类别或区域标签。一般情况下，分割掩码使用整数值来表示不同的类别或区域，例如：0表示背景，1表示前景，2表示边界等。通过使用分割掩码，可以将图像中的每个像素与其所属的类别或区域进行关联，从而实现对图像的精细分割，对于图像分割任务，通常需要使用训练数据集来训练一个分割模型，该训练数据集包含了原始图像和相应的分割掩码。在训练过程中，模型通过学习原始图像与其对应的分割掩码之间的映射关系，能够对新的图像进行准确的分割。
[0050]
设输入到fcn的特征图为，将其分为两部分：一个是全局特征图，用于捕捉整体的上下文信息；另一个是局部特征图，用于捕捉具体目标的细节信息。
[0051]
全局特征图通过全局池化操作得到，定义为：
[0052]
其中，表示全局池化。
[0053]
进一步地，使用注意力生成器（attention generator）来生成注意力图，用于调整局部特征图的权重分布。注意力生成器是通过一个卷积层和激活函数来实现。设注意力生成器的输入为，输出为，则可以表示为：
[0054]
其中，为卷积操作。
[0055]
进一步地，为了保持特征图的尺寸一致，将注意力图进行上采样，得到与局部特征图相同尺寸的注意力图。
[0056]
进一步地，将局部特征图和注意力图进行逐元素相乘，得到加权的局部特征图。可以表示为：
[0057]
其中，表示逐元素相乘操作。
[0058]
进一步地，将加权的局部特征图与全局特征图进行拼接，得到最终的特征图。这可以表示为：
[0059]
其中，表示级联拼接操作。
[0060]
进一步地，使用作为输入，通过fcn进行分割掩码，得到每个候选区域的分割结果，以及对应的类别标签。对应的类别标签可以通过在fcn的输出上应用一个分类器来实现，如softmax分类器。分类器会为每个候选区域预测一个类别概率分布，然后选择概率最高的类别作为该区域的标签。
[0061]
基于此，通过所述第一图像特征提取得到的图像为第一特征图，所述第一特征图为分割后的图像。
[0062]
在一个实施例中，所述方法还包括采用结合纹理特征改进滤波过程的高斯滤波方法处理所述超声图像，得到第二图像特征，将所述第一图像特征和第二图像特征或第一图像特征和第二图像特征的融合特征输入机器学习模型中，预测胎儿肺脏成熟度。
[0063]
所述采用结合纹理特征改进滤波过程的高斯滤波方法，具体步骤包括：步骤1：计算纹理特征图：使用灰度共生矩阵特征描述符计算所述超声图像的纹理特征图；步骤2：计算纹理权重：基于所述纹理特征图计算每个像素的纹理权重；步骤3：应用加权高斯滤波：基于所述纹理权重对所述超声图像进行加权高斯滤波，通过加权平均值得到滤波后的像素值。
[0064]
在一个具体实施例中，采用高斯滤波方法对原始超声图像进行去噪。其中，所述高斯滤波方法通过结合纹理特征来调整滤波过程进行改进，以更好地保留图像的纹理细节。具体的，详细处理方式如下：1、计算纹理特征图：首先，使用灰度共生矩阵特征描述符计算图像的纹理特征图，所述纹理特征图的大小与原始图像相同，每个像素位置的值表示该位置的纹理特征。
[0065]
2、计算纹理权重：基于纹理特征图，计算每个像素的纹理权重。纹理权重根据像素位置处的纹理特征值来计算，具体计算方式可以根据所选择的纹理特征描述符进行调整，以反映纹理特征对噪声去除的重要性。本发明实施例中假设纹理权重图为，其大小与原始图像相同。
[0066]
3、应用加权高斯滤波：使用纹理权重图对原始图像进行加权高斯滤波。对于每个像素位置，计算加权平均值来得到滤波后的像素值。具体公式如下所示：
[0067]
其中，表示滤波后的像素值，表示原始图像中相应位置的像素值，表示纹理权重图中位置处的权重值。表示滤波器的大小，通常为一个正整数，用于指定滤波器的半径。
[0068]
通过以上步骤，利用改进的高斯滤波方法对孕妇胎儿肺脏超声图像进行去噪，同时保留图像的纹理特征。
[0069]
基于此，通过所述第二图像特征提取得到的图像为第二特征图，所述第二特征图
为去噪后的图像。
[0070]
在一个实施例中，所述方法还包括采用cnn和transformer集合模块混合模型对所述超声图像进行特征提取，得到第三图像特征，将所述第一图像特征和第三图像特征或第一图像特征和第三图像特征的融合特征输入机器学习模型中，预测胎儿肺脏成熟度；所述cnn和transformer集合模块混合模型首先利用cnn提取所述超声图像的特征得到特征图，将所述特征图输入transformer集合模块得到第三图像特征，所述transformer集合模块包含数个transformer单元，每个transformer单元包括归一化层、多头自注意力层、多层感知机，所述归一化层对输入进行标准化；所述多头注意力层提取序列中不同位置之间的关系，并将这些关系用于计算每个位置的权重；所述多层感知机用于将多头自注意力层中提取到的特征进行变换。
[0071]
所述采用cnn和transformer集合模块混合模型对所述超声图像进行特征提取，得到第三图像特征，具体步骤包括：步骤1：将所述超声图像输入cnn进行特征提取得到第一特征图，所述特征提取是采用带空洞卷积的跳跃连接方法；步骤2：将部分第一特征图重塑为二维图像块进行线性投影，得到线性投影后的向量；步骤3：将所述线性投影后的向量输入transformer集合模块中得到第二特征图；步骤4：将所述第一特征图与第二特征图进行特征融合，得到第三图像特征。
[0072]
在一个具体实施例中，所述第三图像特征提取中，为了在解码路径利用中间的高分辨率特征图，网络编码端采用卷积神经网络（convolutional neural network，cnn）和transformer集合模块混合模型。
[0073]
其中，cnn部分将resnet-50用作特征提取器，且cnn部分的输出作为transformer集合模块的输入。
[0074]
由于transformer集合模块中的transformer单元采用一维线性编码，需要对cnn输出的特征图进行处理。处理方式为将cnn部分的输出重塑为若干二维小图像块，可以表示为：
[0075]
其中，每个图像块大小为，数量为。为cnn部分的输出的尺寸像素长度，为cnn部分的输出的尺寸像素宽度。
[0076]
进一步地，对进行线性投影，可以表示为：
[0077]
其中，为线性投影矩阵，为位置编码，是经过线性投影后的向量，所述线性投影后的向量输入transformer集合模块中进行运算。
[0078]
在transformer集合模块中共包含8个transformer单元，每个transformer单元包括2个归一化层、1个多头自注意力层、1个多层感知机。
[0079]
其中，归一化层的归一化方式为批归一化（batch normalization），即对每个批次的输入进行标准化，使得每个特征的均值接近0，方差接近1。
[0080]
多头注意力层采用多头自注意力机制，提取序列中不同位置之间的关系，并将这些关系用于计算每个位置的权重。该过程通过将输入序列拆分为多个头进行并行计算。在每个头中，序列中的每个位置都会与序列中其他位置计算相似度，并使用softmax函数将这些相似度转换为权重。这些权重被用于对所有位置进行加权求和，得到每个位置的输出表示。其注意力机制如下：设分别为当前的图像块、当前图像块与被查询图像块间的相关性和被查询的图像块，表示为矩阵形式：
[0081][0082][0083]
其中，和的维度均为，的维度为，和是当前图像块和被查询的图像块的维度。为序列的批量大小，序列的长度。
[0084]
通过计算和的乘积，得到注意力矩阵，可以表示为：
[0085]
其中，注意力矩阵维度为，为softmax分类函数。
[0086]
进一步地，将矩阵和矩阵相乘，得到输出矩阵，可以表示为：
[0087]
其中，的维度为。
[0088]
通过多头自注意力机制，模型能够学习到不同位置之间的关系，从而提取出序列中的关键特征。
[0089]
多层感知机用于将多头自注意力层中提取到的特征进行变换。在transformer单元中，多层感知机由两个全连接层组成，其中第一层应用线性变换，第二层应用激活函数。通过多层感知机，模型能够将多头自注意力机制中提取到的特征进行非线性映射，进一步提高特征的表达能力。多层感知机还有助于模型在多个不同抽象层次上学习特征表示，使得模型能够更好地捕捉序列中的抽象特征。
[0090]
对于transformer集合模块中串联的多个transformer单元，第层的输出为：
[0091][0092]
其中，为归一化操作，多头自注意力增强操作，为感知机非线
性激活操作，为第层的输出，为第层的输入，为第层的输出。
[0093]
进一步地，采用带空洞卷积的跳跃连接进行特征输出。参考u-net算法，将cnn部分的第1层、第2层、第3层提取的特征作为跳跃连接的起点，其特征尺寸分别为原图尺寸的和。
[0094]
为了进一步提取显著特征或全局信息，对不同的跳跃连接进行不同的处理，公式如下：
[0095]
其中，为输入特征，为输出特征，，为非线性变换函数。即表示经过非线性变换函数后输出含有更多显著特征或全局信息的特征。具体的，所述非线性变换函数的公式表示如下：
[0096][0097][0098]
其中，表示网络层的连接，为输入特征，和分别表示空洞率为和5的卷积层，表示的最大池化层，表示2倍上采样。
[0099]
以为例，输入特征依次经过空洞率为和5的卷积，卷积核大小为。
[0100]
进一步地，将得到的特征经过最大池化层提取显著特征，同时经过一次下采样操作。为了防止梯度消失和特征退化，在跳跃连接中构建残差连接：与最大池化层的输入特征相加。
[0101]
进一步地，特征经过一次上采样后进入解码端。
[0102]
通过上述方式，特征、和处于网络相对较浅的位置，拥有较多的纹理特征，同时由于原图含有较多噪声，在相应的跳跃连接中使用最大池化提取显著特征，同时起到抑制噪声的作用。
[0103]
进一步地，在第三特征提取分支中还包括网络的解码端，所述网络的解码端包括解码器和分割头两部分。
[0104]
其中，解码器部分将transformer输出的隐藏特征变形为，通过一系列的上采样算子、卷积和relu层，将其从恢复到的全分辨率。
[0105]
分割头部分用于将解码器输出的特征图转换为对每个像素点的分割预测，输出大小等于输入图像的大小，并且包含每个像素点的预测结果。
[0106]
可以预见的是，胎儿肺脏超声图像构造的数据集可能存在训练样本少、正负样本数量比例失衡等现象，本发明使用与区域相关的diceloss作为损失函数。diceloss的本质是一种相似度度量方法，可以用来比较两个集合的相似程度。在分割任务中，可以将模型输出的分割结果和真实的分割标注看做两个集合，然后使用diceloss来衡量它们的相似度。具体表示如下：
其中，为掩模，为网络输出的预测图，为diceloss，为和之间的交集，和分别表示和的所有元素数值和。数值越小和之间的相似度越大，反之越小。
[0107]
基于此，通过第三特征提取分支得到的图像为第三特征图，所述第三特征图为分割后的图像。
[0108]
在一个实施例中，所述特征提取方法还包括将所述第一图像特征、第二图像特征、第三图像特征进行特征融合，得到融合特征图，将所述融合特征图输入机器学习模型中，所述特征融合将多个特征图进行加权求和。
[0109]
在一个具体实施例中，对三种特征提取后的特征图进行特征融合。设3个特征图分别为，，，维度分别为，，，其中，，分别表示特征图的通道数，和表示特征图的高度和宽度。
[0110]
进一步地，引入通道注意力机制来计算每个通道的注意力权重。使用全局平均池化操作对每个通道进行降维，得到通道的全局特征向量。对于特征图，将其进行全局平均池化操作，得到对应的全局特征向量。全局特征向量的维度为。
[0111]
进一步地，使用一个全连接层和激活函数来生成每个通道的注意力权重。设全连接层的输入为全局特征向量，输出为通道注意力权重向量，通过激活函数进行归一化处理可以表示为：
[0112]
其中，表示全连接层，表示修正线性单元激活函数，为softmax分类函数。的维度为，表示特征图中每个通道的注意力权重。
[0113]
进一步地，将注意力权重与对应的特征图进行逐通道的加权求和，得到融合后的特征图。融合后的特征图可以表示为：
[0114]
其中，表示逐元素相乘操作，即表示注意力权重会根据每个通道的权重对特征图进行加权。
[0115]
进一步地，利用融合后的特征图训练预测模型，预测模型利用分类器进行区间预测，分类器的分类类别为划分的成熟度区间，即根据医学专家的经验和已有研究，将孕周范围划分为多个区间，每个区间可以对应不同的胎儿肺脏成熟度水平。在本发明的一个实施例中，标签是离散的类别，如划分为4个成熟度区间，用标签1、2、3和4表示各自的成熟度水平。
[0116]
s103：将所述第一图像特征输入机器学习模型中，预测胎儿肺脏成熟度。
[0117]
在一个实施例中，将所述第一图像特征与第二图像特征进行特征拼接，得到第一拼接特征，将所述第一拼接特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第一图像特征与第二图像特征进行特征融合，得到第一融合特征，将所述第一融合特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第一图像特征与第三图像特征进行特征拼接，得到第二
拼接特征，将所述第二拼接特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第一图像特征与第三图像特征进行特征融合，得到第二融合特征，将所述第二融合特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第二图像特征与第三图像特征进行特征拼接，得到第三拼接特征，将所述第三拼接特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第一图像特征与第三图像特征进行特征融合，得到第三融合特征，将所述第三融合特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第一图像特征、第二图像特征与第三图像特征进行特征拼接，得到第四拼接特征，将所述第四拼接特征输入机器学习模型中，预测胎儿肺脏成熟度；在一个实施例中，将所述第一图像特征、第二图像特征与第三图像特征进行特征融合，得到第四融合特征，将所述第四融合特征输入机器学习模型中，预测胎儿肺脏成熟度；上述实施例中所涉及的机器学习模型的构建方法包括：获取胎儿超声影像和分类标签；对所述超声影像进行特征提取，得到图像特征，所述图像特征包括以下任意一种或几种：第一图像特征，第二图像特征，第三图像特征，第一图像特征与第二图像特征的拼接特征或融合特征，第一图像特征与第三图像特征的拼接特征或融合特征，第二图像特征与第三图像特征的拼接特征或融合特征，第一图像特征、第二图像特征和第三图像特征的拼接特征或融合特征；将所述图像特征输入分类器中进行模型构建，得到初步分类结果，将所述初步分类结果与所述分类标签比对，生成损失函数，基于损失函数优化机器学习模型，得到训练好的分类模型。
[0118]
所述机器学习模型可以采用下列分类算法中的任意一种或几种：k近邻算法、决策树算法、朴素贝叶斯算法、逻辑回归算法、支持向量机算法、随机森林算法。
[0119]
k近邻算法（k-nearest neighbors，knn）是基于实例的学习方法，通过找到与新样本最相似的k个邻居，并根据这k个邻居的标签来进行分类或预测。决策树算法（decision tree）通过构建一个树形结构来对数据进行分类或预测。每个节点代表一个特征，根据特征的不同取值进行分支，并最终得到一个叶节点，叶节点表示数据的分类或预测结果。朴素贝叶斯算法（naive bayes）基于贝叶斯定理和特征之间的条件独立性假设，通过计算样本属于不同类别的概率来进行分类或预测。逻辑回归算法（logistic regression）用于处理二分类问题，通过建立一个逻辑回归模型来对数据进行分类。模型通过将输入特征与权重相乘并加上偏置项，然后通过一个逻辑函数（如sigmoid函数）将结果映射到0和1之间。支持向量机算法（support vector machines，svm）是一种二分类模型，通过将数据集映射到高维空间，并找到一个最优的超平面来实现分类。svm通过最大化不同类别之间的间隔，并通过支持向量来确定超平面。随机森林算法（random forest）是一种集成学习方法，通过构建多个决策树来进行分类或预测。随机森林在构建每棵树时，会通过随机选择特征子集，减少特征之间的相关性。
[0120]
图5是本发明实施例提供的一种基于机器学习的胎儿肺脏超声影像成熟度预测系
统，包括：s501：获取单元，用于获取胎儿超声图像；s502：特征提取单元，用于对所述超声图像进行特征提取，得到第一图像特征，所述特征提取为：使用rpn在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述第一图像特征；s503：预测单元，用于将所述第一图像特征输入机器学习模型中，预测胎儿肺脏成熟度。
[0121]
所述系统的使用场景：通过软件形式植入超声诊断仪中，对于早产、促肺治疗及孕期并发症患者胎儿产前可以通过预测模型对胎儿肺脏发育情况进行评估，将获取的胎儿标准四腔心切面输入软件，软件即可定量输出胎儿肺脏实际肺龄，了解胎儿肺脏实际发育情况，辅助临床决策。
[0122]
图6是本发明实施例提供的一种基于机器学习的胎儿肺脏超声影像成熟度预测设备示意图，其包括：存储器和/或处理器；该设备还可以包括：输入装置和输出装置。
[0123]
存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接。图6所示的是以总线连接方式为例；其中，存储器用于存储程序指令；处理器用于调用程序指令，当程序指令被执行时，用于实现上述基于机器学习的胎儿肺脏超声影像成熟度预测方法。
[0124]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于心源性休克分期的治疗辅助决策方法。
[0125]
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
[0126]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0127]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0128]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0129]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0130]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储
介质可以包括：只读存储器（rom，read only memory）、随机存取存储器（ram，random access memory）、磁盘或光盘等。
[0131]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0132]
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述方法包括：获取胎儿超声图像；对所述超声图像进行特征提取，得到第一图像特征，所述特征提取为：使用rpn在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述第一图像特征；将所述第一图像特征输入机器学习模型中，预测胎儿肺脏成熟度。2.根据权利要求1所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述胎儿超声图像为标准四腔心切面，所述标准四腔心切面显示了完整的胎儿胸廓、双侧肺脏组织、降主动脉位置和心脏结构。3.根据权利要求1所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述特征提取具体包括：步骤1：使用rpn在所述超声图像中生成候选区域，计算每个候选区域的边界框得分和偏移量；步骤2：使用全卷积网络分割每个候选区域的得到全局特征图和局部特征图；步骤3：基于所述全局特征图和注意力生成器生成注意力图，将所述局部特征图和所述注意力图进行逐元素相乘得到加权的局部特征图；步骤4：将所述加权的局部特征图与全局特征图进行拼接，得到第一图像特征。4.根据权利要求1所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述方法还包括采用结合纹理特征改进滤波过程的高斯滤波方法处理所述超声图像，得到第二图像特征，将所述第一图像特征和第二图像特征或第一图像特征和第二图像特征的融合特征输入机器学习模型中，预测胎儿肺脏成熟度。5.根据权利要求4所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述采用结合纹理特征改进滤波过程的高斯滤波方法，具体步骤包括：步骤1：计算纹理特征图：使用灰度共生矩阵特征描述符计算所述超声图像的纹理特征图；步骤2：计算纹理权重：基于所述纹理特征图计算每个像素的纹理权重；步骤3：应用加权高斯滤波：基于所述纹理权重对所述超声图像进行加权高斯滤波，通过加权平均值得到滤波后的像素值。6.根据权利要求1所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述方法还包括采用cnn和transformer集合模块混合模型对所述超声图像进行特征提取，得到第三图像特征，将所述第一图像特征和第三图像特征或第一图像特征和第三图像特征的融合特征输入机器学习模型中，预测胎儿肺脏成熟度；所述cnn和transformer集合模块混合模型首先利用cnn提取所述超声图像的特征得到特征图，将所述特征图输入transformer集合模块得到第三图像特征，所述transformer集合模块包含数个transformer单元，每个transformer单元包括归一化层、多头自注意力层、多层感知机，所述归一化层对输入进行标准化；所述多头注意力层提取序列中不同位置之间的关系，并将这些关系用于计算每个位置的权重；所述多层感知机用于将多头自注意力
层中提取到的特征进行变换。7.根据权利要求6所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述采用cnn和transformer集合模块混合模型对所述超声图像进行特征提取，得到第三图像特征，具体步骤包括：步骤1：将所述超声图像输入cnn进行特征提取得到第一特征图，所述特征提取是采用带空洞卷积的跳跃连接方法；步骤2：将部分第一特征图重塑为二维图像块进行线性投影，得到线性投影后的向量；步骤3：将所述线性投影后的向量输入transformer集合模块，得到第二特征图；步骤4：将所述第一特征图与第二特征图进行特征融合，得到第三图像特征。8.根据权利要求1-7任意一项所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法，其特征在于，所述特征提取方法还包括将所述第一图像特征、第二图像特征、第三图像特征进行特征融合，得到融合特征图，将所述融合特征图输入机器学习模型中，所述特征融合将多个特征图进行加权求和。9.一种基于机器学习的胎儿肺脏超声影像成熟度预测系统，其特征在于，所述系统包括：获取单元，用于获取胎儿超声图像；特征提取单元，用于对所述超声图像进行特征提取，得到第一图像特征，所述特征提取为：使用rpn在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述第一图像特征；预测单元，用于将所述第一图像特征输入机器学习模型中，预测胎儿肺脏成熟度。10.一种基于机器学习的胎儿肺脏超声影像成熟度预测设备，其特征在于，所述设备包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时，用于执行权利要求1-8任意一项所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述的基于机器学习的胎儿肺脏超声影像成熟度预测方法。

技术总结
本发明提供了一种基于机器学习的胎儿肺脏超声影像成熟度预测方法、设备及系统，涉及智能医疗领域。所述方法包括：获取胎儿超声图像；对所述超声图像进行特征提取，得到图像特征，所述特征提取为：利用RPN在所述超声图像中生成候选区域，对所述候选区域基于全卷积网络进行分割得到全局特征图和局部特征图，对所述局部特征图采用注意力生成器调整权重分布得到加权的局部特征图，将所述加权的局部特征图与所述全局特征图进行拼接，得到所述图像特征；将所述图像特征输入机器学习模型中，预测胎儿肺脏成熟度。本发明采用先进的图像处理和机器学习技术，能够准确地评估和预测胎儿肺脏的成熟度，有重要的科研和临床价值。有重要的科研和临床价值。有重要的科研和临床价值。


技术研发人员：吴青青 夏太慧 宋世晶 侯晨晓 王莉 王晶晶
受保护的技术使用者：首都医科大学附属北京妇产医院
技术研发日：2023.08.04
技术公布日：2023/9/7