一种孕囊及胚芽自动测量方法、系统、装置及介质与流程

1.本发明涉及图像检测技术领域，尤其是一种孕囊及胚芽自动测量方法、系统、装置及介质。


背景技术：

2.妊娠早期(小于孕10周)是胎儿器官分化、形成的重要时期，也是流产、宫外孕等早孕期不良妊娠事件发生最频繁的时期。经阴道超声检查目前是评估孕龄和估计分娩时间的最佳方法，也是评估胎儿生长发育最早最直接的指标之一。通过对孕囊与胚芽的规范化测量，可以判断宫内妊娠、核准孕周及确认胚胎活性，合理指导产前检查与孕期保健时间、次数及临床决策。
3.然而，目前早孕期(妊娠6～13+6周)超声筛查面临技术标准缺乏、公开数据集少、早孕检查结果敏感性低等诸多难题，现有的大多数ai智能辅助诊断方法做的都是针对中晚孕期超声图像进行产筛切面对的最优标准切面分类(中国专利申请：cn112155602a)，训练一个多标签分类网络模型或多个单疾病分类模型，然后对输入图像进行预测(中国专利申请：cn112155604a，cn112215806a)。以上研究对于图片质量要求高，将深度卷积神经网络模型学到的疾病特征信息通过权重比较是否更接近人工标注的标准切面，以此辅助医生诊断。对于动态超声视频中精细结构的小目标分割研究，需要大量的人工标注及资料收集，其基于深度学习框架相关研究较少，目前仅限于胎儿标准四腔心(cn 111062948a)、成人超声心动图左室收缩功能测定等相关多组织分割。
4.目前估测孕周的方法主要为：末次月经日期推算、超声医师手工测量和术后病理。在女性月经规律前提下，末次月经的第一天即妊娠龄的第一天。月经周期不规则或无排卵周期情况下，受精的确切日期未知，因此，用超声确定妊娠的日期成为建立孕周的最可靠方法。对于比较早的孕周，当胎儿相对较小，测量误差对孕周判断会产生更为显著的效应。因此，国际超声指南判断孕周最合适的时间是8到13+6周，早于孕8周前的测量不够精准。同时美国妇产超声协会提出，经阴道超声检查胚芽长度超过7mm时应有胎心搏动，平均孕囊直径大于25毫米，应有胚胎。否则为胚胎停育，该判断仅依靠操作者的肉眼观测及手工测量，存在一定的局限性，其敏感性、特异性较低。鉴于此，如何准确测量孕囊及胚芽是一个亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明实施例提供一种孕囊及胚芽自动测量方法、系统、装置及介质，能够实现孕囊及胚芽的准确测量。
6.一方面，本发明的实施例提供了一种孕囊及胚芽自动测量方法，包括：
7.获取早孕期超声图像；
8.利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面；其中，所述孕囊及胚芽分割模型通过已标注分割标
签的早孕期超声图像训练生成的；所述孕囊及胚芽分割模型包括resnet-50网络和unet卷积网络；所述resnet-50网络基于mask rcnn框架搭建，所述unet卷积网络添加有注意力机制模块；
9.根据所述目标分割平面，通过lstm时间序列模型，获得标准平面；
10.基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果。
11.可选地，所述获取早孕期超声图像，包括：
12.获取早孕期超声视频；
13.对所述早孕期超声视频进行视频分帧、关键帧筛选和图像处理，得到早孕期超声图像；其中，所述图像处理包括归一化操作、尺度缩放和数据增强。
14.可选地，还包括：
15.基于已标注分割标签的早孕期超声图像，创建孕囊及胚芽分割模型。
16.可选地，所述基于已标注分割标签的早孕期超声图像，创建孕囊及胚芽分割模型，包括：
17.根据所述已标注分割标签的早孕期超声图像，确定训练集；
18.基于mask rcnn框架，使用resnet-50网络作为骨干网络搭建first trimester-mask rcnn；
19.通过在unet卷积网络中添加注意力机制模块搭建first trimester-unet；
20.根据所述first trimester-mask rcnn和所述first trimester-unet，创建多种多目标分割模型；
21.通过所述训练集对所述多种多目标分割模型进行分割训练，并基于训练结果，对所述多种多目标分割模型进行调整，获得孕囊及胚芽分割模型。
22.可选地，所述基于mask rcnn框架，使用resnet-50网络作为骨干网络搭建first trimester-mask rcnn，包括：
23.基于mask rcnn框架，使用resnet-50网络作为骨干网络，结合特征金字塔网络结构和point-head，搭建得到first trimester-unet；其中，所述特征金字塔网络结构用于多尺度图像的特征提取，所述point-head用于分割边缘的加权细化。
24.可选地，所述利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面，包括：
25.利用孕囊及胚芽分割模型，提取所述早孕期超声图像的像素特征表达；
26.基于所述像素特征表达，通过所述注意力机制模块进行特征增强，得到增强特征的特征表示；
27.根据所述增强特征表示，确定分割结果，得到所述早孕期超声图像的孕囊及胚芽的目标分割平面。
28.可选地，所述基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果，包括：
29.基于所述标准平面，利用opencv工具获得测量经线，得到孕囊及胚芽的测量结果；
30.其中，所述孕囊及胚芽的测量结果包括评价孕囊直径和胚芽长度。
31.另一方面，本发明的实施例提供了一种孕囊及胚芽自动测量系统，包括：
32.第一模块，用于获取早孕期超声图像；
33.第二模块，用于利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面；其中，所述孕囊及胚芽分割模型通过已标注分割标签的早孕期超声图像训练生成的；所述孕囊及胚芽分割模型包括resnet-50网络和unet卷积网络；所述resnet-50网络基于mask rcnn框架搭建，所述unet卷积网络添加有注意力机制模块；
34.第三模块，用于根据所述目标分割平面，通过lstm时间序列模型，获得标准平面；
35.第四模块，用于基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果。
36.另一方面，本发明的实施例提供了一种孕囊及胚芽自动测量装置，包括处理器以及存储器；
37.所述存储器用于存储程序；
38.所述处理器执行所述程序实现如前面所述的方法。
39.另一方面，本发明的实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
40.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
41.本发明实施例首先获取早孕期超声图像；利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面；其中，所述孕囊及胚芽分割模型通过已标注分割标签的早孕期超声图像训练生成的；所述孕囊及胚芽分割模型包括resnet-50网络和unet卷积网络；所述resnet-50网络基于mask rcnn框架搭建，所述unet卷积网络添加有注意力机制模块；根据所述目标分割平面，通过lstm时间序列模型，获得标准平面；基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果。本发明在获得早孕期超声图像后，利用预先建立的孕囊及胚芽分割模型，对该早孕期超声图像进行分析，获得目标分割平面，进而通过lstm时间序列模型获取标准平面，实现测量经线的确定，能够实现自动且准确测量孕囊及胚芽，提高了孕囊及胚芽的测量精度。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明实施例提供的一种孕囊及胚芽自动测量方法的流程示意图；
44.图2为本发明实施例提供的加入注意力机制模块的分割模型的示意图；
45.图3为本发明实施例提供的一种孕囊及胚芽自动测量方法的总体流程示意图；
46.图4为本发明实施例提供的对孕囊实时分割与专家手工标注结果的比较示意图；
47.图5为本发明实施例提供的对胚芽实时分割与专家手工标注结果的比较示意图；
48.图6为本发明实施例提供的胚胎死活二分类的roc曲线及混淆矩阵的示意图；
49.图7为本发明实施例提供的平均受试者工作特征曲线(auc)的示意图。
具体实施方式
50.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
51.在三甲医院中，日均产生的早孕期超声图像数量巨大，超声医生在操作仪器的同时又需要进行评估诊断，其日手动测量数千次孕囊、数百次胚芽长度，部分孕囊平均内径以及胚芽最长经线需要反复测量，由此来准确估测孕周和判断胚胎活性，此过程费时费力；另一方面，在长时间的工作过程中会逐渐累积疲劳度，进而可能会出现标注不准造成测量误差大的情况。胚芽数毫米的误差或导致孕周数的误判，使孕妇错过下一次产检时间窗(10～13+6周)，未能进行重要无创产前检查(如胎儿颈后透明层测量)。肉眼评判胎心是否搏动直接判断停育存在误判风险，因此需要寻找一种更方便、快捷和精准的测量手段和评估方式。
52.本发明针对现有孕龄评估与超声手工测量方法的不足，提供在早孕期超声中进行孕囊、胚芽、胎心智能测量以准确估测孕龄判断存活的新方法。包括：
53.(1)自动分割关键解剖结构以估测孕龄，可用于提高超声医师工作效率以及准确判断孕龄；
54.(2)在前期分割及测量的基础上，根据指南判断胚胎存活。
55.本发明的目的是，提供一种基于动态超声视频数据快速目标检测分割的模型：通过孕囊及胚芽标准平面自动识别、细粒度特征提取、智能生物测量，可以实质性地减轻医生工作负担，作为一种既准确又经济的早孕期超声筛查方法，有利于基层医疗机构进行早孕期同质化诊断服务。
56.鉴于此，一方面，参照图1，本发明的实施例提供了一种孕囊及胚芽自动测量方法，包括：
57.s100、获取早孕期超声图像；
58.需要说明的是，一些实施例中，获取早孕期超声视频；对早孕期超声视频进行视频分帧、关键帧筛选和图像处理，得到早孕期超声图像；其中，图像处理包括归一化操作、尺度缩放和数据增强.
59.具体地，收集并获取早孕期超声视频图像进行预处理，进行视频分帧，筛除没有胚芽、孕囊的帧，再对图像进行归一化操作和尺度缩放，并进行数据增强，包括随机切割、随机翻转、色彩失真等。
60.s200、利用孕囊及胚芽分割模型，对早孕期超声图像进行分析，获得早孕期超声图像的孕囊及胚芽的目标分割平面；
61.需要说明的是，孕囊及胚芽分割模型通过已标注分割标签的早孕期超声图像训练生成的；孕囊及胚芽分割模型包括resnet-50网络和unet卷积网络；resnet-50网络基于mask rcnn框架搭建，unet卷积网络添加有注意力机制模块；
62.其中，一些实施例中，还包括：基于已标注分割标签的早孕期超声图像，创建孕囊及胚芽分割模型。
63.一些实施例中，基于已标注分割标签的早孕期超声图像，创建孕囊及胚芽分割模型，包括：根据已标注分割标签的早孕期超声图像，确定训练集；基于mask rcnn框架，使用resnet-50网络作为骨干网络搭建first trimester-mask rcnn；通过在unet卷积网络中添
加注意力机制模块搭建first trimester-unet；根据first trimester-mask rcnn和first trimester-unet，创建多种多目标分割模型；通过训练集对多种多目标分割模型进行分割训练，并基于训练结果，对多种多目标分割模型进行调整，获得孕囊及胚芽分割模型。
64.一些实施例中，基于mask rcnn框架，使用resnet-50网络作为骨干网络搭建first trimester-mask rcnn，包括：基于mask rcnn框架，使用resnet-50网络作为骨干网络，结合特征金字塔网络结构和point-head，搭建得到first trimester-unet；其中，特征金字塔网络结构用于多尺度图像的特征提取，point-head用于分割边缘的加权细化。
65.具体地，如图2所示，通过将二维超声图像人工分割为含有孕囊、胚芽、心管的彩色掩模及黑色背景区域，得到已标注分割标签的早孕期超声图像。所有分割的二维超声图像均为匿名的jpg格式，彩色掩模为3通道rgb。所有图像均调整为96
×
96像素。将处理后的数据按设定比例分成训练集和测试集。
66.进而根据确认的训练集。基于深度学习框架搭建孕囊及胚芽分割模型，并利用dice loss为损失函数，基于确定的训练集对模型进行训练，用平均dice系数和像素准确率作为指标衡量其性能，保存网络参数，获得最佳分割模型，分割模型如图2。基于深度学习框架搭建多种多目标分割模型，本发明创新模型为first trimester-mask rcnn，first trimester-unet模型，包括：
67.1、first trimester-mask rcnn：基于mask rcnn框架，使用的骨干网络为resnet-50，增加了特征金字塔网络(fpn)结构用于适应多尺度图像，增加了point-head用于采样分割区域边缘易错点进行加权，细化分割边缘。其中使用骨干网络结合fpn进行多尺度特征提取，而后由解码器即fpn-head进行像素分类，并由point-head对边缘难点进行进一步学习。模型使用随机梯度下降(sgd)进行优化，单个gpu的batchsize为4，使用4块gpu训练40000个iteration，并由mdice指标进行结果评价。
68.2、first trimester-unet：unet卷积网络中添加了5处注意力机制模块，模型左半部分，由两个3x3的整流线性单元(rectified linearunit,relu)再加上一个2x2的maxpooling层组成一个下采样的模块，右半部分，由一个上采样的卷积层与特征拼接concat及两个3x3的整流线性单元(relu)反复构成；这种通过通道数的拼接，可以得到更多的特征输出；该卷积块使用3*3大小的卷积核，步长为1；输入为1个输入通道，每层的输出通道分别为32、64、128和256；最大池化层用于对从卷积块导出的特征图进行下采样，比例因子为2；下采样时每一层的输出裁剪后连接到同层的上采样层做融合，编码器、解码器之间由注意力机制完成同层串联连接，用于信息补充。由conv2d块在全连接层之前应用批处理归一化层，并在全连接层上连接一个softmax激活层，利用该激活层生成候选结节的预测概率。减少训练过程中过拟合的可能性。
69.作为优选的实施方式，模型的超参数设置：训练过程采用adam优化器作为权重更新的优化算法，每10个epoch值衰减为0.1，总共训练了100个epoch；初始学习率设置为0.0004，batch size设置为1，为了将非线性性应用于模型，在中间层采用了校正线性单元(relu)激活函数。采用adam优化器使损失函数最小化。
70.其中，通过结合二叉交叉熵(bce)和骰子损失函数，并将其作为优化目标的损失函数。采用l2正则化和dropout层。如果在学习率下降后验证损失没有改善，则停止训练。模型使用python 3.7.10和torch深度学习框架(1.4.0；https://pytorch.org/)在linux操作系
统(ubuntu 16.04.4；canonical，伦敦，英国)与nvidia quadro图形处理单元。
71.基于预先训练完成的孕囊及胚芽分割模型，一些实施例中，利用孕囊及胚芽分割模型，对早孕期超声图像进行分析，获得早孕期超声图像的孕囊及胚芽的目标分割平面，包括：利用孕囊及胚芽分割模型，提取早孕期超声图像的像素特征表达；基于像素特征表达，通过注意力机制模块进行特征增强，得到增强特征的特征表示；根据增强特征表示，确定分割结果，得到早孕期超声图像的孕囊及胚芽的目标分割平面。
72.具体地，像素特征表达通过骨干网络中间层得到，注意力机制模块(object-contextual representations attention)具体内容如下：
73.1.根据骨干网络中间层像素特征表达(pixel representations)预测软物体区域(soft object regions)即(k个soft masks,每个mask对应于一个语义类别)；
[0074][0075]
其中，fk是第k个对象区域的表示，w
ik
是第i个像素与第k个对象区域的关系。δ(
·
)和ρ(
·
)是变换函数。
[0076]
2.根据软物体区域对网络深层的像素特征表达加权求和得到物体区域表示(object region representations,orr)即每一类都对应于一个物体区域表示；
[0077][0078]
其中，xi是像素pi的表示。是属于对象区域的像素的归一化度。使用归一化激活(spatial softmax)对每个对象区域mk进行标准化。
[0079]
3.像素特征表达作为需求(query),物体区域表示作为键值,送入交叉注意力，输出作为目标上下文表达；然后把目标上下文表达和输入的像素特征表达拼接在一起经过融合之后得到增强特征特征表示，最后加一个分类器用于预测最后的语义分割结果；
[0080]
计算每个像素和每个对象区域之间的关系如下:
[0081][0082]
其中，是非归一化关系函数，φ(x)和两个变换函数是否由1
×
1卷积层(conv)
→
批归一化(batch normalization)
→
校正线性单元(relu)
→
卷积实现。
[0083]
本发明的first trimester-mask rcnn，first trimester-unet模型自动学习关注不同形状和大小的目标结构，通过学习抑制输入图像中的无关区域，同时突出显示对特定任务有用的显著特征；能够不依赖于使用级联卷积神经网络目标区域定位，通过粗分割网络，直接输出像素级概率图，表示属于孕囊、胚芽区域的每个像素的置信度，范围从0～1；从而实现早孕期超声胚芽、孕囊、心管关键解剖结构的精准定位。基于训练优化后的孕囊及胚芽分割模型对早孕期超声图像进行孕囊、胚芽、心管分割后、寻找得到平均孕囊及胚芽最长的分割平面(即孕囊及胚芽的目标分割平面)。
[0084]
s300、根据目标分割平面，通过lstm时间序列模型，获得标准平面；
[0085]
s400、基于标准平面，确定测量经线，得到孕囊及胚芽的测量结果；
[0086]
需要说明的是，一些实施例中，基于标准平面，利用opencv工具获得测量经线，得到孕囊及胚芽的测量结果；其中，孕囊及胚芽的测量结果包括评价孕囊直径和胚芽长度。
[0087]
具体地，根据标准平面，利用opencv工具获得测量经线后，通过孕囊、胚芽经线测量均可预测胎龄，其中胚芽经线最准确，孕龄计算公式如下：
[0088]
孕龄的天数＝平均孕囊直径mm+30；
[0089]
孕龄的天数＝胚芽长度mm+42；
[0090]
孕龄的周数＝胚芽长度cm+6.5(
±
4天)；
[0091]
据产前超声指南：经阴道超声检查胚芽长度超过7mm时应有胎心搏动，平均孕囊直径大于25毫米，应有胚胎。基于持续随访结果作为金标准，分别得到生存组及死亡组胚芽数据，将分割后的胚芽(其内包含胎心)图像使用efficientnet-b4进行二分类判断是否有心管搏动。以上综合所有结果估测早孕期孕龄及宫内胚胎存活情况。
[0092]
综上，如图3所示，本发明通过将待孕5-8周超声视频数据输入到训练好的分割模型中，其中，训练数据中包括孕囊、胚芽、心管的分割标注结果；获取模型的输出信息，得到孕囊、胚芽、心管的测量结果，进而根据相关测量结果能够快速确定待分析超声视频数据对应的孕周估测及存活判断的结果。如图4和图5所示，分别为本发明的模型对于孕囊实时分割与专家手工标注结果的比较示意图以及胚芽实时分割与专家手工标注结果的比较示意图，本发明模型的分割结果与专家手工标注结果重合度极高，效果极佳。
[0093]
作为优选地实施方式，本发明用dice(dc)评分来评估人工分割和分割模型结果之间的相似性。通过准确度(ac)、灵敏度(se)、特异性(sp)、精密度和jaccard相似度(js)等指标进行定量评估。此外、真阳性(tp)、真阴性(tn)、假阳性(fp)和假阴性(fn)作为效能评价，采用约登指数来确定最优阈值。dc及js的计算公式如下：
[0094][0095][0096]
其中，r表示目标区域的类别，gr表示模型分割出属于该类别的区域，sr表示真正属于该类别的区域。
[0097]
1.多目标分割模型效能如表1的不同分割模型多组织平均分割效果表格，attention u-net(即本发明的加入注意力机制模块的分割模型)与resunet模型效果均较好。
[0098]
表1
[0099]
methoddicef1acsespprecisionjsiouunet0.92700.93190.99540.92980.99760.93660.87320.8666attention-unet0.92670.93370.99550.93710.99740.93230.87610.8712unet++0.92620.93060.99540.92800.99760.93590.87100.8549ft-mask rcnn0.89960.90140.88790.91260.89540.89000.84350.7012deepresunet0.92790.93030.99540.91450.99810.94850.87040.7849ft-u-net0.92820.93060.99550.90970.99840.95470.87120.8971
50网络和unet卷积网络；resnet-50网络基于mask rcnn框架搭建，unet卷积网络添加有注意力机制模块；第三模块，用于根据目标分割平面，通过lstm时间序列模型，获得标准平面；第四模块，用于基于标准平面，确定测量经线，得到孕囊及胚芽的测量结果。
[0111]
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0112]
本发明实施例的另一方面还提供了一种孕囊及胚芽自动测量装置，包括处理器以及存储器；
[0113]
存储器用于存储程序；
[0114]
处理器执行程序实现如前面的方法。
[0115]
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0116]
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0117]
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0118]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0119]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0120]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0121]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0122]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
[0123]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0124]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0125]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0126]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0127]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

技术特征：
1.一种孕囊及胚芽自动测量方法，其特征在于，包括：获取早孕期超声图像；利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面；其中，所述孕囊及胚芽分割模型通过已标注分割标签的早孕期超声图像训练生成的；所述孕囊及胚芽分割模型包括resnet-50网络和unet卷积网络；所述resnet-50网络基于mask rcnn框架搭建，所述unet卷积网络添加有注意力机制模块；根据所述目标分割平面，通过lstm时间序列模型，获得标准平面；基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果。2.根据权利要求1所述的一种孕囊及胚芽自动测量方法，其特征在于，所述获取早孕期超声图像，包括：获取早孕期超声视频；对所述早孕期超声视频进行视频分帧、关键帧筛选和图像处理，得到早孕期超声图像；其中，所述图像处理包括归一化操作、尺度缩放和数据增强。3.根据权利要求1所述的一种孕囊及胚芽自动测量方法，其特征在于，还包括：基于已标注分割标签的早孕期超声图像，创建孕囊及胚芽分割模型。4.根据权利要求3所述的一种孕囊及胚芽自动测量方法，其特征在于，所述基于已标注分割标签的早孕期超声图像，创建孕囊及胚芽分割模型，包括：根据所述已标注分割标签的早孕期超声图像，确定训练集；基于mask rcnn框架，使用resnet-50网络作为骨干网络搭建first trimester-maskrcnn；通过在unet卷积网络中添加注意力机制模块搭建first trimester-unet；根据所述first trimester-mask rcnn和所述first trimester-unet，创建多种多目标分割模型；通过所述训练集对所述多种多目标分割模型进行分割训练，并基于训练结果，对所述多种多目标分割模型进行调整，获得孕囊及胚芽分割模型。5.根据权利要求4所述的一种孕囊及胚芽自动测量方法，其特征在于，所述基于mask rcnn框架，使用resnet-50网络作为骨干网络搭建first trimester-mask rcnn，包括：基于mask rcnn框架，使用resnet-50网络作为骨干网络，结合特征金字塔网络结构和point-head，搭建得到first trimester-unet；其中，所述特征金字塔网络结构用于多尺度图像的特征提取，所述point-head用于分割边缘的加权细化。6.根据权利要求4所述的一种孕囊及胚芽自动测量方法，其特征在于，所述利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面，包括：利用孕囊及胚芽分割模型，提取所述早孕期超声图像的像素特征表达；基于所述像素特征表达，通过所述注意力机制模块进行特征增强，得到增强特征的特征表示；根据所述增强特征表示，确定分割结果，得到所述早孕期超声图像的孕囊及胚芽的目标分割平面。
7.根据权利要求1所述的一种孕囊及胚芽自动测量方法，其特征在于，所述基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果，包括：基于所述标准平面，利用opencv工具获得测量经线，得到孕囊及胚芽的测量结果；其中，所述孕囊及胚芽的测量结果包括评价孕囊直径和胚芽长度。8.一种孕囊及胚芽自动测量系统，其特征在于，包括：第一模块，用于获取早孕期超声图像；第二模块，用于利用孕囊及胚芽分割模型，对所述早孕期超声图像进行分析，获得所述早孕期超声图像的孕囊及胚芽的目标分割平面；其中，所述孕囊及胚芽分割模型通过已标注分割标签的早孕期超声图像训练生成的；所述孕囊及胚芽分割模型包括resnet-50网络和unet卷积网络；所述resnet-50网络基于mask rcnn框架搭建，所述unet卷积网络添加有注意力机制模块；第三模块，用于根据所述目标分割平面，通过lstm时间序列模型，获得标准平面；第四模块，用于基于所述标准平面，确定测量经线，得到孕囊及胚芽的测量结果。9.一种孕囊及胚芽自动测量装置，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。

技术总结
本发明公开了一种孕囊及胚芽自动测量方法、系统、装置及介质，方法包括：获取早孕期超声图像；利用孕囊及胚芽分割模型，对早孕期超声图像进行分析，获得早孕期超声图像的孕囊及胚芽的目标分割平面；根据目标分割平面，通过LSTM时间序列模型，获得标准平面；基于标准平面，确定测量经线，得到孕囊及胚芽的测量结果。本发明在获得早孕期超声图像后，利用预先建立的孕囊及胚芽分割模型，对该早孕期超声图像进行分析，获得目标分割平面，进而通过LSTM时间序列模型获取标准平面，实现测量经线的确定，能够实现自动且准确测量孕囊及胚芽，提高了孕囊及胚芽的测量精度，可广泛应用于图像检测技术领域。术领域。术领域。


技术研发人员：高文静 李睿卓 尹训涛 夏慧敏 申屠伟慧 王海玉 王红英 张笑春
受保护的技术使用者：广州市妇女儿童医疗中心
技术研发日：2023.03.07
技术公布日：2023/7/11