一种基于深度学习的柔性超声聚束成像方法及系统

1.本发明属于医学超声成像技术领域，尤其涉及一种基于深度学习的柔性超声聚束成像方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.超声成像是医学应用最广泛的成像及检查技术之一，具有实时、无辐射、高性价比、设备体积小的特点，且可定性、定量分析人体器官组织的结构和功能，因而超声成像已成为当前国内外医疗界对人体心血管疾病检查及筛查，手术过程中超声实时图像引导的普遍且重要手段。
4.然而目前标准的超声检查受限于超声医生、患者和超声设备三个要素。对超声医生的依赖、对患者状态的限制、对设备性能的要求，成为目前超声装备更大范围应用的瓶颈问题。柔性超声相控阵是解决该问题有效方法，它减少了传统超声换能器超声及患者的依赖和对解剖结构的改变。然后，由于其柔性可拉伸的几何结构，当柔性面阵承受拉伸或压缩应变时，每个超声单元都会从预定位置发生位移，从而导致合成波束出现偏差，会产生因人体皮肤拉伸所引起的柔性超声相控阵元间的相位畸变，是目前医学可穿戴柔性超声相控阵应用的重大挑战。传统的超声成像方法das（delay-and-sum），即按位时延与加和，是由超声信道数据重建二维超声图像最常用的方法，但是，这种传统的延时和聚束生成方法会对超声射频数据施加错误的时延，产生聚焦误差和超声图像的失真。进一步限制柔性可穿戴超声的广泛应用。


技术实现要素：

5.本发明提供了一种基于深度学习的柔性超声聚束成像方法及系统，以解决该因其柔性可拉伸超声相控阵本身所固有的几何结构，引起的相位畸变所造成的超声图像失真问题。
6.为了实现上述目的，本发明采用如下技术方案：本发明的第一个方面提供一种基于深度学习的柔性超声聚束成像方法。
7.一种基于深度学习的柔性超声聚束成像方法，包括：获取柔性超声相控阵采集的人体器官超声图像，采用训练好的encoder-decoder深度网络模型，得到超声图像；所述encoder-decoder深度网络模型训练的过程包括：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练encoder-decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。
8.进一步地，所述得到原始超声聚束回波信号和相应的超声图像的过程包括：采用超声成像方法das对原始超声聚束回波信号进行超声成像，并采用回波传输时间对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加。
9.进一步地，所述虚拟超声扫描对象为使用真实人体器官的mri核磁共振图像生成的散点图。
10.更进一步地，所述mri核磁共振图像生成的散点图生成的过程包括：根据输入人体器官的mri图像生成具有不同方差的散点图。
11.进一步地，在采用超声相控阵大数据队列仿真时，包括不同类型的虚拟超声扫描对象。
12.进一步地，在encoder-decoder深度网络模型训练完成后包括对encoder-decoder深度网络模型进行测试：获取柔性超声相控阵实体人体器官超声体模超声图像数据，对encoder-decoder深度网络模型进行测试和调整。
13.更进一步地，所述获取柔性超声相控阵实体人体器官超声体模超声图像数据具体包括：获取柔性超声相控阵表面的三维扫描数据，计算柔性超声相控阵每个超声阵元的回波传输时间补偿；采用超声成像方法das对原始超声聚束回波信号进行超声成像，并采用所述回波传输时间对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加；根据原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵实体人体器官超声体模超声图像数据。
14.本发明的第二个方面提供一种基于深度学习的柔性超声聚束成像系统。
15.一种基于深度学习的柔性超声聚束成像系统，包括：成像模块，其被配置为：获取柔性超声相控阵采集的人体器官超声图像，采用训练好的encoder-decoder深度网络模型，得到超声图像；训练模块，其被配置为：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练encoder-decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。
16.本发明的第三个方面提供一种计算机可读存储介质。
17.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于深度学习的柔性超声聚束成像方法中的步骤。
18.本发明的第四个方面提供一种计算机设备。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于深度学习的柔性超声聚束成像方法中的步骤。
20.与现有技术相比，本发明的有益效果是：本发明针对医学柔性可穿戴式超声相控阵应用时，因人体皮肤拉伸，拉伸相控阵单元间距及阵元俯仰角变化引起的相位畸变，进一步所产生聚焦误差和超声图像的失真。
通过本发明的方法，可以极大的提高提升柔性超声相控阵的成像质量，进一步提高基于柔性超声相控阵的诊疗质量，扩展柔性可穿戴式超声的广泛应用。
附图说明
21.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
22.图1是本发明实施例一示出的基于深度学习的柔性超声聚束成像方法的流程图；图2是本发明实施例一示出的某一弯曲角度下的柔性相控阵的正视图；图3是本发明实施例一示出的某一弯曲角度下的柔性相控阵的俯视图；图4是本发明实施例一示出的某一弯曲角度下的柔性相控阵的侧视图。
具体实施方式
23.下面结合附图与实施例对本发明作进一步说明。
24.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
25.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
26.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
27.实施例一如图1所示，本实施例提供了一种基于深度学习的柔性超声聚束成像方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
获取柔性超声相控阵采集的人体器官超声图像，采用训练好的encoder-decoder深度网络模型，得到超声图像；所述encoder-decoder深度网络模型训练的过程包括：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练encoder-decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。
28.本实施例的具体方案可参考以下内容实现：步骤（1）：超声相控阵大数据队列仿真，应用超声仿真软件用于产生超声二维b超图像用于本方法的大规模预训练。
29.步骤（1-1）：超声相控阵大数据队列仿真中虚拟超声扫描对象为使用真实人体器官的mri核磁共振图像生成的散点图。
30.步骤（1-2）：所述mri核磁共振图像生成的散点图方法为根据输入人体器官的mri图像生成具有不同方差的散点图，输入人体器官的mri图像用于缩放散点图的方差。使用该散点图，基于线性声场理论的超声成像系统仿真程序field ii，产生心脏，颈动脉，肝脏、甲状腺，腹部及各种肌肉组织的虚拟二维超声图像，并同步记录原始的超声回波信号。
31.步骤（1-3）：超声相控阵大数据队列仿真应尽可能包括不同类型的成像目标。
32.步骤（1-4）：所述超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，尽可能多采集不同凸曲率半径超声相控阵的扫描图像，超声相控阵的凸曲率半径步进调节，调节范围从平面相控阵到最大凸曲率半径超声相控阵。
33.具体地，调节超声相控阵的凸曲率是为了得到柔性相控阵在各种弯曲角度下的超声回波及超声图像的数据。调试方式为超声仿真软件或超声相控阵数学模型中的参数设置。
34.具体地，以某超声仿真软件为例，其以tupholme和stepanishen提出的空间脉冲响应，通过线性系统理论来求解脉冲波和连续波情况下的超声声场，任何激励的超声声场都可以通过空间脉冲响应与激励函数的卷积得到。其可以仿真任意形状的超声相控阵，及任意类型的超声成像系统。通过调节其xdc_concave函数中的凸曲率焦距半径参数，可以得到各种弯曲角度下的柔性相控阵，以某一弯曲角度下的柔性相控阵为例，如图2、3、4所示，图中，以柔性相控阵最低点为原点，建立xyz坐标系，其中，x轴、y轴、z轴均代表柔性相控阵的尺寸。
35.步骤（1-5）：使用超声成像方法das对原始超声回波信号进行超声成像，并采用回波传输时间（tof，time-of-flight）对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加。
36.步骤（1-6）：记录原始超声聚束回波信号和相应的超声影像构建柔性超声相控阵仿真大数据队列。
37.步骤（2）：柔性超声相控阵实体人体器官超声体模超声图像数据采集，基于柔性超声相控阵采集人体器官超声体模超声图像用于实际微调。
38.步骤（2-1）：使用柔性超声相控阵对人体器官超声体模（脏，颈动脉，肝脏、甲状腺等）进行超声检测，手工对柔性超声相控阵以获得不同超声角度下的超声图像，同步使用三
维扫描仪对柔性超声相控阵表面进行三维快速扫描，用于计算每个超声阵元的回波传输时间（tof，time-of-flight）补偿，对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加。
39.步骤（2-2）使用超声成像方法das对原始超声回波信号进行超声成像，超声阵元的回波传输时间（tof）补偿对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加。
40.步骤（2-3）：记录原始超声聚束回波信号和相应的超声图像构建柔性超声相控阵对人体器官超声体模的数据队列。
41.步骤（3）：柔性超声相控阵人体临床实验数据采集，基于柔性超声相控阵采集人体器官的超声影像用于测试。
42.步骤（4）：构建类encoder-decoder深度网络模型，包括不限于基于cnn和transformer的网络模型，输入为原始三维超声聚束回波信号，输出为经由dnn所生成的超声图像。
43.步骤（4-1）采用步骤（1）中的柔性超声相控阵仿真大数据队列对类encoder-decoder深度网络模型进行大规模预训练。
44.步骤（4-2）：采用步骤（2）中的柔性超声相控阵对人体器官超声体模的数据队列进行微调和测试。
45.步骤（4-3）：采用步骤（3）中的柔性超声相控阵人体临床实验数据对本方法进行测试。
46.整个模型包括两个分支，上半分支为正常的超声das（delay-and-sum）成像方案，下部分支利用原始的三维（轴线采样-阵元数-扫描列数）超声聚束回波信号进行训练，具体的利用柔性超声相控阵仿真大数据队列进行大规模预训练，训练目标是生成目标扫描对象的仿真超声图像。进一步利用人体器官超声体模的数据队列进行实际柔性超声数据的微调。最后利用柔性超声相控阵人体临床实验数据进行实际成像测试。
47.实施例二本实施例提供了一种基于深度学习的柔性超声聚束成像系统。
48.一种基于深度学习的柔性超声聚束成像系统，包括：成像模块，其被配置为：获取柔性超声相控阵采集的人体器官超声图像，采用训练好的encoder-decoder深度网络模型，得到超声图像；训练模块，其被配置为：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练encoder-decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。
49.此处需要说明的是，上述成像模块和训练模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
50.实施例三本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于深度学习的柔性超声聚束成像方法中的步骤。
51.实施例四本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于深度学习的柔性超声聚束成像方法中的步骤。
52.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
53.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
54.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
55.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
56.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）或随机存储记忆体（random accessmemory，ram）等。
57.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的柔性超声聚束成像方法，其特征在于，包括：获取柔性超声相控阵采集的人体器官超声图像，采用训练好的encoder-decoder深度网络模型，得到超声图像；所述encoder-decoder深度网络模型训练的过程包括：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练encoder-decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。2.根据权利要求1所述的基于深度学习的柔性超声聚束成像方法，其特征在于，所述得到原始超声聚束回波信号和相应的超声图像的过程包括：采用超声成像方法das对原始超声聚束回波信号进行超声成像，并采用回波传输时间对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加。3.根据权利要求1所述的基于深度学习的柔性超声聚束成像方法，其特征在于，所述虚拟超声扫描对象为使用真实人体器官的mri核磁共振图像生成的散点图。4.根据权利要求3所述的基于深度学习的柔性超声聚束成像方法，其特征在于，所述mri核磁共振图像生成的散点图生成的过程包括：根据输入人体器官的mri图像生成具有不同方差的散点图。5.根据权利要求1所述的基于深度学习的柔性超声聚束成像方法，其特征在于，在采用超声相控阵大数据队列仿真时，包括不同类型的虚拟超声扫描对象。6.根据权利要求1所述的基于深度学习的柔性超声聚束成像方法，其特征在于，在encoder-decoder深度网络模型训练完成后包括对encoder-decoder深度网络模型进行测试：获取柔性超声相控阵实体人体器官超声体模超声图像数据，对encoder-decoder深度网络模型进行测试和调整；所述获取柔性超声相控阵实体人体器官超声体模超声图像数据具体包括：获取柔性超声相控阵表面的三维扫描数据，计算柔性超声相控阵每个超声阵元的回波传输时间补偿；采用超声成像方法das对原始超声聚束回波信号进行超声成像，并采用所述回波传输时间对超声聚束回波信号中的每一通道的超声回波信号进行时延后相加；根据原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵实体人体器官超声体模超声图像数据。7.根据权利要求1所述的基于深度学习的柔性超声聚束成像方法，其特征在于，所述encoder-decoder深度网络模型包括基于cnn和transformer的网络模型。8.一种基于深度学习的柔性超声聚束成像系统，其特征在于，包括：成像模块，其被配置为：获取柔性超声相控阵采集的人体器官超声图像，采用训练好的encoder-decoder深度网络模型，得到超声图像；训练模块，其被配置为：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练encoder-decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从
平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于深度学习的柔性超声聚束成像方法中的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于深度学习的柔性超声聚束成像方法中的步骤。

技术总结
本发明属于医学超声成像技术领域，提供了一种基于深度学习的柔性超声聚束成像方法及系统。该方法包括，获取柔性超声相控阵采集的人体器官超声图像，采用训练好的Encoder-Decoder深度网络模型，得到超声图像；所述Encoder-Decoder深度网络模型训练的过程包括：采用超声相控阵大数据队列仿真，得到原始超声聚束回波信号和相应的超声图像，构建柔性超声相控阵仿真大数据队列，以训练Encoder-Decoder深度网络模型；其中，在采用超声相控阵大数据队列仿真时，针对同一虚拟超声扫描对象，获取从平面超声相控阵到最大凸曲率半径超声相控阵的超声图像。本发明提高了提升柔性超声相控阵的成像质量。声相控阵的成像质量。声相控阵的成像质量。


技术研发人员：刘治 孙保林
受保护的技术使用者：山东大学
技术研发日：2023.08.17
技术公布日：2023/9/19