基于组织分化绘制B模式图像的制作方法

基于组织分化绘制b模式图像
技术领域
1.本技术涉及根据灰度图像生成颜色图像。更特别地，本技术涉及根据例如基于组织类型增强的b模式超声图像生成增强的绘制。


背景技术：

2.自其几十年前引入以来，b模式超声成像已经用于生成灰度图像。然而，随着在其他成像模态中已经出现图像处理的进步，用户已经开始要求来自b模式成像的更丰富多彩和/或更真实的图像。在一些应用中，颜色和/或其他可视化改进可以使b模式图像更易于解释。随着在非专家(例如非放射科医师、非超声医师、无经验的超声医师)中对超声成像的使用增加，对更容易的图像解释的需要也增加。


技术实现要素：

3.如本文所公开的，可以应用基于组织类型和/或机械性质的逼真绘制技术来代替b模式图像的灰度映射。不同的组织类型(例如肌肉、脂肪、肝脏、肾脏)可以用不同的颜色和/或其他材料性质表示，这可能使所述组织类型看起来更真实和/或使所述组织类型更容易区分和/或解释。在一些示例中，可以基于多参数成像(例如，衰减、声速、弹性成像)来确定所述不同的组织类型。在一些示例中，可以使用其他或额外技术来确定组织类型，诸如神经网络、b模式纹理和/或解剖模型。可以通过对每种组织类型使用不同的绘制“配方”来应用颜色和/或其他材料性质。例如，被识别为脂肪的组织可能被指定为白色，以及使所述脂肪看起来平坦或无光泽的材料性质，并且识别为健康肝脏的组织可能被指定为红色，以及使肝脏看起来有光泽的材料性质。
4.根据本文所公开的至少一个示例，一种装置可以包括处理器，其被配置为接收被成像体积的b模式图像，其中，所述b模式图像包括多个第一体素，每个第一体素与所述被成像体积中的不同空间位置相关联，并且每个第一体素包括与从所述被成像体积中的相关联的空间位置接收的回波信号的强度相对应的强度值，接收包括针对所述多个第一体素中的每个第一体素的一个或多个组织参数值的组织参数图，通过向多个第二体素中的每个第二体素分配一个或多个材料性质值来生成包括多个第二体素的3d绘制数据集，其中，被分配给所述多个第二体素中的每个第二体素的一个或多个材料性质值至少部分地基于与所述b模式图像的相应第一体素相关联的强度值，并且还至少部分地基于与从所述组织参数图获得的相应体素相关联的组织参数值，并且根据所述3d绘制数据集来生成增强的b模式绘制。所述装置可以包括被配置为显示增强的b模式绘制的显示器。
5.根据本文所公开的至少一个示例，一种方法可以包括：接收被成像体积的b模式图像，其中，所述b模式图像包括多个第一体素，每个第一体素与所述被成像体积中的不同空间位置相关联，并且每个第一体素包括与从所述被成像体积中的相关联的空间位置接收的回波信号的强度相对应的强度值，接收包括针对所述多个第一体素中的每个第一体素的一个或多个组织参数值的组织参数图，将一个或多个材料性质值分配给3d绘制数据集的多个
第二体素中的每个第二体素，其中，分配给所述多个第二体素中的每个第二体素的一个或多个材料性质值至少部分地基于与所述b模式图像的相应第一体素相关联的强度值，并且还至少部分地基于与从所述组织参数图获得的相应体素相关联的组织参数值，并且根据所述3d绘制数据集来生成增强的b模式绘制。
6.根据本文所公开的至少一个示例，一种方法可以包括分割b模式图像以确定针对所述b模式图像的多个第一体素中的个体体素的组织类型，将一个或多个材料性质值分配给3d绘制数据集的多个第二体素中的每个，其中，所述一个或多个材料性质值至少部分地基于所述组织类型，根据所述3d绘制数据集来生成增强的b模式绘制，并且在显示器上显示增强的b模式绘制。
附图说明
7.图1示出了b模式图像和对应的组织参数颜色图的示例。
8.图2是根据本公开的示例布置的超声成像系统的框图。
9.图3是图示根据本公开的示例的示例处理器的框图。
10.图4示出了根据本公开的示例的根据b模式和多参数成像生成绘制的过程的图形表示。
11.图5是组织参数表的示例。
12.图6示出了根据本公开的示例的根据b模式成像生成绘制的过程的图形表示。
13.图7示出了根据本公开的示例的用于训练和部署模型的过程的框图。
14.图8提供了根据本公开的示例的两步绘制过程的图形概述。
具体实施方式
15.某些示例性示例的以下描述实际上仅是示例性的并且决不旨在限制本公开或其应用或用途。在本装置、系统和方法的示例的以下详细描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践所描述的装置、系统和方法的特定示例。这些示例被足够详细地描述以使得本领域的技术人员能够实践当前所公开的装置、系统和方法，并且应理解，可以利用其他示例并且可以做出结构和逻辑改变而不脱离本公开的精神和范围。此外，出于清晰的目的，当某些特征对于本领域技术人员来说是显而易见的时，将不讨论这些特征的详细描述，以免模糊本公开的描述。因此，以下详细描述不应被视为具有限制意义，并且本装置、系统和方法的范围仅由随附的权利要求限定。
16.用于超声的逼真绘制技术，诸如由koninklijke philips开发的truevue系统，最近已变得在商业上可用。然而，现有的逼真绘制技术通常应用于三维(例如，体积)数据集，并且可能无法区分组织类型。还已经开发了新的超声成像和数据分析技术，其可以确定组织的一个或多个参数(例如，通过组织的声速、组织中的超声信号的衰减、硬度)。然而，在现有系统中，这些参数通常与b模式图像分离地呈现，或者参数被彩色映射并简单地叠加在b模式图像上。
17.图1示出了b模式图像和对应的组织参数颜色图的示例。b模式图像100是肝脏和周围组织的一部分。组织参数颜色图105是声速图。换句话说，超声信号行进通过组织的不同区域的速度被映射到不同的颜色并被显示。在b模式图像100中，皮下脂肪层102、下层肌肉
层104和肝组织106呈现不同的纹理和不同的像素强度。在颜色图105中，皮下脂肪层102是亮蓝色，指示较低的声速，肌肉层104是深红色，指示较高的声速，而肝组织106是浅蓝色到深蓝色，指示甚至更低的声速。这些明显的颜色变化使在组织参数颜色图105中更容易辨别不同的组织类型。然而，如果颜色图105将被叠加到b模式图像100上，则由b模式图像提供的结构和纹理信息将被遮蔽。此外，颜色图105的分辨率低于b模式图像100的分辨率，因此组织类型的精确像素到像素(或体素到体素)相关性是不可能的。例如，原则上，脂肪层102应当具有比肝组织106更低的声速，但是由于来自相邻肌肉层104的平均效应，脂肪层102在颜色图105中表现为具有更高的声速。
18.根据本公开的示例，多参数超声成像可以被用于确定b模式图像中的不同组织类型。在一些示例中，可以使用其他或额外技术来确定组织类型，诸如神经网络、b模式纹理和/或解剖模型。与不同组织类型(例如，肌肉、脂肪、肝脏、肾脏)相关联的像素或体素可以被分配针对不同颜色和/或其他材料性质的值。基于值，可以生成可以具有彩色b模式图像的外观的绘制。分配给体素的材料性质可能影响体素如何绘制(例如，绘制中的体素的外观可能随材料性质而变化)。针对颜色和/或其他材料性质的值可能允许生成b模式图像，其中，组织类型看起来更真实和/或可能使组织类型更容易区分和/或解释。在一些示例中，可以在b模式图像中传达多个参数，而不要求b模式图像和参数图的并排视图或参数图在b模式图上的叠加。
19.图2示出了根据本公开的原理构造的超声成像系统200的框图。根据本公开的超声成像系统200可以包括换能器阵列214，其可以包括在超声探头212中，例如外部探头或内部探头，诸如血管内超声(ivus)导管探头。在其他示例中，换能器阵列214可以是柔性阵列的形式，其被配置为共形地应用于要成像的对象(例如，患者)的表面。换能器阵列214被配置为发射超声信号(例如，波束、波)并响应于发射的超声信号而接收回波(例如，接收的超声信号)。可以使用各种换能器阵列，例如，线性阵列、曲面阵列、或者相控阵列。换能器阵列214例如可以包括能够在用于2d和/或3d成像的仰角和方位角维度两者中扫描的换能器元件的二维阵列(如所示)。如通常已知的，轴向方向是垂直于阵列的面的方向(在曲面阵列的情况下，轴向方向向外扇出)，方位角方向通常由阵列的纵向尺寸定义，而仰角方向横向于方位角方向。
20.在一些示例中，换能器阵列214可以耦合到微波束形成器216，其可以位于超声探头212中，并且其可以控制由阵列214中的换能器元件对信号的发射和接收。在一些示例中，微波束形成器216可以控制由阵列214中的有源元件(例如，在任何给定时间限定有源孔径的阵列的元件的有源子集)对信号的发射和接收。
21.在一些示例中，微波束形成器216可以例如通过探头线缆或无线地耦合到发射/接收(t/r)开关218，其在发射与接收之间切换并且保护主波束形成器222免受高能量发射信号影响。在一些示例中，例如在便携式超声系统中，t/r开关218和系统中的其他元件可以包括在超声探头212中，而不是包括在超声系统底座中，超声系统底座可以容纳图像处理电子设备。超声系统底座通常包括软件和硬件部件，包括用于信号处理和图像数据生成的电路以及用于提供用户接口的可执行指令。
22.在微波束形成器216的控制下，来自换能器阵列214的超声信号的发射由发射控制器220引导，发射控制器220可以耦合到t/r开关218和主波束形成器222。发射控制器220可
以控制波束被转向的方向。波束可以从(正交于)换能器阵列214径直向前或者针对较宽的视场在不同的角度处转向。发射控制器220还可以耦合到用户接口224，并且从用户对用户输入设备的操作(例如，用户控制)接收输入。用户接口224可以包括一个或多个输入设备，诸如控制面板252，其可以包括一种或多种机械控制(例如按钮、滑块等)、触敏控制(例如轨迹板、触摸屏等)和/或其他已知的输入设备。
23.在一些示例中，由微波束形成器216产生的部分波束形成信号可以耦合到主波束形成器222，其中，来自换能器元件的个体片块的部分波束形成信号可以被组合为完全波束形成信号。在一些示例中，省略了微束形成器216。在这些示例中，换能器阵列214在主波束形成器222的控制下，并且主波束形成器222执行信号的所有波束形成。在具有和不具有微波束形成器216的示例中，主波束形成器222的波束形成信号耦合到处理电路250，其可以包括一个或多个处理器(例如，信号处理器226、b模式处理器228、多普勒处理器260以及一个或多个图像生成和处理部件268)，其被配置为根据波束形成信号(即，波束形成rf数据)生成超声图像。
24.信号处理器226可以被配置为以各种方式处理接收到的波束形成rf数据，例如带通滤波、抽取、i和q分量分离、以及谐波信号分离。处理器226还可以执行额外的信号增强，例如纹波降低、信号复合、以及电子噪声消除。经处理的信号(也称为i和q分量或iq信号)可以被耦合到额外的下游信号处理电路以用于图像生成。iq信号可以被耦合到系统内的多个信号路径，所述信号路径中的每个可以与适合于生成不同类型的图像数据(例如，b模式图像数据、多普勒图像数据)的信号处理部件的特定布置相关联。例如，所述系统可以包括b模式信号路径258，其将来自信号处理器226的信号耦合到b模式处理器228以产生b模式图像数据。
25.b模式处理器228可以采用幅度检测来对身体中的结构进行成像。b模式处理器228可以生成针对组织图像和/或造影图像的信号。由b模式处理器228产生的信号可以被耦合到扫描转换器230和/或多平面重新格式化器232。扫描转换器230可以被配置为以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。例如，扫描转换器230可以将回波信号布置为二维扇区形格式，或者锥体或其他形状的三维(3d)格式。
26.在一些示例中，系统可以包括将来自信号处理器226的输出耦合到多普勒处理器260的多普勒信号路径262。多普勒处理器260可以被配置为估计多普勒频移并生成多普勒图像数据。多普勒图像数据可以包括颜色数据，然后将其与b模式(即灰度)图像数据叠加以用于显示。多普勒处理器260可以被配置为例如使用壁滤波器来过滤掉不需要的信号(即，与非移动组织相关联的噪声或杂波)。多普勒处理器260还可以被配置为根据已知技术来估计速度和功率。例如，多普勒处理器可以包括诸如自相关器的多普勒估计器，其中，速度(多普勒频率)估计基于滞后一自相关函数(例如，r1)的参数而多普勒功率估计基于滞后零自相关函数(例如，r0)的幅度。速度估计可称为彩色多普勒数据，并且功率估计可以称为功率多普勒数据。还可以通过已知的相位域(例如，参数频率估计器，例如music、esprit等)或时域(例如，互相关)信号处理技术来估计运动。可以使用与速度的时间或空间分布相关的其他估计器，例如加速度或时间和/或空间速度导数的估计器来代替速度估计器或作为速度估计器的补充。在一些示例中，速度和功率估计(例如，彩色和功率多普勒数据)可以经历进一步的阈值检测以进一步降低噪声，以及分割和后处理，例如填充和平滑。然后可以根据一
个或多个颜色图和/或强度图将速度和/或功率估计映射到期望范围的显示颜色和/或强度。也称为多普勒图像数据的图数据然后可以被耦合到扫描转换器230，其中，多普勒图像数据可以被转换为期望的图像格式以形成彩色多普勒或功率多普勒图像。
27.在一些实施例中，系统200可以包括参数成像信号路径264，其将来自信号处理器226的信号耦合到用于产生组织参数测量结果的参数处理器266。参数处理器266可以产生一种或多种类型的组织参数测量结果。在一些示例中，可以将组织参数测量结果映射到像素或体素颜色和/或强度值，以生成可以叠加到b模式和/或多普勒图像上的图(例如，硬度图、声速图)。在一些示例中，扫描转换器230可以将组织参数测量结果与b模式和/或多普勒图像对准。
28.多平面重新格式化器232可以将从身体的体积区域中的共同平面(例如，切片)中的点接收到的回波转换为该平面的超声图像(例如，b模式图像)，例如如在美国专利us 6443896(detmer)中所描述的。在一些示例中，用户接口224可以耦合到多平面重新格式化器232以用于多幅多平面重新格式化(mpr)图像的显示的选择和控制。换句话说，用户可以在体积内选择期望的平面，从该平面生成2d图像。在一些示例中，除了选择体积中的平面的位置和/或取向之外，用户还可以选择平面的厚度。在一些示例中，可以将多平面重新格式化器232的平面数据提供给体积绘制器234。
29.体积绘制器234可以生成如从给定参考点查看的3d数据集的图像(也称为投影、3d场景或绘制)，例如如美国专利us 6530885(entrekin等人)中所描述的。在一些示例中，虽然由体积绘制器234生成的图像基于可以包括体素的体积(例如，3d数据集)，但是由体积绘制器234绘制的最终图像可以是包括体素的2d数据集(例如，2d图像)。然后可以在常规显示器(例如，液晶显示器)上显示2d图像。
30.根据本公开的示例，体积绘制器234可以从扫描转换器230和/或多平面重新格式化器232接收2d和/或3d b模式图像。2d图像包括包含具有强度值的像素的2d数据集。3d图像包括包含具有强度值的体素的3d数据集。在一些示例中，体积绘制器234可以将2d数据集转换为3d数据集，如在2020年8月20日递交的题为“rendering of two dimensional data sets”的欧洲专利申请no.20290062.7中更详细地描述的。在其他示例中，体积绘制器234可以将2d数据集转换为具有对应于像素的强度值的强度值的单层体素。体积绘制器234可以从扫描转换器230和/或多平面重新格式化器232接收对应于2d或3d图像的组织参数测量结果。在一些示例中，体积绘制器234可以至少部分地基于组织参数测量结果将材料性质(例如，颜色、吸收、散射)分配给3d数据集中的每个体素。体积绘制器234可以至少部分地基于分配给体素的材料性质生成绘制(例如，增强的b模式绘制)。在一些示例中，体积绘制器234可以在生成绘制图像时模拟至少一个光源。
31.在一些示例中，体积绘制器234可以应用其他分割技术，诸如b模式纹理分析、解剖模型和/或人工智能/机器学习(例如，神经网络)，以区分组织类型。体积绘制器234可以至少部分地基于由其他分割技术确定的组织类型将材料性质分配给体素。在一些情况下，当使用其他分割技术时，体积绘制器234可以不使用组织参数测量结果和/或可以省略参数处理器266。在一些情况下，其他分割技术可以被用于补充和/或增强组织参数测量结果，以用于将材料性质分配给体素。例如，可以增加组织参数测量结果的分辨率以更紧密地匹配b模式图像的分辨率。
32.来自扫描转换器230(例如，b模式图像、多普勒图像)、多平面重新格式化器232和/或体积绘制器234(例如，绘制、3d场景)的输出可以耦合到图像处理器236，以用于在显示在图像显示器238上之前进一步增强、缓冲和临时存储。在一些示例中，多普勒图像可以由扫描转换器230和/或图像处理器236叠加在组织结构的b模式图像上以用于显示。
33.图形处理器240可以生成图形叠加以用于与图像一起显示。这些图形叠加可以包括标准识别信息，例如图像的患者姓名、日期和时间、成像参数等等。出于这些目的，图形处理器可以被配置为从用户接口224接收输入，例如键入的患者姓名或其他注释。
34.系统200可以包括本地存储器242。本地存储器242可以被实施为任何合适的非瞬态计算机可读介质(例如，闪存驱动器、磁盘驱动器)。本地存储器242可以存储由系统200生成的数据，包括图像、解剖模型、绘制“配方”、可执行指令、由用户经由用户接口224提供的输入、或系统200的操作所需的任何其他信息。
35.如先前所提到的，系统200包括用户接口224。用户接口224可以包括显示器238和控制面板252。显示器238可以包括使用诸如lcd、led、oled或等离子显示技术的各种已知的显示技术实施的显示设备。在一些示例中，显示器238可以包括多个显示器。控制面板252可以被配置为接收用户输入(例如，期望的图像平面、期望的光源等)。控制面板252可以包括一个或多个硬控件(例如，按钮、旋钮、刻度盘、编码器、鼠标、轨迹球或其他)。在一些示例中，控制面板252可以额外地或备选地包括在触敏显示器上提供的软控件(例如，gui控制元件或简称为gui控件)。在一些示例中，显示器238可以是包括控制面板252的一个或多个软控件的触敏显示器。
36.在一些示例中，图2中所示的各种部件都可以组合。例如，图像处理器236和图形处理器240可以被实施为单个处理器。在另一示例中，多普勒处理器260和b模式处理器228可以被实施为单个处理器。在一些示例中，图2中所示的各种部件可以被实施为单独的部件。例如，信号处理器226可以被实施为针对每个成像模式(例如，b模式、多普勒)的单独的信号处理器。在一些示例中，图2中所示的各种处理器中的一个或多个可以由被配置为执行指定任务的通用处理器和/或微处理器实施。在一些示例中，各种处理器中的一个或多个可以被实施为专用电路。在一些示例中，各种处理器中的一个或多个(例如，图像处理器236)可以用一个或多个图形处理单元(gpu)来实施。
37.图3是图示根据本公开的原理的示例处理器300的框图。处理器300可用于实施本文中所描述的一个或多个处理器，例如图2中所示的图像处理器336。处理器300可以是任何合适的处理器类型，包括但不限于微处理器、微控制器、数字信号处理器(dsp)、现场可编程阵列(fpga)(其中fpga已被编程以形成处理器)、图形处理单元(gpu)、专用电路(asic)(其中asic已被设计为形成处理器)、或其组合。
38.处理器300可以包括一个或多个核302。核302可以包括一个或多个算术逻辑单元(alu)304。在一些示例中，除了alu 304之外或代替于alu 304，核302可以包括浮点逻辑单元(fplu)306和/或数字信号处理单元(dspu)308。
39.处理器300可以包括通信地耦合到核302的一个或多个寄存器312。可以使用专用逻辑门电路(例如，触发器)和/或任何存储器技术来实施寄存器312。在一些示例中，寄存器312可以使用静态存储器来实施。寄存器可以向核302提供数据、指令和地址。
40.在一些示例中，处理器300可以包括通信地耦合到核302的一个或多个水平的高速
缓存存储器310。高速缓存存储器310可以向核302提供计算机可读指令以供执行。高速缓存存储器310可以提供数据以由核302处理。在一些示例中，计算机可读指令可能已经由本地存储器(例如，附接到外部总线316的本地存储器)提供给高速缓存存储器310。高速缓存存储器310可以用任何合适的高速缓存存储器类型来实施，例如金属氧化物半导体(mos)存储器，诸如静态随机存取存储器(sram)、动态随机存取存储器(dram)和/或任何其他合适的存储器技术。
41.处理器300可以包括控制器314，其可以控制从系统中包括的其他处理器和/或部件(例如，图2中所示的控制面板252和扫描转换器230)到处理器300的输入和/或从处理器300到系统中包括的其他处理器和/或部件(例如，图2中所示的显示器238和体积绘制器234)的输出。控制器314可以控制alu 304、fplu 306和/或dspu 308中的数据路径。控制器314可以被实施为一个或多个状态机、数据路径和/或专用控制逻辑。控制器314的门可以被实施为独立门、fpga、asic或任何其他合适的技术。
42.寄存器312和高速缓存存储器310可以经由内部连接320a、320b、320c和320d与控制器314和核302通信。内部连接可以被实施为总线、多路复用器、纵横开关和/或任何其他合适的连接技术。
43.处理器300的输入和输出可以经由总线316提供，所述总线可以包括一条或多条导线。总线316可以通信地耦合到处理器300的一个或多个部件，例如控制器314、高速缓存存储器310和/或寄存器312。总线316可以耦合到系统的一个或多个部件，例如前面提到的显示器238和控制面板252。
44.总线316可以耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(rom)332。rom 332可以是掩码rom、电可编程只读存储器(eprom)或任何其他合适的技术。外部存储器可以包括随机存取存储器(ram)333。ram333可以是静态ram、电池备份的静态ram、动态ram(dram)或任何其他合适的技术。外部存储器可以包括电可擦可编程只读存储器(eeprom)335。外部存储器可以包括闪存334。外部存储器可以包括磁存储设备，例如磁盘336。在一些示例中，外部存储器可以包括在系统中，例如图2中所示的超声成像系统100，例如本地存储器242。
45.现在将参考以下附图更详细地描述根据本公开的示例由诸如体积绘制器234的体积绘制器执行的根据b模式成像和/或多参数成像生成绘制的功能。
46.图4示出了根据本公开的示例的根据b模式和多参数成像生成绘制的过程的图形表示，其可以在处理器中的一个或多个中实施或体现，诸如超声成像系统200的体积绘制234、图像处理器236或其组合。体积b模式图像402和体积组织参数图404可以由处理器(例如体积绘制器234)接收。在图4所示的示例中，b模式图像402和组织参数图404两者是3d数据集。在一些示例中，数据集可以已经是如参考图2所描述的转换成3d数据集的2d数据集。在一些示例中，数据集可能最初已经是3d数据集。在一些示例中，b模式图像402可以包括分配给体素的强度值i(x,y,z)的体积数据集。强度值可以对应于从与体素相关联的被成像体积中的空间位置接收的回波信号的强度。每个体素可以对应于被成像体积中的不同空间位置。组织参数图404可以包括组织参数值p(x,y,z)的体积数据集。在一些示例中，组织参数图404可以包括针对数据集的每个体素的多个参数(例如，密度、声速、衰减)的值。每个体素可以对应于扫描体积中的不同空间位置。在一些示例中，在b模式图像402的体素与组织参
数图404之间可能存在一一对应。
47.在一些示例中，b模式图像402和组织参数图404可能已经从对象中的相同体积采集。b模式图像402和组织参数图404可以已经在同一采集期间采集。换句话说，b模式图像402和组织参数图404可以已经根据基于由换能器阵列(例如换能器阵列214)接收的回波的信号生成，其中，回波响应于同一组发射超声信号。在其他示例中，b模式图像402和组织参数图404可以已经在不同的采集期间采集。例如，当感兴趣组织参数中的一个或多个要求与b模式信号不同的采集设置(例如，不同的频率、脉冲宽度、脉冲持续时间等)时，这可能发生。
48.处理器可以通过基于b模式图像402和组织参数图404将一个或多个材料性质分配给体素406来生成包括体素409的3d绘制数据集。在一些示例中，可以存在对应于b模式图像402中的每个体素的体素406。
49.在一些示例中，如框408所示，处理器可以基于b模式图像402和/或组织参数图404的函数为一个或多个材料性质分配值。例如，材料性质可以是强度i和/或组织参数值p的函数。在所示示例中，示出了两种材料性质，吸收a和散射s，但是在其他示例中，可以为或多或少的材料性质分配值。继续示例，吸收可以基于来自b模式图像402的强度和来自组织参数图404的组织参数值的函数，并且散射可以基于来自组织参数图404的组织参数值的函数。然而，这仅作为示例提供，并且在其他示例中，所有材料性质可以是b模式图像402和组织参数图404两者的函数，或者一些材料性质可以仅是b模式图像402的函数。在一些示例中，材料性质由基于强度和/或组织参数值的传递函数定义。
50.在一些示例中，如框410所示，处理器可以分析来自组织参数图404的组织参数值，以确定每个体素406处的组织类型。在一些示例中，可以将组织参数值与表进行比较以确定组织类型。图5中示出了可由处理器(例如体积绘制器234)访问的组织参数表500的示例。在一些示例中，还可以分析b模式图像402以确定组织类型。一旦确定了组织类型处理器可以基于针对特定组织类型的概况来分配材料性质值。通过概况，这意味着分配给体素406的针对组织类型的材料性质是预定的，而不是基于组织参数直接计算的(例如，如参考框408所描述的)。在图4所示的示例中，概况包括针对吸收和散射的值。当然，更少或额外的材料性质可以包括在概况中。此外，虽然在框410中示出了仅三种组织类型，但是可以包括针对更多或更少组织类型的概况。
51.当一个或多个组织参数(例如，硬度、衰减)要在增强绘制中传达以及关于解剖结构的信息成像(例如b模式图像数据)时，在一些应用中，基于强度和/或组织参数的函数(例如，如框408中所示)而不是基于预定概况(例如，如框410中所示)应用材料性质可能是优选的。例如，可以分配材料性质，使得脂肪组织以与肝组织不同的颜色绘制，这可能使用户更容易区分脂肪组织和肝组织。在同一示例中，还可以基于测量的硬度值为与肝组织相关联的体素分配不同的强度值和/或“光泽度”值。因此，虽然肝脏组织体素可以具有相同的颜色，但是至少部分地基于硬度值，肝脏的不同部分可能看起来更暗和/或更暗。然而，如参考框410所描述的，基于组织类型应用预定概况可以使用较少的计算能力和/或避免在实际组织参数值对用户而言几乎不感兴趣时以额外信息将用户混淆。
52.在一些示例中，可以基于预定概况和强度和/或组织参数的函数的组合来分配针对材料性质的值。例如，可以基于强度和/或组织参数来确定体素406的组织类型。基于组织
类型，材料性质的对应概况可以被用于分配针对材料性质中的一些的值。然而，材料性质中的一个或多个可以不具有预定值，并且可以基于强度和/或组织参数值的函数来分配。在一些示例中，针对材料性质的函数可以存储在针对组织类型的概况中。
53.一旦材料性质已分配给体素406，处理器(例如，体积绘制器243)可以根据体素404生成绘制412。在一些示例中，绘制412可以示出在显示器上，诸如显示器238。如将参考图8更详细地描述的，在一些示例中，处理器可以使用两步绘制过程来生成绘制412。在图4所示的示例中，b模式图像402是腿的一部分，并且组织参数图404示出了组织值中的对应声速。在绘制412中，可以比在b模式图像402中更容易地识别上层脂肪414和下层肌肉416。然而，与当组织参数图404仅仅叠加在b模式图像402上时不同，b模式图像的细节在绘制412中不丢失。
54.图6示出了根据本公开的示例的根据b模式成像生成绘制的过程的图形表示。体积b模式图像602可以由处理器(例如体积绘制器234)接收。在一些示例中，并且体积组织参数图604也可以由处理器接收。b模式图像602和组织参数图604可以与b模式图像402和组织参数图404基本上相同。
55.在图6所示的示例中，处理器(例如，体积绘制器234、图像处理器或另一处理器或其任何组合)可以将一种或多种图像分割技术应用于b模式图像602和/或组织参数图604，以确定要为每个体素分配的材料性质。如框620所示，处理器可以实施神经网络或与神经网络通信以确定材料性质。然而，可以使用其他人工智能或机器学习技术。参考图7更详细地描述了执行分割的ai/机器学习模型的训练。还可以使用其他非ai/机器学习技术，诸如边缘检测、b模式纹理分析和/或解剖建模(其示例可以在美国专利us 7957572中找到)。可以使用这些其他技术来取代或者补充ai/机器学习技术。基于分割，处理器然后可以将一个或多个材料性质分配给体积数据集的体素606。在一些示例中，体积数据集可以具有对应于b模式图像602中的每个体素的体素。
56.在一些示例中，如框608所示，处理器(例如，体积绘制器234)可以基于所使用的分割技术的功能为一个或多个材料性质分配值，类似于参考图4中的框408所描述的示例。在所示示例中，示出了两种材料性质，吸收a和散射s，但是在其他示例中，可以为或多或少的材料性质分配值。例如，在框620处执行的神经网络或其他分割技术的输出可以是针对每个体素606的一组材料性质值。在一些示例中，如框610所示，分割可以确定每个体素606处的组织类型。例如，机器学习模型的输出可以是针对每个体素606的组织类型。一旦确定了组织类型，处理器可以将材料性质的组织类型特异性概况应用于体素606，类似于参考图4所示的框410所描述的示例。在一些示例中，可以基于来自框620中所示的预定概况和分割的输出的组合来分配针对材料性质的值。例如，可以基于分割来确定体素606的组织类型。基于组织类型，材料性质的对应概况可以被用于分配针对材料性质中的一些的值。然而，材料性质中的一个或多个可以不具有预定值，并且可以基于框620中所图示的分割的分离输出来分配。一旦材料性质已分配给体素606，体积绘制器就可以以与参考图4所描述的相同方式根据体素606生成增强的b模式绘制612。
57.在一些示例中，诸如参考图6所描述的那些示例中，为了执行图像分割，处理器(例如，体积绘制器234)可以包括任何一个或多个机器学习模型、人工智能算法和/或神经网络。在一些示例中，处理器(例如，体积绘制器234、图像处理器236或另一处理器或其组合)
可以包括深度神经网络(dnn)、卷积神经网络(cnn)、递归神经网络(rnn)、自动编码器神经网络等，以确定体素的材料性质和/或确定体素的组织类型。模型和/或神经网络可以在硬件(例如，神经元由物理部件表示)和/或软件(例如，在软件应用中实施的神经元和路径)部件中实施。根据本公开实施的模型和/或神经网络可以使用各种拓扑和学习算法来训练模型和/或神经网络以产生期望的输出。例如，基于软件的神经网络可以使用被配置为执行指令的处理器(例如，单或多核cpu、单gpu或gpu集群、或被布置用于并行处理的多处理器)来实施，该指令可以存储在计算机可读介质中，并且该指令在运行时使处理器执行用于确定体素的材料性质和/或确定体素的组织类型的经训练的算法。在一些实施例中，处理器(例如，体积绘制器)可以组合其他图像处理方法(例如，分割、直方图分析)来实施模型和/或神经网络。
58.在各种示例中，(一个或多个)模型和/或(一个或多个)神经网络可以使用各种当前已知或以后开发的学习技术中的任何进行训练以获得被配置为分析超声图像、测量结果和/或统计数字的形式的输入数据的模型和/或神经网络(例如，经训练的算法、传递函数、或节点的基于硬件的系统)。在一些实施例中，可以静态地训练模型和/或神经网络。即，模型和/或神经网络可以利用数据集训练并且然后部署在超声系统(例如，系统200)中，例如部署在诸如体积绘制器234的处理器中。在一些实施例中，可以动态地训练模型和/或神经网络。在这些实施例中，模型和/或神经网络可以利用初始数据集训练并且部署在超声系统上。然而，在将模型和/或神经网络部署在超声系统上之后，模型和/或神经网络可以继续训练并基于由超声系统采集的超声图像来修改。
59.图7示出了根据本公开的示例的用于训练和部署模型的过程的框图。图7中所示的过程可以被用于训练由超声系统的处理器(例如，体积绘制器234)实施的模型(例如，人工智能、机器学习、深度学习)。例如，图7所示的过程可以被用于训练用于分割图像的模型，如图6中的框620所示。
60.图7的左手侧，阶段1，图示了模型的训练。为了训练模型，包括输入阵列和输出分类的多个实例的训练集可以呈现给(一个或多个)模型的(一个或多个)训练算法(例如，alexnet训练算法，如由krizhevsky,a.,sutskever,i.和hinton,g.e.“imagenet classification with deep convolutional neural networks,”nips 2012或其子代所描述的)。训练可以涉及选择起始算法和/或网络架构712以及准备训练数据714。起始架构712可以是空白架构(例如，具有定义的层和节点布置但没有任何先前训练的权重的架构、具有或不具有设置数量的回归系数的定义算法)或部分训练的模型，诸如起始网络，其然后可以被进一步定制用于超声数据的分析。起始架构712(例如，空白权重)和训练数据714被提供给训练引擎710以用于训练模型。在足够的迭代次数之后(例如，当模型在可接受的误差内一致执行时)，模型720被称为被训练并准备部署，其如图7的中间(阶段2)所示。在图7的右手侧或阶段3，(经由推理引擎730)应用经训练的模型720来分析新数据732，该数据是在初始训练期间(在阶段1中)未呈现给模型的数据。例如，新数据732可以包括未知数据，诸如在患者的扫描期间采集的实况超声图像(例如，超声心动图检查期间的心脏图像)。经由引擎730实施的训练模型720被用于根据模型720的训练来分析未知数据，以提供输出734(例如，组织类型、材料性质值)。输出734然后可以由系统用于后续过程740(例如，将材料性质分配给体素，生成绘制)。
61.在训练模型720被用作由超声系统的处理器(例如体积绘制器234)实施或体现的模型的实施例中，起始架构可以是卷积神经网络的架构，或者在一些示例中是深度卷积神经网络，其可以被训练为提供针对体素和/或体素的组织类型的一个或多个材料性质值。训练数据714可以包括多个(数百个，通常数千个或甚至更多)注释/标记的图像，也称为训练图像。例如，训练图像的体素可以利用组织类型和/或材料性质进行标记。将理解到，训练图像不需要包括由成像系统产生的完整图像(例如，表示超声探头的整个视场)，而是可以包括图像的片块或部分。
62.在存在不足的超声训练数据的一些示例中，可以使用来自其他模态的图像(例如，计算机断层摄影、磁共振成像，甚至照片，诸如来自国家卫生研究所的可见人类项目)作为训练数据。在一些示例中，可以使用超声模拟器(诸如k波或famus ii)根据来自其他模态的图像模拟超声数据。模拟超声数据可以被标记，然后用作训练数据。
63.在一些示例中，还可以提供标记的组织参数图作为训练数据。在这些示例中，可以训练模型以基于b模式图像和组织参数图两者来分割图像和/或将材料性质值分配给体素。在一些示例中，可以提供多种类型的组织参数图作为训练数据(例如，声速、衰减和硬度图)。
64.在各种实施例中，可以至少部分地在包括由超声系统的一个或多个处理器(例如体积绘制器234)执行的可执行指令的计算机可读介质中实施(一个或多个)训练模型。
65.图8提供了根据本公开的示例的两步绘制过程的图形概述。在一些示例中，图8中所示的绘制过程可以被用于生成增强的b模式绘制，诸如绘制412和/或612。在一些示例中，超声系统的处理器(诸如体积绘制器234)可以执行照明阶段(pass)和合成阶段以生成绘制。在一些示例中，可以在合成阶段之前执行照明阶段。在照明阶段期间，关于体积810模拟虚拟光源800。体积810可以包括已经由处理器(例如，体积绘制器234)至少部分地基于b模式图像分配材料性质的体素。在一些示例中，可以使用参考图4-6所描述的方法分配材料性质。在一些示例中，诸如图6所示的示例，光源800可以是以相等强度在所有方向上辐照光的点光源。在其他示例中，光源800可以是定向光源(例如，聚光灯、光束)。在一些示例中，可以模拟多个光源。光源的数目、光源的类型、光源800相对于体积810的位置和/或光源800的强度可以由用户经由用户接口预设或选择。在一些示例中，光源的其他性质也可以由用户选择，诸如光源800的大小和/或光源800的颜色(例如波长范围)。适合的光源及其用户控制的示例可以在美国专利申请us 16/306951和us 16/347739中找到，其内容出于任何目的通过引用并入本文。
66.继续照明阶段，来自光源800的光在三维空间中传播通过体积810。在图8中，仅示出了单个光线802，但是应理解，许多光线通过体积810传播以模拟光源800。根据光源800的性质和分配给每个体素的材料性质计算到达体积810的每个体素的光量。例如，某些体素可能具有波长相关吸收，这可能导致体素显现某种颜色。例如，被确定为对应于肌肉组织的体素可能在红色波长处吸收较少，这导致那些体素在最终绘制中显现红色。针对每个体素的计算光量被存储用于合成阶段。
67.在合成阶段期间，平行射线804从虚拟观察者806的观察平面808传播通过体积810。在一些示例中，射线804可以与观察平面808正交。观察平面808与体积810的距离和/或观察平面808相对于体积810的取向可以由用户经由用户接口预设或选择。在一些示例中，
处理器(例如，体积绘制器234)可以实施射线行进数值方案，该方案使用沿着射线804的方向的具有三线性插值体积样本812的前后红绿蓝(rgb)累积。基于为照明阶段中的每个体素计算的光和行进的射线804，处理器(例如，体积绘制器234)可以计算在显示器(例如，显示器238)上向用户显示的绘制的体素和/或像素的最终值。
68.如本文所公开的，使用多参数超声成像的系统和方法可以被用于确定b模式图像中的不同组织类型和/或将材料性质分配给体素。在一些示例中，其他或额外技术可以被用于确定组织类型和/或将材料性质分配给体素。至少部分地基于组织类型，体素可以被分配不同的颜色、密度、散射和/或其他材料性质值。基于分配给体素的材料性质值，可以生成彩色b模式图像。由本文所公开的系统和方法生成的b模式图像可以看起来更真实和/或可以使组织类型更容易区分和/或解释。在一些示例中，可以在绘制的b模式图像中传达多个参数，而不是要求用户分析分离的图像和参数图或者利用参数图遮蔽b模式图像。
69.在使用诸如基于计算机的系统或可编程逻辑的可编程器件来实施部件、系统和/或方法的各种示例中，应该意识到，上述系统和方法可以使用诸如“c”、“c++”、“fortran”、“pascal”，“vhdl”等的各种已知或以后开发的编程语言来实施。相应地，可以准备各种存储介质，诸如磁性计算机盘、光盘、电子存储器等，其可以包含可以引导诸如计算机的设备以实施上述系统和/或方法的信息。一旦适当的设备访问存储介质上包含的信息和程序，存储介质就可以向设备提供信息和程序，从而使设备能够执行本文所述的系统和/或方法的功能。例如，如果向计算机提供包含适当材料(诸如源文件、目标文件、可执行文件等)的计算机磁盘，则计算机可以接收该信息，适当地配置其自身并执行在上面的图和流程图中概述的各种系统和方法的功能以实施各种功能。也就是说，计算机可以从磁盘接收涉及上述系统和/或方法的不同元件的信息的各个部分，实施个体系统和/或方法并且协调以上所描述的个体系统和/或方法的功能。
70.鉴于本公开，应注意，本文描述的各种方法和设备可以以硬件、软件和/或固件来实施。此外，各种方法和参数仅通过示例而不是以任何限制意义被包括。鉴于本公开，本领域普通技术人员可以实施本教导以确定它们自己的技术和实现这些技术所需要的装备，同时保持在本发明的范围内。本文描述的处理器中的一个或多个的功能可以被并入到更少数量的或单个处理单元(例如，cpu)中，并且可以使用专用集成电路(asic)或响应于执行本文描述的功能的可执行指令而被编程的通用处理电路来实施。
71.尽管本装置、系统和方法可能已经特别参考超声成像系统进行了描述，但也设想了，本系统可以扩展到其中以系统性方式获得一幅或多幅图像的其他医学成像系统。因此，本系统可用于获得和/或记录与肾脏、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾脏、心脏、动脉和血管系统有关但不限于此的图像信息，以及与超声引导的介入有关的其他成像应用。此外，本系统还可以包括可以与常规成像系统一起使用的一个或多个程序，使得它们可以提供本系统的特征和优点。本公开的某些额外优点和特征对本领域技术人员而言在研究本公开内容后能够显而易见，或者可以由采用本公开的新颖系统和方法的人员体验。本系统和方法的另一优点可以是常规医学图像系统可以容易地升级以并入本系统、设备和方法的特征和优点。
72.当然，应当理解，根据本装置、系统、设备和方法，本文中描述的示例、范例或过程中的任何一个可与一个或多个其他示例、示例和/或过程相组合，或是分离的，和/或在分立
设备或设备部分之中执行。
73.最终，以上讨论旨在仅仅为对本系统和方法的说明而不应理解为将所附权利要求限制到任何特定的示例或示例的组。因此，尽管已经参考示例性示例详细描述了本系统，但是也应意识到，可以由本领域普通技术人员设计出许多修改和备选示例，而不偏离如在权利要求中阐述的本系统和方法的更广泛和预期的精神和范围。因此，说明书和附图要以说明性的方式来看待，而不是旨在限制权利要求书的范围。

技术特征：
1.一种装置，包括：处理器，其被配置为：接收被成像体积的b模式图像，其中，所述b模式图像包括多个第一体素，每个第一体素与所述被成像体积中的不同空间位置相关联，并且每个第一体素包括与从所述被成像体积中的相关联的空间位置接收的回波信号的强度相对应的强度值；接收包括针对所述多个第一体素中的每个第一体素的一个或多个组织参数值的组织参数图；通过向多个第二体素中的每个第二体素分配一个或多个材料性质值来生成包括所述多个第二体素的3d绘制数据集，其中，被分配给所述多个第二体素中的每个第二体素的所述一个或多个材料性质值至少部分地基于与所述b模式图像的相应第一体素相关联的所述强度值，并且还至少部分地基于与从所述组织参数图获得的相应体素相关联的组织参数值；并且根据所述3d绘制数据集来生成增强的b模式绘制；以及显示器，其被配置为显示所述增强的b模式绘制。2.根据权利要求1所述的装置，其中，所述处理器还被配置为：至少部分地基于所述组织参数值来确定针对所述多个第一体素中的个体第一体素的组织类型；并且基于材料性质值的概况来分配所述一个或多个材料性质值，其中，所述概况基于所述组织类型。3.根据权利要求2所述的装置，其中，所述组织类型是通过将所述组织参数值与组织参数值的表进行比较来确定的。4.根据权利要求1所述的装置，其中，所述处理器还被配置为：对所述b模式图像进行分割以确定针对所述多个体素中的个体体素的组织类型；并且基于材料性质值的概况来分配所述一个或多个材料性质值，其中，所述概况基于所述组织类型。5.根据权利要求4所述的装置，其中，使用经训练的机器学习模型对所述b模式图像进行分割。6.根据权利要求1所述的装置，其中，所述组织参数值包括以下各项中的至少一项：声速值、衰减值、硬度值或密度值。7.根据权利要求1所述的装置，其中，使用包括照明阶段和合成阶段的两阶段过过程来生成所述增强的b模式绘制。8.一种方法，包括：接收被成像体积的b模式图像，其中，所述b模式图像包括多个第一体素，每个第一体素与所述被成像体积中的不同空间位置相关联，并且每个第一体素包括与从所述被成像体积中的相关联的空间位置接收的回波信号的强度相对应的强度值；接收包括针对所述多个第一体素中的每个第一体素的一个或多个组织参数值的组织参数图；将一个或多个材料性质值分配给3d绘制数据集的多个第二体素中的每个第二体素，其中，被分配给所述多个第二体素中的每个第二体素的所述一个或多个材料性质值至少部分
地基于与所述b模式图像的相应第一体素相关联的所述强度值，并且还至少部分地基于与从所述组织参数图获得的相应体素相关联的组织参数值，并且根据所述3d绘制数据集来生成增强的b模式绘制。9.根据权利要求8所述的方法，还包括：对所述b模式图像进行分割以确定针对所述多个第一体素中的个体第一体素的组织类型，其中，分配所述一个或多个材料性质值基于材料性质值的概况，其中，所述概况基于所述组织类型。10.根据权利要求9所述的方法，其中，所述分割是由机器学习模型执行的。11.根据权利要求10所述的方法，还包括：根据从另一成像模态采集的图像来生成模拟超声图像；并且训练所述机器学习模型以利用所述模拟超声图像对所述b模式图像进行分割。12.根据权利要求9所述的方法，其中，所述分割包括分析所述b模式图像的纹理。13.根据权利要求9所述的方法，其中，所述分割包括将解剖模型应用于所述b模式图像。14.根据权利要求8所述的方法，还包括：至少部分地基于所述组织参数值来确定针对所述多个第一体素中的个体第一体素的组织类型；并且基于材料性质值的概况来分配所述一个或多个材料性质的所述值，其中，所述概况基于所述组织类型。15.根据权利要求14所述的方法，其中，确定所述组织类型包括将所述组织参数值与组织参数值的表进行比较。16.根据权利要求8所述的方法，其中，生成所述增强的b模式绘制包括：将来自虚拟光源的光线传播通过所述多个体素；并且通过所述多个体素传播射线，其中，所述射线与虚拟观察者的观察平面正交。17.一种方法，包括：对b模式图像进行分割以确定针对所述b模式图像的多个第一体素中的个体第一体素的组织类型；将一个或多个材料性质值分配给3d绘制数据集的多个第二体素中的每个第二体素，其中，所述一个或多个材料性质值至少部分地基于所述组织类型；根据所述3d绘制数据集来生成增强的b模式绘制；并且在显示器上显示所述增强的b模式绘制。18.根据权利要求17所述的方法，其中，所述分割包括利用人工智能或机器学习模型中的至少一项来分析所述b模式图像。19.根据权利要求18所述的方法，其中，所述人工智能或所述机器学习模型包括神经网络。20.根据权利要求17所述的方法，其中，所述分割包括根据与所述b模式图像的所述多个第一体素相关联的组织参数图来分析组织参数值。

技术总结
在一些示例中，可以通过多参数成像和/或其他分割技术来区分B模式图像中的组织类型。所述组织类型可以被用于将材料性质分配给所述B模式图像的体素，诸如颜色、半透明和反射率。所述材料性质可以被用于生成绘制图像。在一些示例中，分配给所述体素的材料性质中的一个或多个可能对应于在多参数成像期间采集的组织参数的值。所述绘制图像可以包括基于所述B模式图像和多参数成像两者的数据。B模式图像和多参数成像两者的数据。


技术研发人员：J-L
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.09.26
技术公布日：2023/7/21