用于生成合成X射线图像的方法、控制单元和计算机程序与流程
未命名
07-14
阅读:82
评论:0

用于生成合成x射线图像的方法、控制单元和计算机程序
技术领域
1.本发明涉及一种用于生成合成x射线图像的方法。本发明同样包括用于生成合成x射线图像的控制单元。本发明附加地涉及相应的计算机程序。
背景技术:
2.在介入性x射线记录的范围内,患者通常暴露于x射线辐射中。出于此原因通常权衡,是否和在哪种程度中需要用于产生x射线图像的x射线记录(或者说拍摄)。然而,x射线记录通常是需要的,以便实现用于导管程序的图像辅助的治疗、整形外科手术和/或准备或者诊断。在x射线记录或者x射线图像中通常需要能够良好地识别出特定的对象、例如导管。然而,为了提供高质量的x射线图像,通常以更高的辐射负荷执行x射线记录。就这点而言在这个问题中产生利害冲突。一方面可能需要高质量的x射线图像,以便实现最佳的治疗,然而另一方面这意味着,对于人的辐射负荷并不是微不足道的。
3.本发明的重要方面基于的认知是,在视频电话的领域中,借助参考图像和表征性观察角度也可以在数据传输率较小的情况下实现视频电话。这个认知可以被修改地用于产生或者生成合成x射线图像。
技术实现要素:
4.本发明所要解决的技术问题在于,提供用于生成合成x射线图像的方法,在方法中提高x射线图像的质量。这是特别重要的,因为为了记录具有较低质量的x射线图像需要减少的辐射负荷。
5.因此,本发明建议一种用于借助以下方法步骤生成合成x射线图像的方法。所述方法尤其用于产生具有预设质量的合成x射线图像。首先可以在步骤a)中提供经训练的第一神经网络,以便产生至少一个具有预设质量的合成x射线图像。同样地可以提供经训练的第二神经网络。所述第二神经网络尤其用于,从至少一个次级x射线图像中确定表征性特性并且将所述表征性特性供第一神经网络使用或者提供给第一神经网络。两个神经网络能够借助分别具有预设最低质量的初级x射线图像被训练。
6.第一神经网络优选可以设计为生成式对抗网络(gan)。生成式对抗网络可以包含生成部分和批评部分。这两个部分可以彼此竞争。生成式对抗网络尤其可以包括两个神经网络。第一子网络可以被视为生成式网络并且第二子网络可以被视为竞争的或者判别(diskriminierend)的网络。生成式子网络可以被训练用于,根据形式为x射线图像的样本产生新的改善的x射线图像。在此,第二子网络可以设计为判别的或者批评的网络。这个第二子网络尤其执行对第一子网络的结果的评估。只要判别的子网络没有释放(freigeben)所述结果,则第一子网络优选继续被训练。这尤其执行直至判别的第二子网络释放由第一子网络提供的结果。
7.第一神经网络尤其可以是两个子网络的总和并且尤其基于多个具有预设最低质量的初级x射线图像。这尤其意味着,之前根据多个具有预设最低质量的初级x射线图像训
练了第一神经网络。优选地,第一神经网络是已经被训练的。初级x射线图像可以是在准备时通过已经完成的x射线记录被提供的。初级x射线图像可以相应于预设的情况或者模仿预设的情况。在此,通常使用普遍的或者甚至提高的辐射剂量,以便达到所述预设最低质量。这可能意味着,以关于x射线辐射的最低照射强度产生了初级x射线图像。所述初级x射线图像优选是已经存在的或者能够事先被提供。然而可行的是,将原本就执行的x射线过程同时用于提供或者生成其它的初级x射线图像。
8.第一神经网络可以根据这种高质量的初级x射线图像被训练,以便由具有降低的质量的样本(vorlage)产生改善的新的合成x射线图像。因此,第一神经网络可以被训练用于,根据次级x射线图像产生新的改善的x射线图像,所述次级x射线图像具有相对于初级x射线图像更低的质量。这个新的改善的x射线图像可以称为“次级加”(plus)或者“更新的次级图像”。从次级x射线图像中产生的新的改善的x射线图像可以称为“最终的”x射线图像或者“合成的”x射线图像。因此,所生成的x射线图像可以是新的x射线图像、最终的x射线图像和/或合成x射线图像。
9.为此,尤其在下一步骤b中:确定至少一个次级x射线图像的表征性特性。所述至少一个次级x射线图像具有相对于初级x射线图像更低的质量。所述至少一个次级x射线图像可以在训练第一神经网络时与初级x射线图像共同使用。因此,第一神经网络可以学习从至少一个次级x射线图像中产生新的、最终的或者合成的x射线图像,所述x射线图像关于其质量相对于至少一个次级x射线图像被改善。
10.表征性特性的确定优选通过第二神经网络执行。第二神经网络可以被视为深度神经网络(dnn)。第二神经网络可以借助多个层确定至少一个次级x射线图像的表征性特性。第二神经网络可以将所确定的表征性特性供第一神经网络使用。因此,第一神经网络可以根据由第二神经网络确定的表征性特性产生合成x射线图像,所述合成x射线图像具有比至少一个次级x射线图像更高的质量。在理想情况下,合成x射线图像的质量达到初级x射线图像的水准。
11.在下一步骤c中:优选通过第一神经网络生成至少一个合成x射线图像。为此,第一神经网络使用通过第二神经网络从至少一个次级x射线图像中确定的表征性特性。在此,第一神经网络这样产生至少一个合成x射线图像,使得至少一个次级x射线图像的质量被提高。至少一个合成x射线图像尤其具有相对于至少一个次级x射线图像更高的质量。因此,借助第一和第二神经网络可以从具有降低的质量的次级x射线图像中产生一个高质量的或者多个高质量的合成x射线图像。这是特别重要的,因为患者在准备时暴露于更少的辐射负荷中。因此可以在介入式x射线记录(或者说拍摄)中降低辐射负荷,而在此对于x射线图像的质量不需要忍受质量的过大降低。
12.尤其可以将来自次级图像的表征性特性提供给第一神经网络以生成合成x射线图像。如果提到根据至少一个次级x射线图像通过第一神经网络生成合成的或者最终的x射线图像,则优选指的是,第二神经网络从至少一个次级x射线图像中确定表征性特性,将所述表征性特性传输至第一神经网络或者供第一神经网络使用并且第一神经网络借助所提供的表征性特性生成最终的或者合成的x射线图像。
13.术语“质量”也可以包括感知上的质量。这可以包括x射线图像中的器官的更好的可识别性、更符合人体工程学的更好的显示、噪声较少的x射线图像、更清楚的纹理和/或更
好的眼睛人体工程学。这可涉及感知上的或者主观评估的画质或者说图像质量。改善的质量优选也可以客观地通过分辨率、更好的噪声水平、亮度、像素密度、对比强度和/或更有利的信噪比(signal-to-noiseratio,snr)定义和/或测量。
14.至少一个合成x射线图像的生成提高了至少一个次级x射线图像的质量。这优选也影响感知上的质量。这可以借助次级x射线图像以更少的剂量并且通过两个神经网络实现。对于观察者,至少一个合成x射线图像的质量优选看上去比次级x射线图像更好。然而,次级x射线图像的真正的画质优选差于初级x射线图像的画质。目标可以是,为观察者产生符合人体工程学的、协调的合成x射线图像。在细节中,由第一神经网络生成的合成x射线图像甚至可以包含错误的信息或者图像细节,但它们对于观察者看上去仍比次级x射线图像更协调和具有更高质量。因此,术语“质量”除了可测量的变量如分辨率、亮度、信噪比、噪声水平等之外,还可以表示“感知上的画质”、“主观的图像印象”或者“对于观察者的图像印象”。
15.术语“质量”尤其可以表示画质、对比度、分辨率、图像噪声和/或“对比度噪声比”。术语“质量”优选涉及相应的x射线图像。术语“对比度噪声比”可以被视为对比度与噪声之比。对比度噪声比可以定义为对象与环境之间的信号幅度的差除以背景噪声。对比度噪声比可以用作用于确定画质的量度。作为对所提到的质量方面的补充或备选,可以使用信噪比。所述信噪比是嵌入噪声信号中的有效信号的技术质量的量度。信噪比可以定义为有效信号的平均功率与干扰信号的平均噪声功率之比。通过所述方法可以提高至少一个次级x射线图像的质量。这尤其意味着,通过第一神经网络生成一个或多个合成x射线图像,它们具有比至少一个次级x射线图像更高的质量。由此也可以改善至少一个次级x射线图像的质量。在次级x射线图像中,在原始状态中可能对于观察者不能或者只能较难地识别出x射线图像中的特定图像内容、解剖学结构、对象。在至少一个具有提高的质量的合成x射线图像中,这些图像内容、解剖学结构/对象对于观察者是能够识别的、能够更简单地识别或者能够更简单地视觉感知的。
16.在至少一个次级x射线图像中的表征性特性可以是关于四肢、关节、人造植入物、血管、血管分支、组织边界、组织纹理、器官、如心、肾、肝、脑等、软组织等的外形、轮廓或者类似的视图。作为补充或备选,人造的物体、如导管、支架、篮、肋、椎体和/或骨骼或者所述这些物体的部分可以是表征性特性。
17.经训练的第一神经网络的提供也可以包含或者包括第一神经网络的训练阶段。借助其它的附加的初级x射线图像,第一神经网络可以被进一步训练和改善。在此,尤其可以根据初级x射线图像训练第一神经网络。附加地,可以将次级x射线图像的表征性特性用于训练。次级x射线图像可以由初级x射线图像推导出,如之后还将阐述的那样。初级x射线图像的质量可以有意识地被降低和/或变差并且因此转换为其它的次级x射线图像。第一神经网络可以借助初级x射线图像和/或借助其它的次级x射线图像在训练阶段中被训练。可行的是,预设训练阶段和/或基于所生成的至少一个合成x射线图像的质量标准导入训练阶段。
18.根据通过将初级x射线图像有意识地变差生成的次级x射线图像,第二神经网络可以关于对表征性特性的识别和/或标注被改善。为此,第二神经网络可以将来自初级x射线图像的识别出的表征性特性与来自配属的次级x射线图像的识别出的表征性特性进行匹配。配属的次级x射线图像优选正好是由初级x射线图像的变差推导出和/或由此得到的x射
线图像。由此,也可以借助从初级x射线图像中通过有针对性的质量降低得到的次级x射线图像,对第二神经网络关于表征性特性的识别进行训练和/或改善。
19.由此,在新的初级x射线图像中,第一神经网络和第二神经网络可以被再训练和/或改善。优选将其它的初级x射线图像以及由第二神经网络传输的表征性特性传输给第一神经网络。同时,第二神经网络可以借助由初级x射线图像推导出(使初级x射线图像有针对性地变差)的其它的次级x射线图像被再训练。
20.所述训练阶段用于这样训练第一神经网络和/或第二神经网络,使得第一神经网络和第二神经网络共同地根据“较差的”x射线图像(次级x射线图像)生成具有提高的质量的改善的合成x射线图像。由此可以改善x射线图像的可感知性、质量或者视觉的人体工程学。
21.一种补充或者备选的实施方式规定,确定表征性特性的识别率。所述识别率可以通过第二神经网络或者通过第一神经网络确定。尤其降低至少一个次级x射线图像的质量,直至所述识别率低于或者达到预设的阈值。尤其可以相对于最佳识别率评估或者比较所述识别率。所述最佳识别率优选从具有预设最低质量的初级x射线图像中得到。在此认为,通过第二神经网络在初级x射线图像中以比所述至少一个次级x射线图像更高的识别率确定表征性特性。相比在次级x射线图像中,第二神经网络可以在初级x射线图像中更可靠地或者以更高的识别率确定表征性特性。至少一个次级x射线图像的质量尤其可以与预设的识别率适配。由此可以进一步降低次级x射线图像的质量。
22.预设的阈值尤其可以与第一神经网络相关。换而言之,第一神经网络的有效功率可以影响预设的阈值。如果第一神经网络被良好地训练,则所述第一神经网络在较低的识别率中也仍可以从至少一个次级x射线图像中产生新的改善的x射线图像,所述x射线图像可以是足够的。这意味着,借助第一神经网络可以进一步降低次级x射线图像的质量。因此,可以进一步降低对于人的辐射负荷,而不需要忍受生成的x射线图像中太大的缺陷。第一神经网络尤其可以附加地借助质量进一步降低的次级x射线图像被训练,以便生成至少一个合成x射线图像。因此,两个神经网络可以这样被训练,使得即使对于质量降低的次级x射线图像也还可以产生至少一个达到预设质量或预期品质的合成x射线图像。
23.一种补充或者备选的实施方式规定,确定至少一个次级x射线图像的质量以预设的值超过所述阈值。根据至少一个次级x射线图像可以在确定表征性特性方面和/或在生成至少一个合成x射线图像方面训练第一神经网络和/或第二神经网络。次级x射线图像也可以称为低剂量图像。因为次级x射线图像优选以较低的辐射负荷被记录,所以它们通常具有降低的质量或者画质。因此,次级x射线图像可以被视为低剂量图像并且初级x射线图像可以被视为高剂量图像。在这个实施方式的范围内,第二神经网络可以关于特征识别被“再训练”。
24.对第二神经网络的这种事后的训练可以包含人工地降低初级x射线图像的质量。人工地降低初级x射线图像优选地实现了附加的其它的次级x射线图像。由此产生的其它的次级x射线图像可以由初级x射线图像推导出。这尤其可以通过算法实现,所述算法有针对性地降低初级x射线图像的画质。由此可以产生其它的次级x射线图像。为此可以使用相应的算法。借助第二神经网络可以在其它的次级x射线图像中标注特性或者特征。这些识别出的特征可以与来自配属的初级x射线图像的识别出的特征相互协调或者匹配。
25.所述特征可以相应于表征性特性(或称为特征属性)。所述表征性特性可以具有与表征性特征相同的含义。然而在这个专利申请中优选使用表征性特性,因为在英语中,术语“characterizingfeatures”可能包含在此未涉及的法律含义。在这个实施方式中,两个神经网络可以附加地被训练或者再训练。在此可以确定,质量或者辐射剂量能够以哪种程度被降低,以使得仍足够好地实现至少一个合成x射线图像的生成。
26.为此可以通过质量值评估所生成或者所产生的至少一个合成x射线图像。只要至少一个合成x射线图像的质量值超过预设的极限值,则可以接受次级x射线图像的降低的质量。可选地,识别率可以涉及预先确定的特性。例如,识别率可以涉及器械如导管、心脏起搏器或者人工关节。至少一个次级x射线图像的质量降低和第一和/或第二神经网络的训练尤其可以迭代地实现。为此可以提供具有降低的质量的其它次级x射线图像。第一和/或第二神经网络可以基于这个附加的次级x射线图像被训练。在此,同样可以使用已经提到的“再训练”。这可以继续执行,直至产生的合成x射线图像达到或者低于预设的极限值。由此还可以进一步降低x射线检查时的辐射负荷。
27.一种补充或者备选的实施方式规定,所确定的表征性特性通过第一数据通道以第一延迟传输至外部的控制单元。作为补充或备选,多个具有预设最低质量的初级x射线图像、由初级x射线图像推导出的信息和/或第一神经网络通过第二通道以较小的第二延迟传输至外部的控制单元,以便在外部实施所述方法。第一神经网络能够以数据包或者数据组的形式传输。例如可以为初级x射线图像配置缩放系数(或者zoomfaktor)并且通过第二数据通道传输。同样可以定义初级x射线图像的相关区域,以生成合成x射线图像。这些信息可以被视为由初级x射线图像推导出的信息。外部的实施可以被视为远程工作或者远程实施。第二数据通道的延迟(latenz)或者延迟时间优选相对于第一数据通道的第一延迟时间减小。第二延迟可以在10至100毫秒之间。第二延迟尤其可以小于40毫秒,优选小于10毫秒。由此可以最佳地实施对两个神经网络的外部训练。第一神经网络可以通过第二数据通道接收初级x射线图像,而第二神经网络可以通过第一数据通道接收表征性特性。为此,相应的神经网络可以具有相应的接口。针对每个数据通道可以设置单独的接口。因此,用于生成合成x射线图像的方法或者对两个神经网络的训练可以独立于产生合成x射线图像的装置地进行。外部的计算机单元或者外部的计算单元例如可以包括这两个神经网络并且由此实施所述方法。
28.一种补充或者备选的实施方式规定,根据所述至少一个次级x射线图像和/或由所述至少一个初级x射线图像推导出的次级x射线图像训练所述第二神经网络。由此应该改善或者训练第二神经网络,以便识别表征性特性。
29.由此能够有针对性地进一步训练第二神经网络。尤其是这种附加训练可以与5对表征性特性的识别率相关。第二神经网络的附加训练可以与预设的表征性特性有关。至少一个初级x射线图像的画质可以有针对性地变差。为此可以使用相应的方法或者算法。因此,可以分别由初级x射线图像推导出一个或多个次级x射线图像,这些次级x射线图像可以称为“变差的初级x射线
30.图像”。这些推导出的次级x射线图像可以被配置给相应的初级x射线图像。0第二神经网络可以从至少一个初级x射线图像和分别配属的导出的次级x射线图像中确定表征性特性。在此,第二神经网络可以将不同的表征性特性相互比较或者相互匹配,以便进行训
练。尤其是,通过第二神经网络或者其它算法在初级x射线图像中识别出的表征性特性可以在推导出的次级
31.图像中标注在相应位置上。这些被标注的推导出的次级x射线图像可以用于5第二神经网络的“再训练”。
32.作为补充或者备选,可以有针对性地改变或者修改预设的表征性特性,以便通过训练第二神经网络提高对预设的表征性特性的识别率。例如可以向第二神经网络提供多个关于不同的髋关节或者植入物的x射线图像以进行
33.训练。由此可以关于对人工髋关节或者植入物的识别率改善第二神经网络。0通过这种再训练,可以在识别人工髋关节的能力方面改善第二神经网络。对于其它特征、如心脏起搏器、椎体、肋骨等,可以进行类似的再训练。这种训练或者再训练能够以类似的方式用于第一神经网络。优选地将附加的初级x射线图像和由附加的初级x射线图像推导出的其它的次级x射线图像用
34.于训练。这些其它的次级x射线图像可以通过降低初级x射线图像的画质5来产生。由此可以进一步提高两个神经网络以及用于产生改善的x射线图像
35.的方法的可靠性或者效率。
36.一种补充或者备选的实施方式规定,优选生成具有预设质量的合成x射线图像。为此,优选针对每个所生成的合成x射线图像确定单独的质量标准。
37.质量标准能够以质量值的形式来表示。例如,质量标准可以是分辨率或者识0别率。同样,对比度、对比度噪声比、与作为基础的次级x射线图像的一致性检查和/或信噪比适合作为质量标准。为简单起见,以下将分辨率或者噪声水平视为质量标准。因此,可以对于每个所生成的合成x射线图像确定单独的分辨率作为质量标准。根据相应的质量标准、在这种情况下是分辨率,可以借助具有预设最低质量的附加的初级x射线图像和/或借助由附加的初级x射线图像推导出的次级x射线图像训练第一神经网络。第二神经网络可以5从次级x射线图像和/或初级x射线图像中确定表征性特性并且提供给第一神经网络用于训练。从初级x射线图像中确定的表征性特性可以与从配属的次级x射线图像中确定的表征性特性相匹配。由此可以提高通过第二神经网络对有关表征性特性的识别率。
38.在此,可以根据质量标准修改附加的初级和/或次级x射线图像。质量0标准可以指的是x射线图像中的感兴趣的子区域。例如,如果检查髋关节,
39.则作为质量标准可以是x射线图像的显示人工髋关节的那个图像区域中的分辨率或者噪声水平。因此,质量标准可以指的是与表征性特性有关的空间区域。
40.借助这个实施方式,可以根据相应的独立的质量标准进行训练。附加的5初级和/或次级x射线图像可以基于相应的质量标准进行修改。这两个神经
41.网络由此可以有针对性地对于相应的质量标准或者对于所生成的合成x射线图像需要达到的质量被训练。可行的是,将附加的初级和/或次级x射线图像与新的预设情况相协调。一般来说,第一和/或第二神经网络可以由此关
42.于新的情况被训练或者适配(或者说调整)。由此可以进一步提高该方法的可0靠性和/或效率。
43.质量标准可以通过定量的质量值、例如识别率、分辨率、信噪比或者与预设图像的一致性表示。质量标准可以包含定量的质量值与预设的极限值或者阈值的比较。因此,可以
对合成x射线图像进行质量控制。如果定量的质
44.量值超过预设的极限值,则可以将合成x射线图像评级为令人满意的。然而,5如果质量值低于预设的极限值,则这可以成为进一步训练第一和/或第二神经
45.网络的理由。为此可以将其它的初级和/或次级x射线图像用于训练。
46.在此,对于闭环控制,目标尤其可以是在这样的程度上降低次级x射线图像的质量,直到第一次不符合质量标准,即质量值第一次低于预设的极限
47.值。为此,可以迭代地检查质量标准。在每个迭代步骤中确定的质量值可以0分别与预设的极限值进行比较,以评估质量标准。在这种情况下已经确定了次级x射线图像的质量,其刚好够用。这种方法可以实质地转用和应用于所有关于质量标准或者质量值的实施方式。这可以实现明显降低的辐射负荷。
48.一种补充或者备选的实施方式规定,为了训练或者检查该方法,所述第二神经网络根据至少一个附加的初级x射线图像确定表征性特性并且向第一神经网络提供、传输所述表征性特性或者供第一神经网络使用。所述第一神经网络可以根据这些提供的表征性特性生成附加的合成x射线图像。附加的合成x射线图像可以与至少一个附加的(新的)初级x射线图像进行比较和/或匹配。因此,可以借助新的初级x射线图像在特征识别、即表征性特性的识别方面改善第二神经网络。这种改善可以实现合成x射线图像的质量的提高。如果合成x射线图像的质量高于规定的限制,则可以人工地降低次级x射线图像的质量并且再次执行这个实施方式。由此可以借助附加的初级x射线图像来提高合成x射线图像的质量和/或所述次级x射线图像中的较低质量可能足以遵循合成x射线图像中的预设的质量限制。
49.一种补充或者备选的实施方式规定,借助具有预设最低质量的附加的初级x射线图像根据定义的标准启动第一神经网络和/或第二神经网络的训练。因此,所述方法可以基于定义的标准再次转入训练阶段。多个定义的标准或者一个定义的标准可以是规定(festgelegte)的时长、在产生初级或者次级x射线图像时改变的流程、对导管机器人的探测、对表征性特性的识别率的降低、在多个x射线图像的序列中探测到的运动、质量标准和/或相应x射线图像中的改变。作为补充或者备选,定义的标准可以是基于摄像机的检测到的患者在初级或者次级x射线图像中的运动,和/或初级或者次级x射线图像中的衰减值以预设的最小量的变化。所有可能影响用于从次级x射线图像中生成高质量x射线图像的方法的情况都可以被定义为标准。基于这些标准,第一和/或第二神经网络可以被再次转回训练阶段。因此,可以对变化的情况作出灵活的反应,并且两个神经网络可以通过重新训练来与变化的情况适配。
50.一种补充或者备选的实施方式规定,预设的标准被定义为规定的时长、至少一个次级x射线图像的记录方法的改变、在至少一个次级x射线图像中探测到的运动、所生成的(合成)x射线图像与配属的次级x射线图像之间的一致性和/或关于在至少一个次级x射线图像中新识别出的对象的信号。即使患者被指示在x光检查期间尽可能保持静止,但由于呼吸运动或心跳,仍然可以在相应的x射线图像中识别出运动。在探测到运动的情况下,第二神经网络可以被有针对性地训练用于预测和/或参数化表征性特性的运动。同样地,第一神经网络可以就与表征性特性有关的运动进行训练。例如,在心脏跳动的情况下,导管或者支架可能在x射线图像序列中处于运动。第一和/或第二神经网络可以被有针对性地训练用于预测这种运动对相应的x射线图像中的表征性特性的影响或者将所述影响参数化。由于许
多这样的运动、如呼吸或者心跳是周期性的,因此可以预测需要表征的特性在相应的x射线图像中的位置。由此可以更好地预测和/或在相应的x射线图像中识别表征性特性的位置。表征性特性尤其包括特别感兴趣的对象,如导管、支架、人工关节、心脏起搏器和/或其它的植入物。
51.一致性可以通过比较合成x射线图像和次级x射线图像来确定。例如,为此可以确定两个x射线图像中的内容结构或者高对比度对象的一致程度。这可以通过相关值来实现。次级x射线图像与合成x射线图像之间的相似性可以通过相关值表示并且与预设的阈值相比较。由此可以对一致性进行评估。备选地,可以将合成x射线图像的质量再次变差,以便再次调整(nachstellen)为较低的记录剂量并且可以将变差的x射线图像与次级x射线图像进行比较。
52.一种补充或者备选的实施方式规定,在至少一个次级x射线图像中确定第一区域和第二区域。这些区域可以被视为至少一个次级x射线图像的子区域。第二区域中的质量优选相对于第一区域中的质量至少部分地更低或者至少部分地被降低。借助第一神经网络,优选根据在第一区域内识别出的表征性特性提高第二区域中的质量。这例如可以通过外推法来实现。由于第二区域具有与第一区域相比降低的质量或者画质,对于设置在之前的x射线检查来说,这意味着所需的辐射剂量可以进一步减少。因此,较高的辐射剂量可以被限制在第一区域。根据第一区域内的表征性特性,通过第一神经网络也仍可以在第二区域中实现更高的质量。
53.尤其是这个实施方式可以只被应用于第二区域。次级x射线图像的质量可以被调节为,使得所述质量在第一子区域内是足够的。本发明的这个实施方式由此可以应用于第二子区域,以便在该处改善感知质量。例如,第一子区域可能对治疗的成功很重要,而第二子区域只显示相关性较少的次级区域,但所述次级区域还是应该以吸引人的感知质量被显示。
54.一种补充或者备选的实施方式规定,第二区域中的质量借助辐射滤波器被降低和/或只有第二区域中的质量借助第一神经网络被提高。
55.尤其是,这些子区域可以通过源侧的x射线滤波器确定,其中,在第一子区域中比在第二子区域中有更多的辐射通过该滤波器。通过在第二子区域中应用按照本发明的方法,尽管减少了辐射剂量,但可以在该处提高感知质量。
56.一种补充或者备选的实施方式规定,根据多个次级x射线图像通过第二神经网络分别探测配属的表征性特性并且通过第一神经网络将表征性特性的运动和/或x射线图像的围绕表征性特性的邻接区域参数化。因此,第二神经网络可以分别探测表征性特性在相应的次级x射线图像中的位置并且第一神经网络可以根据这些探测到的表征性特性的不同位置确定表征性特性的运动。这种运动可以通过第一神经网络被参数化。因此,第一和第二神经网络可以共同作用,以识别运动或者将运动参数化。该实施方式可以相应地应用于相应的x射线图像中的第一区域和/或第二区域。因此,可以在第一区域中识别运动,并且在第一区域中识别出的运动例如可以通过外推到次级x射线图像的第二区域上被变换或者换算。例如,在次级x射线图像中,导管可能位于第一区域中,也可能位于第二区域中。在这种情况下,在这两个区域之一中识别出导管的运动并且将其参数化就足够了。因此,可以相应地预测导管在另一个区域中的运动。因此,在生成合成x射线图像时,也可以通过第一和/或
第二神经网络考虑运动。这在最有利的情况下可以使得不需要附加的x射线记录,这能够为患者节省不必要的辐射负荷。
57.一种补充或者备选的实施方式规定,为了提供和/或训练第一神经网络,作为对初级x射线图像的备选或补充,提供来自与作为第一模式的x射线不同的第二模式的其它的初级图像。第一模式优选是指通过相应的x射线设备产生的x射线图像。第二模式优选是指通过其它的方法或者其它的装置产生的图像。
58.例如,第二模式可以是指电磁跟踪系统、光纤形状传感、超声波技术、核磁共振序列图像等。因此,第二模式可以针对相应的图像包括多个不同的模式或者来源。因此,初级x射线图像可能来自不同的来源。可行的是,所有初级图像都来自第二模式。在这种情况下,第一神经网络只通过不是x射线图像的图像进行训练。优选地,第一神经网络借助来自第一模式的x射线图像并且附加地借助来自第二模式的初级图像进行训练。在此,优选将每个图像配置给一个模式。
59.第一神经网络可以基于初级x射线图像进行训练。第三神经网络可以从第二模式的次级图像中获得表征性特性。第三神经网络在结构上可以与第二神经网络相似。第二和第三神经网络可以相互对应。第二和第三神经网络优选基于所使用的数据来源彼此区别开。第二神经网络从x射线图像中确定表征性特性,而在第三神经网络中根据其它不同的图像或者数据来源实现表征性特性的确定。第三神经网络的结果可以被换算用于第二神经网络并且反之亦然。为此可以使用坐标变换。
60.尤其是,第三神经网络的任务为识别第二模式的图像/数据中的表征性特征(即标识的姿态和位置)。第三神经网络也可以是已经被事先训练的。通过坐标变换或者已知的配准,从第三神经网络中探测到的表征性特征的位置和/或坐标可以从第二模式变换到x射线图像的坐标中。随后,如在迄今的实施例中那样,第一神经网络可以用于基于表征性特征的坐标和类型产生新的更好的x射线图像。
61.作为备选或者补充,次级x射线图像同样可以来自第一或者第二模式。因此,可以从第一模式的次级图像中探测到表征性特性的第一部分并且可以从第二模式的图像中获得表征性特性的第二部分。因此,第二神经网络可以从不同模式的图像中检测或者探测表征性特性。由此可以提高识别表征性特性的可靠性或者稳健性。识别出的表征性特性的总和可以被输入第一神经网络,以便从中产生至少一个其它的具有改善的质量的附加x射线图像。基于第二模式的图像可以改善用于两个神经网络的数据库。因此,在最好的情况下可以实现关于至少一个次级x射线图像的进一步的质量降低。这相当于减少了在x射线检查过程中的辐射负荷。由此,尤其是经常需要拍摄x射线的慢性患者或者儿童可以从明显减少的辐射负荷中受益。同时,他们只需要忍受治疗质量的较少降低或者几乎不需要忍受治疗质量的降低。
62.一种补充或者备选的实施方式规定,借助来自第一模式的次级x射线图像和来自第二模式的次级图像训练第二神经网络。在这种情况下,与之前提到的实施方式有关的优点、示例以及特征在实质上并且类似地适用。
63.一种补充或者备选的实施方式规定,通过第二神经网络,从第一模式的至少一个次级x射线图像中获得表征性特性的第一部分,并且从第二模式的次级图像中获得表征性特性的第二部分。第一神经网络可以借助由所述第一部分和第二部分组成的表征性特性的
总和生成至少一个新的x射线图像。由此可以通过第二神经网络更可靠地识别出表征性特性。因此,可以提高对表征性特性的识别率。
64.一种补充或者备选的实施方式规定,降低至少一个次级x射线图像的质量,并且基于关于至少一个所生成的合成x射线图像确定的质量标准,根据所述质量标准借助分别具有预设最低质量的、来自第一模式的附加的初级x射线图像和/或来自第二模式的附加的初级图像训练第一神经网络。已经在之前提到的实施方式的关于单独的质量标准的特征可以在实质上并且类似地应用于本实施方式。这意味着,在该处提到的示例和特征可以在实质上并且类似地转用到本实施方式上。因此,如果质量标准低于预设的阈值,则可以再次或者迭代地训练第一神经网络。这两个实施方式可以附加地包含第二神经网络的训练。
65.附加地可以在闭环控制的范围内逐步地降低次级x射线图像的质量。在每个步骤中,可以通过将质量值与预设的极限值进行比较来进行质量控制。因此,可以执行迭代的质量控制。这种闭环控制可以继续进行或者包括这样多的步骤,直到第一次低于或者达到预设的极限值。在第一次低于预设的极限值的情况下,以这样的程度降低次级x射线图像的质量,使得所述质量对于第一神经网络仍足以由此生成具有预设最低质量的最终的或者合成的x射线图像。通过这种闭环控制,最大限度地使用了所述方法的潜力或者具有第一和第二神经网络的控制单元的潜力。
66.根据质量标准,可以通过来自第一模式的附加的次级x射线图像和来自第二模式的次级图像训练第二神经网络。训练也可以包含后续的训练。尤其可以通过降低初级x射线图像的质量来获得其它的次级x射线图像,以进行再训练。在此,可以首先借助第二神经网络在初级x射线图像中探测表征性特性。这些特性可以在其它的次级x射线图像(变差的初级x射线图像)中用作附加地训练第二神经网络时的标注。围绕推导出的次级x射线图像的方面可以在实质上并且类似地转用于来自第二模式的图像。
67.质量标准可以是指表征性特性的识别率。同样地,质量标准可以是指配置给特定图像区域的分辨率。优选地考虑表征性特性的区域内的分辨率。在该处通常需要比其它与患者治疗的相关性较小的图像区域更高的分辨率。通过根据来自第一模式的x射线图像和来自第二模式的图像训练第一或第二神经网络,这两个神经网络可以得到明显改善。这尤其是因为这两个神经网络根据不同的数据源被训练。因此,用于产生改善的x射线图像的方法可以进一步被优化。
68.本发明的第二方面涉及一种用于生成合成x射线图像的控制单元。所述控制单元具有第一神经网络,所述第一神经网络优选包含两个竞争网络。第一神经网络可以是已经提前被训练的。第一神经网络尤其设计用于产生或者生成至少一个具有预设质量的合成x射线图像。第一神经网络可以基于多个初级x射线图像被训练,所述初级x射线图像分别具有预设最低质量和/或由此推导出的信息。第一神经网络尤其可以设计为生成式对抗网络。此外,控制单元具有第二神经网络。所述第二神经网络可以设计为深度神经网络。第二神经网络优选设计用于从至少一个次级x射线图像中确定表征性特性。在训练阶段中,可以从初级x射线图像中提取表征性特性,以便改善第二神经网络。在应用阶段中,第二神经网络优选地根据至少一个次级x射线图像确定表征性特性并且向第一神经网络提供表征性特性。在此,次级x射线图像具有相对于初级x射线图像更低的质量。附加地,第一神经网络设计用于,根据通过第二神经网络确定的表征性特性生成至少一个合成x射线图像。在此,优选提
高至少一个次级x射线图像的质量。两个神经网络可以借助附加的分别具有预设最低质量的初级x射线图像被训练或者再训练。与第一方面相关地提到的示例、优点和实施方式在实质上并且类似地适用于第二方面。
69.另一个实施方式规定了一种控制单元,在所述控制单元中,所述第二神经网络设置用于,从至少一个次级x射线图像中确定椎体、手指、臀部、关节和/或骨盆作为表征性特性。优选地,第二神经网络被训练或者设置用于,识别至少一个次级x射线图像中的相关对象。这些相关对象代表了表征性特性。它们包括骨骼、椎体、手指、臀部、人工关节、导管、支架和/或人工植入物。同样,内部器官,例如心脏、肺、肾等,也可以作为相关对象或者表征性特性提及。
70.本发明的第三方面涉及一种计算机程序。在通过计算机实施计算机程序或者程序时,使得计算机实施用于生成合成x射线图像的方法。这意味着,计算机程序可以包括指令,在通过计算机实施所述程序时,该指令使得计算机实施提到的实施方式之一。
71.第四方面涉及一种电子可读的数据载体,其具有存储在所述数据载体上的电子可读的控制信息。数据载体可以包含计算机程序并且设计为,使得在将数据载体使用在控制单元或者计算机中时,计算机程序执行所述方法的每个实施方式。
72.计算机程序还可以包括存储介质或者计算机可读的存储介质以及计算机可读的数据载体。该计算机程序可以存储在存储介质或者计算机可读的数5据载体上。计算机程序可以通过数据载体信号传输到存储介质上并且存储在该存储介质上。
73.控制单元可以包括计算机程序和/或数据载体,所述计算机程序和/或数据载体包含指令,所述指令作用使得方法的每个实施方式被实施。计算机程序可以存储在计算机可读的介质上。
74.与按照本发明的第一方面的用于生成合成x射线图像的方法相关地提
75.出的特征、实施方式和其优点相应地适用于按照本发明的第二方面的控制单元、根据第三方面的计算机程序、根据第四方面的数据载体并且相应地反之亦然。因此,方法特征可以被解释为装置特征并且反之亦然。
76.控制单元可以具有设置用于执行所述方法的实施方式的处理器装置。为5此,处理器装置可以包括至少一个微处理器、至少一个微控制器、至少一个fpga(现场可编程门阵列)、至少一个dsp(数字信号处理器)和/或神经网络。此外,处理器装置可以包括程序代码,该程序代码设置用于在通过处理器装置实施时执行该方法的实施方式。该程序代码可以存储在处理器装置的数据
77.存储器中。控制单元可以包括内部或者外部的存储器单元。外部的存储器单0元可以设计为云单元。
附图说明
78.现在根据示例性附图更详细地阐述本发明。在此应该注意的是,这些附
79.图只代表本发明的示例性的实施方式。附图并不限制本发明的范围并且只是5为了便于理解本发明。尤其是,所有在附图中提到的特征都可以被提取并且与已经提到的实施方式相关联。
80.在附图中:
81.图1示出用于产生合成x射线图像的外部控制单元的示例性概览;
82.图2示出次级x射线图像的示例性视图;
83.图3示出初级x射线图像的示例性视图;
84.图4示出与次级图像的质量有关的示例性闭环控制的示意性概览;
85.图5示出对两个神经网络的基于质量标准的再训练的闭环控制的示例性概览。
具体实施方式
86.图1示例性地示出控制单元100。尤其地,控制单元100可以包括第一神经网络10和第二神经网络20。第一神经网络10优选根据多个初级图像pb进行训练。第二神经网络优选根据至少一个次级图像sb进行训练。在图1中,由两个神经网络收集的初级或者次级x射线图像的数据通过计算单元15被传输到外部的控制单元15e。在此,次级x射线图像sb优选通过第一数据通道d1传输到外部的计算单元15e,而初级x射线图像pb和/或第一神经网络10优选通过第二数据通道d2传输到外部的计算单元15e。外部的计算单元15e也可以具有第一和第二神经网络或者访问这两个神经网络。
87.第一神经网络10优选具有两个相互竞争的神经网络。第一神经网络尤其可以设计为生成式对抗网络。在此,第一子网络10a可以设计为生成网络,而第二子网络10b可以是与之竞争的网络。在图4中,示例性地借助两个子网络10a和10b之间的闪电说明这两个网络的竞争。第一神经网络10被训练用于,基于表征性特性和初级x射线图像pb来产生合成x射线图像fb。合成x射线图像fb也可以称为最终的x射线图像fb。为此,第一神经网络10访问由第二神经网络检测的表征性特性。借助初级图像pb和表征性特性,第一神经网络可以产生合成x射线图像fb。在此,控制单元100或者第一神经网络10被这样训练,使得合成x射线图像fb具有比次级x射线图像sb更高的质量。
88.在图2和图3中分别显示了类似的x射线图像。图2显示了次级x射线图像sb,而在图3中显示了配属的初级x射线图像pb。可以清楚地看到,初级x射线图像pb比次级x射线图像sb的质量更高。在这种情况下,初级x射线图像pb与次级x射线图像sb相比具有更高的分辨率。在图2中,次级x射线图像sb略比图3中的配属的初级x射线图像pb更像素化。尽管如此,第二神经网络20可以根据次级x射线图像sb识别出表征性特性30至34。表征性特性例如可以包括髋骨30或者臀部30、多个椎体31、骨盆32和/或器官、如肝33。颈椎34也可以被视为相关对象,即表征性特性30至34。表征性特性30至34的具体设计尤其可以取决于治疗或患者。
89.第一神经网络10优选从第二神经网络20获得表征性特性30至34。由于第一神经网络10借助初级x射线图像pb进行训练,它能够从表征性特性30至34中产生合成的、其它的或者最终的x射线图像fb。在此,与次级x射线图像sb相比,合成x射线图像fb具有提高的质量。例如可以提高表征性特性30至34的区域中的分辨率。因此在x射线检查时,可以使用所谓的低剂量图像(次级x射线图像sb),并且在此在理想的情况下仍能够达到与高剂量x射线图像(初级x射线图像pb)类似的画质。
90.第一神经网络10或者两个竞争的神经子网络10a和10b可以提高至少一个次级x射线图像sb的质量。在此,质量提高的焦点尤其在于表征性特性30至34。首先,优选重要的是能够良好地识别相关的对象、如导管。同样可以借助两个神经网络从次级x射线图像sb中产生具有真实的软组织背景的合成x射线图像fb。由此能够更好地识别对象、例如骨骼或者器
械并且合成x射线图像fb可以显得更加自然。
91.在生成合成x射线图像fb时尤其重要的是,相对于其位置和形状正确地显示相关对象(图像中的表征性特性)的轮廓和/或位置。然而,在此不一定是在这些相关对象内精确无误地显示精细的细节。
92.例如,软组织背景对骨科手术来说是不感兴趣的。虽然在生成合成x射线图像fb时,产生虚拟的软组织背景可能更方便,但焦点主要在于正确显示患者的解剖学结构。此外重要的是,显示正确的患者的解剖学结构,而不是将另一个患者的解剖学结构包括在合成x射线图像fb中。这尤其可以通过在训练阶段中附加地训练第一神经网络10来确保。
93.在图4中示例性地示出用于控制单元100的第二神经网络的训练阶段。第一神经网络10获得初级x射线图像pb作为输入数据。第一神经网络优选设计为生成式对抗网络,它具有两个相互竞争的神经网络。两个子网络10a和10b在图4中显示为竞争的、通过闪电表示的神经子网络。第二神经网络20根据次级x射线图像sb识别多个表征性特性30至34。这种特性或者特征的识别结果可以被输入质量控制qk。质量控制或者质量标准qk可以包含将识别率与预设的阈值进行比较。如果质量标准qk表明识别率高于预设的阈值,则可以进一步降低次级x射线图像sb的质量。由此再次调整为以下情况,即在用较低的辐射剂量记录次级x射线图像sb时所述次级x射线图像看上去的样子。因此,第二神经网络20可以被训练用于从次级图像sb中识别表征性特性30至34或者相关对象,即使所述表征性特性或者相关对象具有较低的质量。
94.在可选的测试阶段中,可以确定以哪种降低的质量仍可以足够好地运行对象识别或者表征性特性的识别(特征识别)。在此,可以选择特定的特征或者对象。质量标准qk可以是特别针对预设的对象或者表征性特性30至34的。这些相关对象例如可以是器械诸如支架、导管或者其它的高对比度结构。
95.在第一神经网络10的训练阶段中,优选使用具有预设最低质量的初级x射线图像pb。这个训练阶段可以重复地实施,以便更新在背景解剖学结构上的变化。可以定义特定的标准,在这些标准下,所述方法再次切换回训练阶段。这些标准可以包括规定的时长、患者治疗的改变、探测到的器械更换、检测到的导管机器人的信号、关于初级或者次级x射线图像中的探测到的运动或者变化的相关对象的识别率的下降、基于摄像机检测到的患者的运动和/或x射线图像中的衰减率的变化。根据情况,如果出现这些提到的标准之一,则可以重新实施用于第一神经网络10和/或第二神经网络20的训练阶段。
96.第一和/或第二神经网络的训练尤其可以在外部的计算单元15e上进行。因此,两个神经网络的训练特别好地适用于所谓的“远程使用案例”。在此优选考虑到数据传输路径的速度。关于初级x射线图像pb,优选使用第二数据通道d2,所述第二数据通道具有比第一数据通道d1更小的延迟时间。在图3中显示了第一区域b1和第二区域b2。第一神经网络10尤其可以根据第一区域b1中的相关对象和/或表征性特性30至34提高第二区域b2中的质量。第一神经网络10尤其可以基于第一区域b1中的表征性特性30至34例如通过外推法提高第二区域中的质量。
97.这优选地也可以适用于在第一区域b1中识别出的可能影响第二区域b2的运动。例如,在第一区域b1中识别出的运动可以被参数化并且借助所述参数化可以确定第二区域b2中的影响并且相应地显示在合成x射线图像fb中。因此,在初级x射线图像pb中所述预设最
低质量只涉及特定的预设区域可能就足够了。
98.在图5中示例性地显示了用于闭环控制(regelung)第一神经网络10和/或第二神经网络20的可能的方法。尽管图5具体显示了对第二神经网络20的闭环控制,但其中显示的闭环控制可以类似地转用到第一神经网络。该闭环控制甚至可以同时应用于第一神经网络10和第二神经网络20。
99.第一神经网络10借助初级x射线图像pb被训练。所述第一神经网络被训练用于,根据由第二神经网络20探测到的表征性特性30至34来产生合成x射线图像fb。在此,与次级x射线图像sb相比,合成x射线图像fb具有更高的质量。这例如可以是更高的分辨率。借助质量标准可以对合成x射线图像fb进行评估。为此,可以将关于合成x射线图像fb的质量值与预设的极限值进行比较。如果达到预设的质量极限值,则可以释放合成x射线图像fb。
100.如果低于预设的质量极限值,则可以进入进一步的训练阶段。这个进一步的训练阶段可以涉及第一神经网络10和第二神经网络20。在此可以使用来自第一模式m1的附加x射线图像。这些附加x射线图像可以涉及初级x射线图像pb和次级x射线图像sb。作为备选或者补充,来自第二模式m2的其它图像可以被输入相应的神经网络以进行训练。第二模式m2优选涉及不基于x射线的成像方法。例如,核磁共振图像或者照片可以作为第二模式m2的附加图像,用于训练第一神经网络10和/或第二神经网络20。根据使用哪种质量标准qk和与设定的质量目标的偏差程度,可以决定是否只将第一神经网络10、只将第二神经网络20还是将两个神经网络输入重新的训练阶段中。
101.在图5中所示的闭环控制回路优选执行到所产生的合成x射线图像fb满足所设定的质量要求。第二模式m2可以是指用于导管的电磁跟踪系统、光纤形状感应、超声拍摄和/或快速核磁共振序列。通过使用x射线图像和来自不同模式的图像,可以形成混合的数据结构来训练相应的神经网络。在此,可以从每个模式中分别检测或者识别相关对象的或者表征性特性30至34的一部分。借助由第二神经网络20从第一和第二模式m1、m2中识别出的表征性特性30至34的总和,可以借助第一神经网络10形成高质量的合成x射线图像fb。
102.因此,所述方法以及配属的实施方式能够提高对相关对象的识别的稳健性,并且主要实现了以较低的辐射负荷产生次级x射线图像sb的可能性。这尤其适用于以下情况,即特定的特性已经根据来自第二模式的数据识别出。因此可以形成合成x射线图像fb,所述合成x射线图像可以显示真实的解剖学背景。尽管原则上这也可以通过相应的高剂量x射线图像来实现,但本发明能够在不必让患者暴露于这种增加的辐射负荷中的情况下产生高剂量x射线图像。借助本发明以及配属的实施方式,可以根据来自第一模式m1的x射线图像或者来自第二模式的通过低辐射负荷产生的图像形成质量足够的合成x射线图像fb。因此可以减少不受欢迎的副作用。
技术特征:
1.一种用于生成合成x射线图像(fb)的方法,该方法通过实施以下的方法步骤进行:a)提供经训练的第一神经网络(10)和经训练的第二神经网络(20),所述第一神经网络用于产生至少一个具有预设质量的合成x射线图像(fb),所述第二神经网络(20)用于为第一神经网络(10)提供来自至少一个次级x射线图像(sb)的表征性特性(30-34),其中,两个神经网络(10、20)能够借助分别具有预设最低质量的初级x射线图像(pb)被训练,b)根据质量低于初级x射线图像(pb)的至少一个次级x射线图像(sb),通过第二神经网络(20)确定表征性特性(30-34),c)通过第一神经网络(10)根据由第二神经网络(20)提供的表征性特性(30-40)来生成至少一个合成x射线图像(fb),所述合成x射线图像(fb)在其质量方面相对于至少一个次级x射线图像(sb)被改善。2.按权利要求1所述的方法,其中,通过第二神经网络(20)确定表征性特性(30-34)的识别率,并且降低至少一个次级x射线图像(sb)的质量,直至所述识别率低于预设的阈值。3.按权利要求2所述的方法,其中,确定至少一个次级x射线图像(sb)的质量以预设的值超过所述阈值并且根据至少一个次级x射线图像(sb)在确定表征性特性(30-34)方面训练第二神经网络(20)。4.按前述权利要求之一所述的方法,其中,根据所述至少一个次级x射线图像(sb)和/或由所述至少一个初级x射线图像(pb)推导出的次级x射线图像(sb)训练所述第二神经网络(20),以便识别表征性特性(30-34),其中,尤其为了获得推导出的次级x射线图像(sb),有针对性地降低所述至少一个初级x射线图像(pb)的相应质量,并且其中优选地,将来自所述至少一个初级x射线图像(pb)的表征性特性(30-34)与来自配属的推导出的次级x射线图像(sb)的表征性特性(30-34)进行匹配或者比较。5.按前述权利要求之一所述的用于生成具有预设质量的合成x射线图像(fb)的方法,其中,针对每个所生成的合成x射线图像(fb)确定单独的质量标准(qk),并且根据相应的质量标准(qk),借助具有预设最低质量的附加的初级x射线图像(pb)以及借助由附加的初级x射线图像(pb)推导出的次级x射线图像(sb)训练第一神经网络(10),其中优选地,第二神经网络(20)从推导出的次级x射线图像(sb)中确定表征性特性(30-34)并且提供给第一神经网络(10)用于训练。6.按前述权利要求之一所述的方法,其中,为了训练,所述第二神经网络(20)根据至少一个附加的初级x射线图像(pb)确定表征性特性(30-34)并且提供给第一神经网络(10),所述第一神经网络(10)根据所提供的表征性特性(30-34)生成附加的合成x射线图像(fb),其中,将附加的合成x射线图像(fb)与至少一个附加的初级x射线图像(pb)进行比较和/或匹配。7.按权利要求3至6之一所述的方法,其中,借助具有预设最低质量的附加的初级x射线图像(pb)根据定义的标准来启动第一神经网络(10)和/或第二神经网络(20)的训练。8.按权利要求7所述的方法,其中,预设的标准被定义为规定的时长、至少一个次级x射线图像的记录方法的改变、在至少一个次级x射线图像(sb)中探测到的运动、所生成的与配属的次级x射线图像(sb)之间的一致性和/或关于在至少一个次级x射线图像(sb)中新识别出的对象的信号。9.按前述权利要求之一所述的方法,其中,将所确定的表征性特性(30-34)通过第一数
据通道(d1)以第一延迟,并且将多个具有预设最低质量的初级x射线图像(pb)、由初级x射线图像推导出的信息和/或将第一神经网络(10)通过第二数据通道(d2)以较小的第二延迟传输至外部的控制单元(15e),以便在外部实施按前述权利要求之一所述的方法,其中,第二延迟在10至100ms之间,尤其小于40ms,优选小于10ms。10.按前述权利要求之一所述的方法,其中,在至少一个次级x射线图像(sb)中确定第一区域(b1)和第二区域(b2),其中,第二区域(b2)中的质量至少部分地比第一区域(b1)中的质量更低并且借助第一神经网络(10)提高。11.按权利要求10所述的方法,其中,第二区域(b2)中的质量借助辐射滤波器被降低和/或只有第二区域(b2)中的质量借助第一神经网络(10)被提高。12.按前述权利要求之一所述的方法,其中,根据多个次级x射线图像(sb)通过第二神经网络(20)分别探测配属的表征性特性(30-34)并且通过第一神经网络(10)将表征性特性(30-34)的运动和/或次级x射线图像(sb)的围绕表征性特性(30-34)的邻接区域参数化。13.按前述权利要求之一所述的方法,其中,为了提供和/或训练第一神经网络(10),作为对初级x射线图像(pb)的备选或补充,提供来自与作为第一模式(m1)的x射线不同的第二模式(m2)的其它的初级图像,其中,优选将每个图像配置给一个模式(m1、m2)。14.按权利要求13所述的方法,其中,借助来自第一模式(m1)的次级x射线图像(sb)和来自第二模式(m2)的次级图像训练第二神经网络(20)。15.按权利要求13或14所述的方法,其中,通过第二神经网络(20),从第一模式(m1)的至少一个次级x射线图像(sb)中获得表征性特性(30-34)的第一部分,并且从第二模式(m2)的次级图像中获得表征性特性(30-34)的第二部分,并且第一神经网络(10)借助由所述第一部分和第二部分组成的表征性特性(30-34)的总和生成至少一个新的合成x射线图像(fb)。16.按权利要求15所述的方法,其中,降低至少一个次级x射线图像(sb)的质量,并且基于关于至少一个所生成的x射线图像确定的质量标准(qk),根据所述质量标准(qk)借助分别具有预设最低质量的、来自第一模式(m1)的附加的初级x射线图像(pb)和/或来自第二模式(m2)的附加的初级图像训练第一神经网络(10)。17.一种用于生成合成x射线图像(fb)的控制单元(100),具有:-第一神经网络(10),所述第一神经网络包含两个生成式对抗子网络(10a、10b)并且设计用于产生至少一个具有预设质量的合成x射线图像(fb),-第二神经网络(20),所述第二神经网络(20)设计用于从至少一个次级x射线图像(sb)中确定表征性特性(30-34)并且提供给第一神经网络(10),其中,两个神经网络(10、20)能够借助分别具有预设最低质量的初级x射线图像(pb)被训练,并且所述次级x射线图像(sb)具有相对于初级x射线图像(pb)更低的质量,其中,第一神经网络(10)设计用于,-根据通过第二神经网络(20)提供的表征性特性(30-34)生成至少一个合成x射线图像(fb),所述合成x射线图像(fb)在其质量方面相对于至少一个次级x射线图像(sb)被改善。18.按权利要求17所述的控制单元(100),其中,所述第二神经网络(20)设置用于,从至少一个次级x射线图像(sb)中确定椎体(31)、手指、关节、臀部(30)、肝(33)和/或骨盆(32)作为表征性特性(30-34)。
19.一种计算机程序,包括指令,在通过计算机或者通过按权利要求17或18所述的控制单元(100)实施程序时,所述指令使得计算机或者控制单元实施按权利要求1至16之一所述的方法的步骤。20.一种电子可读的数据载体,具有存储在所述数据载体上的电子可读的控制信息,所述控制信息包括至少一个按权利要求19所述的计算机程序并且设计为,使得在将数据载体使用在按权利要求17或18所述的控制单元(100)中时,所述控制信息执行按权利要求1至16之一所述的方法。
技术总结
本发明涉及一种用于生成合成X射线图像(FB)的方法。提供第一神经网络(10),以便产生至少一个具有预设质量的合成X射线图像(FB)。提供第二神经网络(20),以便从至少一个次级X射线图像(SB)中确定表征性特性(30-34)以用于第一神经网络(10)。两个神经网络(10、20)能够借助具有预设最低质量的初级X射线图像(PB)被训练。次级X射线图像(SB)具有相对于初级X射线图像更低的质量。借助所提供的表征性特性(30-40)通过第一神经网络(10)生成相对于至少一个次级X射线图像(SB)在质量方面改善的合成X射线图像(FB)。线图像(FB)。线图像(FB)。
技术研发人员:A.雷根斯布格尔
受保护的技术使用者:西门子医疗有限公司
技术研发日:2022.12.19
技术公布日:2023/7/13
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/