一种基于双平面X光的脊柱3D形态重建方法

一种基于双平面x光的脊柱3d形态重建方法
技术领域
1.本发明实施例涉及图像处理技术领域，特别涉及一种基于双平面x光的脊柱3d形态重建方法、装置、电子设备及存储介质。


背景技术：

2.目前，常用的放射成像方法有三种：x光片、ct(电子计算机断层扫描)和mri(核磁共振)。ct与mri均采用仰卧状成像的方式，可能会改变脊柱的真实曲率，且ct与mri使用场景受限，不便成像。x光片成像具有脊柱成像信息更接近真实曲率以及易于拍摄的优势，但其存在角度少、不直观和空间信息不足等缺点。


技术实现要素：

3.基于x光片脊柱成像空间信息不足的问题，本发明实施例提供了一种基于双平面x光的脊柱3d形态重建方法、装置、电子设备及存储介质，能够基于脊柱双平面x光片自动化重建出脊柱形态。
4.第一方面，本发明实施例提供了一种基于双平面x光的脊柱3d形态重建方法，包括：
5.获取脊柱的正位x光片和侧位x光片；
6.确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；
7.以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；每个椎骨的正位图像和侧位图像及对应的质心图像尺寸均相同，椎骨的正位图像和侧位图像所对应的质心图像分别以二值图的形式存储椎骨正位和侧位视角下的质心位置，质心图像中质心区域对应数值1、非质心区域对应数值0；
8.对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3d重建模型；其中，所述椎骨重建网络模型是通过以各椎骨的样本正位图像和样本侧位图像及对应的质心图像作为输入和以相应的椎骨3d重建模型作为输出来对预设的生成器及判别器网络进行训练得到的；所述椎骨重建网络模型用于先将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，再基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建模型；
9.基于所述正位x光片和所述侧位x光片中各个椎骨的质心位置，对得到的各个椎骨3d重建模型进行拼接，得到脊柱的3d形态重建模型。
10.可选地，所述确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置，包括：
11.基于输入指令，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；和/或
12.通过图像识别，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置。
13.可选地，所述以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片
分别进行裁剪，得到各椎骨的正位图像和侧位图像，包括：
14.在所述正位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的正位图像；
15.在所述侧位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的侧位图像。
16.可选地，所述存储对应的质心图像，包括：
17.分别为各椎骨的正位图像和侧位图像对应存储同等大小的全零图像；
18.在所述全零图像中，分别根据所述正位x光片和所述侧位x光片中各个椎骨的质心位置，通过cv2.circle包绘制相应的质心圆区域；
19.将质心圆区域内的数值0修改为数值1，得到对应的二值图作为质心图像。
20.可选地，所述将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，包括：
21.将椎骨的正位图像和侧位图像分别与对应的质心图像进行融合，得到椎骨的正视特征图和侧视特征图；
22.将椎骨的正视特征图和侧视特征图分别在深度维上进行复制，得到椎骨的正视立体特征图和侧视立体特征图；
23.根据正、侧位视角关系，将椎骨的侧视立体特征图旋转90
°
后，与椎骨的正视立体特征图进行融合，得到椎骨的融合特征。
24.可选地，所述椎骨重建网络模型是通过如下方式训练得到的：
25.预设生成器及判别器网络；
26.获取脊柱中每个椎骨的多组样本及样本对应的椎骨3d重建模型；每组样本包括一个椎骨的样本正位图像和样本侧位图像及对应的质心图像；
27.以各组样本作为输入、样本对应的椎骨3d重建模型作为输出，对预设的生成器及判别器网络进行对抗训练，得到训练好的椎骨重建网络模型。
28.可选地，对预设的生成器及判别器网络进行对抗训练，采用如下损失函数：
[0029][0030]
其中，表示对抗损失，表示dice损失，λ表示权重系数，g表示生成器网络，d表示判别器网络；
[0031][0032]ypredict
表示椎骨重建网络模型的输出，y
mask
表示期望重建出的椎骨形态。
[0033]
第二方面，本发明实施例还提供了一种基于双平面x光的脊柱3d形态重建装置，包括：
[0034]
图像获取模块，用于获取脊柱的正位x光片和侧位x光片；
[0035]
质心确定模块，用于确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；
[0036]
图像裁剪模块，用于以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；每个椎
骨的正位图像和侧位图像及对应的质心图像尺寸均相同，椎骨的正位图像和侧位图像所对应的质心图像分别以二值图的形式存储椎骨正位和侧位视角下的质心位置，质心图像中质心区域对应数值1、非质心区域对应数值0；
[0037]
椎骨重建模块，用于对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3d重建模型；其中，所述椎骨重建网络模型是通过以各椎骨的样本正位图像和样本侧位图像及对应的质心图像作为输入和以相应的椎骨3d重建模型作为输出来对预设的生成器及判别器网络进行训练得到的；所述椎骨重建网络模型用于先将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，再基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建模型；
[0038]
椎骨拼接模块，用于基于所述正位x光片和所述侧位x光片中各个椎骨的质心位置，对得到的各个椎骨3d重建模型进行拼接，得到脊柱的3d形态重建模型。
[0039]
第三方面，本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的方法。
[0040]
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。
[0041]
本发明实施例提供了一种基于双平面x光的脊柱3d形态重建方法、装置、电子设备及存储介质，本发明获取脊柱的正位x光片和侧位x光片并进行处理，将单个椎骨的信息输入训练好的椎骨重建网络模型，对各椎骨分别进行3d重建，最后按椎骨的顺序拼接为脊柱3d形态，能够基于脊柱双平面x光片实现自动化3d重建，以解决x光片脊柱成像空间信息不足的问题，且本发明通过融入质心位置信息，使深度学习网络能够更为精准、快速地以单个椎骨作为主体完成重建任务，提高了3d重建的准确度及处理速度。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1是本发明一实施例提供的一种基于双平面x光的脊柱3d形态重建方法流程图；
[0044]
图2是本发明一实施例提供的一种电子设备的硬件架构图；
[0045]
图3是本发明一实施例提供的一种基于双平面x光的脊柱3d形态重建装置结构图。
具体实施方式
[0046]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
如前所述，相较于ct与mri，x光片成像具有脊柱成像信息更接近真实曲率以及易于拍摄的优势，更适宜辅助医生进行脊柱疾病诊断，但x光片成像存在角度少、不直观和空间信息不足等缺点，为了使医生能够更直观、形象地从多个视角对患者的脊柱形态进行全面分析，期望能够利用x光片重建3d脊柱。目前，依据x光片重建3d脊柱大致可分为三类：统计模型发放、半自动化方法及全自动方法。对于统计模型方法，最大的问题是形态数据库的构建，需要长时间的数据累积，且椎骨参数测量需要大量人工成本，导致脊柱重建工作难以进行。而半自动方法，虽然节省了部分人工，可仍然依托脊柱形态参数库。而对于深度学习方法，现有绝大多数方法仅完成x光片到三维ct的转换，并不能准确重建出脊柱整体形态。
[0048]
有鉴于此，本发明提供了一种脊柱3d形态重建方法，利用深度学习技术，基于脊柱双平面x光片实现自动化3d重建，以解决x光片脊柱成像空间信息不足的问题，为医生提供切实符合临床需求的帮助。
[0049]
下面描述以上构思的具体实现方式。
[0050]
请参考图1，本发明实施例提供了一种基于双平面x光的脊柱3d形态重建方法，该方法包括：
[0051]
步骤100，获取待重建的脊柱的正位x光片和侧位x光片；
[0052]
步骤102，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；
[0053]
步骤104，以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；
[0054]
其中，每个椎骨的正位图像和侧位图像及对应的质心图像尺寸均相同，椎骨的正位图像所对应的质心图像以二值图的形式存储椎骨正位视角下的质心位置，椎骨的侧位图像对应的质心图像以二值图的形式存储椎骨侧位视角下的质心位置，质心图像中质心区域对应数值1、非质心区域对应数值0；
[0055]
步骤106，对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3d重建模型；
[0056]
其中，所述椎骨重建网络模型是通过以各椎骨的样本正位图像和样本侧位图像及对应的质心图像作为输入和以相应的椎骨3d重建模型作为输出来对预设的生成器及判别器网络进行训练得到的；所述椎骨重建网络模型用于先将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，再基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建模型；
[0057]
步骤108，基于所述正位x光片和所述侧位x光片中各个椎骨的质心位置，对得到的各个椎骨3d重建模型进行拼接，得到脊柱的3d形态重建模型。
[0058]
本发明利用脊柱的双平面x光图像(即正位x光片和侧位x光片)，通过深度学习网络(即生成器及判别器网络)实现脊柱3d重建，以获得脊柱多角度空间信息，为医生能更直观、形象地从多个视角对患者的脊柱形态进行分析提供支持。
[0059]
成人脊柱通常由26块椎骨组成(包括颈椎7块、胸椎12块、腰椎5块、骶骨1块(由5块骶椎融合构成)和尾骨1块(由3-4块尾椎融合构成))，且每块椎骨结构复杂，若以脊柱整体进行重建，容易忽略椎骨上的棘突、横突等细小结构，重建精度偏低，且整体计算过程复杂；同时，在一张x光片中通常包含多种骨骼信息，如包括肋骨等冗余信息，为使椎骨重建网络模型注意力集中在椎骨重建的效果上，本发明对每张x光片中的每块椎骨对应部分进行切
分，并将相应的质心位置以图像的形式与椎骨的正、侧位图像融合，得到椎骨的融合特征，以便深度学习网络能够更为精准、快速地以单个椎骨作为主体完成重建任务，提高椎骨重建的准确度及处理速度。本发明采用单个椎骨分别重建再整合的方式得到脊柱3d形态，不仅重建结果细节更加丰富，而且将单个椎骨按照质心位置在三维空间中堆叠输出脊柱重建结果，更有助于反映各椎骨位置关系及整体脊柱真实曲率。
[0060]
可选地，步骤102中，“确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置”进一步包括：
[0061]
基于输入指令，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；和/或
[0062]
通过图像识别，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置。
[0063]
上述实施例中，该方法可通过输入数据的方式确定质心位置，也可通过图像识别的方式确定质心位置。若基于输入指令确定正位x光片和侧位x光片中的椎骨质心位置，则用户还可根据选择需要重建的椎骨并标定质心位置，实现指定椎骨的重建。
[0064]
可选地，步骤104中“以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像”进一步包括：
[0065]
在所述正位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的正位图像；一个椎骨的正位图像至少包括该椎骨的正位视角完整图像；
[0066]
在所述侧位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的侧位图像；一个椎骨的侧位图像至少包括该椎骨的侧位视角完整图像。
[0067]
上述实施例中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，分别裁剪脊柱的正位x光片和侧位x光片，得到对应的椎骨正位图像和侧位图像，正位图像和侧位图像应完整地反映出椎骨在正位视角和侧位视角下的形态，因此，一个椎骨的正位图像或侧位图像通常也会截取到该椎骨上方及下方相邻椎骨的x光图像，也就是说会含有部分冗余信息。考虑到常规的脊柱x光片尺寸及单个椎骨大小，裁剪窗口大小即预设尺寸优选120
×
120像素，裁剪可用image.crop()操作。
[0068]
可选地，所述步骤104中存储对应的质心图像，进一步包括：
[0069]
分别为各椎骨的正位图像和侧位图像对应存储同等大小的全零图像；全零图像与相应的正侧位图像大小相同，数值全部为0；
[0070]
在所述全零图像中，分别根据所述正位x光片和所述侧位x光片中各个椎骨的质心位置，通过cv2.circle包绘制相应的质心圆区域；考虑到常规的脊柱x光片尺寸及椎骨大小，窗口大小即预设尺寸选120
×
120像素，则质心圆区域的半径可取3像素；
[0071]
将质心圆区域内的数值0修改为数值1，得到对应的二值图作为质心图像。
[0072]
上述实施例通过cv2.circle包绘制质心圆区域得到各椎骨正、侧位图像对应的质心图像，处理效率高。
[0073]
可选地，对于所述椎骨重建网络模型，所述将椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征进一步包括：
[0074]
将椎骨的正位图像和侧位图像分别与对应的质心图像进行融合，得到椎骨的正视
特征图和侧视特征图；
[0075]
将椎骨的正视特征图和侧视特征图分别在深度维上进行复制，得到椎骨的正视立体特征图和侧视立体特征图；
[0076]
根据正、侧位视角关系，将椎骨的侧视立体特征图旋转90
°
后，与椎骨的正视立体特征图进行融合，得到椎骨的融合特征。
[0077]
上述实施例中，所述椎骨重建网络模型在进行处理时，先将椎骨的正、侧位图像分别与对应的质心图像融合，得到正、侧视特征图，正视特征图即融合椎骨的正位图像及正位图像对应质心图像所得的特征图，侧视特征图即融合椎骨的侧位图像及侧位图像对应质心图像所得的特征图。可选地，所述椎骨重建网络模型可先通过卷积等操作分别提取正、侧位图像的特征及对应的质心图像的特征，再使用现有技术的concatenate函数(即连接函数)分别在通道维度拼接椎骨的特征和对应的质心特征，实现与质心图像的融合。为了使得质心信息和椎骨信息更好融合，所述椎骨重建网络模型还可使用自注意力(self-attention)模块拉近非相邻信息之间的联系。
[0078]
椎骨的正视特征图和侧视特征图仍是2d图像信息，需要将2d信息扩展为3d信息，2d图像相较于3d图像的区别在于2d图像缺少深度信息，因此，本发明椎骨重建网络模型分别通过将正、侧视特征图在深度维上进行复制，将复制后的2d信息堆叠得到对应的立体特征图，从而获取3d信息。将椎骨的正视特征图在深度维上进行复制(即沿矢状轴拓展)，复制的数量可根据椎骨的侧位图像尺寸进行确定，将椎骨的侧视特征图在深度维上进行复制(即沿冠状轴拓展)，复制的数量可根据椎骨的正位图像尺寸进行确定。若椎骨的正、侧位图像的尺寸均为120
×
120像素，则正视特征图和侧视特征图在深度维上复制的数量也均为120，便于后续进行融合。
[0079]
考虑到正位视图(即冠状位视图，包括正位x光片及裁剪得到的椎骨正位图像)和侧位视图(即矢状位视图，包括侧位x光片及裁剪得到的椎骨侧位图像)具有十分明显的角度信息，对应的两张图片在空间坐标系中具有正交即夹角为90
°
的特点，因此，本发明椎骨重建网络模型在融合两个不同视角信息时，充分考虑视角角度关系，以正位视图为主方向，将侧位视图相应的特征旋转90
°
后与主方向下的特征拼接在一起，最终得到椎骨3d特征，以便充分保留正、侧位视图的信息，提高重建精度。可选地，所述椎骨重建网络模型可采用concatenate函数拼接旋转后的椎骨侧视立体特征图与正视立体特征图，实现融合，以得到椎骨的融合特征。
[0080]
可选地，所述椎骨重建网络模型是通过如下方式训练得到的：
[0081]
预设生成器及判别器网络；
[0082]
获取脊柱中每个椎骨的多组样本及样本对应的椎骨3d重建模型；每组样本包括一个椎骨的样本正位图像和样本侧位图像及对应的质心图像；
[0083]
以各组样本作为输入、样本对应的椎骨3d重建模型作为输出，对预设的生成器及判别器网络进行对抗训练，得到训练好的椎骨重建网络模型。
[0084]
本发明引入了gan网络思想。gan是一种深度学习模型，主要包括两部分：生成器和判别器。生成器用于生成数据，而判别器主要用于分析数据是真实的还是机器生成的，目的是判别数据是否是生成器做的“假数据”。在模型训练过程中，生成器与判别器互相对抗，通过不断调整参数，最终的目的是使判别器网络无法判断生成器网络的输出结果是否真实。
本发明通过博弈对抗思想，不断优化生成器网络性能，使其生成更加逼真的椎骨3d模型。
[0085]
椎骨的样本，即，椎骨的样本正位图像和样本侧位图像及对应的质心图像可通过如下方式得到：
[0086]
获取椎骨的样本正位x光片和样本侧位x光片；
[0087]
确定样本正位x光片和样本侧位x光片中各椎骨的质心位置；
[0088]
以每个椎骨的质心位置为中心，对样本正位x光片和样本侧位x光片分别进行裁剪，得到各椎骨的样本正位图像和样本侧位图像，并存储对应的质心图像。
[0089]
样本对应的椎骨3d重建模型可通过对现有的脊柱3d mask数据进行切分并记录对应的标签得到。
[0090]
优选地，所述椎骨重建网络模型的判别器网络可采用patchgan模型结构，生成器网络可以3d resunet模型结构为主体构建，包括用于实现将输入的椎骨正位图像和侧位图像及对应的质心图像进行融合得到椎骨的融合特征的网络结构，以及基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建结果的3d resunet模型网络。
[0091]
3d特征(即椎骨的融合特征)输入至3d resunet模型中，经由5个残差模块组成的下采样部分，然后再通过5个残差模块组成的上采样部分，最后输出和输入的3d特征同等大小的特征图。模型以二值图的形式输出椎骨3d形态，0表示背景，1表示椎骨信息，因此，分割网络最后一层使用sigmoid。resunet模型在unet网络的基础上增加了残差模块和批量归一化层(bn层，batch normalization)，可以构建更深网络结构并避免梯度消失。同时，椎骨的正位图像和侧位图像可经由维度扩增后得到椎骨的融合特征，直接以feature map(特征图)的形式输入到3d resunet模型中，不进行任何reshape(重塑)操作，尽可能保留下每个视角的信息，并借助3d resunet模型中的skip-connection(跳跃连接)模块，融合了多尺度多层次语义信息，更有利于椎骨分割。
[0092]
可选地，对预设的生成器及判别器网络进行对抗训练，即训练所述椎骨重建网络模型时，采用如下损失函数：
[0093][0094]
其中，表示对抗损失，表示dice损失，λ表示权重系数，本方法中λ＝10，g表示生成器网络，d表示判别器网络；
[0095][0096]ypredict
表示椎骨重建网络模型的输出，y
mask
表示期望重建出的椎骨形态。
[0097]
由生成器g和判别器d组成，生成器用于重建椎骨形态，判别器用于评判重建椎骨是否符合真实数据。
[0098][0099][0100]
其中，表示所有x符合xpredict集合数据分布时(d(g(x))-1)2的期望，表示所有y符合ymask集合数据分布时(d(y)-1)2的期望，x表示
输入，即椎骨的正位图像和侧位图像及对应的质心图像，y表示期望重建出的椎骨形态，g(x)表示在生成器中基于x生成的数据，d(y)表示判别器在期望输出数据y上判断的结果(表现为概率值，取值范围0～1)，d(g(x))表示判别器在生成数据g(x)上判断结果，表示模型训练
[0101]
过程中用于生成器的损失函数，表示模型训练过程中用于判别器的损失函数，
[0102]
考虑到本发明基于椎骨的正位图像和侧位图像及对应的质心图像进行3d重建，单个椎骨的正位图像和侧位图像中待重建的椎骨尺寸较小，且图像含有其他骨骼的冗余信息，为提高小尺寸椎骨的重建精度，对模型训练过程中的损失函数，除对抗损失外， 本发明提出使用dice损失(即dice loss)为主的优化目标。
[0103]
进一步地，在其他实施例中，考虑到dice loss的不稳定性，还可加入占比较小的focal loss和hausdorffloss(豪斯多夫损失)。focal loss在图像领域常用于解决数据样本不均衡而造成的模型性能问题。在本发明中， 目标体素(即单个椎骨)比例过小，可能导致数据正负样本不均衡，通过引入dice loss和focalloss，可很好地解决该问题。对于分割任务，通常以dice值和hausdorffdistance(豪斯多夫距离)评估实验结果，dice值是一种常用于图像分割相似度度量的指标，值阈为[0,1]，值越大表示分割性能更好。而hausdorffdistance表示一个点集到另一个点集的最近点的最大距离，值越小，分割效果越好。对于椎骨这类微小结构，精细化分割出边界是一个需要关注的难题， 而hausdorffdistance对分割出的边界比较敏感， 因此本发明可在损失函数部分加入hausdorffloss，令模型朝着hausdorffdistance小的方向优化，以得到更精细的椎骨结构。表达式为：
[0104][0105]
其中，表示focal损失，表示豪斯多夫损失损失，α和β为对应的权重系数，分别可取0.01和0.001。
[0106]
如图2、图3所示，本发明实施例提供了一种基于双平面x光的脊柱3d形态重建装置(简称脊柱3d形态重建装置或装置)。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图2所示，为本发明实施例提供的一种基于双平面x光的脊柱3d形态重建装置所在电子设备的一种硬件架构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图3所示，作为一个逻辑意义上的装置，是通过其所在电子设备的cpu将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种基于双平面x光的脊柱3d形态重建装置，包括：
[0107]
图像获取模块301，用于获取脊柱的正位x光片和侧位x光片；
[0108]
质心确定模块302，用于确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；
[0109]
图像裁剪模块303，用于以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；每
个椎骨的正位图像和侧位图像及对应的质心图像尺寸均相同，椎骨的正位图像和侧位图像所对应的质心图像分别以二值图的形式存储椎骨正位和侧位视角下的质心位置，质心图像中质心区域对应数值1、非质心区域对应数值0；
[0110]
椎骨重建模块304，用于对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3d重建模型；其中，所述椎骨重建网络模型是通过以各椎骨的样本正位图像和样本侧位图像及对应的质心图像作为输入和以相应的椎骨3d重建模型作为输出来对预设的生成器及判别器网络进行训练得到的；所述椎骨重建网络模型用于先将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，再基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建模型；
[0111]
椎骨拼接模块305，用于基于所述正位x光片和所述侧位x光片中各个椎骨的质心位置，对得到的各个椎骨3d重建模型进行拼接，得到脊柱的3d形态重建模型。
[0112]
在本发明实施例中，图像获取模块301可用于执行上述方法实施例中的步骤100，质心确定模块302可用于执行上述方法实施例中的步骤102，图像裁剪模块303可用于执行上述方法实施例中的步骤104，椎骨重建模块304可用于执行上述方法实施例中的步骤106，椎骨拼接模块305可用于执行上述方法实施例中的步骤108。
[0113]
可选地，所述质心确定模块302确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置，包括执行如下操作：
[0114]
基于输入指令，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；和/或
[0115]
通过图像识别，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置。
[0116]
可选地，所述图像裁剪模块303以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，包括执行如下操作：
[0117]
在所述正位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的正位图像；
[0118]
在所述侧位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的侧位图像。
[0119]
可选地，所述图像裁剪模块303存储对应的质心图像，包括执行如下操作：
[0120]
分别为各椎骨的正位图像和侧位图像对应存储同等大小的全零图像；
[0121]
在所述全零图像中，分别根据所述正位x光片和所述侧位x光片中各个椎骨的质心位置，通过cv2.circle包绘制相应的质心圆区域；
[0122]
将质心圆区域内的数值0修改为数值1，得到对应的二值图作为质心图像。
[0123]
可选地，所述将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，包括：
[0124]
将椎骨的正位图像和侧位图像分别与对应的质心图像进行融合，得到椎骨的正视特征图和侧视特征图；
[0125]
将椎骨的正视特征图和侧视特征图分别在深度维上进行复制，得到椎骨的正视立体特征图和侧视立体特征图；
[0126]
根据正、侧位视角关系，将椎骨的侧视立体特征图旋转90
°
后，与椎骨的正视立体
特征图进行融合，得到椎骨的融合特征。
[0127]
可选地，所述椎骨重建网络模型是通过如下方式训练得到的：
[0128]
预设生成器及判别器网络；
[0129]
获取脊柱中每个椎骨的多组样本及样本对应的椎骨3d重建模型；每组样本包括一个椎骨的样本正位图像和样本侧位图像及对应的质心图像；
[0130]
以各组样本作为输入、样本对应的椎骨3d重建模型作为输出，对预设的生成器及判别器网络进行对抗训练，得到训练好的椎骨重建网络模型。
[0131]
可选地，对预设的生成器及判别器网络进行对抗训练，采用如下损失函数：
[0132][0133]
其中，表示对抗损失，表示dice损失，λ表示权重系数，g表示生成器网络，d表示判别器网络；
[0134][0135]ypredict
表示椎骨重建网络模型的输出，y
mask
表示期望重建出的椎骨形态。
[0136]
可以理解的是，本发明实施例示意的结构并不构成对一种基于双平面x光的脊柱3d形态重建装置的具体限定。在本发明的另一些实施例中，一种基于双平面x光的脊柱3d形态重建装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
[0137]
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
[0138]
本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种基于双平面x光的脊柱3d形态重建方法。
[0139]
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种基于双平面x光的脊柱3d形态重建方法。
[0140]
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0141]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
[0142]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0143]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
[0144]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板
中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0145]
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0146]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。
[0147]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于双平面x光的脊柱3d形态重建方法，其特征在于，包括：获取脊柱的正位x光片和侧位x光片；确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；每个椎骨的正位图像和侧位图像及对应的质心图像尺寸均相同，椎骨的正位图像和侧位图像所对应的质心图像分别以二值图的形式存储椎骨正位和侧位视角下的质心位置，质心图像中质心区域对应数值1、非质心区域对应数值0；对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3d重建模型；其中，所述椎骨重建网络模型是通过以各椎骨的样本正位图像和样本侧位图像及对应的质心图像作为输入和以相应的椎骨3d重建模型作为输出来对预设的生成器及判别器网络进行训练得到的；所述椎骨重建网络模型用于先将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，再基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建模型；基于所述正位x光片和所述侧位x光片中各个椎骨的质心位置，对得到的各个椎骨3d重建模型进行拼接，得到脊柱的3d形态重建模型。2.根据权利要求1所述的方法，其特征在于，所述确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置，包括：基于输入指令，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；和/或通过图像识别，确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置。3.根据权利要求1所述的方法，其特征在于，所述以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，包括：在所述正位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的正位图像；在所述侧位x光片中，以每个椎骨的质心位置为窗口中心、以预设尺寸为窗口大小，裁剪得到各椎骨的侧位图像。4.根据权利要求3所述的方法，其特征在于，所述存储对应的质心图像，包括：分别为各椎骨的正位图像和侧位图像对应存储同等大小的全零图像；在所述全零图像中，分别根据所述正位x光片和所述侧位x光片中各个椎骨的质心位置，通过cv2.circle包绘制相应的质心圆区域；将质心圆区域内的数值0修改为数值1，得到对应的二值图作为质心图像。5.根据权利要求1所述的方法，其特征在于，所述将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，包括：将椎骨的正位图像和侧位图像分别与对应的质心图像进行融合，得到椎骨的正视特征图和侧视特征图；将椎骨的正视特征图和侧视特征图分别在深度维上进行复制，得到椎骨的正视立体特
征图和侧视立体特征图；根据正、侧位视角关系，将椎骨的侧视立体特征图旋转90
°
后，与椎骨的正视立体特征图进行融合，得到椎骨的融合特征。6.根据权利要求1所述的方法，其特征在于，所述椎骨重建网络模型是通过如下方式训练得到的：预设生成器及判别器网络；获取脊柱中每个椎骨的多组样本及样本对应的椎骨3d重建模型；每组样本包括一个椎骨的样本正位图像和样本侧位图像及对应的质心图像；以各组样本作为输入、样本对应的椎骨3d重建模型作为输出，对预设的生成器及判别器网络进行对抗训练，得到训练好的椎骨重建网络模型。7.根据权利要求6所述的方法，其特征在于，对预设的生成器及判别器网络进行对抗训练，采用如下损失函数：其中，表示对抗损失，表示dice损失，λ表示权重系数，g表示生成器网络，d表示判别器网络；y
predict
表示椎骨重建网络模型的输出，y
mask
表示期望重建出的椎骨形态。8.一种基于双平面x光的脊柱3d形态重建装置，其特征在于，包括：图像获取模块，用于获取脊柱的正位x光片和侧位x光片；质心确定模块，用于确定所述正位x光片和所述侧位x光片中各个椎骨的质心位置；图像裁剪模块，用于以每个椎骨的质心位置为中心，对所述正位x光片和所述侧位x光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；每个椎骨的正位图像和侧位图像及对应的质心图像尺寸均相同，椎骨的正位图像和侧位图像所对应的质心图像分别以二值图的形式存储椎骨正位和侧位视角下的质心位置，质心图像中质心区域对应数值1、非质心区域对应数值0；椎骨重建模块，用于对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3d重建模型；其中，所述椎骨重建网络模型是通过以各椎骨的样本正位图像和样本侧位图像及对应的质心图像作为输入和以相应的椎骨3d重建模型作为输出来对预设的生成器及判别器网络进行训练得到的；所述椎骨重建网络模型用于先将输入的椎骨的正位图像和侧位图像及对应的质心图像进行融合，得到椎骨的融合特征，再基于椎骨的融合特征，通过3d语义分割，得到对应的椎骨3d重建模型；椎骨拼接模块，用于基于所述正位x光片和所述侧位x光片中各个椎骨的质心位置，对得到的各个椎骨3d重建模型进行拼接，得到脊柱的3d形态重建模型。9.一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。

技术总结
本发明涉及图像处理技术领域，特别涉及一种基于双平面X光的脊柱3D形态重建方法，包括：获取脊柱的正位X光片和侧位X光片；确定正位X光片和侧位X光片中各个椎骨的质心位置；以每个椎骨的质心位置为中心，对正位X光片和侧位X光片分别进行裁剪，得到各椎骨的正位图像和侧位图像，并存储对应的质心图像；对每个椎骨，将椎骨的正位图像和侧位图像及对应的质心图像输入训练好的椎骨重建网络模型，得到对应的椎骨3D重建模型；基于正位X光片和侧位X光片中各个椎骨的质心位置，对得到的各个椎骨3D重建模型进行拼接，得到脊柱的3D形态重建模型。本发明能够基于双平面X光实现自动化的脊柱3D形态重建，从而提供更多的脊柱空间信息。从而提供更多的脊柱空间信息。从而提供更多的脊柱空间信息。


技术研发人员：傅湘玲 陈越鹏 高越
受保护的技术使用者：北京邮电大学
技术研发日：2023.02.14
技术公布日：2023/7/12