牙齿和牙槽骨图像分割重构方法及系统

1.本发明涉及一种图像分割技术，特别涉及一种基于卷积神经网络的牙齿和牙槽骨图像分割重构方法及系统。


背景技术：

2.牙齿受损或者缺失是一种常见的口腔疾病，多由龋齿、意外事故等引发，当患者的受损牙齿无法进行修补或者缺失时，只能通过牙齿种植手术植入种植体实现牙齿修复。而进行牙齿种植前期工作需要获得口腔牙组织的健康状况，才能制定合理的手术方案，cbct扫描技术常用于获取患者三维口腔健康状况，相较于传统ct，它具有辐射量小，扫描时间短、图像分辨率高等优点。
3.cbct扫描适用于获取患者三维口腔健康状况，但同时存在一些缺点：图像质量差，具体表现在伪影多、噪点严重以及边界不清晰；数据的数量庞大，标注难度大，耗费的时间和精力大；不同扫描设备获取的cbct图像的灰度分布、图像切片间距不一致，难以统一。
4.针对cbct扫描存在的缺点，使用传统的图像分割方法需要手动参与，存在分割效率低，精度低等问题，而完全基于自注意力机制的方法对硬件设备要求又太高。


技术实现要素：

5.针对现在牙组织扫描所用cbct扫描后图像分割处理存在的问题，提出了一种牙齿和牙槽骨图像分割重构方法及系统，实现高精度牙齿和牙槽骨的分割。
6.本发明的技术方案为：一种牙齿和牙槽骨图像分割重构方法，具体包括如下步骤：
7.1)获取图像数据并标定，收集多个cbct图像，使用3d slicer软件对牙齿和牙槽骨部分进行标定；
8.2)图像数据预处理：对步骤1)标定后图像数据进行样本增强，之后进行阈值化和标准化处理；
9.3)构建基于注意力门、多尺度跳跃连接和多尺度特征融合的u型语义分割网络模型；
10.4)采用步骤2)预处理后的图像数据对步骤3)构建的u型语义分割网络模型进行训练和评估；
11.5)使用步骤4)训练好的u型语义分割网络模型，将dicom、nii或者nii.gz格式的cbct数据送入u型语义分割网络模型进行分割，提取出牙齿和牙槽骨区域，并将分割结果保存为nii或者nii.gz格式的数据；
12.6)利用步骤5)分割结果进行三维重构。
13.进一步，所述步骤2)图像数据预处理具体方法：提取出切片数据，分别以50％的概率进行上下和左右随机翻转，将数据中hu值小于0的体素置为0，hu值大于1000的部分置为1000，再将切片数据裁剪成指定大小的形状，之后将其标准化为均值0.450，标准差0.225的图像数据。
14.进一步，所述步骤3)u型语义分割网络模型建立方法如下：
15.3.1)网络采用unet网络模型，利用的是多尺度的跳跃连接和深度监督，由编码器、解码器和跳跃连接组成；
16.3.2)网络中的编码器应用多尺度特征融合，每个多尺度特征融合模块包含多条卷积路径，每条卷积路径由一个或多个卷积操作组成，多尺度特征融合的公式表达如下：
[0017][0018]
其中和分别表示第i个编码器的输入和输出，和分别表示第i个编码器的a路径和b路径卷积操作，c
out
是一个3*3的卷积操作；
[0019]
3.3)将多尺度跳跃连接应用于解码器模块，每个解码器接收来自上一层以及同一层编码器和下一层解码器的特征图像，多尺度跳跃连接的公式表达如下：
[0020][0021]
其中dei表示第i个解码器；eni表示第i个编码器；表示特征融合操作，它由一个3*3的卷积操作、批归一化和relu激活函数串联而成；[
·
]为特征拼接操作，c(
·
)、和分别表示卷积操作、下采样和上采样操作；
[0022]
3.4)将注意力门应用于同尺度之间的跳跃连接，注意力机制的公式表达如下：
[0023]
上式中所述的为注意力机制的输出值，x是输入特征，α是注意力系数，α的公式表达如下：
[0024]
α＝s(c3([c2(r(c1(x)+c1(g))),c2(g)]))
[0025]
其中g表示门控特征，c1(
·
)、c2(
·
)和c3(
·
)分别是会使输出通道数不变、减半和减少至1的大小为1*1的卷积操作；[
·
]、r(
·
)和s(
·
)和分别表示特征拼接、relu和sigmoid操作；
[0026]
进一步，所述步骤4)具体实现步骤如下：
[0027]
4.1)将标定好的预处理图像数据集按照7：2：1划分成训练集、测试集和验证集；
[0028]
4.2)训练集作为网络的输入，得到每一个分类结果的概率预测值；
[0029]
4.3)根据分类概率预测值，将体素归类为预测概率最大的类目中，并且计算图像数据的交叉熵损失函数crossentropyloss和平均交并比miou，最后得到损失函
[0030]
数，其中损失函数公式如下：
[0031]
f＝0.7*crossentropyloss+0.3*(1-miou)
[0032]
其中crossentropyloss的计算公式为：
[0033][0034]
上式中的表示预测样本为正样本的概率，y是样本标签，正样本值为1，反之为0，
miou的计算公式为：
[0035][0036]
其中tp为真阳性区域、tn为真阴性区域、fp为假阳性区域、fn为假阴性区域，使用adam优化器，依据计算得到的损失函数更新模型的权重；
[0037]
4.4)在测试集和验证集上验证模型的预测效果，参考值为dice系数。
[0038]
进一步，所述步骤6)三维重构实现方法：
[0039]
6.1)使用高斯滤波器对分割结果进行平滑处理，同时消除离群点；
[0040]
6.2)使用marching cube面构建算法实现牙齿和牙槽骨图像的三维重构。
[0041]
一种基于卷积神经网络的牙齿和牙槽骨图像分割重构系统，包括数据采集模块、数据处理模块、模型模块、数据预测模块和三维重构模块；
[0042]
所述数据采集模块包括cbct采集仪，用于采集患者cbct图像；
[0043]
所述数据处理模块包括数据标定单元和数据预处理单元，数据标定单元由专业的影像科医生把牙齿和牙骨的区域手动进行分割，数据预处理单元将数据进行扩充和标准化；
[0044]
所述模型模块构建用于图像分割的u-net网络；
[0045]
所述数据预测模块是将未标定的数据作为训练好的网络模型的输入，以得到预测的牙齿和牙槽骨区域；
[0046]
所述三维重构模块包括数据后处理单元和三维重构单元，数据后处理单元对预测的图像结果进行高斯模糊，使分割图像更加光滑，同时去除图像中的离群点，三维重构单元对数据后处理单元图像采用marching cube算法进行面构建。。
[0047]
本发明的有益效果在于：本发明牙齿和牙槽骨图像分割重构方法及系统，在编码器中加入了多尺度特征融合，增加了网络的感受野并提供更加丰富的特征信息；在解码器中加入了多尺度跳跃连接，使每个解码器都能获取所有尺度的特征信息，提高网络在训练过程中的选择性；在同尺度跳跃连接中加入了注意力门，能够让网络更专注于目标区域，有效剔除图像中的噪点；引入了由crossentropyloss和miou组成的混合损失函数，有效缓解部分cbct图像目标区域占比较小，dice系数波动较大，导致训练过程中损失值下降不稳定的问题。
附图说明
[0048]
图1是本发明方法的整体流程图；
[0049]
图2是本发明系统的整体网络示意图；
[0050]
图3是本发明系统中以编码器3为例的多尺度特征融合模块示意图；
[0051]
图4是本发明系统中的多尺度跳跃连接模块示意图；
[0052]
图5是本发明系统中的注意力门示意图；
[0053]
图6是本发明实施牙科cbct图像示意图；
[0054]
图7是本发明实施牙科cbct图像预处理后的图像；
[0055]
图8是本发明实施牙科cbct影像实例分割结果图；
[0056]
图9是本发明实施cbct图像的重建结果图；
[0057]
图10是本发明系统结构示意图。
具体实施方式
[0058]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0059]
如图1所示本发明方法的整体流程图，一种基于卷积神经网络的牙齿和牙槽骨图像分割重构方法，具体包括如下步骤：
[0060]
步骤1：获取数据并标定，收集多个cbct图像，使用3d slicer软件对牙齿和牙槽骨部分进行标定。
[0061]
步骤1.1：从医院的口腔科获取足量的cbct扫描图像，每个cbct数据包含528张切片，买张切片的大小为512*512，切片格式为dcm文件，切片图像如图6所示。
[0062]
步骤1.2：利用3d slicer软件对cbct数据进行标定，图像中的牙齿和牙槽骨为目标区域，标定结果为1，其他区域为背景区域，标定结果为0，标定结果保存为ni i格式的文件。
[0063]
步骤2：数据预处理：对数据进行样本增强，之后进行阈值化和标准化处理。
[0064]
步骤2.1：对图像数据进行50％概率的上下翻转和50％概率的左右翻转，之后使用pytorch下transforms的随机裁剪函数randomcrop()方法将图像随机裁切成480x480大小的图像。
[0065]
步骤2.2：将图像中hu值低于0的部分置为0，之后使用transforms的归一化函数normalize()方法将图像标准化为方差0.485，标准差为0.229的图像，预处理的结果如图7所示。
[0066]
步骤3：构建如图2所示的网络模型：基于注意力门、多尺度跳跃连接和多尺度特征融合的u型语义分割网络模型。
[0067]
步骤3.1：采用基于注意力门、多尺度跳跃连接和多尺度特征融合的u型语义分割网络模型；该网络采用unet网络模型，利用的是多尺度的跳跃连接和深度监督，由编码器、解码器和跳跃连接组成。
[0068]
步骤3.2：网络中的编码器应用了图3所示的多尺度特征融合，每个多尺度特征融合模块包含多条卷积路径，每条卷积路径由一个或多个卷积操作组成，且卷积核的形状可以是1*1、3*3、5*5和7*7。多尺度特征融合的公式表达如下：
[0069]
其中和分别表示第i个编码器的输入和输出，和分别表示第i个编码器的a路径和b路径卷积操作，c
out
是一个3*3的卷积操作。
[0070]
步骤3.3：将如图4所示的多尺度跳跃连接应用于解码器模块，每个解码器接收来自上一层以及同一层编码器和下一层解码器的特征图像，多尺度跳跃连接的公式表达如下：
[0071][0072]
其中dei表示第i个解码器，eni表示第i个编码器。表示特征融合操作，它由一个3*3的卷积操作、批归一化和relu激活函数串联而成。[
·
]为特征拼接操作，c(
·
)、和分别表示卷积操作、下采样和上采样操作。
[0073]
步骤3.4：将图5所示的注意力门应用于同尺度之间的跳跃连接。注意力机制的公式表达如下：
[0074][0075]
上式中所述的为注意力机制的输出值，x是输入特征，α是注意力系数，α的公式表达如下：
[0076]
α＝s(c3([c2(r(c1(x)+c1(g))),c2(g)]))
[0077]
其中g表示门控特征，c1(
·
)、c2(
·
)和c3(
·
)分别是会使输出通道数不变、减半和减少至1的大小为1*1的卷积操作。[
·
]、r(
·
)和s(
·
)和分别表示特征拼接、relu和sigmoid操作。
[0078]
步骤4：模型训练与评估：
[0079]
步骤4.1：将标定好的预处理后图像数据集按照7：2：1划分成训练集、测试集和验证集。
[0080]
步骤4.2：读取训练集作为网络的输入，得到每一个分类结果的概率预测值。
[0081]
步骤4.3：根据分类概率预测值，将体素归类为预测概率最大的类目中，并且计算图像数据的交叉熵损失函数crossentropyloss和平均交并比miou，最后得到损失函数，其中损失函数公式如下：
[0082]
f＝0.7*crossentropyloss+0.3*(1-miou)
[0083]
其中crossentropyloss的计算公式为：
[0084][0085]
上式中的表示预测样本为正样本的概率，y是样本标签，正样本值为1，反之为0，miou的计算公式为：
[0086][0087]
其中tp(true positive)为真阳性区域、tn(true negative)为真阴性区域、fp(false positive)为假阳性区域、fn(false negative)为假阴性区域，使用adam优化器，依据计算得到的损失函数更新模型的权重。
[0088]
步骤4.4：在测试集和验证集上验证模型的预测效果，参考值为dice系数，该系数根据其定义提出者lee raymond dice的名字命名，是一种集合相似度度量函数。
[0089]
步骤5：牙齿和牙槽骨图像分割：使用训练好的模型，将dicom、nii或者ni i.gz格式的cbct数据进行分割，提取出牙齿和牙槽骨区域，并将分割结果保存为nii或者nii.gz格式的数据，预测结果如图8所示。
[0090]
步骤6：分割结果三维重构。
[0091]
步骤6.1：使用高斯滤波器对分割结果进行平滑处理，同时消除离群点。
[0092]
步骤6.2：使用marching cube面构建算法实现牙齿和牙槽骨图像的三维重构，三维重构结果如图9所示。
[0093]
如图10所述系统结构示意图，一种基于卷积神经网络的牙齿和牙槽骨图像分割重构系统，包括数据采集模块、数据处理模块、模型模块、数据预测模块和三维重构模块。
[0094]
所述数据采集模块包括cbct采集仪，用于采集患者cbct图像。
[0095]
所述数据处理模块包括数据标定单元和数据预处理单元，数据标定单元由专业的影像科医生把牙齿和牙骨的区域手动进行分割，数据预处理单元将数据进行扩充和标准化。
[0096]
所述模型模块构建用于图像分割的u-net网络。
[0097]
所述数据预测模块是将未标定的数据作为训练好的网络模型的输入，以得到预测的牙齿和牙槽骨区域。
[0098]
所述三维重构模块包括数据后处理单元和三维重构单元，数据后处理单元对预测的图像结果进行高斯模糊，使分割图像更加光滑，同时去除图像中的离群点，三维重构单元对数据后处理输出图像采用marching cube算法进行面构建，实现三维的可视化。
[0099]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种牙齿和牙槽骨图像分割重构方法，其特征在于，具体包括如下步骤：1)获取图像数据并标定，收集多个cbct图像，使用3d slicer软件对牙齿和牙槽骨部分进行标定；2)图像数据预处理：对步骤1)标定后图像数据进行样本增强，之后进行阈值化和标准化处理；3)构建基于注意力门、多尺度跳跃连接和多尺度特征融合的u型语义分割网络模型；4)采用步骤2)预处理后的图像数据对步骤3)构建的u型语义分割网络模型进行训练和评估；5)使用步骤4)训练好的u型语义分割网络模型，将dicom、nii或者nii.gz格式的cbct数据送入u型语义分割网络模型进行分割，提取出牙齿和牙槽骨区域，并将分割结果保存为nii或者nii.gz格式的数据；6)利用步骤5)分割结果进行三维重构。2.根据权利要求1所述牙齿和牙槽骨图像分割重构方法，其特征在于，所述步骤2)图像数据预处理具体方法：提取出切片数据，分别以50％的概率进行上下和左右随机翻转，将数据中hu值小于0的体素置为0，hu值大于1000的部分置为1000，再将切片数据裁剪成指定大小的形状，之后将其标准化为均值0.450，标准差0.225的图像数据。3.根据权利要求1所述牙齿和牙槽骨图像分割重构方法，其特征在于，所述步骤3)u型语义分割网络模型建立方法如下：3.1)网络采用unet网络模型，利用的是多尺度的跳跃连接和深度监督，由编码器、解码器和跳跃连接组成；3.2)网络中的编码器应用多尺度特征融合，每个多尺度特征融合模块包含多条卷积路径，每条卷积路径由一个或多个卷积操作组成，多尺度特征融合的公式表达如下：其中和分别表示第i个编码器的输入和输出，和分别表示第i个编码器的a路径和b路径卷积操作，c
out
是一个3*3的卷积操作；3.3)将多尺度跳跃连接应用于解码器模块，每个解码器接收来自上一层以及同一层编码器和下一层解码器的特征图像，多尺度跳跃连接的公式表达如下：其中de
i
表示第i个解码器；en
i
表示第i个编码器；表示特征融合操作，它由一个3*3的卷积操作、批归一化和relu激活函数串联而成；[
·
]为特征拼接操作，c(
·
)、和分别表示卷积操作、下采样和上采样操作；3.4)将注意力门应用于同尺度之间的跳跃连接，注意力机制的公式表达如下：
上式中所述的为注意力机制的输出值，x是输入特征，α是注意力系数，α的公式表达如下：α＝s(c3([c2(r(c1(x)+c1(g))),c2(g)]))其中g表示门控特征，c1(
·
)、c2(
·
)和c3(
·
)分别是会使输出通道数不变、减半和减少至1的大小为1*1的卷积操作；[
·
]、r(
·
)和s(
·
)和分别表示特征拼接、relu和sigmoid操作。4.根据权利要求1至3中任意一项所述牙齿和牙槽骨图像分割重构方法，其特征在于，所述步骤4)具体实现步骤如下：4.1)将标定好的预处理图像数据集按照7：2：1划分成训练集、测试集和验证集；4.2)训练集作为网络的输入，得到每一个分类结果的概率预测值；4.3)根据分类概率预测值，将体素归类为预测概率最大的类目中，并且计算图像数据的交叉熵损失函数crossentropyloss和平均交并比miou，最后得到损失函数，其中损失函数公式如下：f＝0.7*crossentropyloss+0.3*(1-miou)其中crossentropyloss的计算公式为：上式中的表示预测样本为正样本的概率，y是样本标签，正样本值为1，反之为0，miou的计算公式为：其中tp为真阳性区域、tn为真阴性区域、fp为假阳性区域、fn为假阴性区域，使用adam优化器，依据计算得到的损失函数更新模型的权重；4.4)在测试集和验证集上验证模型的预测效果，参考值为dice系数。5.根据权利要求4所述牙齿和牙槽骨图像分割重构方法，其特征在于，所述步骤6)三维重构实现方法：6.1)使用高斯滤波器对分割结果进行平滑处理，同时消除离群点；6.2)使用marching cube面构建算法实现牙齿和牙槽骨图像的三维重构。6.一种基于卷积神经网络的牙齿和牙槽骨图像分割重构系统，其特征在于，包括数据采集模块、数据处理模块、模型模块、数据预测模块和三维重构模块；所述数据采集模块包括cbct采集仪，用于采集患者cbct图像；所述数据处理模块包括数据标定单元和数据预处理单元，数据标定单元由专业的影像科医生把牙齿和牙骨的区域手动进行分割，数据预处理单元将数据进行扩充和标准化；所述模型模块构建用于图像分割的u-net网络；所述数据预测模块是将未标定的数据作为训练好的网络模型的输入，以得到预测的牙齿和牙槽骨区域；所述三维重构模块包括数据后处理单元和三维重构单元，数据后处理单元对预测的图像结果进行高斯模糊，使分割图像更加光滑，同时去除图像中的离群点，三维重构单元对数据后处理单元图像采用marching cube算法进行面构建。

技术总结
本发明涉及一种牙齿和牙槽骨图像分割重构方法及系统，所述方法包括CBCT图像采集，CBCT图像中牙齿和与牙齿相连骨骼区域的标定；对CBCT图像进行预处理；设计卷积神经网络并对网络进行训练；将CBCT图像作为网络的输入，得到所有体素在每种分类中的概率值，并对体素进行归类；对分割好的结果进行后处理；根据处理好的结果重建牙齿和牙槽骨的三维模型。本发明利用神经网络分割CBCT中的牙齿和牙槽骨，具有优秀的去噪和去伪影效果，重构的三维图像光滑，能够提供真实的牙齿和牙槽骨状况。能够提供真实的牙齿和牙槽骨状况。能够提供真实的牙齿和牙槽骨状况。


技术研发人员：郑小虎 李小涛 于德栋 杨博
受保护的技术使用者：东华大学
技术研发日：2023.03.27
技术公布日：2023/8/1