一种用于CBCT图像的超分辨率方法与流程

一种用于cbct图像的超分辨率方法
技术领域
1.本发明属于计算机视觉领域的图像处理技术，基于深度学习实现cbct图像超分辨率处理。


背景技术：

2.cbct（cone-beam computed tomography，锥形束计算机断层扫描）是一种近年来发展迅速的医学成像技术，其能够产生高质量的三维图像，并在许多临床应用中发挥重要作用，如口腔、颌面部和头颈部成像等。然而，cbct图像在成像时同样存在着一些问题，如低分辨率、噪声和伪影等，这些问题可能影响cbct图像的可视化效果和诊断准确性。因此，cbct图像超分辨率处理也成为了一个研究热点。
3.近年来，基于深度学习的图像超分辨率处理方法已经得到广泛研究和应用。2014年，dong等人提出的srcnn（super-resolution convolutional neural network）是第一个将深度学习用于图像超分辨率的网络。他们的方法直接学习低/高分辨率图像之间的端到端映射。该映射由一个卷积神经网络（cnn）表示，它以低分辨率图像作为输入，高分辨率图像作为输出。他们的结果表明深度学习应用于图像超分辨率领域具有巨大潜力。
4.现有方法难以基于未配对的ct图像训练超分辨率网络，而在实际环境中很难采集到配对的训练数据，限制了图像超分辨率处理的应用。


技术实现要素：

5.本发明的目的是提供一种用于cbct图像的超分辨率方法，以解决背景技术中提到的现有技术的不足。
6.为实现上述目的，本发明提供如下技术方案：一种用于cbct图像的超分辨率方法，包括基于双向二阶传播的 sr 网络，其中断层间对齐模块能够综合上下断层信息，帮助当前断层重建高分辨率图像，算法步骤如下：s1.构造训练数据集：采集低分辨率的cbct图像以及高分辨率micro-ct图像，两者无需像素级对应，但应来自相同物体。数据集配准流程具体如下：s1-1.牙体分割：由人工标注，标注得到牙体的二值图；s1-2.三维重建：分别对原始micro-ct图像、micro-ct图像的牙体标注结果、cbct图像的牙体标注结果三维重建，分别得到点云、、；s1-3.点云配准：将作为源点云，作为目标点云，利用迭代最近点算法进行位置精配准，得到从源点云到目标点云的变换矩阵；s1-4.变换和投影：利用变换矩阵将点云变换至目标位置，得到点云，并将按照cbct图像所在的各个平面投影，得到与cbct图像对应的micro-ct图像。将此micro-ct图像按照cbct图像的空间分辨率和图像分辨率裁剪并缩放至用于超分辨率训练的倍数；
s1-5.灰度值校准：和分别代表位置配准后的cbct图像和micro-ct图像，其关系表示为：其中和分别表示线性变换的斜率与偏置；至此，已获得相应倍数的ct图像超分辨率数据集；s2.构建基于层间相关性的cbct图像超分辨率网络，其中包括浅层特征提取模块、对齐模块、超分辨率模块，在特征提取过程中包括一阶特征传播和二阶特征传播，步骤如下：s2-1.构建浅层特征提取模块及超分辨率模块：浅层特征提取模块提取图片浅层特征，以方便后续特征提取，超分辨率模块通过提取的深层图像特征重构高分辨率图像，浅层特征提取模块由卷积层和残差块级联而成；超分辨率模块由残差模块、pixelshuffle模块和卷积层级联而成，其中残差块与上述相同，通过调整pixelshuffle模块的上采样倍数和数量改变整个超分辨率网络的超分辨率倍率，如果pixelshuffle模块取k倍上采样，数量为nk，则其所构成的网络超分辨率倍率为，与之相应地，上采样倍数为；除第一个卷积层和最后一个卷积层外，输入与输出通道数均为，第一个卷积层输入通道数为1，最后一个卷积层的输出通道数为1；卷积层的卷积核大小为，卷积操作步长为1，padding为1；s2-2.构建对齐模块：特征拼接均为按通道维度拼接，其组成部分包括卷积层、dcn模块、残差块、偏移提取模块、掩码提取模块，以实现ct图像的不同断层之间的信息聚合，提取到更加准确的图像特征；利用得到的偏移和掩码进行可变形卷积（dcn）计算：估计当前断层中牙齿或根管与之前断层之间的偏移，再对特征图进行扭曲（warp）并卷积，使得计算当前断层能够利用的之前断层的特征；将dcn模块的输出与拼接，作为后续模块的输入；后续卷积层及残差块中的卷积层输入与输出通道数均为，卷积核大小为，卷积操作步长为1，padding为1。最终将dcn模块的输出与残差块的输出按元素求和得到当前模块的当前断层、当前对齐模块的输出；s3.构建训练流程：输入图片为一个物体通过ct采集到的数据的个断层图像，表示为，其中w和h分别为断层图像的宽度和高度，预处理包括将随机裁剪至，其中m为随机裁剪后的宽度，并在三个维度随机翻转，归一化至0-1之间，最终得到网络的输入，相应地由高分辨率图像得到真值，用于计算网络损失函数；s4.测试：将待测试图像归一化至0-1之间，作为网络输入，使用s3中得到的参数进行测试得到输出。
7.进一步地，步骤s1中，神经网络传播层数，候选集的大小取值为。
8.进一步地，步骤s1-5中与均为已知，利用最小二乘法求得和并实现亮度校准：，其中为亮度校准后的micro-ct图像。
9.进一步地，步骤s2-1中残差块由卷积层组成，设残差块输入为，则其输出表示为：其中代表卷积层，其输入与输出通道数均为，卷积核大小为，卷积操作步长为1，padding为1。
10.进一步地，步骤s2-2中dcn模块表示为：其中表示对于第i个断层的第k个对齐模块的输出，（）表示dcn模块计算，令第i个断层的浅层特征提取模块的输出为；dcn模块需要的偏移和掩码将由输入计算而得：其中表示沿着通道维度进行拼接；为偏移提取模块，与掩码提取模块。
11.进一步地，步骤s3中网络损失函数为：其中其中表示超分辨率网络，为超参数，z为断层图像的数量，i为断层图像的宽，j为断层图像的高，经训练得到网络参数。
12.本发明的有益效果是：通过对低分辨率cbct图像进行增强处理，从而得到更高分辨率的图像，提高cbct图像的质量和分辨率，解决了图像超分辨率处理在实际中的应用限制，从而提高医学诊断的准确性。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
14.图1是本发明的总流程图；图2是本发明的数据集配准流程图；图3是本发明的基于层间相关性的ct图像超分辨率网络图；图4是本发明的浅层特征提取模块与超分辨率模块图；
图5是本发明的对齐模块图；图6是本发明的训练流程图；图7是本发明的部分输入与输出图。
具体实施方式
15.下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
16.为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
17.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
18.而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
19.以下结合实施例对本发明的特征和性能作进一步的详细描述。
20.如图1-图6所示，本发明总流程包括：s1.构造训练数据集：采集低分辨率的cbct图像以及高分辨率micro-ct图像，两者无需像素级对应，但应来自相同物体。数据集配准流程具体如下：s1-1.牙体分割：由人工标注，标注得到牙体的二值图；s1-2.三维重建：分别对原始micro-ct图像、micro-ct图像的牙体标注结果、cbct图像的牙体标注结果三维重建，分别得到点云、、；s1-3.点云配准：将作为源点云，作为目标点云，利用迭代最近点算法进行位置精配准，得到从源点云到目标点云的变换矩阵；s1-4.变换和投影：利用变换矩阵将点云变换至目标位置，得到点云，并将按照cbct图像所在的各个平面投影，得到与cbct图像对应的micro-ct图像。将此micro-ct图像按照cbct图像的空间分辨率和图像分辨率裁剪并缩放至用于超分辨率训练的倍数；s1-5.灰度值校准：和分别代表位置配准后的cbct图像和micro-ct图像，其关系表示为：
21.其中和分别表示线性变换的斜率与偏置；至此，已获得相应倍数的ct图像超分辨率数据集；s2.构建基于层间相关性的cbct图像超分辨率网络，其中包括浅层特征提取模块、对齐模块、超分辨率模块，在特征提取过程中包括一阶特征传播和二阶特征传播，步骤如下：s2-1.构建浅层特征提取模块及超分辨率模块：浅层特征提取模块提取图片浅层特征，以方便后续特征提取，超分辨率模块通过提取的深层图像特征重构高分辨率图像，浅层特征提取模块由卷积层和残差块级联而成；超分辨率模块由残差模块、pixelshuffle模块和卷积层级联而成，其中残差块与上述相同，通过调整pixelshuffle模块的上采样倍数和数量改变整个超分辨率网络的超分辨率倍率，如果pixelshuffle模块取k倍上采样，数量为nk，则其所构成的网络超分辨率倍率为，与之相应地，上采样倍数为；除第一个卷积层和最后一个卷积层外，输入与输出通道数均为，第一个卷积层输入通道数为1，最后一个卷积层的输出通道数为1；卷积层的卷积核大小为，卷积操作步长为1，padding为1；s2-2.构建对齐模块：特征拼接均为按通道维度拼接，其组成部分包括卷积层、dcn模块、残差块、偏移提取模块、掩码提取模块，以实现ct图像的不同断层之间的信息聚合，提取到更加准确的图像特征；利用得到的偏移和掩码进行可变形卷积（dcn）计算：估计当前断层中牙齿或根管与之前断层之间的偏移，再对特征图进行扭曲（warp）并卷积，使得计算当前断层能够利用的之前断层的特征；将dcn模块的输出与拼接，作为后续模块的输入；后续卷积层及残差块中的卷积层输入与输出通道数均为，卷积核大小为，卷积操作步长为1，padding为1。最终将dcn模块的输出与残差块的输出按元素求和得到当前模块的当前断层、当前对齐模块的输出；s3.构建训练流程：输入图片为一个物体通过ct采集到的数据的个断层图像，表示为，其中w和h分别为断层图像的宽度和高度，预处理包括将随机裁剪至，其中m为随机裁剪后的宽度，并在三个维度随机翻转，归一化至0-1之间，最终得到网络的输入，相应地由高分辨率图像得到真值，用于计算网络损失函数；s4.测试：将待测试图像归一化至0-1之间，作为网络输入，使用s3中得到的参数进行测试得到输出。
22.步骤s1中，神经网络传播层数，候选集的大小取值为。
23.步骤s1-5中与均为已知，利用最小二乘法求得和并实现亮
度校准：，其中为亮度校准后的micro-ct图像。
24.步骤s2-1中残差块由卷积层组成，设残差块输入为，则其输出表示为：其中代表卷积层，其输入与输出通道数均为，卷积核大小为，卷积操作步长为1，padding为1。
25.步骤s2-2中dcn模块表示为：其中表示对于第i个断层的第k个对齐模块的输出，（）表示dcn模块计算，特别地，令第i个断层的浅层特征提取模块的输出为；dcn模块需要的偏移和掩码将由输入计算而得：其中表示沿着通道维度进行拼接；为偏移提取模块，与掩码提取模块。与的网络参数如表1所示。
26.表1 与的网络参数
27.步骤s3中网络损失函数为：其中其中表示超分辨率网络，为超参数，z为断层图像的数量，i为断层图像的宽，j为断层图像的高，经训练得到网络参数。
28.实施例1：按照步骤s1构造训练数据集，其中数据为同一批离体牙齿的cbct扫描图像与
micro-ct扫描图像。扫描得到的micro-ct图像空间分辨率为cbct图像的10倍，设其中一颗牙齿的cbct图像表示为，其中表示其中的每个断层，宽和高分别为和。同一颗牙齿经步骤1-4点云变换后的micro-ct图像表示为。利用三线性插值将缩放至维度为并进行灰度值校准即可用于四倍超分辨率训练。
29.按照步骤s2构建基于层间相关性的cbct图像超分辨率网络，其中步骤2-1的取2，取2，即四倍超分辨率网络，取64。
30.按照步骤s3所述构建训练流程，其中取32，取64，取，同时学习率选择，最大迭代次数100000，batch size选择1。
31.测试：使用步骤s2构建的超分辨率网络对输入图片进行超分辨率，网络参数为步骤s3训练得到的网络参数wg。将待超分辨率处理的同一颗牙齿的cbct图像堆叠作为超分辨率网络的一个输入。
32.图7展示了将一个牙齿的扫描的cbct图像作为输入，网络的输出结果，从图中可以清晰看出，本发明所提网络对离体牙cbct图像由较好超分辨率效果。
33.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种用于cbct图像的超分辨率方法，包括基于双向二阶传播的 sr 网络，其中断层间对齐模块能够综合上下断层信息，帮助当前断层重建高分辨率图像，其特征在于，算法步骤如下：s1.构造训练数据集：采集低分辨率的cbct图像以及高分辨率micro-ct图像，两者无需像素级对应，但应来自相同物体；数据集配准流程具体如下：s1-1.牙体分割：由人工标注，标注得到牙体的二值图；s1-2.三维重建：分别对原始micro-ct图像、micro-ct图像的牙体标注结果、cbct图像的牙体标注结果三维重建，分别得到点云、、；s1-3.点云配准：将作为源点云，作为目标点云，利用迭代最近点算法进行位置精配准，得到从源点云到目标点云的变换矩阵；s1-4.变换和投影：利用变换矩阵将点云变换至目标位置，得到点云，并将按照cbct图像所在的各个平面投影，得到与cbct图像对应的micro-ct图像；将此micro-ct图像按照cbct图像的空间分辨率和图像分辨率裁剪并缩放至用于超分辨率训练的倍数；s1-5.灰度值校准：和分别代表位置配准后的cbct图像和micro-ct图像，其关系表示为：其中和分别表示线性变换的斜率与偏置；至此，已获得相应倍数的ct图像超分辨率数据集；s2.构建基于层间相关性的cbct图像超分辨率网络，其中包括浅层特征提取模块、对齐模块、超分辨率模块，在特征提取过程中包括一阶特征传播和二阶特征传播，步骤如下：s2-1.构建浅层特征提取模块及超分辨率模块：浅层特征提取模块提取图片浅层特征，以方便后续特征提取，超分辨率模块通过提取的深层图像特征重构高分辨率图像，浅层特征提取模块由卷积层和残差块级联而成；超分辨率模块由残差模块、pixelshuffle模块和卷积层级联而成，其中残差块与上述相同，通过调整pixelshuffle模块的上采样倍数和数量改变整个超分辨率网络的超分辨率倍率，如果pixelshuffle模块取k倍上采样，数量为n
k
，则其所构成的网络超分辨率倍率为，与之相应地，上采样倍数为；除第一个卷积层和最后一个卷积层外，输入与输出通道数均为，第一个卷积层输入通道数为1，最后一个卷积层的输出通道数为1；卷积层的卷积核大小为，卷积操作步长为1，padding为1；s2-2.构建对齐模块：特征拼接均为按通道维度拼接，其组成部分包括卷积层、dcn模块、残差块、偏移提取模块、掩码提取模块，以实现ct图像的不同断层之间的信息聚合，提取到更加准确的图像特征；利用得到的偏移和掩码进行可变形卷积（dcn）计算：估计当前断层中牙齿或根管与之前断层之间的偏移，再对特征图进行扭曲（warp）并卷积，使得计算当前断层能够利用的之前断层的特征；将dcn模块的输出与拼接，作为后续模块的输入；后续卷积层及残差块中的卷积层输入与输出通道数均为，卷积核大小为，卷积
操作步长为1，padding为1；最终将dcn模块的输出与残差块的输出按元素求和得到当前模块的当前断层、当前对齐模块的输出；s3.构建训练流程：输入图片为一个物体通过ct采集到的数据的个断层图像，表示为，其中w和h分别为断层图像的宽度和高度，预处理包括将随机裁剪至，其中m为随机裁剪后的宽度，并在三个维度随机翻转，归一化至0-1之间，最终得到网络的输入，相应地由高分辨率图像得到真值，用于计算网络损失函数；s4.测试：将待测试图像归一化至0-1之间，作为网络输入，使用s3中得到的参数进行测试得到输出。2.根据权利要求1所述的用于cbct图像的超分辨率方法，其特征在于，步骤s1中，神经网络传播层数，候选集的大小取值为。3.根据权利要求1所述的用于cbct图像的超分辨率方法，其特征在于，步骤s1-5中与均为已知，利用最小二乘法求得和并实现亮度校准：，其中为亮度校准后的micro-ct图像。4.根据权利要求1所述的用于cbct图像的超分辨率方法，其特征在于，步骤s2-1中残差块由卷积层组成，设残差块输入为，则其输出表示为：其中代表卷积层，其输入与输出通道数均为，卷积核大小为，卷积操作步长为1，padding为1。5.根据权利要求1所述的用于cbct图像的超分辨率方法，其特征在于，步骤s2-2中dcn模块表示为：其中表示对于第i个断层的第k个对齐模块的输出，（）表示dcn模块计算，令第i个断层的浅层特征提取模块的输出为；dcn模块需要的偏移和掩码将由输入计算而得：其中表示沿着通道维度进行拼接；为偏移提取模块，与掩码提取模块。6.根据权利要求1所述的用于cbct图像的超分辨率方法，其特征在于，步骤s3中网络损失函数为：其中
表示超分辨率网络，为超参数，z为断层图像的数量，i为断层图像的宽，j为断层图像的高，经训练得到网络参数。

技术总结
本发明公开了一种用于CBCT图像的超分辨率方法，涉及计算机视觉领域的图像处理技术，其基于深度学习实现CBCT图像超分辨率处理，提高CBCT图像的质量和分辨率，解决了图像超分辨率处理在实际中的应用限制，从而提高医学诊断的准确性。的准确性。的准确性。


技术研发人员：陈云开 刘光辉 易惊涛
受保护的技术使用者：感跃医疗科技（成都）有限公司
技术研发日：2023.09.06
技术公布日：2023/10/15