编码器-解码器结构的双分支OCT血管超精细语义分割方法

编码器-解码器结构的双分支oct血管超精细语义分割方法
技术领域
1.本发明涉及人工智能、计算机视觉领域，涉及一种编码器-解码器结构的双分支oct血管超精细语义分割方法。


背景技术：

2.糖尿病的眼部危害主要是糖尿病视网膜病变(diabetic retinopathy，dr)，发病率可达84％，由此引发的眼部健康问题不容忽视。dr是由于糖尿病高血糖异常代谢引起视网膜血管病变，进而出现眼底改变。近年来众多研究表明，在典型的临床特征发生之前，无论是视网膜动脉抑或静脉在形态上都已出现微小的改变，此改变可用于预测视网膜病变的进展(如动脉直径的变细以及静脉直径的变宽等)。由此可见，视网膜血管形态的监测对于dr的临床治疗具有重要的指导意义。
3.目前，国内外对于血管形态的研究局限于视网膜血管直径的定量分析。获取sd-oct视网膜血管直径的方法以目测为主，并辅以简单的技术手段加以测量，如半峰全宽(full width at half maximum，fwhm)测量法。但由于sd-oct灰度图像中的血管壁与周围组织存在渐变性，因此很难辨别血管壁的边缘，经验表明，医生对血管内外直径的重复测量误差在2.5微米左右，而视网膜动脉血管壁仅有10-20微米，此误差级别显然不足以精确地检测病理条件下视网膜血管壁的潜在变化。由于检测手段的局限性以及方法的传统性，医生无法精准得到血管外径、管腔直径、血管壁厚度、血管横截面面积、管壁/管腔比值等重要血管的结构参数。
4.因此，一套基于深度学习的视网膜血管检测方法亟待出现。基于深度学习的血管检测不仅可以大幅降低手工测量的误差，实现视网膜血管结构的精确测量，提高血管病理性改变的检测灵敏度，还可大幅提高医生诊断效率，节省诊断时间，对缓解医患比例失衡的问题有里程碑式意义。


技术实现要素：

5.为解决目前医疗负担重、误诊与漏诊等问题，针对oct眼底血管图像(以下简称“oct血管”)，本发明基于深度学习等人工智能方法，提出一种用于oct血管微结构超精细语义分割的方法。具体来说，采用深度学习方法实现对oct图像像素级别的分类，从而获得oct图像中的血管外部区域，血管内部区域，以便进一步获取oct图像中血管的更多参数(如血管内外直径、管壁/管腔比值)用于临床疾病分析。
6.为了实现上述目的本发明采用以下技术手段：
7.一种编码器-解码器结构的双分支oct血管超精细语义分割方法，包含以下步骤：
8.步骤1、数据标注：由人工标定血管轮廓信息，包括血管内外直径，建立眼部oct血管数据库：
9.步骤2、数据预处理：对于患者的oct血管图像，首先对原始图像中含有眼底血管的区域调整大小，再对调整后的oct血管图像归一化，然后进行数据增强及仿射变换，所述的
数据增强方法包括随机水平/竖直翻转、随机旋转和边缘锐化；
10.步骤3、编码器设计：使用基于改进的transformer模型完成眼部oct血管的超精细语义分割任务；
11.步骤4、构建解码器双分支模型，从塔形模型的输出中分别提取眼部oct血管的全局信息和血管壁边缘信息；
12.步骤5、通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘；
13.步骤6、分割图像的应用：对分割结果可用数字图像处理方法对结果进行滤波，排除无关噪声；最终的分割结果能够实现血管内外直径测量、血管壁面积计算。
14.上述技术方案中，步骤2中oct血管图像归一化公式为：
[0015][0016]
式中，i(i，j)和n(i，j)分别表示原图像的灰度值、变换后图像的灰度值，min和max分别表示原图像的最小灰度值、最大灰度值。
[0017]
上述技术方案中，步骤2中特征融合模块实现包括以下步骤：
[0018]
特征融合模块用于融合全局信息分支模块和边缘信息分支模块提供的输出特征，由于两路特征并不相同，所以不能对这两部分特征进行简单的加权。
[0019]
将全局信息分支提供的输出特征经过两个卷积层提取特征后得到特征a，与边缘信息分支进行点积操作，从而进行特征的细化和增强，实现特征选择；
[0020]
将全局信息分支提供的输出特征经过两个卷积层提取特征后，与得到特征a进行叠加操作得到特征b，实现特征结合；
[0021]
将得到的得到特征b经过两个卷积层提取特征后输出，从而实现通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘。
[0022]
上述技术方案中，步骤3具体包括以下步骤：
[0023]
步骤3.1、编码器多层塔型主体构建：
[0024]
步骤3.1.1、使用一个由多个塔形块组成的主干塔形模型提取图像的基础特征，每个塔形块包括卷积层、多头自注意力机制和前馈神经网络层；
[0025]
步骤3.1.2、构建编码器中的1
×
1卷积，用于调整输入特征层通道数；
[0026]
步骤3.1.3、将输入的基础特征分解成4个尺度的特征图；
[0027]
步骤3.1.4、对多尺度特征图通过构建3
×
3卷积，用于特征融合处理，得到包含有不同尺度的视觉信息、的眼部oct血管特征图；
[0028]
步骤3.2、位置编码：
[0029]
步骤3.2.1、对步骤3.1.2得到的每个尺度的特征图应用位置编码技术，以引入全局上下文信息；
[0030]
步骤3.2.2、位置编码采用绝对位置编码的方式，绝对位置编码通过使用正余弦函数表示绝对位置，通过两者乘积得到相对位置，为每个位置分配唯一的编码值，使得特征图中的位置信息得以表示；
[0031]
步骤3.3、transformer编码器：
[0032]
步骤3.3.1、对每个尺度的特征图应用transformer编码器；
[0033]
步骤3.3.2、transformer编码器由多个6个注意力机制和前馈神经网络层组成。
[0034]
步骤3.3.3、多头自注意力机制用于捕捉全局上下文信息，对步骤3.2.2获得的特征图中的不同位置信息进行交互和信息传递；每个多头注意力机制用于建模特征之间的关系，以捕捉全局上下文信息，通过多头自注意力机制，特征图中的每个位置都可以与其他位置进行交互和信息传递，以获取全局的语义信息；
[0035]
步骤3.3.4、在多头自注意力机制后设置有前馈神经网络层，前馈神经网络层为全连接层，即具有两层线性层的全连接网络，用于增强眼部oct图像边缘特征的非线性表示能力。
[0036]
上述技术方案中，步骤4中构建解码器双分支模型，从塔形模型的输出中分别提取眼部oct血管的全局信息和血管壁边缘信息，具体的为：
[0037]
全局信息分支模块包括卷积层、上采样模块层和注意力模块机制，用于提取眼部oct血管的全局信息、，其中卷积层用于进一步提取特征表示，上采样层用于逐步恢复分辨率，注意力模块机制，用于强调重要的全局信息；
[0038]
边缘信息分支模块包括卷积层、上采样模块层和边缘感知模块，用于提取眼部oct血管壁的边缘信息，其中卷积层用于进一步提取特征表示，上采样层用于逐步恢复分辨率，边缘感知模块用于强调重要的边缘细节。
[0039]
本发明的有益效果是：
[0040]
1、oct图像的数据标注方面，本发明使用有经验的医生手动打标的方法为主及半峰全宽的方法为辅用以界定眼底血管的关键参数，并给出具体的算法方案，针对绝大多数oct图像，能够精确找出中心位置内外血管的坐标。
[0041]
2、模型设计方面，在保证模型复杂度合适的情况下，本发明设计一种双分支的神经网络，先以医学中新颖高效的注意力模型pvt提取图像的特征，再使用双分支模型对特征的边缘信息作为补充信息增强边缘的训练和特征的提取，实现边缘特征精细化提取。
[0042]
3、数据融合方面，由于双分支模型分别得到了oct图像的区域信息以及边缘信息，为能够充分融合二者的信息，增大分割结果的容错性，提高最终识别的准确度，发明中使用ffm模块得到最终的结果。
[0043]
4、提出了一种便捷的oct图像精细分割的方法，在临床使用中，只需对sd-oct扫描设备获取的oct图像使用截图操作，送入神经网络后就能够实现端到端的分割结果，并能够一并显示出血管的内外直径、血管壁厚度、管壁/管腔比值。整个过程只需要医生将在扫描设备的上位机截图送入模型推理的接口即可，兼具测试方便、运行快速、结果准确等优点。
[0044]
5、模型的主干用塔型transformer结构，取代了传统的unet卷积编码层。与传统的transformer相比，我们的模型具有强大的表征学习能力，显著降低了参数和计算复杂度。此外，塔形transformer具有很强的泛化能力，可以从大规模的训练数据中学习到丰富的视网膜血管特征，在不同病理变化和光照条件下准确分割眼部oct图像中的血管。这有助于提高模型的实用性和适用性。
[0045]
·
解码器采用双训练方法的边缘增强模型，利用并强调眼科oct血管图像的边缘信息作为血管分割的补充信息。
[0046]
·
使用ffm(特征融合模块)进行特征融合。ffm模块融合全局特征和边缘特征，输出到边缘提取模块，生成最终的边缘概率图。
附图说明
[0047]
图1为本发明oct眼底血管图像精细分割方法的基本流程图；
[0048]
图2为本发明算法总体模型结构图；
[0049]
图3为本发明中pvt架构示意图；
[0050]
图4为本发明中数据融合方法示意图；
[0051]
图5为本发明中注意力机制示意图；
具体实施方式
[0052]
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
[0053]
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。
[0054]
在眼部oct(光学相干层析成像)图像血管分割算法中，全局信息分支是用于提取整体图像特征和全局上下文信息的分支。这一分支的目标是获取关于整张图像的结构和特征，以便更好地理解图像中的血管边缘的情况。
[0055]
全局信息分支输出结果再经过两个卷积层，是为了进一步处理全局信息分支提取的特征，进行特征的细化和增强。其主要目的在于：
[0056]
特征提取：卷积层通过滑动一个小的窗口(卷积核)在输入图像上进行卷积操作，从而提取不同位置的局部特征。这些特征可以捕获图像中的纹理、形状和边缘等信息，有助于对血管进行更好的分割。
[0057]
维度减少：通过卷积层可以将高维的输入特征映射为低维的特征表示，从而减少网络参数量，提高计算效率。
[0058]
经过这两个卷积层后，全局信息分支提取的特征被进一步加工，以更好地捕获眼部oct图像中的血管信息。
[0059]
最后，将全局信息、分支的输出结果与边缘信息融合。边缘信息是指用于检测图像中细微结构和轮廓的特征分支。将全局信息和边缘信息进行融合，有助于综合利用不同层次的特征信息，提高血管分割的准确性和鲁棒性。这种融合的方式允许算法在细节和全局结构上取得更好的平衡，从而更好地解决眼部oct图像血管分割的任务。
[0060]
为此本发明提供了一种编码器-解码器结构的双分支oct血管超精细语义分割方法，包含以下步骤：
[0061]
步骤1、数据标注：由人工标定血管轮廓信息，包括血管内外直径，建立眼部oct血管数据库：
[0062]
步骤2、数据预处理：对于患者的oct血管图像，首先对原始图像中含有眼底血管的区域调整大小，再对调整后的oct血管图像归一化，然后进行数据增强及仿射变换，所述的数据增强方法包括随机水平/竖直翻转、随机旋转和边缘锐化；
[0063]
步骤3、编码器设计：使用基于改进的transformer模型完成眼部oct血管的超精细语义分割任务；
[0064]
步骤4、构建解码器双分支模型，从塔形模型的输出中分别提取眼部oct血管的全
局信息和血管壁边缘信息；
[0065]
步骤5、通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘；
[0066]
步骤6、分割图像的应用：对分割结果可用数字图像处理方法对结果进行滤波，排除无关噪声；最终的分割结果能够实现血管内外直径测量、血管壁面积计算。
[0067]
上述技术方案中，步骤2中oct血管图像归一化公式为：
[0068][0069]
式中，i(i，j)和n(i，j)分别表示原图像的灰度值、变换后图像的灰度值，min和max分别表示原图像的最小灰度值、最大灰度值。
[0070]
上述技术方案中，步骤2中特征融合模块实现包括以下步骤：
[0071]
特征融合模块用于融合全局信息分支模块和边缘信息分支模块提供的输出特征，由于两路特征并不相同，所以不能对这两部分特征进行简单的加权。
[0072]
将全局信息分支提供的输出特征经过两个卷积层提取特征后得到特征a，与边缘信息分支进行点积操作，从而进行特征的细化和增强，实现特征选择；
[0073]
将全局信息分支提供的输出特征经过两个卷积层提取特征后，与得到特征a进行叠加操作得到特征b，实现特征结合；
[0074]
将得到的得到特征b经过两个卷积层提取特征后输出，从而实现通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘。
[0075]
上述技术方案中，步骤3具体包括以下步骤：
[0076]
步骤3.1、编码器多层塔型主体构建：
[0077]
步骤3.1.1、使用一个由多个塔形块组成的主干塔形模型提取图像的基础特征，每个塔形块包括卷积层、多头自注意力机制和前馈神经网络层；
[0078]
步骤3.1.2、构建编码器中的1
×
1卷积，用于调整输入特征层通道数；
[0079]
步骤3.1.3、将输入的基础特征分解成4个尺度的特征图；
[0080]
步骤3.1.4、对多尺度特征图通过构建3
×
3卷积，用于特征融合处理，得到包含有不同尺度的视觉信息的眼部oct血管特征图；
[0081]
步骤3.2、位置编码：
[0082]
步骤3.2.1、对步骤3.1.2得到的每个尺度的特征图应用位置编码技术，以引入全局上下文信息；
[0083]
步骤3.2.2、位置编码采用绝对位置编码的方式，绝对位置编码通过使用正余弦函数表示绝对位置，通过两者乘积得到相对位置，为每个位置分配唯一的编码值，使得特征图中的位置信息得以表示；
[0084]
步骤3.3、transformer编码器：
[0085]
步骤3.3.1、对每个尺度的特征图应用transformer编码器；
[0086]
步骤3.3.2、transformer编码器由多个6个注意力机制和前馈神经网络层组成。
[0087]
步骤3.3.3、多头自注意力机制用于捕捉全局上下文信息，对步骤3.2.2获得的特征图中的不同位置信息进行交互和信息传递；每个多头注意力机制用于建模特征之间的关系，以捕捉全局上下文信息，通过多头自注意力机制，特征图中的每个位置都可以与其他位
置进行交互和信息传递，以获取全局的语义信息；
[0088]
步骤3.3.4、在多头自注意力机制后设置有前馈神经网络层，前馈神经网络层为全连接层，即具有两层线性层的全连接网络，用于增强眼部oct图像边缘特征的非线性表示能力。
[0089]
上述技术方案中，步骤4中构建解码器双分支模型，从塔形模型的输出中分别提取眼部oct血管的全局信息和血管壁边缘信息，具体的为：
[0090]
全局信息分支模块包括卷积层、上采样模块层和注意力模块机制，用于提取眼部oct血管的全局信息，其中卷积层用于进一步提取特征表示，上采样层用于逐步恢复分辨率，注意力模块机制，用于强调重要的全局信息；
[0091]
边缘信息分支模块包括卷积层、上采样模块层和边缘感知模块，用于提取眼部oct血管壁的边缘信息，其中卷积层用于进一步提取特征表示，上采样层用于逐步恢复分辨率，边缘感知模块用于强调重要的边缘细节。
[0092]
为了使得本技术领域技术人员更好理解本发明技术方案，下面结合附图和具体实施例对本发明作进一步的说明。
[0093]
用于oct图像获取的设备是：德国海德堡公司的spectralis sd-oct扫描设备，是一台频域光学相干断层扫描(oct)系统，能对视网膜进行高分辨率、高速的横截面成像。
[0094]
用于算法测试的设备是：硬件环境是gpu nvidia titan xp，intel(r)xeon(r)cpu e5-1650 v4@3.60ghz，运行环境是python3.6以及相关扩展包pytorch。
[0095]
采用深度卷积神经网络u-net、金字塔视觉transformer(pvt)、ffm数据融合作为模型的核心算法。
[0096]
对于注意力机制，实验证明，transformer模型不论是在自然语言处理(nlp)领域和还是计算机视觉领域都发挥出了强大的特征提取与发掘的能力，而transformer的核心算法在于其使用了大量的自注意力机制模块，对输入的信息进行了充分地提取，因此不失模型的高效性，模型中将自注意力机制从transformer模型中抽离出来，如图3所示，使用多次迭代的自注意力机制来提取oct图像中的边缘信息。
[0097]
对于数据融合，如图4所示，ffm模块主要由亚像素卷积层和路径层组成，通过融合全部特征层和边缘特征层的特征图提取纹理信息和语义信息，通过学习各个特征图通道的权重，可以自动对特征图通道进行权重分配，更准确地提取出oct图像中的边缘信息。
[0098]
如图1所示，本发明基于卷积神经网络和transformer的眼部oct图像血管检测及超精细语义分割，包括数数据标注、据预处理、卷积神经网络、transformer及attention的模型设计、临床应用。
[0099]
具体步骤如下：
[0100]
a)原图像经过裁剪得到尺寸为512*512的灰度图像。并将数据的像素值归一化到0，1区间，加速模型训练。
[0101]
灰度变换归一化的公式为：
[0102][0103]
式中，i(i，j)和n(i，j)分别表示原图像的灰度值、变换后图像的灰度值，min和max分别表示原图像的最小灰度值、最大灰度值。
[0104]
b)为了扩充我们的数据集，我们引入了图像的仿射变换。仿射变换涉及调整图像的形状、位置和角度，是深度学习预处理中常用的技术。在图像处理中，仿射变换可以包括但不限于缩放(scale)、旋转(rotate)、剪切(shear)、翻转(flip)和平移(translate)等操作的组合。通过这些变换，我们不仅能扩充数据集，还能提高所训练模型的鲁棒性。
[0105]
c)我们使用基于pvt网络的双路分割模型对眼部oct血管图像进行含有边缘特征提取的精细分割。如图3所示，pvt网络结构做为特征提取的编码器。1.输入图像被分割为一系列不同尺度的图像金字塔。2.每个尺度的图像通过一个卷积神经网络进行特征提取。包含4个卷积层和池化层，用于捕捉图像的低级到高级视觉特征。3.在特征提取网络之后，每个尺度的特征图都会被送入独立的transformer编码器。
[0106]
transformer编码器由4个编码器层组成，每个层包含自注意力机制和前馈神经网络。自注意力机制用于学习特征图中的全局上下文信息，而前馈神经网络则用于非线性变换。4.编码器层之后是双路解码器层。解码器负责将编码器层输出的特征图重新恢复到原始输入图像的尺寸，并且在此过程中逐渐提取出更细节的特征。解码器层的输出经过一个特征融合过程，将来自不同尺度的特征进行融合。由四层卷积神经网络通过跳跃连接的方式构成，以确保多尺度特征的有效融合和传递。5.最后，通过两个输出(全局特征和边缘特征两个之路的输出)对融合后的特征进行血管分割。
[0107]
d)在transformer中使用了一种称为注意力机制(attention)的方法，也被称为缩放点积注意力结构。如图5所示，该结构有三个输入特征，分别是查询向量q(query)、键k(key)和值v(value)。通过计算查询向量q和键k之间的注意力分数(attention score)矩阵，transformer可以对值v进行提纯。具体的计算公式如下：
[0108][0109]
式中，d是查询向量q和值向量k的维度。
[0110]
本发明中的注意力机制模型采用了一种初始迭代方式，即交叉自注意力机制。在这种方法中，我们使用粗分割的结果作为查询向量q，而键k和值v则是分割后的图像。此外，图像的梯度特征用作偏置。一旦得到初始结果，我们将其作为特征，并同时用作查询向量q、键k和值v送入自注意力机制模型中。然后，我们迭代执行该自注意力机制模型若干次，从而生成图像的边缘结果。这样的迭代过程有助于逐步提炼和优化图像分割的边缘信息。
[0111]
e)数据融合方法；如图4所示，使用一种空间特征转化的模型对oct图像的血管区域与边缘特征进行融合，整个模块由六个卷积层、一次点乘和一次加法运算组成。对于生成的边缘图像，做两次两层的3
×
3卷积，两次先与区域图像点乘后再相加。
[0112]
f)在训练好模型之后，只需给出oct图像中含有血管区域的部分，送入模型进行推理，即可得到血管内外、血管壁区域的精细分割图。利用连通域计算、闭运算、特征筛选数字图像处理方法滤除结果中的无用噪声，并计算轮廓信息，最后给出临床所需的血管相关参数。

技术特征：
1.一种编码器-解码器结构的双分支oct血管超精细语义分割方法，其特征在于，包含以下步骤：步骤1、数据标注：由人工标定血管轮廓信息，包括血管内外直径，建立眼部oct血管数据库：步骤2、数据预处理：对于患者的oct血管图像，首先对原始图像中含有眼底血管的区域调整大小，再对调整后的oct血管图像归一化，然后进行数据增强及仿射变换，所述的数据增强方法包括随机水平/竖直翻转、随机旋转和边缘锐化；步骤3、编码器设计：使用基于改进的transformer模型完成眼部oct血管的超精细语义分割任务；步骤4、构建解码器双分支模型，从塔形模型的输出中分别提取眼部oct血管的全局信息和血管壁边缘信息；步骤5、通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘；步骤6、分割图像的应用：对分割结果可用数字图像处理方法对结果进行滤波，排除无关噪声；最终的分割结果能够实现血管内外直径测量、血管壁面积计算。2.根据权利要求1所述的一种编码器-解码器结构的双分支oct血管超精细语义分割方法，其特征在于，步骤2中oct血管图像归一化公式为：式中，i(i，j)和n(i，j)分别表示原图像的灰度值、变换后图像的灰度值，min和max分别表示原图像的最小灰度值、最大灰度值。3.根据权利要求1所述的一种编码器-解码器结构的双分支oct血管超精细语义分割方法，其特征在于，步骤2中特征融合模块实现包括以下步骤：特征融合模块用于融合全局信息分支模块和边缘信息分支模块提供的输出特征，由于两路特征并不相同，所以不能对这两部分特征进行简单的加权。将全局信息分支提供的输出特征经过两个卷积层提取特征后得到特征a，与边缘信息分支进行点积操作，从而进行特征的细化和增强，实现特征选择；将全局信息分支提供的输出特征经过两个卷积层提取特征后，与得到特征a进行叠加操作得到特征b，实现特征结合；将得到的得到特征b经过两个卷积层提取特征后输出，从而实现通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘。4.根据权利要求3所述的一种编码器-解码器结构的双分支oct血管超精细语义分割方法，其特征在于，步骤3具体包括以下步骤：步骤3.1、编码器多层塔型主体构建：步骤3.1.1、使用一个由多个塔形块组成的主干塔形模型提取图像的基础特征，每个塔形块包括卷积层、多头自注意力机制和前馈神经网络层；步骤3.1.2、构建编码器中的1
×
1卷积，用于调整输入特征层通道数；步骤3.1.3、将输入的基础特征分解成4个尺度的特征图；步骤3.1.4、对多尺度特征图通过构建3
×
3卷积，用于特征融合处理，得到包含有不同
尺度的视觉信息的眼部oct血管特征图；步骤3.2、位置编码：步骤3.2.1、对步骤3.1.2得到的每个尺度的特征图应用位置编码技术，以引入全局上下文信息；步骤3.2.2、位置编码采用绝对位置编码的方式，绝对位置编码通过使用正余弦函数表示绝对位置，通过两者乘积得到相对位置，为每个位置分配唯一的编码值，使得特征图中的位置信息得以表示；步骤3.3、transformer编码器：步骤3.3.1、对每个尺度的特征图应用transformer编码器；步骤3.3.2、transformer编码器由多个6个注意力机制和前馈神经网络层组成。步骤3.3.3、多头自注意力机制用于捕捉全局上下文信息，对步骤3.2.2获得的特征图中的不同位置信息进行交互和信息传递；每个多头注意力机制用于建模特征之间的关系，以捕捉全局上下文信息，通过多头自注意力机制，特征图中的每个位置都可以与其他位置进行交互和信息传递，以获取全局的语义信息；步骤3.3.4、在多头自注意力机制后设置有前馈神经网络层，前馈神经网络层为全连接层，即具有两层线性层的全连接网络，用于增强眼部oct图像边缘特征的非线性表示能力。5.根据权利要求4所述的一种编码器-解码器结构的双分支oct血管超精细语义分割方法，其特征在于，步骤4中构建解码器双分支模型，从塔形模型的输出中分别提取眼部oct血管的全局信息和血管壁边缘信息，具体的为：全局信息分支模块包括卷积层、上采样模块层和注意力模块机制，用于提取眼部oct血管的全局信息，其中卷积层用于进一步提取特征表示，上采样层用于逐步恢复分辨率，注意力模块机制，用于强调重要的全局信息；边缘信息分支模块包括卷积层、上采样模块层和边缘感知模块，用于提取眼部oct血管壁的边缘信息，其中卷积层用于进一步提取特征表示，上采样层用于逐步恢复分辨率，边缘感知模块用于强调重要的边缘细节。

技术总结
本发明涉及人工智能、计算机视觉领域，涉及一种编码器-解码器结构的双分支OCT血管超精细语义分割方法。主旨在于采用深度学习方法实现对OCT图像像素级别的分类，从而获得OCT图像中的血管外部区域，血管内部区域，主要方案包括由人工标定血管轮廓信息，包括血管内外直径，建立眼部OCT血管数据库，对于患者的OCT血管图像进行数据预处理；使用基于改进的Transformer模型完成眼部OCT血管的超精细语义分割任务；构建解码器双分支模型，从塔形模型的输出中分别提取眼部OCT血管的全局信息和血管壁边缘信息；通过特征融合模块对上面全局特征和边缘特征进行融合，最后生成最终边缘概率图，筛选后得到血管边缘。筛选后得到血管边缘。筛选后得到血管边缘。


技术研发人员：童毓华 袁国慧 胡静 王卓然 黄崇君
受保护的技术使用者：电子科技大学长三角研究院（衢州）
技术研发日：2023.07.25
技术公布日：2023/10/11