边界注意力辅助的动态图卷积视网膜血管图像分割方法

1.本发明涉及一种图像处理方法，尤其涉及一种边界注意力辅助的动态图卷积视网膜血管图像分割方法。


背景技术：

2.视网膜血管图像是视网膜健康状况评估的重要依据，因此，需要获取到准确的视网膜血管图像，现有技术中，视网膜血管图像中的血管图像信息的分割主要采用人工方式，但是这种方式由于血管图像复杂，而且受到工作人员的主观因素的影响，从而导致不能得到准确的血管图像信息，随着技术的发展，虽然提出了一些基于神经网络的图像处理方法，但是，现有的算法仍然无法准确提取出血管的特征信息，从而导致最终的血管图像分割准确性差，在图像中体现出血管出现断连的情况以及将噪声误分割为血管像素的情况。
3.因此，为了解决上述技术问题，亟需提出一种新的技术手段。


技术实现要素：

4.因此，本发明的目的是提供一种边界注意力辅助的动态图卷积视网膜血管图像分割方法，能够对视网膜血管图像中的血管特征图进行准确分割、提取，有效降低视网膜图像中噪声对血管像素的干扰，降低分割结果图像中微小血管存在断连的情况，提升图像分割准确性和有效性。
5.本发明提供的一种边界注意力辅助的动态图卷积视网膜血管图像分割方法，包括以下步骤：
6.s1.对视网膜血管图像进行预处理，并对预处理后的图像进行翻转和切片处理，得到尺寸为48
×
48像素的图像切片集；
7.s2.将图像切片集输入到动态图卷积u型网络中进行血管特征提取，输出血管特征图；
8.s3.将u型网络中所提取的血管特征图输入至边界注意力网络中进行处理，提取出浅层边界特征图；
9.s4.将动态图卷积u型网络输出的血管特征图与边界注意力网络输出的浅层边界特征图进行融合，得到视网膜血管图像分割结果。
10.进一步，步骤s1中，对视网膜血管图像进行预处理包括：
11.s101.将视网膜血管图像由rgb图像转换为灰度图像f1；
12.s102.将灰度图像f1进行归一化处理，得到归一化处理后的图像f2；
13.s103.对图像f2进行自适应直方图均衡化处理，得到图像f3；
14.s104.对图像f3进行伽马校正，得到校正处理后的图像f4；
15.s105.对校正处理后的图像进行翻转以及随机裁剪处理，得到尺寸为48
×
48像素的图像切片集，并创建每个切片图像的索引，保存索引值。
16.进一步，步骤s2中，进行血管特征提取具体包括：
17.s21.动态图卷积u型网络中包括编码器和解码器，其中，编码器逐层提取图像特征，编码器包括由输入至输出依次连接的结构相同的4个层，每一层具有两个卷积序列和一个池化下采样层，切片图像每经过一个层处理后，输出的特征图尺度减小一半，通道维数增加一倍；
18.其中：编码器中每一个层的第二卷积的输出特征图通过跳跃连接传输至解码器；
19.s22.所述解码器逐层恢复图像信息，由输入至输出具有结构相同的4个层，每个层具有两个卷积序列、动态图卷积以及反卷积上采样层；其中：输入至解码器的图像信息每经过一个层，其图像尺度扩大一倍，通道维数减半。
20.进一步，步骤s2中，还包括动态图卷积处理过程，具体包括：
21.动态图卷积具体为：
22.采用reshape函数将解码器每一层输出的特征图x转换为图结构g，其中，g＝(v,a)，为图节点矩阵，n表示图节点数目，c表示图节点特征的维数；为邻接矩阵，表示各节点间的连接关系；
23.采用reshape函数将x转换为图节点矩阵w、h和c分别为特征图的宽、高和通道数；
24.利用图卷积公式提取血管图像结构特征：
25.z＝σ(ax
′
w)；其中，σ为relu激活函数，为原始图像空间的参数矩阵；
26.将血管图像结构特征还原成血管特征图并与当前动态图卷积所对应的解码器的层的输出结果相加。
27.进一步，通过如下公式确定邻接矩阵a:
[0028][0029]
其中：表示点积；θ(
·
)包含1
×
1卷积和reshape函数，w
θ
和w
ρ
表示邻接矩阵的权重；是对角矩阵，表示二维特征图的通道注意力系数，是x经过全局平均池化后的特征，ρ包括1
×
1卷积和激活函数sigmoid；
[0030]
确定出邻接矩阵a后并对其采用softmax函数进行归一化处理。
[0031]
进一步，步骤s3具体包括：
[0032]
s31.将动态图卷积u型网络输出的2通道特征图通过softmax函数进行归一化处理后作为边界注意力特征图；
[0033]
s32.采用二分类交叉熵损失函数监督边界注意力特征图的边界区域；
[0034]
s33.将通过边界区域监督后的边界注意力特征图与原图像进行拼接形成3通道图像；
[0035]
s34.将3通道图像通过一个单层卷积序列处理提取浅层边界特征；其中，单层卷积序列包括1
×
1卷积、批归一化层以及relu激活函数。
[0036]
进一步，步骤s4中，具体包括：
[0037]
s41.将u型网络输出的特征图与边界注意力网络输出的特征图进行拼接，得到特征图m1；
[0038]
s42.将特征图m1经过一个卷积序列处理得到特征图m2；其中，该卷积序列包括3
×
3卷积、批归一化函数和relu激活函数；
[0039]
s43.将特征图m2依次进行全局平均池化处理、1
×
1卷积处理、relu激活函数处理、1
×
1卷积处理以及sigmoid激活函数处理后，得到特征图m3；
[0040]
s44.将特征图m2和特征图m3处理得到特征图m4：
[0041]
其中：k＝0,1,
…
,c,c表示图像通道数，表示特征图m2的第k个通道的第i行第j列像素；
[0042]
s45.将特征图m4通过1
×
1卷积处理投影为2通道图像得到最终血管图像分割结果。
[0043]
本发明的有益效果：通过本发明，能够对视网膜血管图像中的血管特征图进行准确分割、提取，有效降低视网膜图像中噪声对血管像素的干扰，降低分割结果图像中微小血管存在断连的情况，提升图像分割准确性和有效性。
附图说明
[0044]
下面结合附图和实施例对本发明作进一步描述：
[0045]
图1为本发明的流程图。
[0046]
图2为本发明的u型网络结构示意图。
[0047]
图3为本发明的动态图卷积过程示意图。
具体实施方式
[0048]
以下进一步对本发明做出详细说明：
[0049]
本发明提供的一种边界注意力辅助的动态图卷积视网膜血管图像分割方法，包括以下步骤：
[0050]
s1.对视网膜血管图像进行预处理，并对预处理后的图像进行翻转和切片处理，得到尺寸为48
×
48像素的图像切片集；
[0051]
s2.将图像切片集输入到动态图卷积u型网络中进行血管特征提取，输出血管特征图；
[0052]
s3.将u型网络中所提取的血管特征图输入至边界注意力网络中进行处理，提取出浅层边界特征图；
[0053]
s4.将动态图卷积u型网络输出的血管特征图与边界注意力网络输出的浅层边界特征图进行融合，得到视网膜血管图像分割结果，通过上述方法，能够对视网膜血管图像中的血管特征图进行准确分割、提取，有效降低视网膜图像中噪声对血管像素的干扰，降低分割结果图像中微小血管存在断连的情况，提升图像分割准确性和有效性。
[0054]
本实施例中，步骤s1中，对视网膜血管图像进行预处理包括：
[0055]
s101.将视网膜血管图像由rgb图像转换为灰度图像f1；
[0056]
s102.将灰度图像f1进行归一化处理，得到归一化处理后的图像f2；
[0057]
s103.对图像f2进行自适应直方图均衡化处理，得到图像f3；
[0058]
s104.对图像f3进行伽马校正，得到校正处理后的图像f4；
[0059]
s105.对校正处理后的图像进行翻转以及随机裁剪处理，得到尺寸为48
×
48像素的图像切片集，并创建每个切片图像的索引，保存索引值。其中，步骤s101-s105中的具体过程均采用现有技术实现，在此不加以赘述。
[0060]
本实施例中，步骤s2中，进行血管特征提取具体包括：
[0061]
s21.动态图卷积u型网络中包括编码器和解码器，其中，编码器逐层提取图像特征，编码器包括由输入至输出依次连接的结构相同的4个层，每一层具有两个卷积序列和一个池化下采样层，切片图像每经过一个层处理后，输出的特征图尺度减小一半，通道维数增加一倍；
[0062]
其中：编码器中每一个层的第二卷积的输出特征图通过跳跃连接传输至解码器；
[0063]
s22.所述解码器逐层恢复图像信息，由输入至输出具有结构相同的4个层，每个层具有两个卷积序列、动态图卷积以及反卷积上采样层；其中：输入至解码器的图像信息每经过一个层，其图像尺度扩大一倍，通道维数减半。其中，u型网络的编码器和解码器的均采用现有技术即可；如图2所示：编码器中的每一层处理后，其通道位数增加一倍，而特征图的尺度减小一般，在图中体现为表征图像的方块逐渐变短和变宽；解码器中的每一层处理后，其通道位数减半，而特征图的尺度增加一倍，在图中体现为表征图像的方块逐渐变长和变窄；编码器中每一个层的第二卷积的输出特征图通过跳跃连接传输至解码器，即编码器的第一层的第二卷积输出的特征图传输至解码器第一层中，编码器的第二层的第二卷积输出的特征图传输至解码器第二层中；通过该方式处理，能够确保最终结果的精确性。
[0064]
步骤s2中，还包括动态图卷积处理过程，具体包括：
[0065]
动态图卷积具体为：
[0066]
采用reshape函数将解码器每一层输出的特征图x转换为图结构g，由于解码器每一层处理后输出的特征图为3通道，因此，通过reshape函数将3通道特征图转换为2通道图，其中，g＝(v,a)，为图节点矩阵，n表示图节点数目，c表示图节点特征的维数；为邻接矩阵，表示各节点间的连接关系；
[0067]
采用reshape函数将x转换为图节点矩阵w、h和c分别为特征图的宽、高和通道数；
[0068]
利用图卷积公式提取血管图像结构特征：
[0069]
z＝σ(ax
′
w)；其中，σ为relu激活函数，为原始图像空间的参数矩阵；
[0070]
将血管图像结构特征还原成血管特征图并与当前动态图卷积所对应的解码器的层的输出结果相加；由于动态图卷积输出的图为2通道结构，因此，需要将动态图卷积输出的2通道还原成3通道图，其还原过程采用现有技术实现；
[0071]
其中，动态图卷积一共四层并与解码器的层数一一对应，解码器每一层输出都输入到相对应的动态图卷积中进行处理，然后相对应的解码器输出的特征图和动态图卷积的输出的图还原后的特征图相加后输入到加码器的下一层中进行处理。
[0072]
本实施例中，通过如下公式确定邻接矩阵a:
[0073]
[0074]
其中：表示点积；θ(
·
)包含1
×
1卷积和reshape函数，w
θ
和w
ρ
表示邻接矩阵的权重；是对角矩阵，表示二维特征图的通道注意力系数，是x经过全局平均池化后的特征，ρ包括1
×
1卷积和激活函数sigmoid；
[0075]
确定出邻接矩阵a后并对其采用softmax函数进行归一化处理。
[0076]
本实施例中，步骤s3具体包括：
[0077]
s31.将动态图卷积u型网络输出的2通道特征图通过softmax函数进行归一化处理后作为边界注意力特征图；
[0078]
s32.采用二分类交叉熵损失函数监督边界注意力特征图的边界区域；通过该步骤，能够降低在u型网络的处理过程的边界损失，提高最终结果的精度；
[0079]
其中：二分类交叉熵损失函数为：
[0080][0081]
表示边界区域的预测值，表示边界区域的标注；
[0082]
s33.将通过边界区域监督后的边界注意力特征图与原图像进行拼接形成3通道图像；
[0083]
s34.将3通道图像通过一个单层卷积序列处理提取浅层边界特征；其中，单层卷积序列包括1
×
1卷积、批归一化层以及relu激活函数。
[0084]
本实施例中，步骤s4中，具体包括：
[0085]
s41.将u型网络输出的特征图与边界注意力网络输出的特征图进行拼接，得到特征图m1；
[0086]
s42.将特征图m1经过一个卷积序列处理得到特征图m2；其中，该卷积序列包括3
×
3卷积、批归一化函数和relu激活函数；
[0087]
s43.将特征图m2依次进行全局平均池化处理、1
×
1卷积处理、relu激活函数处理、1
×
1卷积处理以及sigmoid激活函数处理后，得到特征图m3；
[0088]
s44.将特征图m2和特征图m3处理得到特征图m4：
[0089]
其中：k＝0,1,
…
,c,c表示图像通道数，表示特征图m2的第k个通道的第i行第j列像素；
[0090]
s45.将特征图m4通过1
×
1卷积处理投影为2通道图像得到最终血管图像分割结果。
[0091]
上述中的批归一化函数、relu激活函数函数等均为现有技术，每一个卷积序列的具体的处理过程均是现有技术，在此不对其原理进行赘述。
[0092]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：包括以下步骤：s1.对视网膜血管图像进行预处理，并对预处理后的图像进行翻转和切片处理，得到尺寸为48
×
48像素的图像切片集；s2.将图像切片集输入到动态图卷积u型网络中进行血管特征提取，输出血管特征图；s3.将u型网络中所提取的血管特征图输入至边界注意力网络中进行处理，提取出浅层边界特征图；s4.将动态图卷积u型网络输出的血管特征图与边界注意力网络输出的浅层边界特征图进行融合，得到视网膜血管图像分割结果。2.根据权利要求1所述边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：步骤s1中，对视网膜血管图像进行预处理包括：s101.将视网膜血管图像由rgb图像转换为灰度图像f1；s102.将灰度图像f1进行归一化处理，得到归一化处理后的图像f2；s103.对图像f2进行自适应直方图均衡化处理，得到图像f3；s104.对图像f3进行伽马校正，得到校正处理后的图像f4；s105.对校正处理后的图像进行翻转以及随机裁剪处理，得到尺寸为48
×
48像素的图像切片集，并创建每个切片图像的索引，保存索引值。3.根据权利要求2所述边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：步骤s2中，进行血管特征提取具体包括：s21.动态图卷积u型网络中包括编码器和解码器，其中，编码器逐层提取图像特征，编码器包括由输入至输出依次连接的结构相同的4个层，每一层具有两个卷积序列和一个池化下采样层，切片图像每经过一个层处理后，输出的特征图尺度减小一半，通道维数增加一倍；其中：编码器中每一个层的第二卷积的输出特征图通过跳跃连接传输至解码器；s22.所述解码器逐层恢复图像信息，由输入至输出具有结构相同的4个层，每个层具有两个卷积序列、动态图卷积以及反卷积上采样层；其中：输入至解码器的图像信息每经过一个层，其图像尺度扩大一倍，通道维数减半。4.根据权利要求3所述边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：步骤s2中，还包括动态图卷积处理过程，具体包括：动态图卷积具体为：采用reshape函数将解码器每一层输出的特征图x转换为图结构g，其中，g＝(v,a)，为图节点矩阵，n表示图节点数目，c表示图节点特征的维数；为邻接矩阵，表示各节点间的连接关系；采用reshape函数将x转换为图节点矩阵w、h和c分别为特征图的宽、高和通道数；利用图卷积公式提取血管图像结构特征：z＝σ(ax
′
w)；其中，σ为relu激活函数，为原始图像空间的参数矩阵；将血管图像结构特征还原成血管特征图并与当前动态图卷积所对应的解码器的层的
输出结果相加。5.根据权利要求4所述边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：通过如下公式确定邻接矩阵a:其中：表示点积；θ(
·
)包含1
×
1卷积和reshape函数，w
θ
和w
ρ
表示邻接矩阵的权重；是对角矩阵，表示二维特征图的通道注意力系数，是x经过全局平均池化后的特征，ρ包括1
×
1卷积和激活函数sigmoid；确定出邻接矩阵a后并对其采用softmax函数进行归一化处理。6.根据权利要求1所述边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：步骤s3具体包括：s31.将动态图卷积u型网络输出的2通道特征图通过softmax函数进行归一化处理后作为边界注意力特征图；s32.采用二分类交叉熵损失函数监督边界注意力特征图的边界区域；s33.将通过边界区域监督后的边界注意力特征图与原图像进行拼接形成3通道图像；s34.将3通道图像通过一个单层卷积序列处理提取浅层边界特征；其中，单层卷积序列包括1
×
1卷积、批归一化层以及relu激活函数。7.根据权利要求1所述边界注意力辅助的动态图卷积视网膜血管图像分割方法，其特征在于：步骤s4中，具体包括：s41.将u型网络输出的特征图与边界注意力网络输出的特征图进行拼接，得到特征图m1；s42.将特征图m1经过一个卷积序列处理得到特征图m2；其中，该卷积序列包括3
×
3卷积、批归一化函数和relu激活函数；s43.将特征图m2依次进行全局平均池化处理、1
×
1卷积处理、relu激活函数处理、1
×
1卷积处理以及sigmoid激活函数处理后，得到特征图m3；s44.将特征图m2和特征图m3处理得到特征图m4：其中：k＝0,1,
…
,c,c表示图像通道数，表示特征图m2的第k个通道的第i行第j列像素；s45.将特征图m4通过1
×
1卷积处理投影为2通道图像得到最终血管图像分割结果。

技术总结
本发明提供的一种边界注意力辅助的动态图卷积视网膜血管图像分割方法，包括以下步骤：S1.对视网膜血管图像进行预处理，并对预处理后的图像进行翻转和切片处理，得到尺寸为48


技术研发人员：吕佳 王泽宇
受保护的技术使用者：重庆师范大学
技术研发日：2022.09.28
技术公布日：2023/7/11