基于深度学习的眼底视网膜图像异常区域检测方法及系统与流程

1.本发明涉及图像处理技术领域，更具体的说是涉及基于深度学习的眼底视网膜图像异常区域检测方法及系统。


背景技术：

2.在医学上，糖尿病视网膜性病变的主要异常表现有微动脉瘤(microaneurysms)、出血(hemorrhages)、软渗出(soft exudates)和硬渗出(hard exudates)等。其中，微动脉瘤是糖尿病视网膜性病变最早期的临床可见变化，是由局部毛细血管扩张引起的，在眼底图像中表现为红色小点；出血包括微血管瘤破裂引起的出血、神经纤维层出血以及视网膜前出血；软渗出是神经纤维层的微小梗塞，表现为白色的边缘模糊的块状；硬渗出是由毛细血管浆液渗漏的脂质残留物组成的黄色斑点，边缘清晰可见。
3.如前所述，当前用于检测糖尿病视网膜病变相关的这些异常区域的计算机辅助检测算法存在需要大量先验知识、检测准确率差等问题，尤其是当获取眼底图像时，对于过度曝光或眼部基础疾病影响拍摄等等均会导致异常区域的检测不准确。
4.然而，视网膜性病变相关异常区域的识别对于计算机辅助诊断可起到很好的帮助作用；
5.由此，如何提供一种能够眼底视网膜图像异常区域检测方法及系统是本领域技术人员急需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种能够实现眼底视网膜图像异常区域检测的方法及系统，以解决背景技术中的问题。
7.为了实现上述目的，本发明提供如下技术方案：
8.一方面，基于深度学习的眼底视网膜图像异常区域检测方法，具体步骤如下：
9.获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；
10.构建异常区域检测初步模型，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；
11.将所述彩色图像输入所述异常区域检测初步模型中，得到感兴趣区域，即为疑似异常区域；
12.将所述疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现二次识别，得到异常区域检测模型；
13.输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。
14.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，得到所述眼底视网膜无赤光图像具体步骤如下：
15.输入一幅rgb图像，并对其进行处理，得到浅层特征信息；
16.将所述浅层特征信息进入残差注意力模块中，获取深层次特征信息；其中，所述残差注意力模块在残差块部分引入掩膜分支，将局部信息与原始特征的全局信息进行融合；(将残差注意模块提取的rgb图像的局部信息与rgb图像的全局信息进行融合得到深层次特征信息)
17.将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息，所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块；
18.将更深层次的所述特征信息与所述浅层特征信息相加，得到新特征并输出；
19.将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系，而后得到眼底视网膜无赤光图像。
20.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，所述残差注意力模块包括主干和软掩膜分支；主干是残差操作，软掩膜用于生成注意力因子，然后与主干的输出相乘，采用残差学习思想将主干的输出与结合注意力因子的结果相加，最终构成残差注意力模块。
21.其中，注意力因子根据常见的眼底视网膜图像中异常位置、异常图像匹配生成注意力因子。
22.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，最优非局域模块利用argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。
23.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，确定疑似异常区域具体步骤如下：
24.将所述彩色图像进行特征提取得到第一特征图，并引入位置信息，将所述第一特征图与所述位置信息相加得到第二特征图；
25.利用所述注意力模块对所述第二特征图每个位置进行编码；
26.将注意力模块的编码特征图与第一特征图串联，得到疑似异常区域。
27.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下：
28.对所述第二特征图每一个位置的向量x(i,j)进行线性变换，得到三个不同的向量a(i,j),b(i,j),c(i,j)，公式为：
29.a(i,j)＝x(i,j)
×
a；
30.b(i,j)＝x(i,j)
×
b；
31.c(i,j)＝x(i,j)
×
c；
32.其中，a、b、c分别表示可学习的变换矩阵；
×
表示矩阵乘法；i，j表示每个位置的坐标；
33.任取其中两个变换后的向量的点积，构建加权系数，其公式表示为：
34.根据加权系数确定编码特征图为c(i,j)*ω。
35.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，实现进
行二次识别，得到异常区域检测模型具体步骤如下：
36.根据确定的疑似异常区域，提取相应区域的眼底视网膜无赤光图像；
37.构建rgb图像对应的光谱差值矩阵，将疑似异常区域遍历，对每个像素点的光谱波长最大值均值化处理，得到rgb图像对应的光谱差值矩阵；
38.将所述光谱差值矩阵作为一个通道，为f通道，再把相对应的rgb图像3个通道与f通道进行合并，生成一个关于异常区域的4通道的融合特征图像。
39.优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换，对数据集进行随机旋转变换的具体方法是：
40.首先对数据集进行90
°
旋转变换、180
°
旋转变换、270
°
旋转变换、上下翻转变换或左右翻转变换，之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换；
41.随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。
42.另一方面，基于深度学习的眼底视网膜图像异常区域检测系统，具体步骤如下：
43.预处理模块，获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；
44.初步模型构建模块，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；
45.二次识别模块，将疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现进行二次识别，得到异常区域检测模型；
46.展示模块，输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。
47.经由上述的技术方案可知，与现有技术相比，本发明公开提供了基于深度学习的眼底视网膜图像异常区域检测方法及系统，首先，对于rgb图处理时，在yolov3模型的基础上加入位置信息和引入注意力机制，得到疑似异常区域；其次，根据疑似异常区域的rgb图像配准对应的眼底视网膜无赤光图像，精准配准减少了无用数据的计算，同时引入新的f通道对于图像中相近或相同颜色识别提高了准确率，降低了冗余数据的干扰；最后，得到眼底视网膜无赤光图像过程中的残差注意力模块既能很好地保留原始特征的特性，又能使原始特征具有绕过软掩膜分支的能力，从而直接前馈到最顶层来削弱分支的特征筛选能力，能够很容易的将模型的深度达到很深的层次，具有非常好的性能。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
49.图1为本发明的方法流程图；
50.图2为本发明的结构框图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本发明的实施例公开了一种基于深度学习的眼底视网膜图像异常区域检测方法，如图1所示，具体步骤如下：
53.获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；
54.构建异常区域检测初步模型，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；
55.将所述彩色图像输入所述异常区域检测初步模型中，得到感兴趣区域，即为疑似异常区域；
56.将所述疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现进行二次识别，得到异常区域检测模型；
57.输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。
58.需要了解的是：位置嵌入和注意力机制对模型的特征进行融合，这使模型在检测和定位当前位置的目标时，能够使用其它位置的信息作为辅助，从而综合利用当前位置与其它位置的信息。因此能够有效利用这些全局上下文信息，会使得目标检测的精度和准确度大大提升。本发明不依赖于具体的网络结构，其技术可应用于主流基于卷积神经网络的目标识别框架。
59.为了进一步优化上述技术方案，得到所述眼底视网膜无赤光图像具体步骤如下：
60.输入一幅rgb图像，并对其进行处理，得到浅层特征信息；
61.将所述浅层特征信息进入残差注意力模块中，获取深层次特征信息；其中，所述残差注意力模块在残差块部分引入掩膜分支，将局部信息与原始特征的全局信息进行融合；
62.将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息，所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块；
63.将更深层次的所述特征信息与所述浅层特征信息相加，得到新特征并输出；
64.将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系，而后得到眼底视网膜无赤光图像。
65.在本实施例中，采用一个3
×
3的大小的卷积核对所述rgb图像进行卷积处理。
66.需要了解的是：残差注意力模块是利用attention机制，在普通resnet网络中，增加侧分支，侧分支通过一系列的卷积和池化操作，逐渐提取高层特征并增大模型的感受野，高层特征的激活对应位置能够反映attention的区域，然后再对这种具有attention特征的feature map进行上采样，使其大小回到原始feature map的大小，就将attention对应到原始图片的每一个位置上，这个feature map叫做attention map，与原来的feature map进行element-wise product的操作，相当于一个权重器，增强有意义的特征，抑制无意义的信
息。
67.另外，采用了通道和空间
–
基于注意力的特征求精，在保持较小开销的情况下取得了相当大的性能提升，在深层次特征信息聚焦更为准确的特征，得到眼底视网膜无赤光图，为后续识别异常区域奠定基础。
68.为了进一步优化上述技术方案，所述残差注意力模块包括主干和软掩膜分支；主干是残差操作，软掩膜用于生成注意力因子，然后与主干的输出相乘，采用残差学习思想将主干的输出与结合注意力因子的结果相加，最终构成残差注意力模块。
69.为了进一步优化上述技术方案，最优非局域模块利用argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。
70.为了进一步优化上述技术方案，确定疑似异常区域具体步骤如下：
71.将所述彩色图像进行特征提取得到第一特征图，并引入位置信息，将所述第一特征图与所述位置信息相加得到第二特征图；
72.利用所述注意力模块对所述第二特征图每个位置进行编码；
73.将注意力模块的编码特征图与第一特征图串联，得到疑似异常区域。
74.为了进一步优化上述技术方案，利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下：
75.对所述第二特征图每一个位置的向量x(i,j)进行线性变换，得到三个不同的向量a(i,j),b(i,j),c(i,j)，公式为：
76.a(i,j)＝x(i,j)
×
a；
77.b(i,j)＝x(i,j)
×
b；
78.c(i,j)＝x(i,j)
×
c；
79.其中，a、b、c分别表示可学习的变换矩阵；
×
表示矩阵乘法；i，j表示每个位置的坐标；
80.任取其中两个变换后的向量的点积，构建加权系数，其公式表示为：
81.根据加权系数确定编码特征图为c(i,j)*ω。
82.为了进一步优化上述技术方案，实现进行二次识别，得到异常区域检测模型具体步骤如下：
83.根据确定的疑似异常区域，提取相应区域的眼底视网膜无赤光图像；
84.构建rgb图像对应的光谱差值矩阵，将疑似异常区域遍历，对每个像素点的光谱波长最大值均值化处理，得到rgb图像对应的光谱差值矩阵；
85.将所述光谱差值矩阵作为一个通道，为f通道，再把相对应的rgb图像3个通道与f通道进行合并，生成一个关于异常区域的4通道的融合特征图像。
86.本实施例中获取光谱差值矩阵的具体步骤如下：
87.每个像素点对应的光谱所有谱段的波长qi，用特征目标的波长q
fm
与其qi做差值，得到q
′i；
88.对得到的每个像素点的光谱波长差值q
′i，取其中最大的值max(qi′
)；
89.重复将图像中所有疑似异常区域的颜色相近区域遍历，对每个区域的max(q
′i′
)，
做均值化处理；然后得到关于rgb图像对应的光谱差值矩阵qf；
[0090][0091]
qf＝||q
fm-qm||；
[0092]
式中，qm表示为均值处理后得到的对应像素点的波长差值，n表示为疑似异常区域的像素点个数。
[0093]
具体地，按特征目标将光谱图像分成对应的数据，对与rgb相同的杂质的波长进行与特征目标的光谱波长进行差值计算，减少了大量的无用数据，节省二次训练的时间，同时也对无法识别的区域信息增强，提升了算法的准确性。
[0094]
为了进一步优化上述技术方案，对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换，对数据集进行随机旋转变换的具体方法是：
[0095]
首先对数据集进行90
°
旋转变换、180
°
旋转变换、270
°
旋转变换、上下翻转变换或左右翻转变换，之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换；
[0096]
随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。
[0097]
进一步，图像的旋转和翻转变换处理作为一种数据增强手段，能够有效的防止模型过拟合；因此，能够提高模型尤其是对具有较多旋转角度目标的识别精度。
[0098]
在另一实施例中，公开了一种基于深度学习的眼底视网膜图像异常区域检测系统，如图2所示，具体步骤如下：
[0099]
预处理模块，获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；
[0100]
初步模型构建模块，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；
[0101]
二次识别模块，将疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现进行二次识别，得到异常区域检测模型；
[0102]
展示模块，输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。
[0103]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0104]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，具体步骤如下：获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；构建异常区域检测初步模型，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；将所述彩色图像输入所述异常区域检测初步模型中，得到感兴趣区域，即为疑似异常区域；将所述疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现进行二次识别，得到异常区域检测模型；输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。2.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，得到所述眼底视网膜无赤光图像具体步骤如下：输入一幅rgb图像，并对其进行处理，得到浅层特征信息；将所述浅层特征信息输入残差注意力模块中，获取深层次特征信息；其中，所述残差注意力模块在残差块部分引入掩膜分支，将局部信息与原始特征的全局信息进行融合；将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息，所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块；将更深层次的所述特征信息与所述浅层特征信息相加，得到新特征并输出；将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系，而后得到眼底视网膜无赤光图像。3.根据权利要求2所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，所述残差注意力模块包括主干和软掩膜分支；主干是残差操作，软掩膜用于生成注意力因子，然后与主干的输出相乘，采用残差学习思想将主干的输出与结合注意力因子的结果相加，最终构成残差注意力模块。4.根据权利要求2所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，最优非局域模块利用argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。5.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，确定疑似异常区域具体步骤如下：将所述彩色图像进行特征提取得到第一特征图，并引入位置信息，将所述第一特征图与所述位置信息相加得到第二特征图；利用所述注意力模块对所述第二特征图每个位置进行编码；将注意力模块的编码特征图与第一特征图串联，得到疑似异常区域。6.根据权利要求5所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下：对所述第二特征图每一个位置的向量x(i,j)进行线性变换，得到三个不同的向量a(i,j),b(i,j),c(i,j)，公式为：
a(i,j)＝x(i,j)
×
a；b(i,j)＝x(i,j)
×
b；c(i,j)＝x(i,j)
×
c；其中，a、b、c分别表示可学习的变换矩阵；
×
表示矩阵乘法；i，j表示每个位置的坐标；任取其中两个变换后的向量的点积，构建加权系数，其公式表示为：根据加权系数确定编码特征图为c(i,j)*ω。7.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，实现进行二次识别，得到异常区域检测模型具体步骤如下：根据确定的疑似异常区域，提取相应区域的眼底视网膜无赤光图像；构建rgb图像对应的光谱差值矩阵，将疑似异常区域遍历，对每个像素点的光谱波长最大值均值化处理，得到rgb图像对应的光谱差值矩阵；将所述光谱差值矩阵作为一个通道，为f通道，再把相对应的rgb图像3个通道与f通道进行合并，生成一个关于异常区域的4通道的融合特征图像。8.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法，其特征在于，对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换，对数据集进行随机旋转变换的具体方法是：首先对数据集进行90
°
旋转变换、180
°
旋转变换、270
°
旋转变换、上下翻转变换或左右翻转变换，之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换；随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。9.基于深度学习的眼底视网膜图像异常区域检测系统，其特征在于，具体步骤如下：预处理模块，获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；初步模型构建模块，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；二次识别模块，将疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现进行二次识别，得到异常区域检测模型；展示模块，输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。

技术总结
本发明公开了基于深度学习的眼底视网膜图像异常区域检测方法及系统，应用于图像处理技术领域，首先，对于RGB图处理时，在YOLOv3模型的基础上加入位置信息和引入注意力机制，得到疑似异常区域；其次，根据疑似异常区域的RGB图像配准对应的眼底视网膜无赤光图像，精准配准减少了无用数据的计算，同时引入新的F通道对于图像中相近或相同颜色识别提高了准确率，降低了冗余数据的干扰；最后，得到眼底视网膜无赤光图像过程中的残差注意力模块既能很好地保留原始特征的特性，又能使原始特征具有绕过软掩膜分支的能力，从而直接前馈到最顶层来削弱分支的特征筛选能力，能够很容易的将模型的深度达到很深的层次，具有非常好的性能。具有非常好的性能。具有非常好的性能。


技术研发人员：张少冲 杨卫华 陈青山 梁子琪 林佩洁 吴星阳
受保护的技术使用者：深圳市眼科医院（深圳市眼病防治研究所）
技术研发日：2023.04.04
技术公布日：2023/7/28