基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法

1.本发明属图像语义分割技术领域，具体涉及一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法。


背景技术：

2.语义分割的目的是识别给定图像中每个像素的语义类别。全卷积神经网络(fcns)是深度学习时代的开创性研究，在fcns基础上，语义分割相关的研究可以进一步分为多个子方向，而最广泛的研究主要集中在多尺度信息的聚合上。如“deeplab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs”设计了空洞金字塔池化模块，利用空洞卷积来协同捕获和集成多尺度特征；“dual attention network for scene segmentation”提出了一种双注意力机制网络，分别对空间维度和通道维度的语义相关性进行建模，自适应集成局部特征与全局特征来实现特征聚合。大多数的语义分割任务都需要数以万计的标注数据来进行训练，并且所训练的模型只能产生关于已知类别的输出，不易扩展到未知类别的分割预测任务，这些不利的因素阻碍了语义分割的进一步发展。且大多研究只涉及自然图像的分析和处理，对于遥感图像的研究较少。由于遥感图像具有较大的类内多样性和较低的目标-背景对比度，现有的少样本分割方法并不能针对遥感图像的这一复杂特征给出很好的结果，分割遥感图像时会出现分割目标主体不完整以及无关干扰物错误激活的难点问题。


技术实现要素：

3.为了克服现有技术的不足，本发明提供一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法。设计了相应的语义分割网络，主要包括特征提取网络、渐进式解析模块和共有性蒸馏模块，其中，渐进式解析模块将支持掩码逐步解析为多个有价值的子区域，以提供更多分割对象中难处理部分的信息，可以有效地解决遥感图像存在较大类内多样性的问题；共有性蒸馏模块利用基类和新类之间的共有性提取丰富的原型表征，并通过相似度引导原型融合，能够克服图像较低的目标-背景对比度的不足。本发明能够有效改善分割遥感图像时出现的分割目标主体不完整和无关干扰物错误激活的问题，提高分割对象的召回率，抑制无关干扰因素。
4.一种基于渐进式解析和共有性蒸馏的少样本语义分割方法，其特征在于步骤如下：
5.步骤1：将公开的isaid数据集随机等分为三个子集，其中，任选两个子集作为训练数据集，另一子集作为测试数据集，数据集中包含支持图像和其支持掩码、查询图像和其查询掩码；
6.步骤2：给定一幅支持图像和一幅查询图像采用共享权重的特征提取网络分别提取得到其中间特征图fs和fq，其中，h表示图像的高度，w表示图像的宽度；所述的特征提取网络采用vgg-16网络或resnet-50网络；
7.步骤3：将支持图像的中间特征图fs和其原始支持掩码ys输入到渐进式解析模块，输出得到若干解析原型p
p
；
8.所述的渐进式解析模块的处理过程为：首先，对中间特征图进行全局平均池化处理，得到其前景区域的初始原型p0，然后，按下式迭代计算得到原型p
p
：
[0009][0010]
其中，p
p
表示第p个原型，p＝0,...,np，np为最大解析次数，取值范围为1～10；(x,y)表示图中点的空间位置，x＝1,2,
…
,w，y＝1,2,
…
,h，表示中间特征图fs中位置(x,y)处的点的值，1[
·
]为指示函数，满足条件时输出1，不满足则输出0；表示第p次解析时使用的支持掩码y
s；p
中位置(x,y)处的点的值，其中，初始时y
s；0
＝ys，当第p次解析时，将p-1次解析得到的支持原型p
p-1
和中间特征图fs进行相似性度量得到概率图，当概率图中位置(x,y)处的点的值大于阈值τ时，将第p-1次解析时使用的支持掩码y
s；p-1
中位置(x,y)处的点的值置为0，得到新的支持掩码y
s；p
，阈值τ的取值范围为0.3～0.9；
[0011]
步骤4：按照下式计算得到概率图ms：
[0012][0013]
其中，(x,y)表示图中点的空间位置，p
′
∈{0,...,np-1}为原型索引，表示概率图ms中位置(x,y)处的点的值，p
p
′
表示步骤3计算得到的第p
′
个原型，表示中间特征图fs中位置(x,y)处的点的值，||
·
||表示向量的l2范数；
[0014]
步骤5：按照下式计算得到预测掩码
[0015][0016]
其中，p
″
＝p-1表示概率图和预测掩码的索引，取值范围为1～np-1；表示第p
″
个预测掩码中位置(x,y)处的点的值；
[0017]
步骤6：按照下式计算得到新的支持掩码ys′
：
[0018][0019]
其中，表示支持掩码y
′
s；p
″
+1
中位置(x,y)处的点的值；
[0020]
步骤7：按照下式计算得到最终的支持原型ps：
[0021][0022]
其中，conv(
·
)表示1
×
1的卷积运算，表示沿通道维度的级联操作，p
p
表示步骤3计算得到的第p个原型，p＝0,...,np；
[0023]
步骤8：将支持原型ps输入到共有性蒸馏模块，输出得到若干新类原型其中，l表示新类原型索引，l∈{1,...,ns}，ns表示新类原型的数量；所述的共有性蒸馏模块包含若干服从正态分布的基类记忆单元，以和原型ps最相关的若干基类作为新类原型输出；
[0024]
步骤9：按下式对支持原型ps和所有新类原型进行加权融合，得到融合原型
[0025][0026]
其中，β融合系数一，设置为β＝0.7，α是融合系数二，设置为α＝1/ns，l＝1,...,ns；
[0027]
步骤10：将融合原型和查询图像的中间特征图fq输入到解码器网络中进行分割预测，输出得出分割掩码；所述的解码网络为具有多尺度特征聚合功能的网络；
[0028]
步骤11：将训练数据集中的支持图像、查询图像、支持掩码、查询掩码作为输入，按照如上步骤2-10对所有网络模块进行训练，得到训练好的网络，其中，训练时设定网络损失l如下：
[0029]
l＝l
seg
+ηl
ppr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0030]
其中，l
seg
为网络输出的分割掩码与查询掩码的二进制交叉熵损失，η是平衡系数，设置为η＝0.5，l
ppr
为渐进式解析正则化损失，按照下式计算得到：
[0031][0032]
其中，bce(
·
,
·
)代表二进制交叉熵损失，是沿通道维度级联运算；
[0033]
步骤12：将测试数据集中的支持图像、查询图像、支持掩码输入到训练好的网络，输出得到的分割掩码即为其语义分割结果。
[0034]
进一步地，步骤9中所述的融合原型按下式计算得到：
[0035][0036]
其中，l＝1,...,ns，α
(l)
表示第l个融合系数二，按下式计算：
[0037][0038]
其中，w(
l
)表示新类原型的第l个融合权重，按下式计算：
[0039][0040]
其中，λ0＝2、λ1＝1、γ0＝5和γ1＝5均为常数，表示第l个新类原型与支持原型ps的相似度，表示第l个新类原型与查询图像的中间特征图fq的相似度。
[0041]
本发明的有益效果是：由于采用了将支持掩码逐步解析为多个有价值的子区域的方式，能够提供更多分割对象中难处理部分的信息，可以有效地解决遥感图像存在较大类
内多样性的问题；利用基类和新类之间的共有性提取丰富的原型表征，并通过相似度引导原型融合的处理过程，能够克服图像较低的目标-背景对比度的不足；本发明可以有效改善地分割遥感图像时出现的分割目标主体不完整和无关干扰物错误激活的问题，提高分割对象的召回率，抑制无关干扰因素，为改善现有少样本分割模型对遥感图像分割不理想的问题提供了更有效的解决方案，展现出很好的应用前景和潜力。
附图说明
[0042]
图1是本发明的基于渐进式解析和共有性蒸馏的少样本遥感图像语义分割网络处理过程示意图。
具体实施方式
[0043]
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
[0044]
本发明提供了一种基于渐进式解析和共有性蒸馏的少样本语义分割方法，其具体实现过程如下：
[0045]
1、数据集准备
[0046]
本发明基于公开的isaid数据集构建基准数据集，该数据集包括2806张高分辨率图像中15个地理空间类别的655451个精细注释对象实例，将isaid数据集随机等分为三个子集，其中，任选两个子集作为训练数据集，另一子集作为测试数据集，数据集中包含支持图像和其支持掩码、查询图像和其查询掩码。
[0047]
2、网络构建
[0048]
本发明构建了一个基于渐进式解析和共有性蒸馏的少样本遥感图像语义分割网络，主要包括骨干网络(特征提取网络)、渐进式解析模块和共有性蒸馏模块三部分，如图1所示，其具体处理过程如下：
[0049]
(1)给定一幅支持图像和一幅查询图像采用共享权重的骨干网络，即特征提取网络分别提取得到其中间特征图fs和fq，其中，h表示图像的高度，w表示图像的宽度；所述的特征提取网络采用vgg-16网络或resnet-50网络。
[0050]
(2)将支持图像的中间特征图fs和其原始支持掩码ys输入到渐进式解析模块，输出得到若干解析原型p
p
。
[0051]
所述的渐进式解析模块的处理过程为：首先，在解析开始(t0)之前，对中间特征图进行全局平均池化处理，得到其前景区域的初始原型p0，在解析过程中评估原型与支持特征的余弦相似度，基于预设阈值τ和先前解析的掩码，进一步挖掘出概率图中欠分割的区域，使用新获得的具有相应特征的掩码进行下一次解析，直到达到最大解析数np(t
np
)为止，最终得到p
np
。如上迭代计算原型p
p
的过程可以用公式具体表示如下：
[0052][0053]
其中，p
p
表示第p个原型，p＝0,...,np，np为最大解析次数，取值范围为1～10；(x,
y)表示图中点的空间位置，x＝1,2,
…
,w，y＝1,2,
…
,h，表示中间特征图fs中位置(x,y)处的点的值，1[
·
]为指示函数，满足条件时输出1，不满足则输出0；表示第p次解析时使用的支持掩码y
s；p
中位置(x,y)处的点的值，其中，初始时y
s；0
＝ys，当第p次解析时，将p-1次解析得到的支持原型p
p-1
和中间特征图fs进行相似性度量得到概率图，当概率图中位置(x,y)处的点的值大于阈值τ时，将第p-1次解析时使用的支持掩码y
s；p-1
中位置(x,y)处的点的值置为0，得到新的支持掩码y
s；p
，阈值τ的取值范围为0.3～0.9。
[0054]
(3)按照下式计算得到概率图ms：
[0055][0056]
其中，(x,y)表示图中点的空间位置，p
′
∈{0,...,np-1}为原型索引，表示概率图ms中位置(x,y)处的点的值，p
p
′
表示步骤3计算得到的第p
′
个原型，表示中间特征图fs中位置(x,y)处的点的值，||
·
||表示向量的l2范数。
[0057]
(4)按照下式计算得到预测掩码
[0058][0059]
其中，p
″
＝p-1表示概率图和预测掩码的索引，取值范围为1～np-1；表示第p
″
个预测掩码中位置(x,y)处的点的值。
[0060]
(5)按照下式计算得到新的支持掩码y
′s：
[0061][0062]
其中，表示支持掩码y
′
s；p
″
+1
中位置(x,y)处的点的值。
[0063]
(6)在解析流程完全执行后，考虑到解析生成的所有原型都是对于不易处理部件的局部描述，表现了支持图像的部分特征，本发明进一步将所有解析得到的原型{p1,...,p
np
}和整体的初始原型p0通过级联和卷积操作进行整合，产生更具鉴别性的类别描述符，即按照下式计算得到最终的支持原型ps：
[0064][0065]
其中，conv(
·
)表示1
×
1的卷积运算，表示沿通道维度的级联操作，p
p
表示步骤3计算得到的第p个原型，p＝0,...,np。
[0066]
(7)共有性蒸馏模块存储一定数量的基类记忆单元假定每个基类的记忆单元服从正态分布其中μi和σi分别表示平均值和标准差，考虑到少样本范式下新类表征的不完整性和遥感图像的类内多样性，本发明使用与支持原型最相关的基类进行原型采样。
[0067]
将支持原型ps输入到共有性蒸馏模块，以和原型ps最相关的若干基类作为新类原
型输出，记为新类原型其中，l表示新类原型索引，l∈{1,...,ns}，ns表示新类原型的数量。该过程可以用公式表示为：
[0068][0069]
其中，＊∈{1,...,nb}表示所选择的基类的索引，该类的标准差被用来构造新类的正态分布μn代表新类的均值，通过这种方式将在大量带标注样本上获得的基类知识转移到新类中，为少样本设置中棘手的分割任务提供多个鲁棒表征
[0070]
(8)随后，对于渐进式解析模块输出的支持原型ps和共有性蒸馏模块提炼的新类原型基于下式进行加权融合，得到融合原型
[0071][0072]
其中，β融合系数一，设置为β＝0.7，α是融合系数二，可以设置为固定值，即α＝1/ns，l＝1,...,ns，也可以如下自适应确定：
[0073][0074]
其中，l＝1,...,ns，α
(l)
表示第l个融合系数二，按下式计算：
[0075][0076]
其中，w(
l
)表示新类原型的第l个融合权重，按下式计算：
[0077][0078]
其中，λ0＝2、λ1＝1、γ0＝5和γ1＝5均为常数，表示第l个新类原型与支持原型ps的相似度，表示第l个新类原型与查询图像的中间特征图fq的相似度。
[0079]
(9)最后，将融合原型和查询图像的中间特征图fq输入到解码器网络中进行分割预测，输出得出分割掩码；所述的解码网络为具有多尺度特征聚合功能的网络。
[0080]
3、网络训练
[0081]
将训练数据集中的支持图像、查询图像、支持掩码、查询掩码作为输入，按照如上步骤2-10对所有网络模块进行训练，得到训练好的网络。
[0082]
为了提高掩码解析过程的有效性并促进生成更具代表性的局部描述符，本发明对渐进式解析模块施加了一个额外的分割约束，即渐进式解析正则化(progressive parsing regularization,ppr)损失，按下式计算得到：
[0083][0084]
其中，bce(
·
,
·
)代表二进制交叉熵损失，是沿通道维度级联运算；
[0085]
训练时网络总损失l如下：
[0086]
l＝l
seg
+ηl
ppr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0087]
其中，l
seg
为网络输出的分割掩码与查询掩码的二进制交叉熵损失，η是平衡系数，设置为η＝0.5。
[0088]
4、网络推理
[0089]
将测试数据集中的支持图像、查询图像、支持掩码输入到训练好的网络，输出得到的分割掩码即为其语义分割结果。

技术特征：
1.一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法，其特征在于步骤如下：步骤1：将公开的isaid数据集随机等分为三个子集，其中，任选两个子集作为训练数据集，另一子集作为测试数据集，数据集中包含支持图像和其支持掩码、查询图像和其查询掩码；步骤2：给定一幅支持图像和一幅查询图像采用共享权重的特征提取网络分别提取得到其中间特征图f
s
和f
q
，其中，h表示图像的高度，w表示图像的宽度；所述的特征提取网络采用vgg-16网络或resnet-50网络；步骤3：将支持图像的中间特征图f
s
和其原始支持掩码y
s
输入到渐进式解析模块，输出得到若干解析原型p
p
；所述的渐进式解析模块的处理过程为：首先，对中间特征图进行全局平均池化处理，得到其前景区域的初始原型p0，然后，按下式迭代计算得到原型p
p
：其中，p
p
表示第p个原型，p＝0,...,np，np为最大解析次数，取值范围为1～10；(x,y)表示图中点的空间位置，x＝1,2,
…
,w，y＝1,2,
…
,h，表示中间特征图f
s
中位置(x,y)处的点的值，1[
·
]为指示函数，满足条件时输出1，不满足则输出0；表示第p次解析时使用的支持掩码y
s；p
中位置(x,y)处的点的值，其中，初始时y
s；0
＝y
s
，当第p次解析时，将p-1次解析得到的支持原型p
p-1
和中间特征图f
s
进行相似性度量得到概率图，当概率图中位置(x,y)处的点的值大于阈值τ时，将第p-1次解析时使用的支持掩码y
s；p-1
中位置(x,y)处的点的值置为0，得到新的支持掩码y
s；p
，阈值τ的取值范围为0.3～0.9；步骤4：按照下式计算得到概率图m
s
：其中，(x,y)表示图中点的空间位置，p
′
∈{0,...,np-1}为原型索引，表示概率图m
s
中位置(x,y)处的点的值，p
p
′
表示步骤3计算得到的第p
′
个原型，表示中间特征图f
s
中位置(x,y)处的点的值，||
·
||表示向量的l2范数；步骤5：按照下式计算得到预测掩码步骤5：按照下式计算得到预测掩码其中，p
″
＝p-1表示概率图和预测掩码的索引，取值范围为1～np-1；表示第p
″
个预测掩码中位置(x,y)处的点的值；步骤6：按照下式计算得到新的支持掩码y
s
′
：
其中，表示支持掩码y
′
s；p
″
+1
中位置(x,y)处的点的值；步骤7：按照下式计算得到最终的支持原型p
s
：其中，conv(
·
)表示1
×
1的卷积运算，表示沿通道维度的级联操作，p
p
表示步骤3计算得到的第p个原型，p＝0,...,np；步骤8：将支持原型p
s
输入到共有性蒸馏模块，输出得到若干新类原型其中，l表示新类原型索引，l∈{1,...,ns}，ns表示新类原型的数量；所述的共有性蒸馏模块包含若干服从正态分布的基类记忆单元，以和原型p
s
最相关的若干基类作为新类原型输出；步骤9：按下式对支持原型p
s
和所有新类原型进行加权融合，得到融合原型进行加权融合，得到融合原型其中，β融合系数一，设置为β＝0.7，α是融合系数二，设置为α＝1/ns，l＝1,...,ns；步骤10：将融合原型和查询图像的中间特征图f
q
输入到解码器网络中进行分割预测，输出得出分割掩码；所述的解码网络为具有多尺度特征聚合功能的网络；步骤11：将训练数据集中的支持图像、查询图像、支持掩码、查询掩码作为输入，按照如上步骤2-10对所有网络模块进行训练，得到训练好的网络，其中，训练时设定网络损失l如下：l＝l
seg
+ηl
ppr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，l
seg
为网络输出的分割掩码与查询掩码的二进制交叉熵损失，η是平衡系数，设置为η＝0.5，l
ppr
为渐进式解析正则化损失，按照下式计算得到：其中，bce(
·
,
·
)代表二进制交叉熵损失，是沿通道维度级联运算；步骤12：将测试数据集中的支持图像、查询图像、支持掩码输入到训练好的网络，输出得到的分割掩码即为其语义分割结果。2.如权利要求1所述的一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法，其特征在于：步骤9中所述的融合原型按下式计算得到：其中，l＝1,...,ns，α
(l)
表示第l个融合系数二，按下式计算：其中，w
(l)
表示新类原型的第l个融合权重，按下式计算：
其中，λ0＝2、λ1＝1、γ0＝5和γ1＝5均为常数，表示第l个新类原型与支持原型p
s
的相似度，表示第l个新类原型与查询图像的中间特征图f
q
的相似度。

技术总结
本发明提供了一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法。设计了相应的语义分割网络，主要包括特征提取网络、渐进式解析模块和共有性蒸馏模块，其中，渐进式解析模块将支持掩码逐步解析为多个有价值的子区域，以提供更多分割对象中难处理部分的信息，可以有效地解决遥感图像存在较大类内多样性的问题；共有性蒸馏模块利用基类和新类之间的共有性提取丰富的原型表征，并通过相似度引导原型融合，能够克服图像较低的目标-背景对比度的不足。本发明能够有效改善分割遥感图像时出现的分割目标主体不完整和无关干扰物错误激活的问题，提高分割对象的召回率，抑制无关干扰因素。关干扰因素。关干扰因素。


技术研发人员：程塨 郎春博 王俊逸 屠斌飞 闵令通 韩军伟
受保护的技术使用者：西北工业大学
技术研发日：2023.05.26
技术公布日：2023/9/12