一种基于空间频域的无监督深度多尺度SAR图像变化检测方法

一种基于空间频域的无监督深度多尺度sar图像变化检测方法
技术领域
1.本发明属于遥感图像处理技术领域，具体涉及合成孔径雷达(synthetic aperture radar,sar)图像变化检测的方法，特别是涉及一种基于空间频域的无监督深度多尺度sar图像变化检测方法。


背景技术：

2.遥感图像变化检测是通过对不同时间同一场景的遥感图像进行分析获得变化信息的过程。合成孔径雷达(sar)作为遥感技术之一，由于其微波成像原理，在成像过程中不受阳光、云层和天气的影响，为变化检测提供了独特的优势。然而，由于sar成像系统基本单元的随机后向散射使相位角失去连续性，导致sar图像中存在散斑噪声。这些固有的散斑噪声使检测技术难以准确的检测出变化区域。
3.传统的检测技术采用阈值分割和聚类作为获取变化信息的主要方法，但阈值的微小变动会导致结果出现较大的误差使检测精度较差，而聚类方法对噪声比较敏感，sar图像中固有的散斑噪声降低了聚类方法的检测精度。随着深度学习的不断发展，基于深度学习的方法不断应用于sar图像变化检测，例如：深度置信网络、卷积学习网络等。但基于深度学习的检测方法通常需要大量的训练样本。在缺少人工标签或检测地区标签难以获得的情况下，基于深度学习的检测方法很难发挥出最佳的检测水平。因此，标签的不足和散斑噪声的干扰是sar图像变化检测面临的两个重要挑战。


技术实现要素：

4.本发明目的是为了解决标签不足和散斑噪声干扰的问题，提出了一种基于空间频域的无监督深度多尺度sar图像变化检测方法，以提高sar图像变化检测的检测精度。
5.本发明是通过以下技术方案实现的，本发明提出一种基于空间频域的无监督深度多尺度sar图像变化检测方法，所述方法包括：
6.步骤1：对已获得的同一地区不同时间的两幅sar图像i1和i2进行对数比操作，得到差异图像id；
7.步骤2：利用伪标签生成器对差异图像id进行伪标签提取，以此构建训练和测试数据集；
8.步骤3：将生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；
9.步骤4：计算交叉熵损失，进行反向传播；
10.步骤5：将测试数据集输入到训练后的无监督深度多尺度网络中，对测试数据集中的像素点进行标签预测；
11.步骤6：将获得的预测标签与训练数据集中的伪标签进行结合获得最终关于输入地区的变化信息。
12.进一步地，在步骤1中，对数比操作的计算过程为：
[0013][0014]
其中log代表以e为底的对数运算，|
·
|代表进行绝对值运算。
[0015]
进一步地，所述步骤2具体为：
[0016]
步骤2.1：对差异图像id进行分层模糊c均值聚类，将差异图像id中的像素划分为3个类别，即变化类、不变类与不确定类；像素点对应的类别信息即为该像素点的伪标签；
[0017]
步骤2.2：从变化类和不变类中选取部分像素点，以选中像素点为中心从两幅输入sar图像i1、i2和差异图像id中分别提取r
×
r大小的图像块并进行拼接，将拼接后的图像块与图像块中心像素点的伪标签共同作为训练数据集；
[0018]
步骤2.3：以不确定类中的像素为中心，从两幅输入sar图像i1、i2和差异图像id中分别提取r
×
r大小的图像块并进行拼接构成测试数据集。
[0019]
进一步地，所述的空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。
[0020]
进一步地，所述步骤3具体为：
[0021]
步骤3.1：对输入数据进行卷积升维操作；
[0022]
对输入执行卷积操作，其卷积核的大小为n
×1×
1，得到尺寸为n
×r×
r大小的卷积特征；
[0023]
步骤3.2：对特征进行多区域选择；
[0024]
将得到的特征分为p1、p2和p3三个部分，每个部分尺寸大小均为
[0025]
选取p1的水平区域，即忽略p1水平上方和下方的边缘区域，保留p1的水平中心区域得到尺寸大小为的水平区域；
[0026]
选取p2的垂直区域，即忽略p2垂直方向上左侧和右侧的边缘区域，保留p2的垂直中心区域得到尺寸大小为的垂直区域；
[0027]
保留p3完整区域得到尺寸大小为的全区域；
[0028]
步骤3.3：进行深层多尺度特征提取；
[0029]
步骤3.4：将生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；
[0030]
其中一个门控线性单元计算过程为：
[0031][0032]
其中d
l
是第l个门控线性单元的输出，x
l
是第l个门控线性单元的输入，w1和w2是权重矩阵，a和b是偏置；
[0033]
步骤3.5：将获得的最终的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签。
[0034]
进一步地，所述步骤3.3具体为：
[0035]
步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为的卷积核进行卷积，分别得到第一层水平特征第一层垂直特征和第一层全区域特征
[0036]
步骤3.3.2：将第一层水平特征和第一层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第一层填充水平特征和第一层填充垂直特征将第一层全区域特征通过通道-空间注意力机制后得到第一层关键特征将第一层填充水平特征第一层填充垂直特征和第一层关键特征进行相加得到第一层空间特征f1；
[0037]
第一层空间特征f1计算过程为：
[0038][0039]
步骤3.3.3：将得到的第一层空间特征f1再次进行多区域选择；
[0040]
步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k2＞k1，分别得到第二层水平特征第二层垂直特征和第二层全区域特征
[0041]
步骤3.3.5：将第二层水平特征和第二层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第二层填充水平特征和第二层填充垂直特征将第二层全区域特征通过通道-空间注意力机制后得到第二层关键特征将第二层填充水平特征第二层填充垂直特征和第二层关键特征进行相加得到第二层空间特征f2；
[0042]
第二层空间特征f2计算过程为：
[0043][0044]
步骤3.3.6：将得到的第二层空间特征f2进行多区域选择；
[0045]
步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k3＞k2，分别得到第三层水平特征第三层垂直特征和第三层全区域特征
[0046]
步骤3.3.8：将第三层水平特征和第三层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第三层填充水平特征和第三层填充垂直特征将第三层全区域特征通过通道-空间注意力机制后得到第三层关键特征将第三层填充水平特征第三层填充垂直特征和第三层关键特征进行相加得到第三层空间特征f3；
[0047]
第三层空间特征f3计算过程为：
[0048][0049]
步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；
[0050]
将步骤3.3.5和步骤3.3.8得到的第二层空间特征f2与第三层空间特征f3执行转置卷积操作，分别得到大小为和的特征；将尺寸为的特征通过零元素将其填充为尺寸为的特征；最后将步骤3.3.2的第一层空间特征f1和步骤3.3.9中尺寸均为的特征进行拼接后进行卷积运算，得到最终的空间特征。
[0051]
进一步地，所述交叉熵损失函数计算过程如下：
[0052][0053]
其中li是第i个样本通过为标签生成器获得的伪标签，pi是第i个样本的预测标签，t1是训练样本的数量。
[0054]
进一步地，步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：
[0055]
将获得的第l层特征分别通过全局平均池化和全局最大池化得到平滑特征和尖锐特征再此之后将平滑特征和尖锐特征分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射mc；
[0056]
通道注意力映射mc的计算过程为：
[0057][0058]
其中σ表示sigmoid函数，mlp(
·
)表示多层感知机，avg(
·
)表示平均池化层，max(
·
)表示最大池化层；
[0059]
将得到的通道注意力映射mc与获得的第l层全区域特征逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征
[0060]
第l层通道加权特征计算过程为：
[0061][0062]
其中表示逐元素相乘；
[0063]
将得到的第l层通道加权特征沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征和空间尖锐特征并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射ms；
[0064]
空间注意力映射ms的计算过程为：
[0065][0066]
其中[；]表示通道串联；
[0067]
将得到的空间注意力映射ms与第l层通道加权特征逐元素相乘得到第l层关键特征
[0068]
第l层关键特征计算过程为：
[0069][0070]
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于空间频域的无监督深度多尺度sar图像变化检测方法的步骤。
[0071]
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于空间频域的无监督深度多尺度sar图像变化检测方法的步骤。
[0072]
与现有技术相比，本发明的有益效果是：
[0073]
1、通过分层模糊c均值聚类对根据检测地区sar图像生成的差异图像进行伪标签提取，解决了标签不足的问题。让sar图像变化检测的方法适用于更多场景。
[0074]
2、本发明利用输入sar图像的空间信息和频域信息，并提出了空间多区域多尺度深层特征提取，以这种方式捕获到的图像特征更利于检测。
[0075]
3、本发明分别在空间域和频域引入注意力机制和门控线性单元，以此来提高本发明对变化细节的灵敏程度并且降低sar图像固有散斑噪声的影响，提高检测精度。
附图说明
[0076]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0077]
图1是本发明所述一种基于空间频域的无监督深度多尺度sar图像变化检测方法的流程框图。
[0078]
图2是本发明图像处理过程的示意图。
[0079]
图3是通道-空间注意力机制的示意图。
[0080]
图4是本发明输入数据的示意图。
[0081]
图5是本发明与现有方法的效果比较图。
具体实施方式
[0082]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0083]
本发明提出一种基于空间频域的无监督深度多尺度sar图像变化检测方法，所述方法包括：
[0084]
步骤1：对已获得的同一地区不同时间的两幅sar图像i1和i2进行对数比操作，得到
差异图像id；
[0085]
步骤2：利用伪标签生成器对差异图像id进行伪标签提取，以此构建训练和测试数据集；
[0086]
步骤3：将生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；
[0087]
步骤4：计算交叉熵损失，进行反向传播；
[0088]
步骤5：将测试数据集输入到训练后的无监督深度多尺度网络中，对测试数据集中的像素点进行标签预测；
[0089]
步骤6：将获得的预测标签与训练数据集中的伪标签进行结合获得最终关于输入地区的变化信息。
[0090]
在步骤1中，对数比操作的计算过程为：
[0091][0092]
其中log代表以e为底的对数运算，|
·
|代表进行绝对值运算。
[0093]
所述步骤2具体为：
[0094]
步骤2.1：对差异图像id进行分层模糊c均值聚类，将差异图像id中的像素划分为3个类别，即变化类、不变类与不确定类；像素点对应的类别信息即为该像素点的伪标签；
[0095]
步骤2.2：从变化类和不变类中选取部分像素点，以选中像素点为中心从两幅输入sar图像i1、i2和差异图像id中分别提取r
×
r大小的图像块并进行拼接，将拼接后的图像块与图像块中心像素点的伪标签共同作为训练数据集；
[0096]
步骤2.3：以不确定类中的像素为中心，从两幅输入sar图像i1、i2和差异图像id中分别提取r
×
r大小的图像块并进行拼接构成测试数据集。
[0097]
所述的空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。
[0098]
所述步骤3具体为：
[0099]
步骤3.1：对输入数据进行卷积升维操作；
[0100]
对输入执行卷积操作，其卷积核的大小为n
×1×
1，得到尺寸为n
×r×
r大小的卷积特征；
[0101]
步骤3.2：对特征进行多区域选择；
[0102]
将得到的特征分为p1、p2和p3三个部分，每个部分尺寸大小均为
[0103]
选取p1的水平区域，即忽略p1水平上方和下方的边缘区域，保留p1的水平中心区域得到尺寸大小为的水平区域；
[0104]
选取p2的垂直区域，即忽略p2垂直方向上左侧和右侧的边缘区域，保留p2的垂直中心区域得到尺寸大小为的垂直区域；
[0105]
保留p3完整区域得到尺寸大小为的全区域；
[0106]
步骤3.3：进行深层多尺度特征提取；
[0107]
步骤3.4：将生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；
[0108]
其中一个门控线性单元计算过程为：
[0109][0110]
其中d
l
是第l个门控线性单元的输出，x
l
是第l个门控线性单元的输入，w1和w2是权重矩阵，a和b是偏置；
[0111]
步骤3.5：将获得的最终的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签。
[0112]
所述步骤3.3具体为：
[0113]
步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为的卷积核进行卷积，分别得到第一层水平特征第一层垂直特征和第一层全区域特征
[0114]
步骤3.3.2：将第一层水平特征和第一层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第一层填充水平特征和第一层填充垂直特征将第一层全区域特征通过通道-空间注意力机制后得到第一层关键特征将第一层填充水平特征第一层填充垂直特征和第一层关键特征进行相加得到第一层空间特征f1；
[0115]
第一层空间特征f1计算过程为：
[0116][0117]
步骤3.3.3：将得到的第一层空间特征f1再次进行多区域选择；
[0118]
步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k2＞k1，分别得到第二层水平特征第二层垂直特征和第二层全区域特征
[0119]
步骤3.3.5：将第二层水平特征和第二层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第二层填充水平特征和第二层填充垂直特征将第二层全区域特征通过通道-空间注意力机制后得到第二层关键特征将第二层填充水平特征第二层填充垂直特征和第二层关键特征进行相加得到第二层空间特征f2；
[0120]
第二层空间特征f2计算过程为：
[0121][0122]
步骤3.3.6：将得到的第二层空间特征f2进行多区域选择；
[0123]
步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k3＞k2，分别得到第三层水平特征第三层垂直特征和第三层全区域特征
[0124]
步骤3.3.8：将第三层水平特征和第三层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第三层填充水平特征和第三层填充垂直特征将第三层全区域特征通过通道-空间注意力机制后得到第三层关键特征将第三层填充水平特征第三层填充垂直特征和第三层关键特征进行相加得到第三层空间特征f3；
[0125]
第三层空间特征f3计算过程为：
[0126][0127]
步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；
[0128]
将步骤3.3.5和步骤3.3.8得到的第二层空间特征f2与第三层空间特征f3执行转置卷积操作，分别得到大小为和的特征；将尺寸为的特征通过零元素将其填充为尺寸为的特征；最后将步骤3.3.2的第一层空间特征f1和步骤3.3.9中尺寸均为的特征进行拼接后进行卷积运算，得到最终的空间特征。
[0129]
所述交叉熵损失函数计算过程如下：
[0130][0131]
其中li是第i个样本通过为标签生成器获得的伪标签，pi是第i个样本预测标签，t1是训练样本的数量。
[0132]
步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：
[0133]
将获得的第l层特征分别通过全局平均池化和全局最大池化得到平滑特征和尖锐特征再此之后将平滑特征和尖锐特征分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射mc；
[0134]
通道注意力映射mc的计算过程为：
[0135][0136]
其中σ表示sigmoid函数，mlp(
·
)表示多层感知机，avg(
·
)表示平均池化层，max(
·
)表示最大池化层；
[0137]
将得到的通道注意力映射mc与获得的第l层全区域特征逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征
[0138]
第l层通道加权特征计算过程为：
[0139][0140]
其中表示逐元素相乘；
[0141]
将得到的第l层通道加权特征沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征和空间尖锐特征并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射ms；
[0142]
空间注意力映射ms的计算过程为：
[0143][0144]
其中[；]表示通道串联；
[0145]
将得到的空间注意力映射ms与第l层通道加权特征逐元素相乘得到第l层关键特征
[0146]
第l层关键特征计算过程为：
[0147][0148]
以下是结合具体实例，对本发明进行了详细说明。
[0149]
本发明提出一种基于空间频域的无监督深度多尺度sar图像变化检测方法，所述方法包括：
[0150]
步骤1：对已获得的同一地区不同时间的两幅sar图像i1和i2进行对数比操作，得到差异图像id；
[0151]
对数比操作的计算过程为：
[0152][0153]
其中log代表以e为底的对数运算，|
·
|代表进行绝对值运算；
[0154]
步骤2：利用伪标签生成器对差异图像id进行伪标签提取，以此构建训练和测试数据集；
[0155]
步骤2.1：对差异图像id进行分层模糊c均值聚类，将差异图像id中的像素划分为3个类别，即变化类、不变类与不确定类。像素点对应的类别信息即为该像素点的伪标签；
[0156]
步骤2.2：从全部变化类像素点中选取三分之一的像素点，从全部不变类像素点中选取十分之一的像素点，以选中像素点为中心从两幅输入sar图像i1、i2和差异图像id中提取15
×
15大小的图像块并进行拼接组成大小为的3
×
15
×
15图像块。将拼接后的图像块与图像块中心像素点的伪标签作为训练数据集；
[0157]
步骤2.3：以不确定类中的像素为中心，从两幅输入sar图像i1、i2和差异图像id中提取15
×
15大小的图像块并进行拼接组成大小为3
×
15
×
15的图像块构成测试数据集；
[0158]
步骤3：将步骤2.2中生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；
[0159]
所提出空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到
其对应的像素类别。
[0160]
步骤3.1：对输入数据进行卷积升维操作；
[0161]
对输入执行卷积操作，其卷积核的大小为15
×1×
1。得到尺寸为15
×
15
×
15大小的卷积特征。
[0162]
步骤3.2：对特征进行进行多区域选择；
[0163]
将得到的特征分为p1、p2和p3三个部分，每个部分尺寸大小均为5
×
15
×
15；
[0164]
选取p1的水平区域，即忽略p1水平上方和下方的边缘区域，保留p1的水平中心区域得到尺寸大小为5
×3×
15的水平区域；
[0165]
选取p2的垂直区域，即忽略p2垂直方向上左侧和右侧的边缘区域，保留p2的垂直中心区域得到尺寸大小为5
×
15
×
3的垂直区域；
[0166]
保留p3完整区域得到尺寸大小为5
×
15
×
15的全区域；
[0167]
步骤3.3：进行深层多尺度特征提取；
[0168]
步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为5
×3×
3的卷积核进行卷积，分别得到第一层水平特征第一层垂直特征和第一层全区域特征
[0169]
步骤3.3.2：将第一层水平特征第一层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为5
×
15
×
15的第一层填充水平特征和第一层填充垂直特征将第一层全区域特征通过通道-空间注意力机制后得到第一层关键特征将第一层填充水平特征和第一层填充垂直特征和第一层关键特征进行相加得到第一层空间特征f1；
[0170]
第一层空间特征f1计算过程为：
[0171][0172]
步骤3.3.3：将步骤3.3.2中得到的第一层空间特征f1按照步骤3.2所示，再次进行多区域选择；
[0173]
步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为5
×5×
5的卷积核进行卷积，分别得到第二层水平特征第二层垂直特征和第二层全区域特征
[0174]
步骤3.3.5：将第二层水平特征第二层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为5
×
13
×
13的第二层填充水平特征和第二层填充垂直特征将第二层全区域特征通过通道-空间注意力机制后得到第二层关键特征将第二层填充水平特征和第二层填充垂直特征和第二层关键特征进行相加得到第二层空间特征f2；
[0175]
第二层空间特征f2计算过程为：
[0176][0177]
步骤3.3.6：将步骤3.3.5得到的第二层空间特征按照步骤3.2所示进行多区域选
择；
[0178]
步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为5
×7×
7的卷积核进行卷积，分别得到第三层水平特征第三层垂直特征和第三层全区域特征
[0179]
步骤3.3.8：将第三层水平特征第三层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为5
×9×
9的第三层填充水平特征和第三层填充垂直特征将第三层全区域特征通过通道-空间注意力机制后得到第三层关键特征将第三层填充水平特征和第三层填充垂直特征和第三层关键特征进行相加得到第三层空间特征f3；
[0180]
第三层空间特征f3计算过程为：
[0181][0182]
步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；
[0183]
将步骤3.3.5和步骤3.3.8得到的第二层空间特征f2第三层空间特征f3执行转置卷积操作分别得到大小为5
×
15
×
15和5
×
13
×
13的特征。将尺寸为5
×
13
×
13的特征通过零元素将其填充为尺寸为5
×
15
×
15的特征。最后将步骤3.3.2的第一层空间特征f1和步骤3.3.9中尺寸均为5
×
15
×
15的特征进行拼接后进行卷积运算，得到最终的空间特征；
[0184]
步骤3.4：将步骤2.2中生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；
[0185]
其中一个门控线性单元计算过程为：
[0186][0187]
其中d
l
是第l个门控线性单元的输出，x
l
是第l个门控线性单元的输入，w1和w2是权重矩阵，a和b是偏置。
[0188]
步骤3.5：将步骤3.3.9和步骤3.4获得的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签；
[0189]
步骤4：计算交叉熵损失，进行反向传播；
[0190]
交叉熵损失函数计算过程如下：
[0191][0192]
其中li是第i个样本通过为标签生成器获得的伪标签，pi是第i个样本预测标签，t1是训练样本的数量。
[0193]
步骤5：将经过步骤3之后的网络中输入步骤2.3的测试数据集，依照步骤3中的过程对测试数据集中的像素点进行标签预测；
[0194]
步骤6：将步骤5获得的预测标签与步骤2.2中训练数据集中的伪标签进行结合获得最终的关于输入地区的变化信息。
[0195]
步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：
[0196]
将获得的第l层特征分别通过全局平均池化和全局最大池化得到平滑特征
from synthetic aperture radar images based on neighborhood-based ratio and extreme learning machine”提出的。dual-domain network(简称为ddnet)是由文章”change detection in synthetic aperture radar images using a dual-domain network”提出的。layer attention-based noise-tolerant network(简称为lantnet)是由文章”synthetic aperture radar image change detection via layer attention-based noise-tolerant network”提出的。图5中黑色像素点代表实际没变化检测为没变化的像素点，白色像素点代表实际变化检测为变化的像素点，红色代表实际没变化检测为变化的像素点，绿色代表实际变化检测为未变化的像素点。从图5中可以看出，本发明在四个数据集上误检像素点(红色和绿色像素点)均少于其他方法，能够更精确的提取到图像中的变化信息。
[0214]
从图5的前6列可以看出对于图像变化边界处，本发明绿色像素点较少，对于未变化变化区域，本发明的红色像素点少于其他算法，说明本发明能够更好的捕获变化细节，降低噪声对检测的干扰，提高检测精度。
[0215]
本发明通过假阳性(fp)、假阴性(fn)、总误检数(oe)、分类准确率(pcc)和kappa系数(kc)在客观评价指标上与其他方法的对比，评价指标具体含义如下：
[0216]
假阳性(fp)：实际未发生变化但检测为变化的像素点个数；
[0217]
假阴性(fn)：实际发生变化但检测为未变化的像素点个数；
[0218]
总误检数(oe)：总共错检的像素点数；
[0219]
oe＝fp+fn
[0220]
分类准确率(pcc)：总体正确检测数与总像素数的比值
[0221][0222]
其中tp表示实际发生变化检测为变化的像素点个数，tn为实际未发生变化检测为未发生变化的像素点个数。
[0223]
kappa系数(kc)：衡量检测结果与真实值的一致性
[0224][0225]
其中
[0226]
其中n为像素总数。
[0227]
可以通过的oe的大小判断检测结果中错误检测的像素点数的多少，较低的oe、较高的pcc和kc可以说明检测的准确度较高。表1、表2、表3和表4分别列出了本发明在四组不同数据集上与上述对比方法的检测结果。
[0228]
表1本发明与其他对比方法在ottawa数据集上的检测结果
[0229]
[0230][0231]
表2本发明与其他对比方法在sulzberger数据集上的检测结果
[0232][0233]
表3本发明与其他对比方法在黄河c数据集上的检测结果
[0234][0235]
表4本发明与其他对比方法在黄河d数据集上的检测结果
[0236]
[0237][0238]
综上所述，本发明可以在不同场景下检测出变化区域，并且检测结果优于其他算法，实现对sar图像变化区域的检测，且具有较好的检测精度。
[0239]
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于空间频域的无监督深度多尺度sar图像变化检测方法的步骤。
[0240]
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于空间频域的无监督深度多尺度sar图像变化检测方法的步骤。
[0241]
本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0242]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd))、或者半导体介质(例如，固态硬盘(solid state disc，ssd))等。
[0243]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成
熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0244]
应注意，本技术实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0245]
以上对本发明所提出的一种基于空间频域的无监督深度多尺度sar图像变化检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于空间频域的无监督深度多尺度sar图像变化检测方法，其特征在于：所述方法包括：步骤1：对已获得的同一地区不同时间的两幅sar图像i1和i2进行对数比操作，得到差异图像i
d
；步骤2：利用伪标签生成器对差异图像i
d
进行伪标签提取，以此构建训练和测试数据集；步骤3：将生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；步骤4：计算交叉熵损失，进行反向传播；步骤5：将测试数据集输入到训练后的无监督深度多尺度网络中，对测试数据集中的像素点进行标签预测；步骤6：将获得的预测标签与训练数据集中的伪标签进行结合获得最终关于输入地区的变化信息。2.根据权利要求1所述的方法，其特征在于：在步骤1中，对数比操作的计算过程为：其中log代表以e为底的对数运算，|
·
|代表进行绝对值运算。3.根据权利要求2所述的方法，其特征在于：所述步骤2具体为：步骤2.1：对差异图像i
d
进行分层模糊c均值聚类，将差异图像i
d
中的像素划分为3个类别，即变化类、不变类与不确定类；像素点对应的类别信息即为该像素点的伪标签；步骤2.2：从变化类和不变类中选取部分像素点，以选中像素点为中心从两幅输入sar图像i1、i2和差异图像i
d
中分别提取r
×
r大小的图像块并进行拼接，将拼接后的图像块与图像块中心像素点的伪标签共同作为训练数据集；步骤2.3：以不确定类中的像素为中心，从两幅输入sar图像i1、i2和差异图像i
d
中分别提取r
×
r大小的图像块并进行拼接构成测试数据集。4.根据权利要求3所述的方法，其特征在于：所述的空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。5.根据权利要求4所述的方法，其特征在于：所述步骤3具体为：步骤3.1：对输入数据进行卷积升维操作；对输入执行卷积操作，其卷积核的大小为n
×1×
1，得到尺寸为n
×
r
×
r大小的卷积特征；步骤3.2：对特征进行多区域选择；将得到的特征分为p1、p2和p3三个部分，每个部分尺寸大小均为选取p1的水平区域，即忽略p1水平上方和下方的边缘区域，保留p1的水平中心区域得到尺寸大小为的水平区域；选取p2的垂直区域，即忽略p2垂直方向上左侧和右侧的边缘区域，保留p2的垂直中心区域得到尺寸大小为的垂直区域；
保留p3完整区域得到尺寸大小为的全区域；步骤3.3：进行深层多尺度特征提取；步骤3.4：将生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；其中一个门控线性单元计算过程为：其中d
l
是第l个门控线性单元的输出，x
l
是第l个门控线性单元的输入，w1和w2是权重矩阵，a和b是偏置；步骤3.5：将获得的最终的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签。6.根据权利要求5所述的方法，其特征在于：所述步骤3.3具体为：步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为的卷积核进行卷积，分别得到第一层水平特征f
1h
、第一层垂直特征f
1v
和第一层全区域特征f
1a
；步骤3.3.2：将第一层水平特征f
1h
和第一层垂直特征f
1v
忽略的边缘部分用0元素进行填充得到尺寸均为的第一层填充水平特征f
1hz
和第一层填充垂直特征f
1vz
，将第一层全区域特征f
1a
通过通道-空间注意力机制后得到第一层关键特征f
1k
；将第一层填充水平特征f
1hz
、第一层填充垂直特征f
1vz
和第一层关键特征f
1k
进行相加得到第一层空间特征f1；第一层空间特征f1计算过程为：f1＝f
1hz
+f
1vz
+f
1k
步骤3.3.3：将得到的第一层空间特征f1再次进行多区域选择；步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k2＞k1，分别得到第二层水平特征第二层垂直特征和第二层全区域特征步骤3.3.5：将第二层水平特征和第二层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第二层填充水平特征和第二层填充垂直特征将第二层全区域特征通过通道-空间注意力机制后得到第二层关键特征将第二层填充水平特征第二层填充垂直特征和第二层关键特征进行相加得到第二层空间特征f2；第二层空间特征f2计算过程为：步骤3.3.6：将得到的第二层空间特征f2进行多区域选择；步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为的卷
积核进行卷积，其中k3＞k2，分别得到第三层水平特征第三层垂直特征和第三层全区域特征步骤3.3.8：将第三层水平特征和第三层垂直特征忽略的边缘部分用0元素进行填充得到尺寸均为的第三层填充水平特征和第三层填充垂直特征将第三层全区域特征通过通道-空间注意力机制后得到第三层关键特征将第三层填充水平特征第三层填充垂直特征和第三层关键特征进行相加得到第三层空间特征f3；第三层空间特征f3计算过程为：步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；将步骤3.3.5和步骤3.3.8得到的第二层空间特征f2与第三层空间特征f3执行转置卷积操作，分别得到大小为和的特征；将尺寸为的特征通过零元素将其填充为尺寸为的特征；最后将步骤3.3.2的第一层空间特征f1和步骤3.3.9中尺寸均为的特征进行拼接后进行卷积运算，得到最终的空间特征。7.根据权利要求6所述的方法，其特征在于：所述交叉熵损失函数计算过程如下：其中l
i
是第i个样本通过为标签生成器获得的伪标签，p
i
是第i个样本预测标签，t1是训练样本的数量。8.根据权利要求7所述的方法，其特征在于：步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：将获得的第l层特征f
la
分别通过全局平均池化和全局最大池化得到平滑特征f
lcavg
和尖锐特征f
lcmax
；再此之后将平滑特征f
lcavg
和尖锐特征f
lcmax
分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射m
c
；通道注意力映射m
c
的计算过程为：m
c
＝σ(mlp(avg(f
lcavg
))+mlp(max(f
lcmax
)))其中σ表示sigmoid函数，mlp(
·
)表示多层感知机，avg(
·
)表示平均池化层，max(
·
)表示最大池化层；将得到的通道注意力映射m
c
与获得的第l层全区域特征f
la
逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征f
lw
；第l层通道加权特征f
lw
计算过程为：
其中表示逐元素相乘；将得到的第l层通道加权特征f
lw
沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征f
lsavg
和空间尖锐特征f
lsmax
，并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射m
s
；空间注意力映射m
s
的计算过程为：m
s
＝σ(conv([avg(f
la
)；max(f
la
)]))其中[；]表示通道串联；将得到的空间注意力映射m
s
与第l层通道加权特征f
lw
逐元素相乘得到第l层关键特征f
lk
；第l层关键特征f
lk
计算过程为：9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-8任一项所述方法的步骤。

技术总结
本发明提出一种基于空间频域的无监督深度多尺度SAR图像变化检测方法。所述方法通过分层模糊C均值聚类对根据检测地区SAR图像生成的差异图像进行伪标签提取，解决了标签不足的问题。让SAR图像变化检测的方法适用于更多场景。本发明利用输入SAR图像的空间信息和频域信息，并提出了空间多区域多尺度深层特征提取，以这种方式捕获到的图像特征更利于检测。本发明分别在空间域和频域引入注意力机制和门控线性单元，以此来提高本发明对变化细节的灵敏程度并且降低SAR图像固有散斑噪声的影响，提高检测精度。提高检测精度。提高检测精度。


技术研发人员：王路 马丽睿 赵天睿 鄂佳慧 赵春晖
受保护的技术使用者：哈尔滨工程大学
技术研发日：2023.06.30
技术公布日：2023/9/19