基于图transformer引导的多时相信息联合高光谱变化检测方法

1.本发明涉及遥感影像处理领域，尤其是一种基于图transformer引导的多时相信息联合高光谱变化检测方法。


背景技术：

2.随着光谱成像技术的长足发展，高光谱遥感在获取地物空间信息的同时，还捕获了连续的光谱信息。高光谱影像的“图谱合一”性质，不仅为识别光谱间差异较大的异质地物与差异较小的同质地物提供影像数据，更为辨别“同物异谱”与“异物同谱”佐以有力依据。高光谱影像变化检测通过分析在相同地理位置、不同时间获取的高光谱影像来有效监测地表动态变化与空间差异。因其在诸如城市扩张、灾害监测、地图制作等多领域得到应用，已成为近年遥感领域的研究热点之一。
3.近年来，在计算能力大幅提高与海量遥感数据驱动的背景下，深度学习技术的兴起为遥感影像的智能化处理带来新的解决方案，变化检测方法已开始向自动化模式展开探索。此种不依赖手工特征提取经验，由网络自动学习出所需特征作为检测依据的特性，是深度学习类算法获得高检测精度的原因之一。其中，卷积神经网络特有的局部感知与参数共享机制能够高效地把具象影像数据逐级抽象为高级特征，展现出了优异的检测性能与无限的潜力，但这些方法却受以下因素限制：首先，它们大多以高光谱小块作为检测单元，但这种规则的正方形小块对复杂地物结构与边缘并不具备普适性，且将特征提取的范围局限在这一固定小块中，阻碍了远距离的相似变化信息对当前区域的增强。此外，这些方法的检测精度还依赖于大量训练样本，然而混合像元现象使高光谱影像解译难度大，样本标签不易获取，导致检测性能受有限个训练样本局限。
4.考虑到上述问题，近年来已有研究将图论知识引入这一领域，旨在利用图的半监督学习模式将标签传播至与该节点连接的即具有同质性特征的节点中，通过在整幅以超像素为节点的高光谱影像上构建图传播模型，保证地物边缘分割准确的同时不失时效性。但针对基于图神经网络的高光谱影像处理的研究尚不成熟，如何在基于图神经网络的高光谱变化检测方法中实现对多时项信息的挖掘与利用，仍有大量工作需要探索，也是本领域的重难点之一。


技术实现要素：

5.本发明是为了解决现有技术所存在的上述技术问题，提供一种基于图transformer引导的多时相信息联合高光谱变化检测方法。
6.本发明的技术解决方案是：一种基于图transformer引导的多时相信息联合高光谱变化检测方法，依次按照如下步骤进行：
7.步骤1.记t1时相高光谱影像x1∈rh×w×c、t2时相高光谱影像x2∈rh×w×c，按公式(1)获取差分高光谱影像x3∈rh×w×c，其中h为影像高度、w为影像宽度、c为影像通道数：
8.x3＝|x
2-x1|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；
9.步骤2.对x1、x2和x3进行预处理：将x1、x2、x3的维度转换为r
hw
×c，其中hw＝h
×
w，采用封装好的数据标准化方法对转换维度的数据进行标准化处理，使它们符合正态分布，标准化后的数据依次记为和
10.步骤3.根据标签图g∈rh×w构造训练集、验证集和测试集中的标签编码图与标签掩码图；
11.步骤3.1.随机抽取g中1％的点作为训练数据，生成一个尺寸为rh×w的全0的二维数组z1，当位置(i，j)上的点为变化像素时，z1(i，j)为1；当位置(i，j)上的点为不变像素时，z1(i，j)为2，得到训练集标签图z1；
12.步骤3.2.再在剩余的点中随机抽取与训练数据相同个数的点作为验证数据，生成一个尺寸为rh×w的全0的二维数组z2，当位置(i，j)上的点为变化像素时，z2(i，j)为1；当位置(i，j)上的点为不变像素时，z2(i，j)为2，得到验证集标签图z2；
13.步骤3.3.余下g中的点为测试数据，生成一个尺寸为rh×w的全0的二维数组z3，当位置(i，j)上的点为变化像素时，z3(i，j)为1；当位置(i，j)上的点为不变像素时，z3(i，j)为2，得到测试集标签图z3；
14.步骤3.4.对z1、z2和z3依次进行哑变量编码，即把图中(i，j)位置上0点编码为00，图中(i，j)位置上1点编码为10，图中(i，j)位置上2点编码为01，并进一步将它们的尺寸转为r
hw
×2，将分别得到训练集标签编码图验证集标签编码图和测试集标签编码图
15.步骤3.5.生成一个尺寸为r
hw
×2的全1的二维数组m1，判断中每行像素的值，若第i行中所有像素值都为0，则把m1中第i行所有像素值修改为0，得到训练集标签掩码图m1；
16.步骤3.6.生成一个尺寸为r
hw
×2的全1的二维数组m2，判断中每行像素的值，若第i行中所有像素值都为0，则把m2中第i行所有像素值修改为0，得到验证集标签掩码图m2；
17.步骤3.7.生成一个尺寸为r
hw
×2的全1的二维数组m3，判断中每行像素的值，若第i行中所有像素值都为0，则把m3中第i行所有像素值修改为0，得到测试集标签掩码图m3；
18.步骤4.超像素分割x319.步骤4.1.将x3的值归一化至[-1，1]区间，并对其进行窗口大小为5
×
5的高斯滤波，再将其尺寸转换至r
hw
×c，结果记为x3′
；
[0020]
步骤4.2.调用封装的pca()函数，实现对x3′
的主成分分析，并取前三个主成分实现对x3′
的降维，结果记为x
3a
；
[0021]
步骤4.3.按式(2)处理x
3a
，并将其值转换为uint8类型，尺寸转换为rh×w×3，结果记为p：
[0022][0023]
步骤4.4.对p的每通道进行直方图均衡操作，并利用滤波函数增强其对比度，结果记为x
3b
；
[0024]
步骤4.5.调用封装的superpixelhierarchy()函数，根据预定义的超像素分割块数n，实现对x
3b
的超像素分割，记分割后的结果为s∈rh×w；
[0025]
步骤5设网络总迭代次数t，令epoch＝1，定义网络最优验证集损失为
[0026]
步骤5.1图编码
[0027]
步骤5.1.1.定义对x3经具有1
×
1二维卷积的权重共享头部映射层后得到的特征图为f3∈rh×w×b′
，b
′
表示该特征图的通道数；
[0028]
步骤5.1.2.基于f3构建像素级结构图它具有hw个节点v1，且节点矩阵，且节点矩阵中的第i行代表f3中第i个像素的特征；
[0029]
步骤5.1.3.根据超像素分割x3的结果s∈rh×w，定义超像素级结构图它具有n个节点v2，节点矩阵和邻接矩阵
[0030]
步骤5.1.4.设像素级结构图与超像素级结构图间的关联矩阵为q∈r
hw
×n，则q的表达式如式(3)所示：
[0031][0032]
步骤5.1.5.按式(4)和式(5)分别获得和其中σ是常数，被设置为0.1：
[0033][0034][0035]
步骤5.2.图卷积
[0036]
步骤5.2.1定义经图卷积更新后的图为那么的邻接矩阵更新规则如式(6)所示，其中，s(
·
)为softmax(
·
)归一化函数，bn(
·
)为批归一化函数，为需要学习的参数，
⊙
代表哈达玛积运算，λ为可学习常数，i为单位矩阵：
[0037][0038]
步骤5.2.2图的节点特征矩阵根据更新的可按式(7)计算所得，其中，σ为非线性激活函数，为的度矩阵，的度矩阵，为需学习的参数，由简单的线性层获取：
[0039][0040]
步骤5.3.按式(8)获取图中节点和边的嵌入特征，分别记为和
[0041][0042]
步骤5.4.利用gtrans模块进一步强化显著关系；
[0043]
步骤5.4.1.令为中第i个节点的嵌入特征，为中第j个节点的嵌入特征，为节点与间邻接关系的强度，把它们作为gtrans模块的输入，并按照式(9)和式(10)进行计算，即可获得组成的
[0044][0045][0046]
其中，*表示元素级点乘，
×
表示矩阵乘法，wq,wk,wv,we,wg均为可学习映射，尺寸为rb′×b′
由线性层linear(
·
)学习得到，ψ(
·
)为非线性激活函数；
[0047]
步骤5.4.2.按式(11)进一步更新节点特征矩阵更新后的记为其中ffn(
·
)包含linear(
·
)、relu(
·
)、dropout：
[0048][0049]
步骤5.5.对按公式(12)进行图解码，得到f4′
∈r
hw
×b′
，并转换至rh×w×b′
，记为f4：
[0050][0051]
步骤5.6.利用门控变化信息融合单元有机联和多时相特征；
[0052]
步骤5.6.1.定义对x1和x2经具有1
×
1二维卷积的权重共享头部映射层后得到的特征图为f1∈rh×w×b′
，f2∈rh×w×b′
；
[0053]
步骤5.6.2.拼接f1和f2，得到fi∈rh×w×
2b
′
；
[0054]
步骤5.6.3.拼接f3和f4，得到fc∈rh×w×
2b
′
；
[0055]
步骤5.6.4.按照公式(13)和公式(14)计算变化特征fg∈rh×w×
2b
′
，其中，rg为重置门，ug为更新门，s为sigmoid(
·
)激活函数，split(
·
)为分离操作，conv1×1(
·
)为卷积核为1
×
1大小的二维卷积操作，concat(
·
)为拼接操作，tanh(
·
)为双曲正切函数：
[0056]
rg，ug＝s(split(conv1×1(concat(fi，fc))))
ꢀꢀꢀꢀ
(13)；
[0057][0058]
步骤5.7.将fg输入至定义如式(15)的尾部映射层，得到pred
′
∈rh×w×2，其中conv3×3(
·
)为卷积核为3
×
3大小的二维卷积操作，并将其尺寸转换为r
hw
×2，得到训练集检测结果pred∈r
hw
×2；
[0059]
pred
′
＝softmax(linear(relu(conv3×3(fg))))
ꢀꢀꢀꢀꢀ
(15)；
[0060]
步骤6.按公式(16)计算网络损失，其中，是在步骤3.4得到的训练集标签编码图，m1为在步骤3.5得到的训练集标签掩码图；
[0061][0062]
步骤7.采用adam优化器根据loss训练网络参数；
[0063]
步骤8.当epoch为5的倍数时，即epoch％5＝＝0时，对网络进行验证，根据网络对在步骤3.4得到的验证集标签编码图和在步骤3.6得到的验证集标签掩码图m2，得到验证集检测结果pred
val
，并按公式(17)计算网络验证集损失；
[0064][0065]
步骤9.判断当前loss
val
是否小于若小于，则保存当前loss
val
作为同时保存网络参数θ，否则无需操作；
[0066]
步骤10.令epoch＝epoch+1，若epoch≤t，则返回步骤5.1继续训练网络，直至epoch＞t，网络训练完毕；
[0067]
步骤11.将测试集输入到θ，得到测试集检测结果pred
test
∈r
hw
×2；利用torch.argmax()函数获取pred
test
每行的最大值索引，并将结果转换至rh×w尺寸，获得最终的检测结果。
[0068]
本发明为解决现存高光谱变化检测框架中存在的少样本以及对远距离地物信息感知不充分等问题，构建能够以半监督作为学习模式的拓扑结构图，将标签传播至未标记的样本上，减少网络对大量训练样本的依赖；与此同时，显著关系强化的图transformer模块将transformer作用于以超像素为节点的图结构，实现在低计算成本的条件下，突破传统对邻接关系的定义，捕捉整幅影像中的变化信息。进一步，门控变化信息融合单元有效地将显著关系强化的图transformer模块引导的变化特征注入原始双时相拼接特征，实现了多时项信息的联合。实验结果表明，在1％的采样率下，本发明在river、farmland和usa三个公开数据集上的总体检测精度分别达到了97.49％、97.91％和95.97％，kappa系数分别达到了83.66％、94.92％和88.10％。
附图说明
[0069]
图1为本发明实施例的网络结构图。
[0070]
图2为本发明实施例的图编码结构图。
[0071]
图3为本发明实施例的显著关系强化的图transformer模块结构图。
[0072]
图4为本发明实施例与spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法对river数据集的变化检测结果对比示意图。
[0073]
图5为本发明实施例与spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法对farmland数据集的变化检测结果对比示意图。
[0074]
图6为本发明实施例与spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法对usa数据集的变化检测结果对比示意图。
具体实施方式
[0075]
本发明的技术解决方案是：一种基于图transformer引导的多时相信息联合高光谱变化检测方法，如图1所示依次按照如下步骤进行：
[0076]
步骤1.记t1时相高光谱影像x1∈rh×w×c、t2时相高光谱影像x2∈rh×w×c，按公式(1)获取差分高光谱影像x3∈rh×w×c，其中h为影像高度、w为影像宽度、c为影像通道数：
[0077]
x3＝|x
2-x1|
ꢀꢀꢀꢀ
(1)；
[0078]
步骤2.对x1、x2和x3进行预处理：将x1、x2、x3的维度转换为r
hw
×c，其中hw＝h
×
w，采用封装好的数据标准化方法sklearn.preprocessing.standardscaler()对转换维度的数据进行标准化处理，使它们符合正态分布，标准化后的数据依次记为和
[0079]
步骤3.根据标签图g∈rh×w构造训练集、验证集和测试集中的标签编码图与标签掩码图；
[0080]
步骤3.1.随机抽取g中1％的点作为训练数据，生成一个尺寸为rh×w的全0的二维数组z1，当位置(i，j)上的点为变化像素时，z1(i，j)为1；当位置(i，j)上的点为不变像素时，z1(i，j)为2，得到训练集标签图z1；
[0081]
步骤3.2.再在剩余的点中随机抽取与训练数据相同个数的点作为验证数据，生成一个尺寸为rh×w的全0的二维数组z2，当位置(i，j)上的点为变化像素时，z2(i，j)为1；当位置(i，j)上的点为不变像素时，z2(i，j)为2，得到验证集标签图z2；
[0082]
步骤3.3.余下g中的点为测试数据，生成一个尺寸为rh×w的全0的二维数组z3，当位置(i，j)上的点为变化像素时，z3(i，j)为1；当位置(i，j)上的点为不变像素时，z3(i，j)为2，得到测试集标签图z3；
[0083]
步骤3.4.对z1、z2和z3依次进行哑变量编码，即把图中(i，j)位置上0点编码为00，图中(i，j)位置上1点编码为10，图中(i，j)位置上2点编码为01，并进一步将它们的尺寸转为r
hw
×2，将分别得到训练集标签编码图验证集标签编码图和测试集标签编码图
[0084]
步骤3.5.生成一个尺寸为r
hw
×2的全1的二维数组m1，判断中每行像素的值，若第i行中所有像素值都为0，则把m1中第i行所有像素值修改为0，得到训练集标签掩码图m1；
[0085]
步骤3.6.生成一个尺寸为r
hw
×2的全1的二维数组m2，判断中每行像素的值，若第i行中所有像素值都为0，则把m2中第i行所有像素值修改为0，得到验证集标签掩码图m2；
[0086]
步骤3.7.生成一个尺寸为r
hw
×2的全1的二维数组m3，判断中每行像素的值，若第i行中所有像素值都为0，则把m3中第i行所有像素值修改为0，得到测试集标签掩码图m3；
[0087]
步骤4.超像素分割x3[0088]
步骤4.1.将x3的值归一化至[-1，1]区间，并对其进行窗口大小为5
×
5的高斯滤波，再将其尺寸转换至r
hw
×c，结果记为x3′
；
[0089]
步骤4.2.调用封装的pca()函数，实现对x3′
的主成分分析，并取前三个主成分实现对x3′
的降维，结果记为x
3a
；
[0090]
步骤4.3.按式(2)处理x
3a
，并将其值转换为uint8类型，尺寸转换为rh×w×3，结果记为p；
[0091]
[0092]
步骤4.4.对p的每通道进行直方图均衡操作，并利用滤波函数增强其对比度，结果记为x
3b
；
[0093]
步骤4.5.调用封装的superpixelhierarchy()函数，根据预定义的超像素分割块数n，实现对x
3b
的超像素分割，记分割后的结果为s∈rh×w；
[0094]
步骤5设网络总迭代次数t，令epoch＝1，定义网络最优验证集损失为
[0095]
步骤5.1图编码，具体如图2所示：
[0096]
步骤5.1.1.定义对x3经具有1
×
1二维卷积的权重共享头部映射层后得到的特征图为f3∈rh×w×b′
，b
′
表示该特征图的通道数；
[0097]
步骤5.1.2.基于f3构建像素级结构图它具有hw个节点v1，且节点矩阵，且节点矩阵中的第i行代表f3中第i个像素的特征；
[0098]
步骤5.1.3.根据超像素分割x3的结果s∈rh×w，定义超像素级结构图它具有n个节点v2，节点矩阵和邻接矩阵
[0099]
步骤5.1.4.设像素级结构图与超像素级结构图间的关联矩阵为q∈r
hw
×n，则q的表达式如式(3)所示；
[0100][0101]
步骤5.1.5.按式(4)和式(5)分别获得和其中σ是常数，被设置为0.1；
[0102][0103]
步骤5.2.图卷积
[0104]
步骤5.2.1定义经图卷积更新后的图为那么的邻接矩阵更新规则如式(6)所示，其中，s(
·
)为softmax(
·
)归一化函数，bn(
·
)为批归一化函数，为需要学习的参数，此处使用线性层获取，
⊙
代表哈达玛积运算，λ为可学习常数，i为单位矩阵：
[0105][0106]
步骤5.2.2图的节点特征矩阵根据更新的可按式(7)计算所得，其中，σ为非线性激活函数，此处采用leakyrelu(
·
)函数，为的度矩阵，为需学习的参数，由简单的线性层获取：
[0107][0108]
步骤5.3.按式(8)获取图中节点和边的嵌入特征，分别记为和
[0109][0110]
步骤5.4.利用gtrans模块进一步强化显著关系，具体如图3所示；
[0111]
步骤5.4.1.令为中第i个节点的嵌入特征，为中第j个节点的嵌入特征，为节点与间邻接关系的强度，把它们作为gtrans模块的输入，并按照式(9)和式(10)进行计算，即可获得组成的
[0112][0113][0114]
其中，*表示元素级点乘，
×
表示矩阵乘法，wq,wk,wv,we,wg均为可学习映射，尺寸为rb′×b′
由线性层linear(
·
)学习得到，ψ(
·
)为非线性激活函数，此处采用sigmoid(
·
)。
[0115]
步骤5.4.2.按式(11)进一步更新节点特征矩阵更新后的记为其中ffn(
·
)包含linear(
·
)、relu(
·
)、dropout；
[0116][0117]
步骤5.5.对按公式(12)进行图解码，得到f4′
∈r
hw
×b′
，并转换至rh×w×b′
，记为f4；
[0118][0119]
步骤5.6.利用门控变化信息融合单元有机联和多时相特征；
[0120]
步骤5.6.1.定义对x1和x2经具有1
×
1二维卷积的权重共享头部映射层后得到的特征图为f1∈rh×w×b′
，f2∈rh×w×b′
；
[0121]
步骤5.6.2.拼接f1和f2，得到fi∈rh×w×
2b
′
；
[0122]
步骤5.6.3.拼接f3和f4，得到fc∈rh×w×
2b
′
；
[0123]
步骤5.6.4.按照公式(13)和公式(14)计算变化特征fg∈rh×w×
2b
′
，其中，rg为重置门，ug为更新门，s为sigmoid(
·
)激活函数，sokut(
·
)为分离操作，conv1×1(
·
)为卷积核为1
×
1大小的二维卷积操作，concat(
·
)为拼接操作，tanh(
·
)为双曲正切函数；
[0124]
rg，ug＝s(split(conv1×1(concat(fi，fc))))
ꢀꢀꢀꢀꢀ
(13)；
[0125][0126]
步骤5.7.将fg输入至定义如式(15)的尾部映射层，得到pred
′
∈rh×w×2，其中conv3×3(
·
)为卷积核为3
×
3大小的二维卷积操作，并将其尺寸转换为r
hw
×2，得到训练集检测结果pred∈r
hw
×2；
[0127][0128]
步骤6.按公式(16)计算网络损失，其中，是在步骤3.4得到的训练集标签编码图，m1为在步骤3.5得到的训练集标签掩码图；
[0129][0130]
步骤7.采用adam优化器根据loss训练网络参数；
[0131]
步骤8.当epoch为5的倍数时，即epoch％5＝＝0时，对网络进行验证，根据网络对在步骤3.4得到的验证集标签编码图和在步骤3.6得到的验证集标签掩码图m2，得到验证集检测结果pred
val
，并按公式(17)计算网络验证集损失；
[0132][0133]
步骤9.判断当前loss
val
是否小于若小于，则保存当前loss
val
作为同时保存网络参数θ，否则无需操作；
[0134]
步骤10.令epoch＝epoch+1，若epoch≤t，则返回步骤5.1继续训练网络，直至epoch＞t，网络训练完毕；
[0135]
步骤11.将测试集输入到θ，得到测试集检测结果pred
test
∈r
hw
×2；利用torch.argmax()函数获取pred
test
每行的最大值索引，并将结果转换至rh×w尺寸，获得最终的检测结果。
[0136]
为验证本发明的有效性，以公开的river数据集、farmland数据集和usa数据集为例进行实验，采用总体准确率(oa)和kappa系数作为客观指标对变化检测结果进行评价，并将本发明的评价结果与spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法进行比较，其中本发明所采用的的超像素分割块数依次为9000、10000、11000。结果如图4～图6及表1所示。
[0137]
表1 river、farmland和usa数据集变化检测精度比较
[0138]
[0139]
从表1可以看出，对于river数据集，本发明取得的oa结果依次比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法提升了0.71％、1.52％、2.13％、2.29％、1.63％和1.62％；kappa系数结果依次比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法提升了4.25％、8.68％、15.28％、15.55％、9.91％和13.92％；对于farmland数据集，本发明取得的oa结果依次比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法提升了1.10％、1.28％、1.12％、1.41％、2.45％和1.54％；kappa系数结果依次比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法提升了2.62％、3.07％、2.69％、3.42％、5.89％和3.62％；对于usa数据集，本发明取得的oa结果依次比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法提升了0.99％、1.63％、2.08％、2.11％、2.57％和1.10％；kappa系数结果依次比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法提升了2.51％、3.74％、6.27％、5.88％、5.31％和3.40％。
[0140]
图4为不同方法对river数据集的变化检测结果图，其中，(a)为spectralformer方法的变化检测结果，其总体准确率为96.78％；(b)为csdbf方法的变化检测结果，其总体准确率为95.97％；(c)为ml-edan方法的变化检测结果，其总体准确率为95.36％；(d)为csanet方法的变化检测结果，其总体准确率为95.20％；(e)为ssftt方法的变化检测结果，其总体准确率为95.86％；(f)为msdffn方法的变化检测结果，其总体准确率为95.87％；(g)为本发明的变化检测结果，其总体准确率为97.49％；(h)为ground-truth变化检测图。
[0141]
图5为不同方法对farmland数据集的变化检测结果图，其中，(a)为spectralformer方法的变化检测结果，其总体准确率为96.81％；(b)为csdbf方法的变化检测结果，其总体准确率为96.63％；(c)为ml-edan方法的变化检测结果，其总体准确率为96.79％；(d)为csanet方法的变化检测结果，其总体准确率为96.50％；(e)为ssftt方法的变化检测结果，其总体准确率为95.46％；(f)为msdffn方法的变化检测结果，其总体准确率为96.37％；(g)为本发明的变化检测结果，其总体准确率为97.91％；(h)为ground-truth变化检测图。
[0142]
图6为不同方法对usa数据集的变化检测结果图，其中，(a)为spectralformer方法的变化检测结果，其总体准确率为94.98％；(b)为csdbf方法的变化检测结果，其总体准确率为94.34％；(c)为ml-edan方法的变化检测结果，其总体准确率为93.89％；(d)为csanet方法的变化检测结果，其总体准确率为93.86％；(e)为ssftt方法的变化检测结果，其总体准确率为93.40％；(f)为msdffn方法的变化检测结果，其总体准确率为94.87％；(g)为本发明的变化检测结果，其总体准确率为95.97％；(h)为ground-truth变化检测图。
[0143]
从图4、图5和图6中可以看出，本发明与ground-truth变化检测图的一致性最高，能检测到大面积变化区域的同时，还能捕捉到小尺度变化地物，本发明能够获取比spectralformer方法、csdbf方法、ml-edan方法、csanet方法、ssftt方法、msdffn方法更加准确的变化检测结果。
[0144]
综合表1、图4、图5、图6的对比结果可知，通过引入显著关系强化的图transformer模块以及门控变化信息融合单元，本发明有效地提升了高光谱变化检测的精度。

技术特征：
1.一种基于图transformer引导的多时相信息联合高光谱变化检测方法，其特征在于依次按照如下步骤进行：步骤1.记t1时相高光谱影像x1∈r
h
×
w
×
c
、t2时相高光谱影像x2∈r
h
×
w
×
c
，按公式(1)获取差分高光谱影像x3∈r
h
×
w
×
c
，其中h为影像高度、w为影像宽度、c为影像通道数：x3＝|x
2-x1|
ꢀꢀꢀꢀ
(1)；步骤2.对x1、x2和x3进行预处理：将x1、x2、x3的维度转换为r
hw
×
c
，其中hw＝h
×
w，采用封装好的数据标准化方法对转换维度的数据进行标准化处理，使它们符合正态分布，标准化后的数据依次记为和步骤3.根据标签图g∈r
h
×
w
构造训练集、验证集和测试集中的标签编码图与标签掩码图；步骤3.1.随机抽取g中1％的点作为训练数据，生成一个尺寸为r
h
×
w
的全0的二维数组z1，当位置(i，j)上的点为变化像素时，z1(i，j)为1；当位置(i，j)上的点为不变像素时，z1(i，j)为2，得到训练集标签图z1；步骤3.2.再在剩余的点中随机抽取与训练数据相同个数的点作为验证数据，生成一个尺寸为r
h
×
w
的全0的二维数组z2，当位置(i，j)上的点为变化像素时，z2(i，j)为1；当位置(i，j)上的点为不变像素时，z2(i，j)为2，得到验证集标签图z2；步骤3.3.余下g中的点为测试数据，生成一个尺寸为r
h
×
w
的全0的二维数组z3，当位置(i，j)上的点为变化像素时，z3(i，j)为1；当位置(i，j)上的点为不变像素时，z3(i，j)为2，得到测试集标签图z3；步骤3.4.对z1、z2和z3依次进行哑变量编码，即把图中(i，j)位置上0点编码为00，图中(i，j)位置上1点编码为10，图中(i，j)位置上2点编码为01，并进一步将它们的尺寸转为r
hw
×2，将分别得到训练集标签编码图验证集标签编码图和测试集标签编码图步骤3.5.生成一个尺寸为r
hw
×2的全1的二维数组m1，判断中每行像素的值，若第i行中所有像素值都为0，则把m1中第i行所有像素值修改为0，得到训练集标签掩码图m1；步骤3.6.生成一个尺寸为r
hw
×2的全1的二维数组m2，判断中每行像素的值，若第i行中所有像素值都为0，则把m2中第i行所有像素值修改为0，得到验证集标签掩码图m2；步骤3.7.生成一个尺寸为r
hw
×2的全1的二维数组m3，判断中每行像素的值，若第i行中所有像素值都为0，则把m3中第i行所有像素值修改为0，得到测试集标签掩码图m3；步骤4.超像素分割x3步骤4.1.将x3的值归一化至[-1,1]区间，并对其进行窗口大小为5
×
5的高斯滤波，再将其尺寸转换至r
hw
×
c
，结果记为x3′
；步骤4.2.调用封装的pca()函数，实现对x3′
的主成分分析，并取前三个主成分实现对x3′
的降维，结果记为x
3a
；步骤4.3.按式(2)处理x
3a
，并将其值转换为uint8类型，尺寸转换为r
h
×
w
×3，结果记为p：步骤4.4.对p的每通道进行直方图均衡操作，并利用滤波函数增强其对比度，结果记为x
3b
；
步骤4.5.调用封装的superpixelhierarchy()函数，根据预定义的超像素分割块数n，实现对x
3b
的超像素分割，记分割后的结果为s∈r
h
×
w
；步骤5设网络总迭代次数t，令epoch＝1，定义网络最优验证集损失为步骤5.1图编码步骤5.1.1.定义对x3经具有1
×
1二维卷积的权重共享头部映射层后得到的特征图为f3∈r
h
×
w
×
b
′
，b
′
表示该特征图的通道数；步骤5.1.2.基于f3构建像素级结构图它具有hw个节点v1，且节点矩阵，且节点矩阵中的第i行代表f3中第i个像素的特征；步骤5.1.3.根据超像素分割x3的结果s∈r
h
×
w
，定义超像素级结构图它具有n个节点v2，节点矩阵和邻接矩阵步骤5.1.4.设像素级结构图与超像素级结构图间的关联矩阵为q∈r
hw
×
n
，则q的表达式如式(3)所示：步骤5.1.5.按式(4)和式(5)分别获得和其中σ是常数，被设置为0.1：其中σ是常数，被设置为0.1：步骤5.2.图卷积步骤5.2.1定义经图卷积更新后的图为那么的邻接矩阵更新规则如式(6)所示，其中，s(
·
)为softmax(
·
)归一化函数，bn(
·
)为批归一化函数，为需要学习的参数，
⊙
代表哈达玛积运算，λ为可学习常数，i为单位矩阵：步骤5.2.2图的节点特征矩阵根据更新的可按式(7)计算所得，其中，σ为非线性激活函数，为的度矩阵，的度矩阵，为需学习的参数，由简单的线性层获取：步骤5.3.按式(8)获取图中节点和边的嵌入特征，分别记为和
为在步骤3.5得到的训练集标签掩码图；步骤7.采用adam优化器根据loss训练网络参数；步骤8.当epoch为5的倍数时，即epoch％5＝＝0时，对网络进行验证，根据网络对在步骤3.4得到的验证集标签编码图和在步骤3.6得到的验证集标签掩码图m2，得到验证集检测结果pred
val
，并按公式(17)计算网络验证集损失；步骤9.判断当前loss
val
是否小于若小于，则保存当前loss
val
作为同时保存网络参数θ，否则无需操作；步骤10.令epoch＝epoch+1，若epoch≤t，则返回步骤5.1继续训练网络，直至epoch>t，网络训练完毕；步骤11.将测试集输入到θ，得到测试集检测结果pred
test
∈r
hw
×2；利用torch.argmax()函数获取pred
test
每行的最大值索引，并将结果转换至r
h
×
w
尺寸，获得最终的检测结果。

技术总结
本发明公开了一种基于图transformer引导的多时相信息联合高光谱变化检测方法，通过构建拓扑结构图，使网络能够以半监督的学习模式，将标签传播至未标记的样本上，减少训练时对大量训练样本的依赖；提出显著关系强化的图transformer模块，该模块将transformer作用于以超像素为节点的图结构，实现在低计算成本的条件下，突破传统对邻接关系的定义，获取任意两个子区域间亲和关系，捕捉整幅影像中的变化信息；提出门控变化信息融合单元，旨在有效地将GTrans模块引导的变化特征注入原始双时相拼接特征，实现了多时项信息的有机融合。实现了多时项信息的有机融合。实现了多时项信息的有机融合。


技术研发人员：王相海 赵晓阳 李思瑶 耿婷婷 宋传鸣
受保护的技术使用者：辽宁师范大学
技术研发日：2023.06.15
技术公布日：2023/10/8