基于全卷积神经网络与变换器的卫星图像语义分割方法及系统

1.本发明属于深度学习的卫星图像模式的分割与识别技术领域，具体涉及一种有效的分割与识别策略，即一种基于全卷积神经网络与变换器的卫星图像语义分割方法及系统。


背景技术：

2.卫星遥感图像的处理，在国民经济建设与国防建设中，有着极其重要的作用。遥感图像经过处理后得到的卫星图像包含了大量的信息,其数据量大、数据类型复杂多样。传统的目标检测识别方法难以适应海量数据,依赖人工标注,非常耗时耗力,且强烈依赖于专业知识和数据本身的特征。
3.基于深度学习的方法提供了非常有效的特征提取框架,使得其在卫星遥感图像的识别、分类中得到广泛的应用。图像的像素级语义分割是将图像的像素与图像的分类一一对应，是对图像中每个像素进行识别的算法，对图像的像素级别进行理解。
4.目前常用的船舶识别方法中采用的模板匹配法、背景建模法等目标识别方法，其效果不理想，不确定性高。同时，由于卫星图像中的船只尺寸相对较小、云雾遮挡、陆地背景干扰等问题，因此对卫星图像中的船只实现自动识别仍面临诸多挑战。同时现有的语义分割卷积网络模型中，池化的步长过大，容易忽略卫星图像的细节，并且网络深度过深，还不便于训练，现有的网络训练中具有足够学习能力的堆叠编码器解码器结构，虽然能带来良好的定位恢复，但后验特征完全依赖于先验，缺乏特征的多样性和灵活性，并且经验感受野的大小与网络的深度并不成正比。


技术实现要素：

5.针对现有图像识别中语义分割技术的不足，本发明提出了一种全卷积神经网络与变换器结合的卫星图像语义分割方法及系统。本发明首先利用自动编码机对卫星图像进行除雾，然后在卷积神经网络提取图像特征，进一步优化卫星图像的特征，全卷积算法可以以任意倍数扩大图像，实现语义分割。
6.卷积神经网络利用了图像内强的局部像素相关性的先验知识，而变换器架构在交互的局部不包含内置的感应先验，因此可以通过自注意机制自由地学习其输入之间的复杂关系。完成语义分割的任务，需要强大的骨干网络作为编辑器，不同于识别单个对象的图像分类，语义分割需要在单个图像中处理不同大小的对象，这样要求网络能够多尺度的信息交互。现有语义分割的网络设计中，卷积神经网络通过卷积核的学习，实现图像的特征提取，自注意机制在图像语义分割中，提取图像重要信息的能力很少引起注意。本发明结合卷积神经网络和变换器技术，并且利用去卷积的上抽样，实现卫星图像的语义分割，从而实现图像识别。
7.本发明的目的是通过如下技术方案实现的：
8.基于全卷积神经网络(下抽样卷积与上抽样去卷积神经网络)与变换器的卫星图像语义分割方法，它涉及一种训练端到端，像素到像素语义分割的网络，包括如下具体步骤：
9.步骤1)，对卫星图像进行除雾去噪处理；
10.步骤2)，采用多层即深度下抽样卷积神经网络提取卫星图像特征；
11.步骤3)，利用具有自注意力机制变换器优化卫星图像特征；
12.步骤4)，利用上抽样去卷积(至此实现全卷积)实现卫星图像的语义分割。
13.优选的，步骤1)，通过设计去噪自动编码机，原始图像像素信号有云层覆盖的地方视为噪声，将这个含噪声的信号(像素值)，输入到去噪自动编码机，计算得到输出与原始信号的误差，再采用随机梯度下降算法对权值进行调整，使误差达到最小，实现对卫星图像进行除雾。
14.进一步优选的，步骤1)，利用自动编码机对卫星图像进行除雾去噪。通过去噪自动编码机，有云层覆盖的像素视为噪声，将这个含噪声的信号，输入到去噪自动编码器。自动编码机是一类在半监督学习和非监督学习中使用的人工神经网络(artificial neural networks,anns)，通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)，找出邻近像素之间的规律。
15.其中，设计改进的自编码识别网络，为了增强学习能力，以及图像的去雾效果，设计两个隐含层。接收输入，将其转换成高效的内部表示，利用该含有两个隐含层的生成式网络输出与输入数据相类似物，即将内部表示转换成输出。基本的数学过程：
16.将卫星图像上的像素矩阵转换为向量，作为自动编码机识别网络的输入，其输入为x＝[x(1),x(2)
……
x(d)]，d为维数，编码器通过映射函数f将x从输入层投影到第一隐含层h1，h1＝[h1(1),h1(2)
……
h1(d
h1
)]。f为：h1＝f(x)＝relu(w1x+b1)。其中w1是h1(d
h1
)
×
d权重矩阵，b1是偏差向量。再通过映射函数f将h1从第一隐含层投影到第二隐含层h2，h2＝[h2(1),h2(2)
……
h2(d
h2
)]。f为：h2＝f(x)＝relu(w
2 h2+b2)。其中w2是h2(d
h2
)
×
h1权重矩阵，b1是偏差向量。解码器的激活函数relu为修正线性单元函数。通过映射函数将隐含层表示的h2映射到输出层的，其中函数为函数为，采用随机梯度下降算法对权值w1，w2,进行调整,即使用误差反向传播算法对误差损失函数的梯度信息进行反向传播，同时更新所有的模型参数，这里损失函数假定为
[0017][0018]
更新的网络权重参数为
[0019][0020]
ρ为学习率，i代表第i个神经元。也可以通过限制隐含层单元的数量，来重新构建
输出尽可能的与输入x相似，这样就完成了图像的除雾除噪。
[0021]
优选的，步骤2)具体如下：将自动编码机的输出向量变成矩阵，作为深度卷积网络的输入，然后利用深度卷积神经网络的骨干网络，骨干网络包括两个卷积层、两个池化层，池化层采用平均池化规则。对于m
×
m图像，采用卷积计算公式c＝a*b具体为
[0022][0023]
计算图像与滤波器(卷积核)之间的卷积。卷积核中的参数作为权重系数通过学习得到。
[0024]
作为进一步优选，相关的设计参数如下：
[0025]
第1层为卷积层，输入除雾后图片像素矩阵(长度、宽度、通道数(红、绿和蓝))，大小为32
×
32的3通道图像；使用6个滤波器大小为5
×5×
3的卷积核，不需要全来0填充(padding)，步幅为1，输出的特征图，大小为28
×
28
×
6。
[0026]
第2层池化层中，输入特征图，大小为28
×
28
×
6，滤波器尺寸为2
×
2，步幅为2，这样输出特征图其大小为14
×
14
×
6。
[0027]
第3层卷积层中，输入特征图为第2层池化层输出特征图，因此大小为14
×
14
×
6；这里滤波器尺寸为5
×
5，深度为16，不需要全来0填充，步幅为1，输出特征图大小为10
×
10
×
16。
[0028]
第4层池化层中，输入的特征图为第3层卷积层的输出特征图，大小为10
×
10
×
16；其滤波器尺寸为2
×
2，步幅为2，这样输出特征图的大小为5
×5×
16。
[0029]
卷积核参数学习通过下列公式实现：
[0030][0031]
β为学习率，k为学习迭代次数。
[0032]
优选的，步骤3)，为了提高图像语义分割的图像识别能力，优选方案利用一种数据增强的技术，即在编码器阶段，引入自注意力机制转换器网络，它有利于后续的机器学习模型深度体系结构的训练，从而避免过拟合和增加泛化能力。在本步骤中，进一步利用带有自注意力机制的转换器对骨干网输出的向量进行特征提取，注意力机制(self-attention)中的q为输入向量与搜索矩阵生成的图像查询特征，k表示网络根据输入向量生成的键值，v表示网络根据输入向量生成匹配值，这里，采用点积来计算两个矩阵q和k的相似度。自注意力机制计算过程为，对输入向量x，分别乘以三个系数矩阵wq、wk、wv(q、k、v与q、k、v含义相同),得到然后计算q和k的相似度a＝k
t
q,对a矩阵进行softmax操作或者relu操作得到a
′
，这里，d为向量的维数。利用得到的a
′
，计算每个输入向量对应的self-attention层的输出向量，即得到自注意力值，它为值向量(信息)的加权和，权值为各个样本与各条信息间相关或相似程度的分布。
[0033]
本发明设计的转换器网络为残差网路，有两个注意力层。输出的向量作为反卷积神经网络的输入。反卷积通过上采样是为了得到原尺寸的语义分割图像。这里涉及的反卷积网络，本质是一种不含全连接层的转置卷积网络，可适应任意尺寸输入，这个反卷积层增
大图像尺寸，输出较精细结果，并且通过结合不同深度层结果的跳级结构，确保鲁棒性和精确性。
[0034]
由于在卷积网络中，卷积操作和池化操作，使得特征图的尺寸变小，为得到原图像大小的稠密像素预测，本发明将对得到的特征图进行双线性插值上采样操作。它易于通过固定卷积核的转置卷积(transposed convolution)实现，本发明中的卷积核的参数是通过学习训练得到的。
[0035]
优选的，步骤4)：对最后自注意层的特征图进行上采样得到原图大小的分割，由于看到的像素较少，通过跳级结构将富有全局信息最后一层的预测和富有局部信息更浅层的预测结合起来，在遵守全局预测的同时进行局部预测，实现精准的语义分割。
[0036]
具体过程：上采样输出图像尺寸与输入之间的关系：
[0037]
output＝stride(input-1)+kernel_size-2padding
[0038]
公式中，output为输出图像的尺寸，input为输入图像的尺寸，kernel_size为卷积核(滤波器)大小，stride为步幅，padding为补0操作。
[0039]
双向性插值是先对两水平方向进行一阶线性插值，然后在垂直方向进行一阶线性插值，这样如果已知水平垂直四个相邻的点像素值q
11
(x1,y1)、q
12
(x1,y2)、q
21
(x2,y1)、q
22
(x2,y2)的值，中间插值p(x,y)的值为:
[0040]
f(x,y)＝w
11
f(q
11
)+w
22
f(q
12
)+w
33
f(q
21
)+w
22
f(q
22
)
[0041]
这里w
11
、w
22
、w
33
、w
22
为
[0042][0043]
为代表权重系数。
[0044]
利用上述公式，将最后注意层的预测进行步长为stride＝8，padding＝1的双线性插值的上采样得到原尺寸(32
×
32)的图像，并与从池化2层进行的预测(池化2层的上采样的stride＝4，padding＝6得到原尺寸(32
×
32)的图像)融合起来(相加)，得到语义分割图像。
[0045]
本发明还公开了一种基于全卷积神经网络与变换器的卫星图像语义分割系统，包括自动编码机、编码器和解码器；
[0046]
自动编码机：对卫星图像进行除雾去噪处理；
[0047]
编码器：采用多层即深度下抽样卷积神经网络提取卫星图像特征；并利用具有自注意力机制变换器优化卫星图像特征；
[0048]
解码器：利用上抽样实现卫星图像的语义分割。
[0049]
与现有技术相比，本发明有益效果是：
[0050]
本发明基于全卷积神经网络与变换器的卫星图像语义分割方法，其创新性在于：利用自动编码机对有云雾的图像进行除雾去噪，使得卫星图像变得更清晰，利用卷积网络提取卫星图像特征的同时，再设计一个转换器的自注意网络，利用权重分布，进一步提取卫星图像，最后自注意层的特征图进行上采样得到原图大小的分割，还通过跳级结构将富有全局信息最后一层的预测和富有局部信息更浅层的预测结合起来，在遵守全局预测的同时进行局部预测，实现精准的语义分割。
附图说明
[0051]
图1为本发明实施例一种基于全卷积神经网络与变换器的卫星图像语义分割方法涉及的构架图。
[0052]
图2为自动编码机的架构图。
[0053]
图3为自注意力转换器网络架构图。
[0054]
图4为训练是损失函数收敛图。
[0055]
图5为本发明实施例基于全卷积神经网络与变换器的卫星图像语义分割系统框图。
具体实施方式
[0056]
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0057]
本发明实施例一种基于全卷积神经网络与变换器的卫星图像语义分割方法，它实现训练端到端，像素到像素的图像语义分割。
[0058]
自动编码机实现对卫星图像进行除雾去噪处理，通过去噪自动编码机，原始图像像素信号有云层覆盖的地方视为噪声，将这个含噪声的信号(像素值)，输入到去噪自动编码器，计算得到输出与原始信号的误差，再采用随机梯度下降算法对权值进行调整，使误差达到最小，实现对卫星图像进行除雾去噪。
[0059]
编码器利用深度卷积神经网络和具有自注意力机制转换器提取卫星图像特征，解码器利用上抽样发卷积实现卫星图像的语义分割。
[0060]
下面对本实施例卫星图像语义分割方法的过程及原理作详细说明。
[0061]
1)对卫星图像进行除雾去噪处理。
[0062]
通过去噪自动编码机，有云层覆盖的像素视为噪声，将这个含噪声的信号，输入到去噪自动编码机。这里的自动编码机是一类在半监督学习和非监督学习中使用的人工神经网络(artificial neural networks,anns)，通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)，找出邻近像素之间的规律。
[0063]
基本的数学过程：
[0064]
将卫星图像上的像素矩阵转换为向量，作为自动编码机识别网络的输入，其输入为
[0065]
x＝[x(1),x(2)
……
x(d)]，d为维数，编码器通过映射函数f将x从输入层投影到第一隐含层h1，
[0066]
h1＝[h1(1),h1(2)
……
h1(d
h1
)],
[0067]
f为：
[0068]
h1＝f(x)＝relu(w1x+b1),
[0069]
其中w1是h1(d
h1
)
×
d权重矩阵，b1是偏差向量。再通过映射函数f将h1从第一隐含层投影到第二隐含层h2，
[0070]
h2＝[h2(1),h2(2)
……
h2(d
h2
)],
[0071]
f为：h2＝f(x)＝relu(w
2 h2+b2),
[0072]
其中w2是h2(d
h2
)
×
h1权重矩阵，b1是偏差向量。解码器的激活函数relu为修正线性单元函数。
[0073]
通过映射函数将隐含层表示的h2映射到输出层的，其中函数为
[0074]
采用随机梯度下降算法对权值w1，w2,进行调整,即使用误差反向传播算法对误差损失函数的梯度信息进行反向传播，同时更新所有的模型参数，这里损失函数假定为
[0075][0076]
更新的网络权重参数为
[0077][0078]
ρ为学习率，i代表第i个神经元。也可以通过限制隐含层单元的数量，来重新构建输出尽可能的与输入x相似，这样就完成了图像的除雾除噪。
[0079]
2)深度卷积网络提取图像特征
[0080]
将自动编码机的输出向量变成矩阵，作为深度卷积网络的输入，然后利用深度卷积神经网络的骨干网络(两个卷积层、两个池化层)，池化层采用平均池化规则。对于m
×
m图像，本发明用到的卷积计算公式c＝a*b具体为
[0081][0082]
网络参数如下：
[0083]
第1层卷积层中输入除雾后图片像素矩阵(长度、宽度、通道数(红、绿和蓝))，大小为32
×
32的3通道图像；使用6个滤波器大小为5
×5×
3的卷积核，不使用全0填充，因此步幅为1，输出的特征图，大小为28
×
28
×
6。
[0084]
第2层池化层中，输入特征图，大小为28
×
28
×
6，滤波器尺寸为2
×
2，步幅为2，这样输出特征图其大小为14
×
14
×
6。
[0085]
第3层卷积层中，输入特征图为第2层池化层输出特征图，因此大小为14
×
14
×
6；这里滤波器尺寸为5
×
5，深度为16，不使用全0填充，步幅为1，输出特征图大小为10
×
10
×
16。
[0086]
第4层池化层中，输入的特征图为第3层卷积层的输出特征图，大小为10
×
10
×
16；其滤波器尺寸为2
×
2，步幅为2，这样输出特征图的大小为5
×5×
16。
[0087]
卷积核参数学习通过下列公式实现
[0088][0089]
β为学习率，k为学习迭代次数。
[0090]
3)自注意机制优化图像特征
[0091]
为了提高图像语义分割的图像识别能力，本发明利用一种数据增强的技术，即在编码器阶段，引入自注意力机制转换器网络，它有利于后续的机器学习模型深度体系结构的训练，从而避免过拟合和增加泛化能力。这里将进一步利用带有自注意力机制的转换器对骨干网输出的向量进行特征提取，注意力机制(self-attention)中的q为输入向量与搜索矩阵生成的图像查询特征，k表示网络根据输入向量生成的键值，v表示网络根据输入向量生成匹配值，这里，用点积来计算两个矩阵q和k的相似度。自注意力机制计算过程为，对输入向量x，分别乘以三个系数矩阵wq、wk、wv,得到然后计算q和k的相似度a＝k
t
q,对a矩阵进行softmax操作或者relu操作得到a
′
，这里，d为向量的维数。利用得到的a
′
，计算每个输入向量对应的self-attention层的输出向量x(＝v
·a′
)，即得到自注意力值，它为值向量(信息)的加权和，权值为各个样本与各条信息间相关或相似程度的分布。
[0092]
本发明设计的转换器网络为残差网路，有两个注意力层。输出的向量作为反卷积神经网络的输入。这里反卷积通过上采样是为了得到原尺寸的语义分割图像。这里涉及的反卷积网络，本质是一种不含全连接层的转置卷积网络，可适应任意尺寸输入，这个反卷积层增大图像尺寸，输出较精细结果，并且通过结合不同深度层结果的跳级结构，确保鲁棒性和精确性。
[0093]
4)去卷积网络实现语义分割
[0094]
对最后自注意层的特征图进行上采样得到原图大小的分割，还通过跳级结构将富有全局信息最后一层的预测和富有局部信息更浅层的预测结合起来，在遵守全局预测的同时进行局部预测，实现精准的语义分割。
[0095]
具体过程：上采样输出图像尺寸与输入之间的关系：
[0096]
output＝stride(input-1)+kernel_size-2padding
[0097]
公式中，output为输出图像的尺寸，input为输入图像的尺寸，kernel_size为卷积核(滤波器)大小，stride为步幅，padding为补0操作。
[0098]
双向性插值是先对两水平方向进行一阶线性插值，再在垂直方向进行一阶线性插值，这样如果已知q
11
(x1,y1)、q
12
(x1,y2)、q
21
(x2,y1)、q
22
(x2,y2)的值，中间p(x,y)的值为：
[0099]
f(x,y)＝w
11
f(q
11
)+w
12
f(q
12
)+w
21
f(q
21
)+w
22
f(q
22
)
[0100]
这里
[0101]
为权重系数。
[0102]
利用上述公式，将最后注意层的预测进行步长为stride＝8，padding＝1的双线性插值的上采样得到原尺寸(32
×
32)的图像，并与从池化2层进行的预测(池化2层的上采样的步长4，padding＝6得到原尺寸(32
×
32)的图像)融合起来(相加)，得到语义分割图像。
[0103]
实现语义分割的过程简要归纳如下：
[0104]
1、自动编码机对卫星图像进行除雾去噪处理；
[0105]
具体通过设计去噪，原始图像像素信号有云层覆盖的地方视为噪声，将这个含噪声的信号(像素值)，输入到去噪自动编码器，计算得到输出与原始信号的误差，再采用随机梯度下降算法对权值进行调整，使误差达到最小，实现对卫星图像进行除雾。
[0106]
2、深度卷积神经网络提取卫星图像特征；
[0107]
3、利用具有自注意力机制优化卫星图像特征；
[0108]
4、利用双线性上抽样去卷积网络实现卫星图像的语义分割。
[0109]
如图5所示，本发明还公开了一种基于全卷积神经网络与变换器的卫星图像语义分割系统实施例，该实施例包括自动编码机、编码器和解码器；
[0110]
自动编码机：对卫星图像进行除雾去噪处理；
[0111]
编码器：采用多层即深度下抽样卷积神经网络提取卫星图像特征；并利用具有自注意力机制变换器优化卫星图像特征；
[0112]
解码器：利用上抽样实现卫星图像的语义分割。
[0113]
本实施例的其他内容可参考上述卫星图像语义分割方法实施例。
[0114]
以上对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

技术特征：
1.基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，按如下步骤进行：步骤1)，对卫星图像进行除雾去噪处理；步骤2)，采用多层即深度下抽样卷积神经网络提取卫星图像特征；步骤3)，利用具有自注意力机制变换器优化卫星图像特征；步骤4)，利用上抽样去卷积实现卫星图像的语义分割。2.根据权利要求1所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤1)，采用自动编码机对卫星图像进行除雾去噪。3.根据权利要求2所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤1)具体如下：将卫星图像上的像素矩阵转换为向量，作为自动编码机识别网络的输入，其输入为x＝[x(1),x(2)
……
x(d)]，d为维数，编码器通过映射函数f将x从输入层投影到第一隐含层h1，h1＝[h1(1),h1(2)
……
h1(d
h1
)]，f为：h1＝f(x)＝relu(w1x+b1)；其中w1是h1(d
h1
)
×
d权重矩阵，b1是偏差向量；再通过映射函数f将h1从第一隐含层投影到第二隐含层h2，h2＝[h2(1),h2(2)
……
h2(d
h2
)]，f为：h2＝f(x)＝relu(w2h1+b2)；其中，w2是h2(d
h2
)
×
h1权重矩阵；解码器的激活函数relu为修正线性单元函数；通过映射函数将隐含层表示的h2映射到输出层的其中函数为采用随机梯度下降算法对权值w1，w2,进行调整,即使用误差反向传播算法对误差损失函数的梯度信息进行反向传播，同时更新所有的模型参数，这里损失函数假定为更新的网络权重参数为更新的网络权重参数为更新的网络权重参数为ρ为学习率，i代表第i个神经元，k为迭代次数，为求导数符号。4.根据权利要求3所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤2)具体如下：将自动编码机的输出向量变成矩阵，作为深度卷积网络的输入；利用深度卷积神经网络的骨干网络，对于m
×
m图像，采用卷积计算公式具体为其中，下标i,j为像素点位置；卷积核参数学习通过下列公式实现：
β为学习率，k为学习迭代次数。5.根据权利要求4所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤3)具体如下：利用带有自注意力机制的转换器对骨干网输出的向量进行特征提取，自注意力机制中的q为输入向量与搜索矩阵生成的图像查询特征，k表示网络根据输入向量生成的键值，v表示网络根据输入向量生成匹配值，采用点积来计算两个矩阵q和k的相似度；自注意力机制计算过程为，对输入向量x，分别乘以q，k和v对应的三个系数矩阵w
q
、w
k
、w
v
,得到计算q和k的相似度a＝k
t
q,对a矩阵进行softmax操作或者relu操作得到a
′
，d为向量的维数；利用得到的a
′
，计算每个输入向量对应的self-attention层的输出向量即得到自注意力值它为值向量的加权和，权值为各个样本与各条信息间相关或相似程度的分布。6.根据权利要求5所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤4)具体如下：上采样输出图像尺寸与输入之间的关系：output＝stride(input-1)+kernel_size-2padding式中，output为输出图像的尺寸，input为输入图像的尺寸，kernel_size为卷积核大小，stride为步幅，padding为补0操作；双向性插值是先对两水平方向进行一阶线性插值，再在垂直方向进行一阶线性插值，这样如果已知水平垂直四个相邻的点像素值q
11
(x1,y1)、q
12
(x1,y2)、q
21
(x2,y1)、q
22
(x2,y2)的值，中间插值p(x,y)的值为:f(x,y)＝w
11
f(q
11
)+w
22
f(q
12
)+w
33
f(q
21
)+w
22
f(q
22
)这里w
11
、w
22
、w
33
、w
22
为代表权重系数；利用上述公式，将最后注意层的预测进行步长为stride＝8，padding＝1的双线性插值的上采样得到原尺寸的图像，并与从池化2层进行的预测融合，得到语义分割图像。7.基于全卷积神经网络与变换器的卫星图像语义分割系统，其特征在于，包括自动编码机、编码器和解码器；自动编码机：对卫星图像进行除雾去噪处理；编码器：采用多层即深度下抽样卷积神经网络提取卫星图像特征；并利用具有自注意力机制变换器优化卫星图像特征；解码器：利用上抽样实现卫星图像的语义分割。

技术总结
本发明基于全卷积神经网络与变换器的卫星图像语义分割的方法及系统，方法包括:1)对卫星图像进行除雾去噪处理；2)采用多层即深度下抽样卷积神经网络提取卫星图像特征；3)利用具有自注意力机制变换器优化卫星图像特征；4)利用上抽样实现卫星图像的语义分割。本发明利用自动编码机对图像进行除雾去噪，使得卫星图像更清晰，利用卷积网络提取卫星图像特征的同时，设计一个转换器的自注意网络，利用权重分布，进一步提取卫星图像，最后自注意层的特征图进行上采样得到原图大小的分割，还通过跳级结构将富有全局信息最后一层的预测和富有局部信息更浅层的预测结合，在遵守全局预测的同时进行局部预测，实现精准的语义分割。实现精准的语义分割。实现精准的语义分割。


技术研发人员：胡淼 李舒琴 杨国伟 周雪芳
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.05.18
技术公布日：2023/8/16