基于混合特征提取的遥感图像语义分割方法、装置和设备

1.本技术涉及图像处理技术领域，特别是涉及一种基于混合特征提取的遥感图像语义分割方法、装置和设备。


背景技术：

2.随着飞行器、卫星等远距离手段获取地球表面特征信息的技术不断发展，通过遥感技术，可以观测到地球表面的陆地、海洋、大气、生物等多个方面的信息，并能够实现对它们的分析和处理。遥感技术已经广泛应用于农业、林业、水资源管理、城市规划、环境保护、天气预报、国土资源调查等领域。如何利用这些日益丰富且完善的遥感数据集，对地球进行智能观测，是遥感领域一个巨大的机会和挑战。其中遥感语义分割利用遥感技术获取的图像，通过计算机视觉和深度学习算法对其进行像素级别的分类和标注，将图像中的每个像素点都标记为相应的类别，从而实现对图像的语义理解和识别，其主要要求是，网络必须能够捕获遥感场景的整体视图，同时保留遥感图像的细节和语义信息。在遥感应用中，语义分割可以帮助快速准确地提取出图像中的各种地物信息，如建筑、道路、河流、森林等，从而实现对地表特征进行精细化分析和研究，也可以辅助农业、林业、水资源管理等领域做出决策，对于遥感数据集的利用有重大意义。
3.传统的语义分割方法通常采用基于区域的方法，例如使用区域生长或者聚类算法将像素分成不同的区域。这些方法在一定程度上可以实现图像中物体的分割，但是不能准确地标记物体边界，而且对复杂场景的处理效果并不理想。近年来，深度学习方法已经成为语义分割领域中的主流方法。通过使用卷积神经网络(cnn)等深度学习模型，可以有效地提取图像特征，并进行精确的像素级别的分类。其中，全卷积网络(fcn)、编码器-解码器网络(encoder-decoder)、空洞卷积网络(dilated convnet)和分割网络(segnet)等模型被广泛应用于语义分割任务中。最近，vits将基于纯自注意力的transformer引入了视觉领域，并在各种视觉任务上实现了新的sota性能，比如segformer。尽管取得了成功，但是有关全局注意的vits需要强大的计算资源，对于一些移动设备而言不友好。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种基于混合特征提取的遥感图像语义分割方法、装置和设备。
5.一种基于混合特征提取的遥感图像语义分割方法，所述方法包括：
6.将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络cocs。
7.将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征。
8.将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
9.将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
10.将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
11.在其中一个实施例中，所述语义增强模块是由若干个tranformer模块堆叠构成的。
12.在其中一个实施例中，所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。
13.在其中一个实施例中，所述特征融合模块包括两个1
×
1卷积层和两个上采样模块。
14.将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征，包括：
15.将所述语义增强特征采用第一个所述1
×
1卷积层进行维度变化，将得到的特征采用第一个所述上采样模块进行上采样，得到中间语义增强特征。
16.将所述高分辨率增强特征采用第二个所述1
×
1卷积层进行维度变化，到中间高分辨率增强特征。
17.将第三阶段的输出特征采用第二个所述上采样模块进行上采样，得到上采用特征。
18.将所述中间语义增强特征、所述中间高分辨率增强特征以及所述上采用特征相乘，得到第一融合特征。
19.将所述第一融合特征、所述中间语义增强特征以及所述中间高分辨率增强特征相加融合，得到融合特征。
20.在其中一个实施例中，所述分割头包括两个卷积模块；所述卷积模块包括卷积层、批标准化处理层以及relu激活函数。
21.将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果，包括：
22.将所述融合特征输入到所述分割头的第一个所述卷积模块中，得到通道维度下降的特征。
23.将所述通道维度下降的特征输入到所述分割头的第二个所述卷积模块中，得到待分割遥感图像的语义分割结果。
24.在其中一个实施例中，上下文聚类网络cocs包括四个阶段，每个阶段都包括第三下采样模块和若干个聚类块；
25.每个阶段的聚类块数量分布为3、4、5、2；每个阶段的通道维度分别为：32、64、196、320。
26.一种基于混合特征提取的遥感图像语义分割装置，所述装置包括：
27.多层特征提取模块，用于将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络cocs。
28.语义特征和细节增强特征提取模块，用于将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
29.混合特征融合模块，用于将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
30.语义分割模块，用于将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
31.在其中一个实施例中，所述语义特征和细节增强特征提取模块中所述语义增强模块是由若干个tranformer模块堆叠构成的。
32.在其中一个实施例中，所述语义特征和细节增强特征提取模块中所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。
33.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
34.将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络cocs。
35.将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征。
36.将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
37.将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
38.将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
39.上述基于混合特征提取的遥感图像语义分割方法、装置和设备，所述方法包括：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；骨干网络为上下文聚类网络cocs；将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征；将第三阶段的输出特征、语义增强特征和高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；将融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。该方法可实现遥感图像的精确分割，并且在计算成本和表现效果之间实现了平衡。
附图说明
40.图1为一个实施例中基于混合特征提取的遥感图像语义分割方法的流程示意图；
41.图2为另一个实施例中基于混合特征提取的遥感图像语义分割网络结构图示意图；
42.图3为另一个实施例中语义特征增强提取模块结构示意图；
43.图4为另一个实施例中增强特征提取模块结构示意图；
44.图5为一个实施例中基于混合特征提取的遥感图像语义分割装置的结构框图；
45.图6为一个实施例中计算机设备的内部结构图。
具体实施方式
46.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
47.基于混合特征提取的遥感图像语义分割网络，简称：hfe-net。
48.在语义分割中实现高性能效果，有几个关键元素是至关重要的，包括用一个大的接受域来捕获上下文信息，用一个高分辨率的特征来实现精确分割，用细节和语义特征的融合来精确预测，以及改进特征表示的注意机制。最先进的模型通常会结合其中的几个甚至所有这些元素，以获得优越的性能。
49.在一个实施例中，如图1所示，提供了一种基于混合特征提取的遥感图像语义分割方法，该方法包括以下步骤：
50.步骤100：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；骨干网络为上下文聚类网络cocs。
51.具体的，骨干网络为上下文聚类网络cocs。在传统语义分割中经典方法为区域生长或者聚类算法将像素分成不同的区域。这些方法在一定程度上可以实现图像中物体的分割，但是不能准确地标记物体边界。随着深度学习的发展，基于深度学习的模型逐渐占领了语义分割领域，但是这些发展也从侧面说明聚类算法对于图片的区域划分有着先天优势，特别是对于图像分割领域。上下文聚类网络cocs将图像视为一系列一组无序的点，每个点都包括原始特征和位置信息，并且通过简化的聚类算法对深度特征进行分层分组和特征提取。上下文聚类网络cocs为图像和视觉表示提供了一个新的视角，聚类算法通过特征相似性将一个图片的所有像素点归纳为几个簇，在簇内进行特征聚合和特征更新，由于一个簇中像素点的数量是不固定的，有可能一个簇中的像素点总数为零，所以一个像素点会在一个不规则不固定的感受野中与其他像素点产生交互，这种特性贴合图像分割中的感受野要求。
52.整个骨干网络一共分为四个阶段，每个阶段都包含一个下采样和n个聚类块，下采样模块用来降低特征图分辨率，增加特征图维度。
53.步骤102：将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征。
54.具体的，待分割遥感图像经过骨干网络处理，为了获得密集预测任务中增强的空间细节和全局语义信息，采用了基于卷积和vit的增强特征提取模块对骨干网络输出的特征进行特征提取，并将提取的特征通过特征融合模块融合到原特征。
55.特别的，对于低层高分辨率阶段(骨干网络第二阶段)中的网络输出，基于这个尺度上的特征含有丰富的空间细节和纹理信息，使用基于卷积的n个倒置瓶颈模块捕获更精确的分割细节。
56.步骤104：将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
57.具体的，对于高层低分辨率阶段(骨干网络第四阶段)中的网络输出，基于这个尺度上的特征含有丰富的全局语义信息，使用基于transformer的m个vit模块捕获语义特征信息。
58.步骤106：将第三阶段的输出特征、语义增强特征和高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
59.具体的，为了实现这些特征之间的融合，使用特征融合模块，将特征提取模块中的细节和全局特征与相对应的原尺度特征融合，以增强表示。
60.步骤108：将融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
61.由骨干网络、语义特征增强提取模块、增强特征提取模块、特征融合模块以及分割头构成基于混合特征提取的遥感图像语义分割网络。基于混合特征提取的遥感图像语义分割网络的结构如图2所示。
62.上述基于混合特征提取的遥感图像语义分割方法中，所述方法包括：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；骨干网络为上下文聚类网络cocs；将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征；将第三阶段的输出特征、语义增强特征和高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；将融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。该方法可实现遥感图像的精确分割，并且在计算成本和表现效果之间实现了平衡。
63.在其中一个实施例中，如图3所示，步骤102中语义特征增强提取模块是由若干个tranformer模块堆叠构成的。
64.具体的，作为优选，语义特征增强提取模块是由若3个tranformer模块堆叠构成的。
65.transformer模块主要包括归一化层、多头自注意力机制、mlp模块以及残差连接器(residual connectors)。
66.在其中一个实施例中，如图4所示，步骤104中增强特征提取模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。
67.具体的，增强特征提取模块，给定一组特征点p∈r3×h×w，骨干网络生成特征图{f1,f2,f3,f4}，{f1,f2,f3,f4}分别表示骨干网络第一阶段、第二阶段、第三阶段和第四阶段的输出特征，其中f4具有较大的感受野，含有丰富的语义特征，因此我们使用m个tranformer模块对关键语义信息进行过滤提取。f2具有高分辨率特征，没有f3,f4经过下采样而导致的空间细节信息损失，对于想要更精确的分割结果而言至关重要，比如更精确的房屋边缘信息、更连续的长距离河流分割，但是对于高分辨率特征的过度注重，不可避免的会导致计算成本的上升，因此我们采用n个基于深度可分离卷积的倒置瓶颈模块，在控制计算成本的前提下完成增强高分辨率特征的提取，上述方法的公式表达如下：
68.f2′
＝cblocks(f2)
69.f4′
＝tblocks(f4)
70.其中，f2为骨干网络第二阶段的输出特征，f4为骨干网络第四阶段的输出特征，f2′
为增强特征提取模块的输出，f4′
为语义特征增强提取模块的输出，cblocks为增强特征提取模块，tblocks为语义特征增强提取模块。
71.在其中一个实施例中，特征融合模块包括两个1
×
1卷积层和两个上采样模块；步骤106包括：将语义增强特征采用第一个1
×
1卷积层进行维度变化，将得到的特征采用第一个上采样模块进行上采样，得到中间语义增强特征；将高分辨率增强特征采用第二个1
×
1卷积层进行维度变化，到中间高分辨率增强特征；将第三阶段的输出特征采用第二个上采
样模块进行上采样，得到上采用特征；将中间语义增强特征、中间高分辨率增强特征以及上采用特征相乘，得到第一融合特征；将第一融合特征、中间语义增强特征以及中间高分辨率增强特征相加融合，得到融合特征。
72.具体的，特征融合模块，获得增强特征之后，由于是不同特征提取器提取的特征，本技术设计了一个特征融合模块来融合这些特征。首先，给定为了简单起见，以f3的通道维度作为标准，使用1
×
1卷积层对f2和f4进行维度变换，将它们的通道维度变换到与f3一致，以f2的分辨率为标杆，将f3和f4上采样到与f2的分辨率同样的大小。然后将f2、f3和f4相乘，用丰富的语义信息和空间细节信息来过滤f3，方法的公式表达如下：
73.f2″
＝conv(f2′
)
74.f4″
＝conv(f4′
)
75.fusion＝f2″
*up(f3)*up(f4″
)+f2″
+up(f4″
)
76.其中，fusion为融合特征，f2″
为语义增强特征的卷积结果，f4″
为中间高分辨率增强特征，conv()为1
×
1卷积，up()为上采样。
77.在其中一个实施例中，分割头包括两个卷积模块；卷积模块包括卷积层、批标准化处理层以及relu激活函数；步骤108包括：将融合特征输入到分割头的第一个卷积模块中，得到通道维度下降的特征；将通道维度下降的特征输入到分割头的第二个卷积模块中，得到待分割遥感图像的语义分割结果。
78.具体的，特征融合后，融合特征捕获丰富的空间信息和语义信息，这是分割性能的基础。在此基础上，添加了一个简单的分割头。分割头由两个1
×
1层组成，通过平滑的通道维度下降输出结果。
79.在其中一个实施例中，步骤100中上下文聚类网络cocs包括四个阶段，每个阶段都包括第三下采样模块和若干个聚类块；每个阶段的聚类块数量分布为3、4、5、2；每个阶段的通道维度分别为：32、64、196、320。
80.具体的，骨干网络基于上下文聚类网络cocs，基本组成单元为聚类块，一个聚类块包含两个模块，其中第一个模块为区域划分模块，利用特征相似矩阵实现特征图的区域划分，第二个模块为特征聚合与更新模块，在划分好的区域内进行像素点特征的更新计算。
81.区域划分模块，给定一组特征点p∈rn×d，其中n等于像素点总数，d等于像素的特征维度，首先将p投影到ps来进行相似性运算，在空间中均匀的提出c个中心点，并通过平均其周围k个相邻点计算中心特征，然后计算ps和中心点集的值得到余弦相似矩阵s∈rc×n，将每个点分配到最相似的中心，得到c个集群。每个集群可能有不同数量的像素点，这种基于相似性的集群划分方式，在划分正确的情况下，等价于给了每个像素点一个合适的感受野或许非常切合需要密集预测的语义分割任务。
82.特征聚合与更新模块，划分区域之后，在每个区域中进行特征聚合，假定一个区域中有m个像素点，与中心的相似度为s∈rm，我们将这些像素点映射到一个值空间pv∈rm×w，其中w是维度数。聚合特征g的公式表达如下：
83.[0084][0085]
其中，g为聚合特征，vc为聚类中心，vi表示值空间pv中的第i个向量，α和β是可学习的缩放标量，sig()代表激活函数sigmoid。
[0086]
为了控制大小，聚合特征归一化为c。然后，聚合特征g根据相似性自适应地分配到区域中的每个点。通过这样做，这些点可以相互通信，并共享来自区域中所有点的特征，对于每个点pi的更新方式如下，其中fc为全连接层：
[0087]
pi′
＝pi+fc(sig(αsi+β)*g)
[0088]
根据pi的计算方式，计算每个区域的像素点，我们就得到了一个聚类块的计算方式。通过下采样和聚类块的堆叠就完成了整个骨干网络的构建。
[0089]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0090]
在一个验证性实施例中，数据集选用gid-5数据集。gid-5数据集是基于我国gaofen-2卫星而构建的大规模高分辨率遥感图像土地覆盖数据集，包括建筑、农田、森林、草地和水域等5个土地类别，共计150景象像素级标注的gaofen-2卫星遥感数据。gid-5数据集土地覆盖信息分布广泛，包含的图片是从全国60多个不同城市拍摄获取，整体图像覆盖范围超过50000平方公里的地理区域，另一方面，gid-5贴近真实的地物分布特征，包括相同区域不同季节、不同光照下的大量样本，在光谱、纹理、结构上具有极为丰富的多样性，十分贴近真实的地物分布特征。为了方便实验，我们将gid-5数据集切分成了27300张1024
×
1024分辨率的图片，其中训练集为21840张，验证集为5460张。
[0091]
实验环境的如表1所示。
[0092]
表1实验环境一览表
[0093][0094][0095]
为了验证本技术方法的有效性，在dig-5数据集上进行了探究验证。分别从参数量(params)、计算浮点数(flops)、平均交并比(miou)和延迟(lantency)等指标评估模型，对比实验模型我们选择了分割领域的经典模型stdc和deeplabv3+、与本技术方法相关的轻量级模型seaformer。实验结果如表2所示。
[0096]
表2实验结果一览表
[0097]
模型参数量(m)计算浮点数(g)延迟(ms)平均交并比(％)seaformer8.671770.1stdc8.633.93974.2deeplabv3+12.5211.81088.3hfe-net8.329.21988.6
[0098]
根据经验，表2实验结果证明了hfe-net在遥感语义分割中的有效性，hfe-net在8.3m参数量的情况下超过了12.5m参数量的deeplabv3+约0.3％的miou，达到了88.6％的miou，hfe-net在同等参数量的对比网络实验中，在gid-5数据集上的表现也超过了stdc和seaformer，说明hfe-net在计算成本和表现效果之间找到了一个平衡点。
[0099]
本技术的方法用一个大的接受域来捕获上下文信息，用一个高分辨率的特征来实现精确分割，用细节和语义特征的融合来精确预测，以及改进特征表示的注意机制这四个指导原则，通过聚类的区域划分实现感受野的合理划分，基于卷积的cblock来获得增强高分辨特征，基于transformer的tblock来获得增强全局语义信息，然后通过特征融合模块和维度平滑下降的分割头实现精确预测，构建了我们的面向遥感语义分割领域的混合特征提取的hfe-net，在实验方面验证了hfe-net的可行性和有效性，并且在计算成本和表现效果之间实现了平衡，有着不输于经典网络和新兴网络的能力。
[0100]
在一个实施例中，如图5所示，提供了一种基于混合特征提取的遥感图像语义分割装置，包括：多层特征提取模块、语义特征和细节增强特征提取模块、混合特征融合模块和语义分割模块，其中：
[0101]
多层特征提取模块，用于将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；骨干网络为上下文聚类网络cocs。
[0102]
语义特征和细节增强特征提取模块，用于将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
[0103]
混合特征融合模块，用于将第三阶段的输出特征、语义增强特征和高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
[0104]
语义分割模块，用于将融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
[0105]
在其中一个实施例中，语义特征和细节增强特征提取模块中语义增强模块是由若干个tranformer模块堆叠构成的。
[0106]
在其中一个实施例中，语义特征和细节增强特征提取模块中特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。
[0107]
在其中一个实施例中，特征融合模块包括两个1
×
1卷积层和两个上采样模块；混合特征融合模块，还用于将语义增强特征采用第一个1
×
1卷积层进行维度变化，将得到的特征采用第一个上采样模块进行上采样，得到中间语义增强特征；将高分辨率增强特征采用第二个1
×
1卷积层进行维度变化，到中间高分辨率增强特征；将第三阶段的输出特征采用第二个上采样模块进行上采样，得到上采用特征；将中间语义增强特征、中间高分辨率增
强特征以及上采用特征相乘，得到第一融合特征；将第一融合特征、中间语义增强特征以及中间高分辨率增强特征相加融合，得到融合特征。
[0108]
在其中一个实施例中，分割头包括两个卷积模块；卷积模块包括卷积层、批标准化处理层以及relu激活函数；语义分割模块，还用于将融合特征输入到分割头的第一个卷积模块中，得到通道维度下降的特征；将通道维度下降的特征输入到分割头的第二个卷积模块中，得到待分割遥感图像的语义分割结果。
[0109]
在其中一个实施例中，多层特征提取模块中上下文聚类网络cocs包括四个阶段，每个阶段都包括第三下采样模块和若干个聚类块；每个阶段的聚类块数量分布为3、4、5、2；每个阶段的通道维度分别为：32、64、196、320。
[0110]
关于基于混合特征提取的遥感图像语义分割装置的具体限定可以参见上文中对于基于混合特征提取的遥感图像语义分割方法的限定，在此不再赘述。上述基于混合特征提取的遥感图像语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0111]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器601、存储器602、网络接口603、显示屏604和输入装置605。其中，该计算机设备的处理器601用于提供计算和控制能力。该计算机设备的存储器602包括非易失性存储介质6022、内存储器6021。该非易失性存储介质6022存储有操作系统和计算机程序。该内存储器6021为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口603用于与外部的终端通过网络连接通信。该计算机程序被处理器601执行时以实现一种生物医药知识抽取方法。该计算机设备的显示屏604可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置605可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0112]
本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0113]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现方法实施例中方法的步骤。
[0114]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0115]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种基于混合特征提取的遥感图像语义分割方法，其特征在于，所述方法包括：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络cocs；将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征；将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述语义增强模块是由若干个tranformer模块堆叠构成的。3.根据权利要求1所述的方法，其特征在于，所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。4.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括两个1
×
1卷积层和两个上采样模块；将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征，包括：将所述语义增强特征采用第一个所述1
×
1卷积层进行维度变化，将得到的特征采用第一个所述上采样模块进行上采样，得到中间语义增强特征；将所述高分辨率增强特征采用第二个所述1
×
1卷积层进行维度变化，到中间高分辨率增强特征；将第三阶段的输出特征采用第二个所述上采样模块进行上采样，得到上采用特征；将所述中间语义增强特征、所述中间高分辨率增强特征以及所述上采用特征相乘，得到第一融合特征；将所述第一融合特征、所述中间语义增强特征以及所述中间高分辨率增强特征相加融合，得到融合特征。5.根据权利要求1所述的方法，其特征在于，所述分割头包括两个卷积模块；所述卷积模块包括卷积层、批标准化处理层以及relu激活函数；将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果，包括：将所述融合特征输入到所述分割头的第一个所述卷积模块中，得到通道维度下降的特征；将所述通道维度下降的特征输入到所述分割头的第二个所述卷积模块中，得到待分割遥感图像的语义分割结果。6.根据权利要求1所述的方法，其特征在于，上下文聚类网络cocs包括四个阶段，每个阶段都包括第三下采样模块和若干个聚类块；每个阶段的聚类块数量分布为3、4、5、2；每个阶段的通道维度分别为：32、64、196、320。7.一种基于混合特征提取的遥感图像语义分割装置，其特征在于，所述装置包括：多层特征提取模块，用于将获取的待分割遥感图像输入到骨干网络中，得到各个阶段
的输出特征；所述骨干网络为上下文聚类网络cocs；语义特征和细节增强特征提取模块，用于将第四阶段的输出特征输入到语义特征增强提取模块中采用tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征；混合特征融合模块，用于将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；语义分割模块，用于将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。8.根据权利要求7所述的装置，其特征在于，所述语义特征和细节增强特征提取模块中所述语义增强模块是由若干个tranformer模块堆叠构成的。9.根据权利要求7所述的装置，其特征在于，所述语义特征和细节增强特征提取模块中所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

技术总结
本申请涉及一种基于混合特征提取的遥感图像语义分割方法、装置和设备。该方法包括：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；骨干网络为上下文聚类网络CoCs；将第四阶段的输出特征输入到语义特征增强提取模块中采用Tranformer模块对关键语义信息进行过滤提取，将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取；将第三阶段的输出特征、语义增强特征和高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；将融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。该方法可实现遥感图像的精确分割，并在计算成本和表现效果之间实现了平衡。了平衡。了平衡。


技术研发人员：王威 熊艺舟 王新 李骥 张文杰
受保护的技术使用者：长沙理工大学
技术研发日：2023.08.08
技术公布日：2023/9/20