基于高斯混合模型的遥感图像特征融合方法、电子设备与流程

1.本发明涉及遥感图像特征融合技术领域，尤其涉及一种基于高斯混合模型的遥感图像特征融合方法、电子设备。


背景技术：

2.随着遥感技术的不断发展和卫星分辨率的不断提高，遥感图像的数量和分辨率也在不断增加，获取到的遥感图像数量呈指数级增长。遥感图像目标检测是指从卫星或航拍飞行器等远距离获取的遥感图像中，自动检测出感兴趣目标的过程。这项技术在很多领域都有广泛应用，比如农业、林业、城市规划、自然资源管理、环境监测等。遥感图像具有幅宽大，成像背景复杂，小目标数量众多的检测难题，因此如何高效地从大量遥感图像中检测出目标成为了一个重要的研究方向。目前常用的遥感图像目标检测技术包括传统的基于特征工程的方法和基于深度学习的方法。
3.传统的基于特征工程的方法需要手动提取图像中的特征，并采用机器学习算法对这些特征进行分类。这种方法虽然可以取得一定的效果，但是这种方法需要人工设计提取特征规则，难以处理复杂的遥感图像数据。
4.基于深度学习的方法则利用深度卷积神经网络(cnn)自动学习图像中的特征，并实现端到端的目标检测。这种方法具有很高的准确率和鲁棒性，且不需要手动提取特征，因此被广泛应用于遥感图像目标检测领域。
5.传统的目标检测算法难以满足对于大规模遥感图像的高效处理和准确识别的需求，因此基于深度学习的遥感图像目标检测算法成为了研究热点之一。同时，随着深度学习技术的不断发展，基于深度学习的方法也在不断改进和优化，比如引入注意力机制、多任务学习等技术，以提高检测的准确率。特征融合网络作为一种能够提高目标检测精度的方法，在遥感图像目标检测领域扮演着重要的角色。特征融合网络利用卷积神经网络(cnn)的特征提取能力，将多个不同层次和尺度的特征图进行融合，从而获得更加丰富和准确的目标信息。这种融合可以通过不同的方式实现，例如级联结构、特征金字塔和注意力机制等。特征融合网络可以在多个层次上融合特征，使得网络能够得到更全面的信息，通过构建特征融合网络的方式将传统特征融合方法应用于深度学习模型中，主要采用简单的加权求和或拼接等方式，将来自不同特征层的特征图合并为一个综合的特征图。
6.传统特征融合方法主要采用简单的加权求和或拼接等方式，将来自不同特征层的特征图合并为一个综合的特征图。但是，这种简单的特征融合方法存在一些不足之处。首先，不同特征层的特征图具有不同的分辨率和语义信息，简单的融合方式难以很好地利用它们之间的差异性和互补性。其次，上述方法为了实现特征融合操作，先后对在不同尺寸的特征图进行了降采样以及通道维数调整等方法，这造成了许多重要信息的丢失，此外，无论是通道相加还是维度拼接的操作，都是生硬的将两个特征点集以离散的方式简单相加，这使得融合后的特征图在分布描述上不具备连续函数的诸多优秀性质，上述问题均阻碍了现有遥感图像目标检测任务取得更好的性能。


技术实现要素：

7.为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种的基于高斯混合模型的遥感图像特征融合方法、电子设备，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
8.为实现上述发明目的，本发明提供一种基于高斯混合模型的遥感图像特征融合方法，包括以下步骤：
9.步骤s1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；
10.步骤s2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；
11.步骤s3、构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；
12.步骤s4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；
13.步骤s5、利用所述步骤s4得到的融合特征图输入目标检测网络的检测头，进行遥感图像检测，计算分类损失以及位置预测损失；
14.步骤s6、重复执行步骤s1至s5，训练检测模型；
15.步骤s7、利用步骤s6得到的检测模型对遥感图像进行检测。
16.根据本发明的一个方面，在所述步骤s2中，具体包括：
17.步骤s21、构建特征融合网络；
18.步骤s22、利用特征融合网络接收不同层级的遥感图像特征图，对不同层级的遥感图像特征图进行融合操作，获得遥感图像目标的多特征图；
19.其中，不同层级的遥感图像图像至少包括浅层特征图、中层特征图、深层特征图，融合方式至少包括上采样、横向连接及维度拼接。
20.根据本发明的一个方面，在所述步骤s3中，具体包括：
21.步骤s31、利用降维方法对所述步骤s2获取的浅层特征图、中层特征图、深层特征图进行向量降维；
22.步骤s32、利用高斯混合模型拟合降维后的浅层特征图、中层特征图、深层特征图，获得多个相对应的高斯混合模型参数。
23.根据本发明的一个方面，在所述步骤s4中，具体包括：
24.步骤s41、对所述步骤s3中获得的多个代表浅层特征图、中层特征图、深层特征图的高斯混合模型进行加权平均融合，使得融合后的高斯分布个数为待融合模型的高斯子分布的总数，权重总和为1，均值以及方差按照权重进行归一化；
25.步骤s42、利用所述步骤s41中获得的融合后的高斯混合模型拟合所述步骤s2中原始特征拼接方法生成的融合特征图，优化模型参数；
26.步骤s43、利用所述步骤s42中参数优化后的模型进行数据生成，在特征向量聚类中心的周围随机生成特征点数据，扩充特征图信息维度；
27.步骤s44、对所述步骤s43生成的特征数据进行维度转换，并与所述步骤s2中原始特征拼接方法生成的融合特征图进行维度拼接，通过注意力机制筛选拼接后的大特征图的
通道信息数。
28.根据本发明的一个方面，在所述步骤s22中，具体包括：
29.步骤s221、遍历步骤s21获取的浅层特征图、中层特征图、深层特征图，利用1*1卷积使得特征图通道数一致；
30.步骤s222、对步骤s221获得的通道数一致的特征图进行尺寸上采样操作，将浅层特征尺寸调整为中层特征图尺寸后，再进行维度拼接或通道相加，帮助中层特征图预测。
31.根据本发明的一个方面，在所述步骤s31中，对输入的特征图信息进行像素级数据遍历处理，按照像素循环抽取1*1*通道数的特征向量，获取相应数量的特征点，在对获取的特征点数据集进行降维处理，求取特征向量，
32.所述降维方法包括但不限于奇异值分解，变分推断或主成分分析。
33.根据本发明的一个方面，在所述步骤s32中，具体包括：
34.步骤s321、利用贝叶斯信息准则bic和赤池信息准则aic初始化高斯混合模型，从一组可供选择的模型中选择最佳模型时，通常综合考虑aic和bic最小的模型，bic和aic的公式如下：
35.aic＝2k-2ln(l)
36.bic＝kln(n)-2ln(l)
37.其中，k是模型参数个数，n为样本数量，l是似然函数，kln(n)为bic模型的惩罚项；
38.步骤s322、利用高斯混合模型拟合特征图，高斯混合模型由多个高斯子分布组成，单个高斯分布公式如下：
[0039][0040]
当样本数据x是一维数据时，高斯分布遵从以上概率密度函数，其中μ为数据均值(期望)，σ为数据标准差，
[0041]
高斯混合模型由多个高斯分布组成，对于一个复杂分布的二维观测矩阵，高斯混合模型可以用多个高斯分布去拟合复杂分布，从而产生多个高斯子分布的权重值，以及均值和方差，高斯混合模型公式如下：
[0042][0043]
其中，多个高斯子分布由φ(x|θk)表示，αk为每个高斯子分布所占的权重，θk中包含每个子分布的均值以及方差，高斯混合模型的似然函数可以表示为一下形式：
[0044][0045]
步骤s323、利用em算法迭代求解高斯混合模型的似然函数。
[0046]
根据本发明的一个方面，在所述步骤s41中，具体包括：
[0047]
步骤s411、多个高斯混合模型进行加权平均融合，需要对每个高斯子分布的个数，权重，均值，方差进行重新归一化，，公式如下所示：
[0048]
假设有两个高斯混合模型分别为gmm1和gmm2，它们的概率密度函数为：
[0049][0050][0051]
其中，α表示两个模型中第i个分量的权重系数，μ表示两个模型中第i个分量的均值向量，δ表示两个模型中第i个分量的协方差矩阵，基于以下公式进行模型参数合并：
[0052][0053][0054][0055]
其中，n分别表示两个模型中第i个分量的样本数，新的权重系数αi是第i个分量在两个模型中的样本数量之和占总样本数量n的比例，新的均值向量μi是两个模型中第i个分量的均值向量加权平均，新的协方差矩阵δi是两个模型中第i个分量的协方差矩阵加权平均，合并后的高斯混合模型可以表示为：
[0056][0057]
或可以表示为：
[0058][0059]
步骤s412、对步骤s411获取的合成高斯混合模型进行数据生成，生成数据为聚类后的样本簇中心点附近的数据的随机生成。
[0060]
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种基于高斯混合模型的遥感图像特征融合方法。
[0061]
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种基于高斯混合模型的遥感图像特征融合方法。
[0062]
本发明与现有技术相比，具有如下有益效果：
[0063]
本发明提出了一种基于高斯混合模型的遥感图像特征融合方法、电子设备，在训练基于卷积神经网络的遥感图像目标检测模型时，通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，再通过基于高斯混合模型的特征融合网络去拟合特征融合网络中产生的浅层特征图、中层特征图、深层特征图，最后将获得的多个高斯混合模型进行加权平均融合，将原本张量拼接的特征融合方式转换为高斯空间下的不同分布的融合，缓解了遥感目标检测任
务中特征融合不充分的检测精度受限问题，通过使用高斯混合模型映射融合的思想，在高斯混合模型完成特征映射后，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
[0064]
进一步地，遥感图像目标检测模型在检测过程中能够获得目标的多尺度信息，获得更加丰富和准确的目标信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，提高了遥感图像目标定位准确性，对高分辨率遥感图像旋转框目标检测具有重要意义。
附图说明
[0065]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0066]
图1示意性表示根据本发明一个实施例中提供的基于高斯混合模型的遥感图像特征融合方法流程图；
[0067]
图2示意性表示根据本发明一种实施方式的高斯混合模型进行特征融合以及特征生成算法的示意图；
[0068]
图3示意性表示根据本发明一种实施方式的基于高斯混合模型的遥感图像特征融合方法构建的目标检测模型训练流程图；
[0069]
图4示意性表示根据本发明一种实施方式的基于高斯混合模型的遥感图像特征融合方法的模型算法流程图。
具体实施方式
[0070]
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
[0071]
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
[0072]
如图1至图4所示，本发明的一种基于高斯混合模型的遥感图像特征融合方法，包括以下步骤：
[0073]
步骤s1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；
[0074]
步骤s2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；
[0075]
步骤s3、构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；
[0076]
步骤s4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生
成数据并与原始特征图拼接；
[0077]
步骤s5、利用所述步骤s4得到的融合特征图输入目标检测网络的检测头，进行遥感图像检测，计算分类损失以及位置预测损失；
[0078]
步骤s6、重复执行步骤s1至s5，训练检测模型；
[0079]
步骤s7、利用步骤s6得到的检测模型对遥感图像进行检测。
[0080]
在该实施例中，在训练基于卷积神经网络的遥感图像目标检测模型时，通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，再通过基于高斯混合模型的特征融合网络去拟合特征融合网络中产生的浅层特征图、中层特征图、深层特征图，最后将获得的多个高斯混合模型进行加权平均融合，将原本张量拼接的特征融合方式转换为高斯空间下的不同分布的融合，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题，通过使用高斯混合模型映射融合的思想，在高斯混合模型完成特征映射后，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
[0081]
进一步地，遥感图像目标检测模型在检测过程中能够获得目标的多尺度信息，获得更加丰富和准确的目标信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，提高了遥感图像目标定位准确性，对高分辨率遥感图像旋转框目标检测具有重要意义。
[0082]
在本发明的一个实施例中，优选地，在执行步骤s1前，先获取遥感图像及遥感图像对应的目标标签，并对其做适当的数据预处理操作，预处理过程至少包括随机翻转、旋转、缩放以及裁剪。
[0083]
在该实施例中，通过对遥感图像进行剪裁、翻转等操作，有利于增强模型算法的鲁棒性、普适性和提高泛化能力。
[0084]
在本发明的一个实施例中，优选地，在步骤s1中，还包括：
[0085]
步骤s11、利用主干特征提取网络提取输入遥感图像特征，得到特征图；
[0086]
步骤s12、对步骤s11中获取的特征图进行标记，按照提取特征图的层级位置分类为浅层特征图、中层特征图、深层特征图。
[0087]
在本发明的一个实施例中，优选地，在所述步骤s2中，具体包括：
[0088]
步骤s21、构建特征融合网络；
[0089]
步骤s22、利用特征融合网络接收不同层级的遥感图像特征图，对不同层级的遥感图像特征图进行融合操作，获得遥感图像目标的多特征图；
[0090]
其中，不同层级的遥感图像图像至少包括浅层特征图、中层特征图、深层特征图，融合方式至少包括上采样、横向连接及维度拼接。
[0091]
在该实施例中，训练基于卷积神经网络的遥感图像目标检测模型时，通过特征金字塔构建特征融合网络能够有使得模型获得目标的多尺度信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力。
[0092]
在本发明的一个实施例中，优选地，在所述步骤s3中，具体包括：
[0093]
步骤s31、利用降维方法对所述步骤s2获取的浅层特征图、中层特征图、深层特征图进行向量降维；
[0094]
步骤s32、利用高斯混合模型拟合降维后的浅层特征图、中层特征图、深层特征图，
获得多个相对应的高斯混合模型参数。
[0095]
在该实施例中，利用高斯混合模型去拟合特征融合网络中产生的浅层、中层、深层特征图，再将获得的多个高斯混合模型进行加权平均融合，将原本张量拼接的特征融合方式转换为高斯空间下的不同分布的融合过程，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题。
[0096]
在本发明的一个实施例中，优选地，在所述步骤s4中，具体包括：
[0097]
步骤s41、对所述步骤s3中获得的多个代表浅层特征图、中层特征图、深层特征图的高斯混合模型进行加权平均融合，使得融合后的高斯分布个数为待融合模型的高斯子分布的总数，权重总和为1，均值以及方差按照权重进行归一化；
[0098]
步骤s42、利用所述步骤s41中获得的融合后的高斯混合模型拟合所述步骤s2中原始特征拼接方法生成的融合特征图，优化模型参数；
[0099]
步骤s43、利用所述步骤s42中参数优化后的模型进行数据生成，在特征向量聚类中心的周围随机生成特征点数据，扩充特征图信息维度；
[0100]
步骤s44、对所述步骤s43生成的特征数据进行维度转换，并与所述步骤s2中原始特征拼接方法生成的融合特征图进行维度拼接，通过注意力机制筛选拼接后的大特征图的通道信息数，最大程度获取有效知识，避免噪声干扰。
[0101]
如图2和图3所示，在本发明的一个实施例中，优选地，在所述步骤s22中，保留传统特征融合方法，方便后续以高斯混合模型生成数据增强特征图，使得更有价值的信息被保留或增强，具体包括：
[0102]
步骤s221、遍历步骤s21获取的浅层特征图、中层特征图、深层特征图，利用1*1卷积使得特征图通道数一致；
[0103]
步骤s222、对步骤s221获得的通道数一致的特征图进行尺寸上采样操作，将浅层特征尺寸调整为中层特征图尺寸后，再进行维度拼接或通道相加，帮助中层特征图预测。
[0104]
在本发明的一个实施例中，优选地，在所述步骤s31中，利用特征降维方法进行聚类数据集构建，使得高斯混合模型能够对特征数据进行拟合，具体如下：
[0105]
步骤s311、对输入特征图信息进行像素级数据遍历处理，按照像素循环抽取1*1*通道数的特征向量，假如输入特征图尺寸为32*32*256则获得1024个1*1*256的特征点；
[0106]
步骤s312、对步骤s311获取的特征点数据集进行降维处理，求取其特征向量，并传入高斯混合模型，采用的特征降维方法包括但不限于：奇异值分解，变分推断，主成分分析等。
[0107]
在本发明的一个实施例中，优选地，在所述步骤s32中，具体包括：
[0108]
步骤s321、利用贝叶斯信息准则bic和赤池信息准则aic初始化高斯混合模型，从一组可供选择的模型中选择最佳模型时，通常综合考虑aic和bic最小的模型，bic和aic的公式如下：
[0109]
aic＝2k-2ln(l)
[0110]
bic＝kln(n)-2ln(l)
[0111]
其中，k是模型参数个数，n为样本数量，l是似然函数，kln(n)为bic模型的惩罚项；
[0112]
步骤s322、利用高斯混合模型拟合特征图，高斯混合模型由多个高斯子分布组成，单个高斯分布公式如下：
[0113][0114]
当样本数据x是一维数据时，高斯分布遵从以上概率密度函数，其中μ为数据均值(期望)σ为数据标准差，
[0115]
高斯混合模型由多个高斯分布组成，对于一个复杂分布的二维观测矩阵，高斯混合模型可以用多个高斯分布去拟合复杂分布，从而产生多个高斯子分布的权重值，以及均值和方差，高斯混合模型公式如下：
[0116][0117]
其中，多个高斯子分布由φ(x|θk)表示，αk为每个高斯子分布所占的权重，θk中包含每个子分布的均值以及方差，高斯混合模型的似然函数可以表示为一下形式：
[0118][0119]
步骤s323、利用em算法迭代求解高斯混合模型的似然函数。
[0120]
在本发明的一个实施例中，优选地，在所述步骤s41中，具体包括：
[0121]
步骤s411、多个高斯混合模型进行加权平均融合，需要对每个高斯子分布的个数，权重，均值，方差进行重新归一化，，公式如下所示：
[0122]
假设有两个高斯混合模型分别为gmm1和gmm2，它们的概率密度函数为：
[0123][0124][0125]
其中，α表示两个模型中第i个分量的权重系数，μ表示两个模型中第i个分量的均值向量，δ表示两个模型中第i个分量的协方差矩阵，基于以下公式进行模型参数合并：
[0126][0127][0128][0129]
其中，n分别表示两个模型中第i个分量的样本数，新的权重系数αi是第i个分量在两个模型中的样本数量之和占总样本数量n的比例，新的均值向量μi是两个模型中第i个分量的均值向量加权平均，新的协方差矩阵δi是两个模型中第i个分量的协方差矩阵加权平均，合并后的高斯混合模型可以表示为：
[0130][0131]
或可以表示为：
[0132][0133]
步骤s412、对步骤s411获取的合成高斯混合模型进行数据生成，生成数据为聚类后的样本簇中心点附近的数据的随机生成，这部分数据是深度神经网络经过深度卷积计算之后，仍保留较大权重的特征数据点，后续的拼接过程可以理解为对重要数据的强化。
[0134]
如图3所示，基于高斯混合模型的遥感图像特征融合方法构建的目标检测模型训练流程图，首先遥感图像读取，并记性遥感图像预处理，完成主干特征提取网络后，区别于传统特征融合网络构建，本技术采用基于gmm的特征融合网络搭建；接收多层特征图；特征降维；信息准则初始化高斯模型；特征映射到高斯空间；多个高斯混合模型融合；基于高斯混合模型的特征数据生成；传统融合特征图生成；分类及位置回归预测；损失预算；模型训练完成。
[0135]
如图4所示，本发明一个实施例的基于高斯混合模型的遥感图像特征融合方法，具体步骤可以为：步骤s100、获取遥感图像数据，并进行适当的预处理操作，包括图像裁剪，图像翻转，投影变换等；步骤s200、搭建深度神经网络模型，通过主干特征提取网络提取目标特征；步骤s300、搭建特征融合网络，对主干特征提取网络获取的特征图进行融合；步骤s400、使用高斯混合模型拟合浅层、中层、深层特征图获得对应的高斯混合模型参数；步骤s500、对多个高斯混合模型进行加权融合，生成权重占比大的重要数据拼接回原特征图；步骤s600、对多个高斯混合模型进行加权融合，生成权重占比大的重要数据拼接回原特征图；步骤s700、对特征图进行预测，计算模型分类及位置回归损失，通过反向传播训练优化模型参数；步骤s800、判断训练是否结束，若是，则执行步骤s900，若否，则再次执行步骤s100至s700；步骤s900、利用步骤s800得到的检测模型对遥感图像进行检测。
[0136]
其中，通过设计深度学习模型的最大训练轮次以及检测精度阈值判断训练是否结束。
[0137]
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项的一种基于高斯混合模型的遥感图像特征融合方法。
[0138]
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，计算机指令被处理器执行时，实现如上述技术方案中任一项一种基于高斯混合模型的遥感图像特征融合方法。
[0139]
计算机可读存储介质可以包括能够存储或传输信息的任何介质。计算机可读存储介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0140]
本发明的一种基于高斯混合模型的遥感图像特征融合方法、电子设备，基于高斯混合模型的遥感图像特征融合方法包括：步骤s1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；步骤s2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；步骤s3、构建多个高斯混合模型拟合多特征
图，获得高斯混合模型的参数；步骤s4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；步骤s5、利用所述步骤s4得到的融合后的高斯混合模型对遥感图像进行检测，计算分类损失以及位置预测损失；步骤s6、重复执行步骤s1至s5，训练检测模型；步骤s7、利用步骤s6得到的检测模型对遥感图像进行检测，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题，通过使用高斯混合模型映射融合的思想，在高斯混合模型完成特征映射后，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
[0141]
进一步地，遥感图像目标检测模型在检测过程中能够获得目标的多尺度信息，获得更加丰富和准确的目标信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，提高了遥感图像目标定位准确性，对高分辨率遥感图像旋转框目标检测具有重要意义。
[0142]
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
[0143]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0144]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0145]
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0146]
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

技术特征：
1.一种基于高斯混合模型的遥感图像特征融合方法，其特征在于，包括以下步骤：步骤s1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；步骤s2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；步骤s3、构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；步骤s4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；步骤s5、利用所述步骤s4得到的融合特征图输入目标检测网络的检测头，进行遥感图像检测，计算分类损失以及位置预测损失；步骤s6、重复执行步骤s1至s5，训练检测模型；步骤s7、利用步骤s6得到的检测模型对遥感图像进行检测。2.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s2中，具体包括：步骤s21、构建特征融合网络；步骤s22、利用特征融合网络接收不同层级的遥感图像特征图，对不同层级的遥感图像特征图进行融合操作，获得遥感图像目标的多特征图；其中，不同层级的遥感图像至少包括浅层特征图、中层特征图、深层特征图，融合方式至少包括上采样、横向连接及维度拼接。3.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s3中，具体包括：步骤s31、利用降维方法对所述步骤s2获取的浅层特征图、中层特征图、深层特征图进行向量降维；步骤s32、利用高斯混合模型拟合降维后的浅层特征图、中层特征图、深层特征图，获得多个相对应的高斯混合模型参数。4.根据权利要求3所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s4中，具体包括：步骤s41、对所述步骤s3中获得的多个代表浅层特征图、中层特征图、深层特征图的高斯混合模型进行加权平均融合，使得融合后的高斯分布个数为待融合模型的高斯子分布的总数，权重总和为1，均值以及方差按照权重进行归一化；步骤s42、利用所述步骤s41中获得的融合后的高斯混合模型拟合所述步骤s2中原始特征拼接方法生成的融合特征图，优化模型参数；步骤s43、利用所述步骤s42中参数优化后的模型进行数据生成，在特征向量聚类中心的周围随机生成特征点数据，扩充特征图信息维度；步骤s44、对所述步骤s43生成的特征数据进行维度转换，并与所述步骤s2中原始特征拼接方法生成的融合特征图进行维度拼接，通过注意力机制筛选拼接后的大特征图的通道信息数。5.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s22中，具体包括：步骤s221、遍历步骤s21获取的浅层特征图、中层特征图、深层特征图，利用1*1卷积使
得特征图通道数一致；步骤s222、对步骤s221获得的通道数一致的特征图进行尺寸上采样操作，将浅层特征尺寸调整为中层特征图尺寸后，再进行维度拼接或通道相加，帮助中层特征图预测。6.根据权利要求5所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s31中，对输入的特征图信息进行像素级数据遍历处理，按照像素循环抽取1*1*通道数的特征向量，获取相应数量的特征点，在对获取的特征点数据集进行降维处理，求取特征向量，所述降维方法包括但不限于奇异值分解，变分推断或主成分分析。7.根据权利要求5所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s32中，具体包括：步骤s321、利用贝叶斯信息准则bic和赤池信息准则aic初始化高斯混合模型，从一组可供选择的模型中选择最佳模型时，通常综合考虑aic和bic最小的模型，bic和aic的公式如下：aic＝2k-2ln(l)bic＝kln(n)-2ln(l)其中，k是模型参数个数，n为样本数量，l是似然函数，kln(n)为bic模型的惩罚项；步骤s322、利用高斯混合模型拟合特征图，高斯混合模型由多个高斯子分布组成，单个高斯分布公式如下：当样本数据x是一维数据时，高斯分布遵从以上概率密度函数，其中μ为数据均值(期望)，σ为数据标准差，高斯混合模型由多个高斯分布组成，对于一个复杂分布的二维观测矩阵，高斯混合模型可以用多个高斯分布去拟合复杂分布，从而产生多个高斯子分布的权重值，以及均值和方差，高斯混合模型公式如下：其中，多个高斯子分布由φ(x|θ
k
)表示，α
k
为每个高斯子分布所占的权重，θ
k
中包含每个子分布的均值以及方差，高斯混合模型的似然函数可以表示为一下形式：步骤s323、利用em算法迭代求解高斯混合模型的似然函数。8.根据权利要求5所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤s41中，具体包括：步骤s411、多个高斯混合模型进行加权平均融合，需要对每个高斯子分布的个数，权重，均值，方差进行重新归一化，，公式如下所示：假设有两个高斯混合模型分别为gmm1和gmm2，它们的概率密度函数为：
其中，α表示两个模型中第i个分量的权重系数，μ表示两个模型中第i个分量的均值向量，δ表示两个模型中第i个分量的协方差矩阵，基于以下公式进行模型参数合并：量，δ表示两个模型中第i个分量的协方差矩阵，基于以下公式进行模型参数合并：量，δ表示两个模型中第i个分量的协方差矩阵，基于以下公式进行模型参数合并：其中，n分别表示两个模型中第i个分量的样本数，新的权重系数α
i
是第i个分量在两个模型中的样本数量之和占总样本数量n的比例，新的均值向量μ
i
是两个模型中第i个分量的均值向量加权平均，新的协方差矩阵δ
i
是两个模型中第i个分量的协方差矩阵加权平均，合并后的高斯混合模型可以表示为：或可以表示为：步骤s412、对步骤s411获取的合成高斯混合模型进行数据生成，生成数据为聚类后的样本簇中心点附近的数据的随机生成。9.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至8中任一项所述的基于高斯混合模型的遥感图像特征融合方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至8中任一项所述的基于高斯混合模型的遥感图像特征融合方法。

技术总结
本发明涉及一种基于高斯混合模型的遥感图像特征融合方法、电子设备，通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；利用融合特征图输入目标检测网络的检测头，进行遥感图像检测，计算分类、位置预测损失；重复执行上述步骤，训练检测模型；利用检测模型进行检测。本发明，提升了模型分类和定位出遥感图像中的感兴趣目标的能力，提高遥感图像目标定位准确性，提高模型检测能力。模型检测能力。模型检测能力。


技术研发人员：冯鹏铭 刘洪宁 贺广均 张汝波 金世超 梁颖 上官博屹 张鹏
受保护的技术使用者：北京卫星信息工程研究所
技术研发日：2023.05.05
技术公布日：2023/8/9