基于用户选择的遥感影像推荐方法与流程

1.本发明涉及数据处理领域，具体涉及一种基于用户选择的遥感影像推荐方法。


背景技术：

2.作为一种重要基础性资源，遥感卫星数据在国防、经济、交通、能源、环保等诸多领域都有着广泛应用。遥感卫星数据具有海量、多源、异构等特点，具体描述如下：一是，卫星数据覆盖范围广、时间跨度大，已积累有海量的历史遥感卫星数据，同时地球上空飞行着上千颗卫星，这些卫星可以搭载的各种模式载荷，每时每刻都产生着新的遥感卫星数据，越来越多的卫星升空造成数据体量爆炸式增长。二是，遥感卫星数据来源多样，包括可见光、红外、微波、高光谱等多种传感器类型，且不同传感器类型、不同分辨率、不同波段范围的遥感卫星数据适用于对应的应用需求。三是，卫星数据具有观测周期性，能够对同一区域进行不同角度的长时序观测，而不同卫星来源的遥感数据在存储格式、组织方式、元数据标准等诸多方面均存在差异，使得传统的数据管理方式较难实现对多源卫星数据的统筹管理，从而难以满足个性化的数据定制需求。
3.随着在轨卫星数量和数据质量的逐步提升，遥感卫星数据的产品种类、数量不断增加，对卫星数据的需求越来越多，数据的应用领域也不断拓宽，这对遥感卫星数据的存储管理及服务方式带来了巨大挑战。现有的遥感卫星数据存储的信息较为简单，多以基础属性为主，较少考虑和体现异构数据之间的关联关系及数据本身的高层特征，使得难以满足高时效性的应用需求。目前用户获取遥感卫星数据，主要依靠简单的“元数据”和“人工经验”来检索得到所需要的卫星数据。这种传统的遥感卫星数据服务，要求用户具备一定的专业领域知识，一定程度上限制了遥感数据共享范围；并且随着数据的体量增大，这种被动检索的方式，难以保障数据的准确性和时效性。
4.另外，当用户输入查询需求时，目前的推荐系统不能很好的理解用户输入的查询信息的语义信息，导致检索结果的准确性较低，使得用户的体验感较差，无法满足用户的检索需求。


技术实现要素：

5.本发明提供了一种基于用户选择的遥感影像推荐方法，通过结合感兴趣区域和查询信息来综合推荐影像，使得推荐结果更符合用户的需求，且影像的质量更优。
6.为达到上述技术目的，本发明提供一种基于用户选择的遥感影像推荐方法，包括：
7.s1 获取用户信息，该用户信息包括查询信息和感兴趣区域；
8.s2 根据感兴趣区域获取第一候选集，以及根据查询信息中的关键词获取第二候选集；
9.s3 使用第一网络模型分别提取第一候选集和第二候选集中每张影像的场景特征；
10.s4 使用第二网络模型分别提取第一候选集和第二候选集中每张影像的显著性特
征；
11.s5 根据第一候选集中每张影像的场景特征和显著性特征，得到该张影像的区域特征，根据第二候选集中每张影像的场景特征和显著性特征，得到该张影像的查询特征；
12.s6 分别对第一候选集中各张影像的区域特征和第二候选集中各张影像的查询特征进行预测概率计算，得到各个区域特征的预测概率和各个查询特征的预测概率；
13.s7 根据各个区域特征的预测概率的排序结果，确定m个区域特征作为第一推荐特征集，根据各个查询特征的预测概率的排序结果，确定n个查询特征作为第二推荐特征集，n为正整数，m为大于0且小于n的整数；
14.s8 根据筛选策略对第一推荐特征集和第二推荐特征集进行筛选，得到推荐结果。
15.根据本发明的实施例，所述第一推荐特征集包括m个第一推荐特征，所述第二推荐特征集包括n个第二推荐特征；步骤s8包括：
16.s81 针对第一推荐特征集中的每个第一推荐特征，计算该第一推荐特征与第二推荐特征集中的每个第二推荐特征之间的相似度，将相似度排在前q个的第二推荐特征作为一组候选特征，q为正整数；
17.s82 重复步骤s81，得到m组候选特征；
18.s83 将m组候选特征进行去重处理，并与第一推荐特征集进行合并，得到最终的推荐特征集；
19.s84 根据最终的推荐特征集得到对应的推荐影像，作为推荐结果。
20.根据本发明的实施例，所述第一网络模型包括第一特征提取网络、特征筛选网络和第一特征融合网络，步骤s3包括：
21.s31 使用第一特征提取网络分别提取第一候选集中每张影像的金字塔特征和第二候选集中每张影像的金字塔特征；
22.s32 针对每张影像的金字塔特征，利用特征筛选网络中的特征筛选函数去除每层金字塔特征中的冗余信息，得到金字塔精炼特征；
23.s33 使用第一特征融合网络对每张影像对应的金字塔精炼特征分别进行从上到下、从下到上的逐层特征融合，得到两个融合特征，对两个融合特征进行向量内积的计算，得到每张影像对应的场景特征。
24.根据本发明的实施例，在步骤s31中，第一特征提取网络包括7*7卷积层、最大池化层、4个残差块，其中，每个残差块包括2个残差单元，每个残差单元包含2个3*3卷积层，残差单元之间设置shortcut进行连接；将第一候选集或第二候选集输入第一特征提取网络，使用7*7卷积层对影像进行特征提取，得到第一特征图，记为x1，使用最大池化层对第一特征图进行池化处理，之后将池化处理后的特征图依次输入4个残差块，分别得到对应的4个特征图，记为第二特征图x2、第三特征图x3、第四特征图x4、第五特征图x5，其中，每个特征图的尺度均不相同，按数据流向特征图的尺度依次增大；将第五特征图x5作为第一层金字塔特征；将第五特征图x5进行上采样操作，并与第四特征图x4进行特征拼接，得到第二层金字塔特征；将第二层金字塔特征进行上采样操作，并与第三特征图x3进行特征拼接，得到第三层金字塔特征；将第三层金字塔特征进行上采样操作后与第二特征图x2进行特征拼接，得到第四层金字塔特征；将第四层金字塔特征进行上采样操作，并与第一特征图x1进行特征拼接，得到第五层金字塔特征；将第一层金字塔特征、第二层金字塔特征、第三层金字塔特征、
第四层金字塔特征、第五层金字塔特征按照顺序进行排列，组成金字塔，即得到金字塔特征。
25.根据本发明的实施例，步骤s32包括：
26.利用1个1
×
1卷积层将x1、x2、x3、x4、x5进行卷积，将通道数统一成c1，得到通道数为c1的、、、、；
27.根据特征筛选函数依次对、、、、进行冗余信息的去除，并进行l2归一化操作，得到金字塔精炼特征、、、、；
28.特征筛选函数如下：
[0029][0030]
其中，i=1,2,3,4,5，relu为激活函数，fc为全连接层，gem为平均池化层，f为主成分分析计算，，d为五层金字塔特征、、、、在向量化后进行标准化组成的矩阵。
[0031]
根据本发明的实施例，步骤s33包括：
[0032]
将金字塔精炼特征按照、、、、的顺序从上到下逐层进行特征融合，得到第一个融合特征z，融合公式如下：
[0033][0034]
其中，c1为特征图的通道数，h1为特征图的高，w1为特征图的宽；
[0035]
将金字塔精炼特征按照的顺序从下到上逐层进行特征融合，得到第二个融合特征v，融合公式如下：
[0036][0037]
对z、v进行向量内积的计算，得到场景特征。
[0038]
根据本发明的实施例，所述第二网络模型包括第二特征提取网络、注意力网络、第二特征融合网络，步骤s4包括：
[0039]
s41 使用第二特征提取网络分别提取第一候选集中每张影像的高层特征和第二候选集中每张影像的高层特征；
[0040]
s42 利用注意力网络对每张影像的高层特征进行空间注意力和通道注意力的编码处理，得到空间特征矩阵和通道特征矩阵；
[0041]
s43 使用第二特征融合网络对空间特征矩阵和通道特征矩阵进行加操作，保持通道数不变，将空间特征矩阵和通道特征矩阵相加，得到显著性特征。
[0042]
根据本发明的实施例，在步骤s42中，注意力网络包括空间注意力网络和通道注意力网络；
[0043]
将高层特征e输入空间注意力网络，先将e进行标准化转换成i，将i输入一个3
×
3卷积层，得到三个中间特征j、k、l，并将三个中间特征j、k、l转换为二维矩阵，对j进行转置
后与k进行乘操作，并将得到的矩阵输入softmax层，得到空间中间矩阵s：
[0044][0045]
其中，表示第i个位置对第j个位置的影响，h2为特征图的高，w2为特征图的宽；
[0046]
将l与s进行乘操作，并与i进行加操作，得到空间特征矩阵p：
[0047][0048]
其中，α是比例系数，α初始化为0，随着学习逐渐增大权重；
[0049]
将高层特征e输入通道注意力网络，先将e进行标准化转换成i，将i和i的转置矩阵进行乘操作，并将得到的矩阵输入softmax层，得到通道中间矩阵t：
[0050][0051]
其中，表示第i个通道对第j个通道的影响，h2为特征图的高，w2为特征图的宽；
[0052]
将t与i进行乘操作，并与i进行加操作，得到通道特征矩阵q：
[0053][0054]
其中，c2为通道数，β是比例系数，β初始化为0，随着学习逐渐增大权重。
[0055]
根据本发明的实施例，步骤s6包括：
[0056]
s61 将第一候选集中所有的区域特征进行拟合，得到第一拟合特征，计算第一候选集中每个区域特征与第一拟合特征之间的第一特征距离，将各个第一特征距离归一化为[0,1]的预测概率，得到第一候选集中每个区域特征的预测概率；
[0057]
s62 将第二候选集中所有的查询特征进行拟合，得到第二拟合特征，计算第一候选集中每个区域特征与第二拟合特征之间的第二特征距离，将各个第二特征距离归一化为[0,1]的预测概率，得到第二候选集中每个查询特征的预测概率。
[0058]
根据本发明的实施例，第一拟合特征的计算公式为：
[0059][0060]
其中，m为区域特征的个数，ai为第i（i=1,2,
…
,m）个区域特征，x1为第一拟合特征；
[0061]
第二拟合特征的计算公式为：
[0062][0063]
其中，n为查询特征的个数，bj为第j（j=1,2,
…
,n）个查询特征，x2为第二拟合特征。
[0064]
本发明的有益效果至少包括：
[0065]
（1）本发明通过结合用户选取的感兴趣区域和查询信息，对推荐候选的影像集进行扩充，然后根据区域特征的预测概率、查询特征的预测概率进行初筛，并基于筛选策略进行精筛，由此使得推荐结果更符合用户的预期，且推荐的影像数量适中、影像的质量更好。
[0066]
（2）本发明以用户的感兴趣区域作为筛选策略的核心，以第一推荐特征集作为参
考目标，对第二推荐特征集进行精筛选，得到较优的第二推荐特征，并基于这些第二推荐特征得到最终的推荐结果，由此提高了推荐影像的精确度和准确度，使得最终的推荐影像更加贴合用户的需求。
[0067]
（3）本发明的第一网络模型引入了特征筛选函数，并且对金字塔特征做从上到下、从下到上两个方向的逐层融合，最后对两个融合特征求向量内积得到场景特征，基于这种方式能够成功剔除特征中的噪声干扰等冗余信息，有利于提高特征的质量，使之能更好的描述场景信息。
[0068]
（4）本发明的第二网络模型采用注意力网络，通过捕获空间和通道之间的特征依赖关系，以提取具有复杂背景的显著性特征，通过上述方式能够利用上下文信息、长距离信息，从而提高特征的语义描述能力，以具有更好的判别性。
[0069]
（5）本发明通过对区域特征、查询特征进行拟合操作，得到对应的拟合特征。由于拟合特征为高质量的特征，因而基于各个区域特征与对应的拟合特征之间的特征距离来确定各个区域特征（或查询特征）的预测概率，有利于从各个候选集中筛选出推荐价值更高的特征，从而有利于提高推荐特征集的准确性，进而有利于提升最后推荐结果的质量和精度。
附图说明
[0070]
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0071]
图1为本发明实施例的基于用户选择的遥感影像推荐方法的流程图；
[0072]
图2为本发明实施例的基于用户选择的遥感影像推荐方法的示意图；
[0073]
图3为本发明实施例的使用第一特征提取网络处理的示意图；
[0074]
图4为本发明实施例的金字塔特征构建过程示意图；
[0075]
图5为本发明实施例的使用第二特征提取网络处理的示意图；
[0076]
图6为本发明实施例的使用注意力网络处理的示意图。
具体实施方式
[0077]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
[0078]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0079]
请参阅图1和图2，本发明提供一种基于用户选择的遥感影像推荐方法，包括步骤s1~s8。
[0080]
在步骤s1，获取用户信息，该用户信息包括查询信息和感兴趣区域。
[0081]
在本发明实施例中，用户的查询信息例如可以包括文本信息、语音信息等。对于非
文本类的查询信息例如语音信息，可以通过格式转换工具将该查询信息转换为文本信息，以便于后续继续处理。
[0082]
感兴趣区域例如可以是用户通过矩形框、圆形框、或不规则形状在电子地图上确定的目标区域。在一些实施例中，感兴趣区域还可以采用其他方式获取，例如用户可以通过用户界面输入感兴趣区域。
[0083]
在步骤s2，根据感兴趣区域获取第一候选集，以及根据查询信息中的关键词获取第二候选集。
[0084]
在获取感兴趣区域之后，将感兴趣区域与数据库中所有影像对应的区域进行一一比对，若数据库中某一（些）影像对应的区域相对于感兴趣区域的覆盖率达到阈值，则可以将该（些）影像添加进第一候选集中。本实施例中，该阈值例如可以设为60%。在一些实施例中，上述阈值也可以根据实际需要设定其他数值，这里不做限定。
[0085]
另外，可以对查询信息进行关键词提取，并基于提取的关键词从数据库进行影像检索，得到第二候选集。
[0086]
在本发明的实施例中，通过结合感兴趣区域和查询信息来确定待推荐的候选影像集，可以实现对候选集中影像数量的扩充，这样有利于后续提高影像推荐的质量。
[0087]
在一个示例中，例如通过一个预训练的主题模型来提取查询信息中的关键词。在另一个示例中，例如可以对查询信息进行分词处理以得到关键词。当然，本发明中获取查询信息中的关键词的方法并不仅限于上述示例，具体可以根据实际需要选择，这里不做限定。
[0088]
在本发明实施例中，可以根据关键词基于索引机制进行检索，以得到与关键词匹配的影像，并根据该影像得到第二候选集。其中，索引机制可以是根据影像空间层级和时间跨度进行混合编码后生成的索引。
[0089]
在本发明一具体实施例中，针对遥感影像数据的索引的构建包括如下步骤：
[0090]
首先，将大量的遥感数据以三个时间层级进行组织，其中每个时间层级使用对应的时间维度来表示整个数据集。例如，最低维度的层级包含了每年的索引结构，整个一年的数据被包含在一个索引里，最高维度的索引层包含了每天的索引结构。每月的索引结构在该月所有以天为粒度的索引建立完成之后再开始建立，与此同理，每年的索引结构在年底才建立。
[0091]
其次，为全球所有区域建立四叉树索引，通过时间-空间混合索引机制来对影像进行检索。
[0092]
在步骤s3，使用第一网络模型分别提取第一候选集中每张影像的场景特征和第二候选集中每张影像的场景特征。
[0093]
在本发明的实施例中，上述第一网络模型例如包括第一特征提取网络、特征筛选网络和第一特征融合网络。步骤s3例如包括步骤s31~s33。
[0094]
在步骤s31，使用第一特征提取网络分别提取第一候选集中每张影像的金字塔特征和第二候选集中每张影像的金字塔特征。
[0095]
请参阅图3，第一特征提取网络包括7*7卷积层、最大池化层、4个残差块。其中，每个残差块包括2个残差单元，每个残差单元包含2个3*3卷积层，残差单元之间设置shortcut进行连接。
[0096]
需要说明的是，在本发明实施例中，使用第一特征提取网络提取第一候选集中每
张影像的金字塔特征的过程，与使用第一特征提取网络提取第二候选集中每张影像的金字塔特征的过程相同，下面以使用第一特征提取网络提取第一候选集中每张影像的金字塔特征为例对此过程进行示例说明。
[0097]
例如，针对第一候选集中的每张影像，将该影像输入第一特征提取网络，使用7*7卷积层对影像进行特征提取，得到第一特征图，记为第一特征图x1。之后，使用最大池化层对第一特征图x1进行池化处理，并将处理后的特征图依次输入4个残差块，分别得到对应的4个特征图，记为第二特征图x2、第三特征图x3、第四特征图x4、第五特征图x5。其中，第一特征图x1至第五特征图x5中，每个特征图的尺度各不相同，按数据流向特征图的尺度依次增大。
[0098]
请参阅图4，在获取各个尺度的特征图之后，可以根据各个尺度的特征图得到第一候选集中各张影像对应的金字塔特征。
[0099]
例如，将第五特征图x5作为第一层金字塔特征。接下来，对第五特征图x5进行上采样操作，并将上采样得到的特征图与第四特征图x4进行特征拼接，得到第二层金字塔特征。
[0100]
接下来，对第二层金字塔特征进行上采样操作，并将上采样得到的特征图与第三特征图x3进行特征拼接，得到第三层金字塔特征。
[0101]
接下来，对第三层金字塔特征进行上采样操作，并将上采样得到的特征图与第二特征图x2进行特征拼接，得到第四层金字塔特征。
[0102]
接下来，对第四层金字塔特征进行上采样操作，并将上采样得到的特征图与第一特征图x1进行特征拼接，得到第五层金字塔特征。
[0103]
接下来，将第一层金字塔特征、第二层金字塔特征、第三层金字塔特征、第四层金字塔特征、第五层金字塔特征按照顺序进行排列，组成金字塔，即得到金字塔特征。
[0104]
类似地，基于上述方式可以得到第二候选集中每张影像对应的金字塔特征。
[0105]
在步骤s32，针对每张影像的金字塔特征，利用特征筛选网络中的特征筛选函数去除每层金字塔特征中的冗余信息，得到金字塔精炼特征。
[0106]
在本发明的实施例中，步骤s32包括如下步骤：
[0107]
针对每张影像对应的金字塔特征，利用1个1
×
1卷积层分别将x1、x2、x3、x4、x5进行卷积，将各个特征图的通道数统一成c1，得到通道数为c1的、、、、。
[0108]
根据特征筛选函数依次对、、、、进行冗余信息的去除，并进行l2归一化操作，得到金字塔精炼特征、、、、。
[0109]
特征筛选函数如下：
[0110][0111]
其中，i=1,2,3,4,5，relu为激活函数，fc为全连接层，gem为平均池化层，f为主成分分析计算，，d为五层金字塔特征、、、、在向量化后进行标准化组成的矩阵。
[0112]
在本发明的实施例中，通过主成分分析计算能够去除特征中的噪声干扰，利用整体的特征筛选函数能去除特征中大部分的冗余信息，以对特征中的有效信息进行提取，经
过特征筛选函数计算之后能够大幅提高特征的质量。
[0113]
在步骤s33，使用第一特征融合网络对每张影像对应的金字塔精炼特征分别进行从上到下、从下到上的逐层特征融合，得到两个融合特征，对两个融合特征进行向量内积的计算，得到每张影像对应的场景特征。
[0114]
具体地，步骤s33包括如下步骤：
[0115]
将每张影像对应的金字塔精炼特征按照、、、、的顺序从上到下逐层进行特征融合，得到第一个融合特征z，融合公式如下：
[0116][0117]
其中，c1为特征图的通道数，h1为特征图的高，w1为特征图的宽。
[0118]
将每张影像对应的金字塔精炼特征按照的顺序从下到上逐层进行特征融合，得到第二个融合特征v，融合公式如下：
[0119][0120]
接下来，对z、v进行向量内积的计算，得到每张影像对应的场景特征。
[0121]
本实施例中，向量内积的计算公式为：
[0122][0123]
其中，φ()为核函数，k(z,v)为每张影像对应的场景特征。
[0124]
本发明通过将金字塔精炼特征按照两个不同的方向进行逐层的特征融合，得到的两个融合特征能尽最大可能的包含所有尺度特征的信息，从而可以从不同的尺度方向对场景进行表达，然后将两个融合特征进行向量内积的计算，将所有的特征信息进行合并，使得得到的场景特征能够更好地表征场景信息。
[0125]
在步骤s4，使用第二网络模型分别提取第一候选集中每张影像的显著性特征和第二候选集中每张影像的显著性特征。
[0126]
在本发明的实施例中，上述第二网络模型例如可以包括第二特征提取网络、注意力网络、第二特征融合网络。上述步骤s4包括步骤s41~s43。
[0127]
在步骤s41，使用第二特征提取网络分别提取第一候选集中每张影像的高层特征和第二候选集中每张影像的高层特征。
[0128]
请参阅图5，本实施例中，第二特征提取网络例如可以采用convnext-s网络，convnext-s网络包括1个4*4卷积层、4个残差块。其中，第一残差块包括3个残差单元，第二残差块包括3个残差单元，第三残差块包括27个残差单元，第四残差块包括3个残差单元。每个残差单元按数据流向包括一个7*7深度分离卷积层、一个ln、一个1*1卷积层、一个gelu、一个1*1卷积层，残差单元之间设置shortcut进行连接。
[0129]
利用convnext-s网络对每张影像进行特征提取时，将最后一个残差块输出的特征图做l2归一化操作后，得到该张影像的高层特征。
[0130]
在步骤s42，利用注意力网络对每张影像的高层特征进行空间注意力和通道注意力的编码处理，得到空间特征矩阵和通道特征矩阵。
[0131]
请参阅图6，注意力网络包括空间注意力网络和通道注意力网络。将高层特征e输入空间注意力网络，先将e进行标准化转换成i，然后将i输入一个3
×
3卷积层，得到三个中间特征j、k、l，并将这三个中间特征j、k、l转换为二维矩阵。对j进行转置后与k进行乘操作，并将得到的矩阵输入softmax层，得到空间中间矩阵s。
[0132][0133]
其中，表示第i个位置对第j个位置的影响，h2为特征图的高，w2为特征图的宽。
[0134]
接下来，将l与s进行乘操作，将结果乘以比例系数α并进行转换后与i进行加操作，得到空间特征矩阵p。
[0135][0136]
其中，α是比例系数，α初始化为0，随着学习，逐渐增大权重。
[0137]
由于该空间特征矩阵利用了每个位置信息，充分考虑了上下文之间的联系，并根据空间注意力选择性地聚合上下文，从而提高了类内的紧凑性和语义一致性。
[0138]
接下来，将高层特征e输入通道注意力网络，先将e进行标准化转换成i，并将i转换成二维矩阵。将i和i的转置矩阵进行乘操作，并将得到的矩阵输入softmax层，得到通道中间矩阵t。
[0139][0140]
其中，表示第i个通道对第j个通道的影响，h2为特征图的高，w2为特征图的宽。
[0141]
接下来，将t与i进行乘操作，将结果乘以比例系数β并进行转换后与i进行加操作，得到通道特征矩阵q。
[0142][0143]
其中，c2为通道数，β是比例系数，β初始化为0，随着学习，逐渐增大权重。
[0144]
由于通道特征矩阵是对通道间的长距离信息进行建模和计算，从而可以提高特征的可判别性。
[0145]
在步骤s43，使用第二特征融合网络对空间特征矩阵和通道特征矩阵进行加操作，保持通道数不变，将空间特征矩阵和通道特征矩阵相加，得到显著性特征。
[0146]
本实施例中，将空间特征矩阵和通道特征矩阵通过加操作融合在一起，之后输入一个1*1卷积层，该卷积层的核维度与通道数一致，以此保持通道数不变，得到显著性特征。该显著性特征更加接近显著区域，能够代表影像中的典型信息。
[0147]
在步骤s5，根据第一候选集中每张影像的场景特征和显著性特征，得到该张影像的区域特征，根据第二候选集中每张影像的场景特征和显著性特征，得到该张影像的查询特征。
[0148]
在本实施例中，依次将第一候选集中各张影像的场景特征和显著性特征进行特征拼接，得到该张影像的区域特征。基于上述方式，可以得到第一候选集中所有影像的区域特
征。类似地，依次将第二候选集中各张影像的场景特征和显著性特征进行特征拼接得到该张影像的查询特征。基于上述方式，可以得到第二候选集中所有影像的查询特征。
[0149]
在步骤s6，分别对第一候选集中各张影像的区域特征和第二候选集中的各张影像的查询特征进行预测概率计算，得到各个区域特征的预测概率和各个查询特征的预测概率。
[0150]
具体地，步骤s6包括步骤s61~s62。
[0151]
在步骤s61，将第一候选集中所有的区域特征进行拟合，得到第一拟合特征，计算第一候选集中每个区域特征与第一拟合特征之间的第一特征距离，将各个第一特征距离归一化为[0,1]的预测概率，得到第一候选集中每个区域特征的预测概率。
[0152]
本实施例中，第一拟合特征的计算公式为：
[0153][0154]
其中，m为第一候选集中区域特征的个数，ai为第i（i=1,2,
…
, m）个区域特征，x1为第一拟合特征。
[0155]
在步骤s62，将第二候选集中所有的查询特征进行拟合，得到第二拟合特征，计算第一候选集中每个区域特征与第二拟合特征之间的第二特征距离，将各个第二特征距离归一化为[0,1]的预测概率，得到第二候选集中每个查询特征的预测概率。
[0156]
本实施例中，第二拟合特征的计算公式为：
[0157][0158]
其中，n为第二候选集中查询特征的个数，bj为第j（j=1,2,
…
, n）个查询特征，x2为第二拟合特征。
[0159]
本实施例中，上述计算特征距离的方法例如可以包括但不限于欧氏距离、余弦距离、曼哈顿距离等。
[0160]
在本发明的实施例中，通过对区域特征、查询特征进行拟合操作，可以得到对应的拟合特征。由于拟合特征为高质量的特征，因而基于各个区域特征与对应的拟合特征之间的特征距离来确定各个区域特征（或查询特征）的预测概率，有利于从各个候选集中筛选出推荐价值更高的特征，从而有利于提高推荐特征集的准确性，进而有利于提升最后推荐结果的质量和精度。
[0161]
在步骤s7，根据各个区域特征的预测概率的排序结果，确定m个区域特征作为第一推荐特征集，根据各个查询特征的预测概率的排序结果，确定n个查询特征作为第二推荐特征集，其中，n为正整数，m为大于0且小于n的整数。
[0162]
在本发明的实施例中，可以根据第一候选集中各个区域特征的预测概率的排序结果，选取前m个预测概率对应的区域特征作为第一推荐特征集。类似地，根据第二候选集中各个查询特征的预测概率的排序结果，选取前n个预测概率对应的查询特征作为第二推荐特征集。
[0163]
在本实施例中，一般来说，第二候选集中影像的数量比第一候选集中影像的数量多，为了保证推荐结果的质量，相应地，在根据预测概率进行特征筛选后，得到的第二推荐特征集中特征的数量比第一推荐特征集中特征的数量多。
[0164]
需要说明的是，在上述步骤s7中，基于预测概率进行特征筛选时，还可以按照预设比例筛选得到对应的推荐特征集。例如，在一个示例中，为了保证第一推荐特征集尽可能地贴合场景需求，m例如可以设为前20%，n例如可以设为前60%。也即，将排序在前20%的预测概率所对应的区域特征作为第一推荐特征集，将排序在前60%的预测概率所对应的查询特征作为第二推荐特征集。
[0165]
需要说明的是，为了便于描述，以下将第一推荐特征集中包括的区域特征称为第一推荐特征，将第二推荐特征集中包括的查询特征称为第二推荐特征。也即，第一推荐特征集中包括m个第一推荐特征，第二推荐特征集中包括n个第二推荐特征。
[0166]
在步骤s8，根据筛选策略对第一推荐特征集和第二推荐特征集进行筛选，得到推荐结果。
[0167]
在本发明的实施例中，步骤s8包括步骤s81~s84。
[0168]
在步骤s81，针对第一推荐特征集中的每个第一推荐特征，计算该第一推荐特征与第二推荐特征集中每个第二推荐特征之间的相似度，并将相似度排在前q个的第二推荐特征作为一组候选特征，其中q为正整数。
[0169]
在步骤s82，重复步骤s81，得到m组候选特征。
[0170]
在步骤s83，将m组候选特征进行去重处理，并与第一推荐特征集进行合并，得到最终的推荐特征集。
[0171]
在步骤s84，根据最终的推荐特征集得到对应的推荐影像，作为推荐结果。
[0172]
本实施例中，上述计算相似度的方法可以余弦相似度、欧式距离等。
[0173]
在本实施例中，通过以感兴趣区域作为筛选策略的核心，以第一推荐特征集作为参考目标，对第二推荐特征集进行精筛选，得到较优的多组候选特征，并基于多组候选特征得到最终的推荐结果。由此可以提高推荐影像的精确度和准确度，使得推荐结果更加贴合用户的需求。
[0174]
在本发明的技术方案中，通过结合用户选取的感兴趣区域和查询信息，对推荐候选的影像集进行扩充，由此可以实现对候选集中影像数量的扩充，这样有利于后续提高影像推荐的质量。然后，根据区域特征的预测概率、查询特征的预测概率进行初筛，并基于筛选策略进行精筛，由此使得得到的推荐结果更符合用户的预期，且推荐的影像数量适中、影像的质量更好。
[0175]
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通 技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

技术特征：
1.一种基于用户选择的遥感影像推荐方法，其特征在于，包括：s1 获取用户信息，该用户信息包括查询信息和感兴趣区域；s2 根据感兴趣区域获取第一候选集，以及根据查询信息中的关键词获取第二候选集；s3 使用第一网络模型分别提取第一候选集和第二候选集中每张影像的场景特征；s4 使用第二网络模型分别提取第一候选集和第二候选集中每张影像的显著性特征；s5 根据第一候选集中每张影像的场景特征和显著性特征，得到该张影像的区域特征，根据第二候选集中每张影像的场景特征和显著性特征，得到该张影像的查询特征；s6 分别对第一候选集中各张影像的区域特征和第二候选集中各张影像的查询特征进行预测概率计算，得到各个区域特征的预测概率和各个查询特征的预测概率；s7 根据各个区域特征的预测概率的排序结果，确定m个区域特征作为第一推荐特征集，根据各个查询特征的预测概率的排序结果，确定n个查询特征作为第二推荐特征集，n为正整数，m为大于0且小于n的整数；s8 根据筛选策略对第一推荐特征集和第二推荐特征集进行筛选，得到推荐结果。2.根据权利要求1所述的方法，其特征在于，所述第一推荐特征集包括m个第一推荐特征，所述第二推荐特征集包括n个第二推荐特征；步骤s8包括：s81 针对第一推荐特征集中的每个第一推荐特征，计算该第一推荐特征与第二推荐特征集中的每个第二推荐特征之间的相似度，将相似度排在前q个的第二推荐特征作为一组候选特征，q为正整数；s82 重复步骤s81，得到m组候选特征；s83 将m组候选特征进行去重处理，并与第一推荐特征集进行合并，得到最终的推荐特征集；s84 根据最终的推荐特征集得到对应的推荐影像，作为推荐结果。3.根据权利要求1所述的方法，其特征在于，所述第一网络模型包括第一特征提取网络、特征筛选网络和第一特征融合网络，步骤s3包括：s31 使用第一特征提取网络分别提取第一候选集中每张影像的金字塔特征和第二候选集中每张影像的金字塔特征；s32 针对每张影像的金字塔特征，利用特征筛选网络中的特征筛选函数去除每层金字塔特征中的冗余信息，得到金字塔精炼特征；s33 使用第一特征融合网络对每张影像对应的金字塔精炼特征分别进行从上到下、从下到上的逐层特征融合，得到两个融合特征，对两个融合特征进行向量内积的计算，得到每张影像对应的场景特征。4.根据权利要求3所述的方法，其特征在于，在步骤s31中，第一特征提取网络包括7*7卷积层、最大池化层、4个残差块，其中，每个残差块包括2个残差单元，每个残差单元包含2个3*3卷积层，残差单元之间设置shortcut进行连接；将第一候选集或第二候选集输入第一特征提取网络，使用7*7卷积层对影像进行特征提取，得到第一特征图，记为x1，使用最大池化层对第一特征图进行池化处理，之后将池化处理后的特征图依次输入4个残差块，分别得到对应的4个特征图，记为第二特征图x2、第三特征图x3、第四特征图x4、第五特征图x5，其中，每个特征图的尺度均不相同，按数据流向特征图的尺度依次增大；
将第五特征图x5作为第一层金字塔特征；将第五特征图x5进行上采样操作，并与第四特征图x4进行特征拼接，得到第二层金字塔特征；将第二层金字塔特征进行上采样操作，并与第三特征图x3进行特征拼接，得到第三层金字塔特征；将第三层金字塔特征进行上采样操作后与第二特征图x2进行特征拼接，得到第四层金字塔特征；将第四层金字塔特征进行上采样操作，并与第一特征图x1进行特征拼接，得到第五层金字塔特征；将第一层金字塔特征、第二层金字塔特征、第三层金字塔特征、第四层金字塔特征、第五层金字塔特征按照顺序进行排列，组成金字塔，即得到金字塔特征。5.根据权利要求4所述的方法，其特征在于，步骤s32包括：利用1个1
×
1卷积层将x1、x2、x3、x4、x5进行卷积，将通道数统一成c1，得到通道数为c1的、、、、；根据特征筛选函数依次对、、、、进行冗余信息的去除，并进行l2归一化操作，得到金字塔精炼特征、、、、；特征筛选函数如下：其中，i=1,2,3,4,5，relu为激活函数，fc为全连接层，gem为平均池化层，f为主成分分析计算，，d为五层金字塔特征、、、、在向量化后进行标准化组成的矩阵。6.根据权利要求5所述的方法，其特征在于，步骤s33包括：将金字塔精炼特征按照、、、、的顺序从上到下逐层进行特征融合，得到第一个融合特征z，融合公式如下：其中，c1为特征图的通道数，h1为特征图的高，w1为特征图的宽；将金字塔精炼特征按照的顺序从下到上逐层进行特征融合，得到第二个融合特征v，融合公式如下：对z、v进行向量内积的计算，得到场景特征。7.根据权利要求1所述的方法，其特征在于，所述第二网络模型包括第二特征提取网络、注意力网络、第二特征融合网络，步骤s4包括：s41 使用第二特征提取网络分别提取第一候选集中每张影像的高层特征和第二候选
集中每张影像的高层特征；s42 利用注意力网络对每张影像的高层特征进行空间注意力和通道注意力的编码处理，得到空间特征矩阵和通道特征矩阵；s43 使用第二特征融合网络对空间特征矩阵和通道特征矩阵进行加操作，保持通道数不变，将空间特征矩阵和通道特征矩阵相加，得到显著性特征。8.根据权利要求7所述的方法，其特征在于，在步骤s42中，注意力网络包括空间注意力网络和通道注意力网络；将高层特征e输入空间注意力网络，先将e进行标准化转换成i，将i输入一个3
×
3卷积层，得到三个中间特征j、k、l，并将三个中间特征j、k、l转换为二维矩阵，对j进行转置后与k进行乘操作，并将得到的矩阵输入softmax层，得到空间中间矩阵s：其中，表示第i个位置对第j个位置的影响，h2为特征图的高，w2为特征图的宽；将l与s进行乘操作，并与i进行加操作，得到空间特征矩阵p：其中，α是比例系数，α初始化为0，随着学习逐渐增大权重；将高层特征e输入通道注意力网络，先将e进行标准化转换成i，将i和i的转置矩阵进行乘操作，并将得到的矩阵输入softmax层，得到通道中间矩阵t：其中，表示第i个通道对第j个通道的影响，h2为特征图的高，w2为特征图的宽；将t与i进行乘操作，并与i进行加操作，得到通道特征矩阵q：其中，c2为通道数，β是比例系数，β初始化为0，随着学习逐渐增大权重。9.根据权利要求1所述的方法，其特征在于，步骤s6包括：s61 将第一候选集中所有的区域特征进行拟合，得到第一拟合特征，计算第一候选集中每个区域特征与第一拟合特征之间的第一特征距离，将各个第一特征距离归一化为[0,1]的预测概率，得到第一候选集中每个区域特征的预测概率；s62 将第二候选集中所有的查询特征进行拟合，得到第二拟合特征，计算第一候选集中每个区域特征与第二拟合特征之间的第二特征距离，将各个第二特征距离归一化为[0,1]的预测概率，得到第二候选集中每个查询特征的预测概率。10.根据权利要求9所述的方法，其特征在于，第一拟合特征的计算公式为：其中，m为区域特征的个数，a
i
为第i（i=1,2,
…
,m）个区域特征，x1为第一拟合特征；
第二拟合特征的计算公式为：其中，n为查询特征的个数，b
j
为第j（j=1,2,
…
,n）个查询特征，x2为第二拟合特征。

技术总结
本发明提供一种基于用户选择的遥感影像推荐方法，涉及数据处理领域，包括：获取用户信息，根据用户信息获得第一候选集和第二候选集；使用第一网络模型提取场景特征；使用第二网络模型提取显著性特征；根据第一候选集中每张影像的场景特征和显著性特征得到该张影像的区域特征，根据第二候选集中每张影像的场景特征和显著性特征得到该张影像的查询特征；对区域特征和查询特征分别进行预测计算，得到预测概率；根据区域特征的预测概率得到第一推荐特征集，根据查询特征的预测概率得到第二推荐特征集；根据筛选策略对第一推荐特征集和第二推荐特征集进行筛选，得到推荐结果。基于本发明提供的推荐方法得到的推荐结果更符合用户的需求，且质量更优。且质量更优。且质量更优。


技术研发人员：李群 李洁 张丽 邹圣兵
受保护的技术使用者：北京数慧时空信息技术有限公司
技术研发日：2023.08.14
技术公布日：2023/9/13