遥感数据管理方法、装置、设备、存储介质及产品
未命名
08-07
阅读:84
评论:0

1.本发明涉及遥感技术应用领域,尤其涉及一种遥感数据管理方法、装置、设备、存储介质及产品。
背景技术:
2.随着我国对地观测技术的发展,特别是高分辨率对地观测系统重大专项的推进,我国已基本具备了高空间分辨率、高时间分辨率及高光谱分辨率的天基对地观测能力。随着遥感影像数据的海量积累,不同领域的应用需求对遥感影像数据的存储及高效检索提出了越来越高的要求。
3.通常情况下,遥感影像文件很大,对数据本身的直接检索不适合遥感领域。在大量遥感数据情况下,目前采用多边形空间叠加方法与数据库遍历方法进行遥感数据搜索,导致检索效率低、响应慢,进而存在遥感大数据无法准实时应用的问题。
技术实现要素:
4.本发明提供一种遥感数据管理方法、装置、设备、存储介质及产品,用以解决现有技术中遥感数据管理效率低,导致其无法准实时应用的问题。
5.本发明提供一种遥感数据管理方法,所述方法包括:
6.当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;
7.根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;
8.根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
9.根据本发明提供的一种遥感数据管理方法,所述根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引的步骤,包括:
10.根据请求数据计算出所请求的遥感影像的目标影像四至;
11.基于目标影像四至的数据层级确定出在预设的遥感影像管理体系中对应的目标层级,所述目标层级包括存储层级与虚拟层级;
12.确定在所述目标层级中所述目标影像四至对应的目标网格id;
13.基于目标网格id形成存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置。
14.根据本发明提供的一种遥感数据管理方法,所述基于目标网格id形成存储索引的步骤,包括:
15.若所述目标层级为存储层级,则基于所述目标网格id形成存储索引;
16.若所述目标层级为虚拟层级,基于所述目标网格id与预设的网格映射关系确定出遥感影像在目标存储层级中的存储网格id,所述存储网格id形成存储索引。
17.根据本发明提供的一种遥感数据管理方法,所述遥感影像管理体系是根据预设网格层级要求与网格层级确定,
18.所述根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引的步骤之前,所述方法还包括:
19.根据预设的瓦片组织规则、预设网格层级要求对每个网格层级对应的网格进行划分,得到多个空间网格,所述空间网格中包含有网格id、avl树,不同网格层级之间的网格id具有网格映射关系,所述avl树上存储遥感影像的元数据;
20.基于多个网格层级与所述网格层级对应的空间网格,构建出初始管理体系,所述网格层级包括存储层级与虚拟层级中一个层级;
21.获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系。
22.根据本发明提供的一种遥感数据管理方法,所述网格id是m位数的二进制数,所述m是根据网格层级、以及用户端寄存器的二进制位数确定的。
23.根据本发明提供的一种遥感数据管理方法,所述方法还包括:
24.从多个存储层级中确定其网格精度与全球经纬度精度对应的网格层级为存储数据的基础层级,记录所述基础层级中空间网格的第一网格id、第一avl树;
25.根据所述基础层级与遥感影像预设体量,扩展出以所述基础层级为基准的多个存储数据的入库层级,记录所述入库层级中空间网格的第二网格id、第二avl树,所述入库层级的瓦片密度小于所述基础层级的瓦片密度;
26.记录所述虚拟层级中空间网格的第三网格id;
27.基于所述遥感影像管理体系预设的瓦片组织规则,确定所述第二网格id与所述第一网格id、所述第三网格id的网格映射关系。
28.根据本发明提供的一种遥感数据管理方法,所述获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系的步骤,包括:
29.获取待入库遥感影像的元数据;
30.根据所述元数据计算出所述待入库遥感影像的入库影像四至;
31.将所述入库影像四至锁定于所述基础层级,若所述入库影像四至满足存储于所述基础层级时的预设入库条件,则将所述待入库遥感影像存储于所述基础层级中空间网格的第一avl树中,并记录对应的第一网格id,完成数据入库,以得到遥感影像管理体系;
32.否则,将所述待入库遥感影像存储于所述基础层级之外的入库层级中,根据所述第一网格id与所述网格映射关系,确定出所述待入库遥感影像存储于所述入库层级时的第二网格id,完成数据入库,以得到遥感影像管理体系。
33.本发明还提供一种遥感数据管理装置,所述装置包括:
34.请求接收模块,用于当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;
35.索引确定模块,用于根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;
36.数据提取模块,用于根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
37.本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述遥感数据管理方法。
38.本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述遥感数据管理方法。
39.本发明提供的遥感数据管理方法、装置、设备、存储介质及产品,通过当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。也即,通过建立遥感影像管理体系,基于遥感影像管理体系中不同层级保存海量的遥感影像,为数据库多源遥感空间数据的各类高效利用提供引擎支撑,通过存储索引快速检索出所需的遥感影像,避免了切片式影像存储、检索响应慢的问题,提高了遥感数据管理效率,从而提升遥感影像的准实时应用。
附图说明
40.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
41.图1是本发明提供的遥感数据管理方法的流程示意图之一;
42.图2是本发明提供的遥感数据管理方法中存储层级的空间网格划分示意图;
43.图3是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
45.下面结合图1-图3描述本发明的遥感数据管理方法,参照图1,所述遥感数据管理方法包括:
46.步骤s100,当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的
瓦片组织规则;
47.步骤s200,根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;
48.步骤s300,根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
49.本实施例旨在:通过建立遥感影像管理体系,基于遥感影像管理体系中不同层级保存海量的遥感影像,为数据库多源遥感空间数据的各类高效利用提供引擎支撑,通过存储索引快速检索出所需的遥感影像,避免了切片式影像存储、检索响应慢的问题,提高了遥感数据管理效率,从而提升遥感影像的准实时应用。
50.在本实施例中,针对的具体应用场景是:
51.随着我国对地观测技术的发展,特别是高分辨率对地观测系统重大专项的推进,我国已基本具备了高空间分辨率、高时间分辨率及高光谱分辨率的天基对地观测能力。随着遥感影像数据的海量积累,不同领域的应用需求对遥感影像数据的存储及高效检索提出了越来越高的要求。
52.通常情况下,遥感影像文件很大,对数据本身的直接检索不适合遥感领域。在大量遥感数据情况下,目前采用多边形空间叠加方法与数据库遍历方法进行遥感数据搜索,导致检索效率低、响应慢,进而存在遥感大数据无法准实时应用的问题。
53.作为一种示例,遥感数据管理方法可以应用于遥感数据管理系统,所述遥感数据管理系统应用于遥感数据管理设备中。
54.作为一种示例,用于管理的遥感影像的来源可以相同,也可以不同,如来源于谷歌地球、中国卫星遥感空间站等,在此不再限定。
55.作为一种示例,遥感数据管理方法应用于服务器,展示数据处理、分析和可视化的平台,在遥感影像管理体系中,用户可通过在前端设定检索内容(如检索区域、遥感影像分辨率、检索条件等),考虑到不同检索内容的遥感影像其元数据结构并不相同,这种方式难以直接适应多种来源遥感影像的存储与管理,因此,后端将输入的检索内容转化为遥感影像管理体系中的元数据格式,基于转换后的元数据格式在设定的遥感影像管理体系中取出遥感数据,也即所需的遥感影像。
56.需要说明的是,用户通过在前端设定检索内容可以是输入数据的方式,也可以是通过鼠标拖拽出相关区域,或者其他在前端输入检索请求以及请求数据的方式均可,在此不做具体限定。
57.可以理解,遥感数据管理方法为数据库多源遥感空间数据的各类高效利用提供引擎支撑。数据集中存储在高性能云平台,提供全面、一体化的遥感数据管理分发服务,所有对数据的处理、分析和可视化全部在线完成,一套数据支持多类应用,用户在线获得所需结果,实现遥感影像数据的存储、管理、整合、计算等全在线模式的遥感空间信息业务。
58.具体步骤如下:
59.步骤s100,当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则。
60.作为一种示例,检索请求是指用户端输入的用于获取所需遥感影像的指令,该指令中包括请求数据。请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则,其中,数据层级是指该遥感数据的精度要求,如分辨率等级,针对不同管理体系的瓦片组织规则不同,对应的数据层级也不尽相同;行列号是指在请求数据在其原始的瓦片组织规则体系中的位置,可以理解为管理体系的每个层级均被划分为一定行列数的网格。因此,通过数据层级、行列号、用户端对应的瓦片组织规则可以计算出请求数据所请求遥感影像的四至,该四至与本发明遥感影像管理体系的存储规则一致,均通过经纬度表示。
61.作为一种示例,通用的瓦片组织规则(tms的类型)包括标准的wmts、谷歌、墨卡托、天地图等类型。例如,根据用户请求的瓦片组织规则是谷歌瓦片组织规则,即数据层级的0级对应两张瓦片,则影像的横轴x是0或1,纵轴y是0,其组成的瓦片组合用(0,0)(1,0)表示,数据层级的1级对应四张瓦片,2级对应八张瓦片,其行列表示方式基本相同,在此不再赘述。因此,在用户的检索请求中包括了行列号、数据层级、瓦片组织规则、影像采集起始时间等与遥感影像相关的元数据,通过这些元数据提取出遥感影像管理体系中的遥感影像对应的元数据,从而获得遥感影像。
62.步骤s200,根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;
63.作为一种示例,根据请求数据中的数据层级、行列号、用户端对应的瓦片组织规则计算出遥感影像的四至,即目标影像四至。
64.通过计算出的目标影像四至确定出该影像在本发明的遥感影像管理体系中的存储索引。需要说明的是,存储索引用于指示检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置,每个存储遥感影像的空间网格里面有一个avl树,其上存储管理着多张遥感影像。同一张遥感影像可能存储在多个空间网格中,即被该影像全部或部分覆盖的网格中均存储其影像数据。
65.需要说明的是,存储索引对应的数据为遥感影像的元数据,通过元数据获取对应的遥感影像。可以理解,通过对元数据的检索和管理可以避免直接操作大数据量的原始遥感影像,方便数据存储,提高了共享查询处理效率。
66.作为一种示例,所述根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置的步骤,包括:
67.步骤s210,根据请求数据计算出所请求的遥感影像的目标影像四至;
68.步骤s220,基于目标影像四至的数据层级确定出在预设的遥感影像管理体系中对应的目标层级,所述目标层级包括存储层级与虚拟层级;
69.步骤s230,确定在所述目标层级中所述目标影像四至对应的目标网格id;
70.步骤s240,基于目标网格id形成存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置。
71.作为一种示例,不同来源或格式的请求数据存在不同,为了提高数据检索的效率,根据请求数据计算出符合遥感影像管理体系的目标影像四至,该目标影像四至以经纬度表
示,与遥感影像管理体系中表示格式一致,便于管理。
72.具体的,通过以下公式将请求数据中瓦片的像素坐标转换为经纬度坐标,计算出遥感影像的目标影像四至。
73.(1)经纬度坐标(ing,lat)转瓦片坐标(tilex,tiley):
74.tilex=(ing+180)/360*2
level
75.tiley=[(1/2-ln(tan(lat*π/180)+sec(lat*π/180)))*2
level
]
[0076]
(2)经纬度坐标(lng,lat)转像素坐标(pixelx,pixely):
[0077]
pizelx=[(lng+180)/360*2
level
*256%256]
[0078]
pizely=[(1-in(tan(lat*π/180)+sec(lat*π/180))/2π)*2
level
*256%256]
[0079]
(3)瓦片(tilex,tiley)的像素坐标(pixelx,pixely)转经纬度坐标(ing,lat):
[0080]
lng=(tilex+(pixelx/256))/2
level
*360-180
[0081]
lat=arctan(sinh(x-2π*(tiley+pixely/256)/2
level
))*180/π
[0082]
对于计算出的目标影像四至以及数据层级确定该请求所需的遥感印象在遥感影像管理体系中所在的层级,遥感影像管理体系中层级包括存储层级与虚拟层级,存储层级是指实际用于存储遥感影像的物理层级,而虚拟层级是不用于存储遥感影像。但虚拟层级与存储层级相同,每一层级均会划分为一定数量的网格,且每个网格具有独有的id,用于存储遥感影像的元数据。可以理解,在遥感影像管理体系的层级中除了存储层级,其他均为虚拟层级。
[0083]
需要说明的是,遥感影像管理体系的层级划分遵循通常的划分逻辑,如计算机有32位,经纬度的编码位置信息,转换成寄存器32位的二进制,因此其最大有32层,每一层级表示一种分辨率。用户端的管理体系可能与本发明的遥感影像管理体系的层级可以相同,也可以不相同,但每一层级的抽稀逻辑一样。因此,根据请求数据中的数据层级对应得到遥感影像管理体系中相应的层级。
[0084]
例如,请求数据中数据层级为17级,则其对应遥感影像管理体系中同样为17级,因此,基于请求数据计算出的目标影像四至对照于遥感影像管理体系的17级中,确定出其占据的空间网格。由于遥感影像管理体系中每一个空间网格均具有对应的网格id。因此,通过目标影像四至占据的空间网格,能够确定出唯一的目标网格id,该目标网格id即为存储索引,其中,存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置。
[0085]
在本实施例中,通过遥感影像管理体系前端的请求数据计算出所请求的遥感影像的目标影像四至,该目标影像四至已经转化为遥感影像管理体系的标准化格式,因此基于该目标影像四至确定的存储索引可以提取遥感影像。在此过程中,避免了现有切片的过程,通过存储索引取出数据,提高了遥感数据检索的效率。
[0086]
由于遥感影像管理体系中存在有存储层级与虚拟层级,而实际的遥感影像的元数据存在于存储层级的空间网格中,因此,在确定目标网格id调取遥感影像时,若目标层级为虚拟层级,则需要现将其转换为存储层级确定存储索引。
[0087]
作为一种示例,所述基于目标网格id形成存储索引的步骤,包括:
[0088]
步骤s241,若所述目标层级为存储层级,则基于所述目标网格id形成存储索引;
[0089]
步骤s242,若所述目标层级为虚拟层级,基于所述目标网格id与预设的网格映射
关系确定出遥感影像在目标存储层级中的存储网格id,所述存储网格id形成存储索引。
[0090]
作为一种示例,在包含32个层级遥感影像管理体系中,若设定6-8级为存储层级,其他层级为虚拟层级,若通过目标影像四至确定的目标层级为存储层级,则获取该存储层级中目标影像四至所占据网格的id,即为目标网格id,进一步形成存储索引。
[0091]
若通过目标影像四至确定的目标层级为虚拟层级,则获取虚拟层级中目标影像四至所占据网格的id,通过该id与预设的网格映射关系确定出其在存储层级中的网格id,即为存储网格id。需要说明的是,预设的网格映射关系是指在遥感影像管理体系中不同层级之间空间网格的映射关系,通过空间网格的映射能够得到空间网格对应的id映射关系。可以理解,在遥感影像管理体系中上下层级之间映射规律是,下一层级的4个网格或瓦片映射至上一层级的一个网格或瓦片上,去符合通用瓦片组织规则,因此,在确定了某一层级的网格后,便可以确定其他层级的与其对应的网格。网格id的映射关系基本相同,在此不再赘述。
[0092]
需要说明的是,不同的存储层级或虚拟层级对应有不同的分辨率,因此,获取遥感影像是基于实际存储数据的遥感影像管理体系的层级确定的,但输出该遥感影像时,是基于请求数据的数据层级输出,由此符合用户的分辨率需求。
[0093]
在本实施例中,通过将遥感影像管理体系划分为不同的存储层级与虚拟层级,分装海量的遥感影像,避免了现有海量遥感影像存储在一个文件中需要遍历检索而导致数据检索效率低的问题,也即,本发明通过建立空间存储索引以及分层级存储,提高了检索响应速度,进而实现遥感数据的准实时性应用。
[0094]
步骤s300,根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
[0095]
根据存储索引调取将遥感影像管理体系中对应空间网格的avl树中存储的元数据,基于该元数据获取检索请求对应的遥感影像,并将遥感印象输出。
[0096]
作为一种示例,由数据检索要求,将取出的数据进行过滤、去重,并按照时间排序进行展示、输出。可以按照时间、空间、数据类型等多条件进行快速检索,返回按照指定条件筛选出的数据对象。如空间参考查询,返回按照空间参考对遥感数据进行查询的结果数据集;坐标范围查询,返回按照空间坐标范围内的遥感数据结果数据集;空间分辨率查询,返回优于指定空间分辨率的遥感数据集;波段查询,返回具备指定波段的遥感数据集;自定义查询,返回符合自定义sql语句查询结果的遥感数据集。
[0097]
本发明提供一种遥感数据管理方法、装置、设备、存储介质及产品,与目前遥感数据管理效率低,导致其无法准实时应用相比,在本发明中,当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。也即,通过建立遥感影像管理体系,基于遥感影像管理体系中不同层级保存海量的遥感影像,为数据库多源遥感空间数据的各类高效利用提供引擎支撑,通过存储索引快速检索出所需的遥感影像,避免了切片式影像存储、检索响应慢的问题,提高了遥感数据
管理效率,从而提升遥感影像的准实时应用。
[0098]
基于上述第一实施例,提出遥感数据管理方法的第二实施例。
[0099]
作为一种示例,所述根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引的步骤之前,所述方法还包括:
[0100]
步骤a1,根据预设的瓦片组织规则、预设网格层级要求对每个网格层级对应的网格进行划分,得到多个空间网格,所述空间网格中包含有网格id、avl树,不同网格层级之间的网格id具有网格映射关系,所述avl树上存储遥感影像的元数据;
[0101]
步骤a2,基于多个网格层级与所述网格层级对应的空间网格,构建出初始管理体系,所述网格层级包括存储层级与虚拟层级中一个层级;
[0102]
步骤a3,获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系。
[0103]
作为一种示例,所述遥感影像管理体系是根据预设网格层级要求与网格层级确定。其中,预设网格层级要求是指每个层级所划分的空间数量、或分辨率信息等。网格层级是指遥感影像管理体系共划分的层级。
[0104]
例如,根据计算机有32位,经纬度的编码位置信息,转换成寄存器32位的二进制,因此,构建可容纳32个层级的遥感影像管理体系,每个层级的空间网格都覆盖全球,但不同层级之间的空间网格密度不同,从0-31层级递进,其网格密度逐渐增大,即该层级存储的遥感影像分辨率越大。按照预设的瓦片组织规则,最小的地图等级是0,此时世界地图只由一张瓦片组成,瓦片等级越高,组成世界地图的瓦片数越多,可以展示的地图越详细。某一瓦片等级地图的瓦片是由低一级的各瓦片切割成的4个瓦片组成,形成了瓦片金字塔。
[0105]
所有的网格层级中空间网格均包含有网格id,其用于形成存储索引,入库与查找遥感影像。每个空间网格还包含一个avl树(平衡二叉树),avl树是用于存储遥感影像的元数据,起到数据存储均衡的作用。
[0106]
因此,通过32个层级,以及每个层级的每个空间网格、网格id、avl树构建出初始管理体系。
[0107]
需要说明的是,在分级存储以提高检索效率的同时,也需要考虑到存储空间的均衡性,也即,根据遥感影像的数量合理的从32个层级中选择所需的层级,用于存储遥感数据,这些实际存储数据的层级即为存储层级,其他层级作为存储索引与用户端建立关联,并不用于实际存储数据。但这些虚拟层级并非是固定不变的,根据遥感数据量的变化,可以缩小或扩展更多的虚拟层级为存储层级。
[0108]
将从其他平台或服务器获得待入库遥感影像存储于初始管理体系中,得到遥感影像管理体系,在存储过程中,根据遥感影像元数据的四至范围、波段、无效数据、路径等信息确定所需存储的层级。通过遥感影像管理体系检索效率高,遥感数据应用的实现简单,算力均衡。
[0109]
作为一种示例,所述网格id是m位数的二进制数,所述m是根据网格层级、以及用户端寄存器的二进制位数确定的。例如,遥感影像管理体系若划分为32层级,则网格id最大是32位的二进制数,即在第31层级时,对应的网格id为32位的二进制数。
[0110]
作为一种示例,若存储层级有多个时,需要合理的选择存储遥感影像的层级,避免
遥感影像集中存储于同一个层级中,造成该层级算力不足,其他层级闲置,而导致存储难以均衡,进一步影像遥感影像的提取效率。因此,需要对多个存储层级进行划分,选择默认层级用于首要存储遥感影像,只在一定条件下,选择其他层级存储数据。具体的步骤如下:
[0111]
步骤b1,从多个存储层级中确定其网格精度与全球经纬度精度对应的网格层级为存储数据的基础层级,记录所述基础层级中空间网格的第一网格id、第一avl树;
[0112]
步骤b2,根据所述基础层级与遥感影像预设体量,扩展出以所述基础层级为基准的多个存储数据的入库层级,记录所述入库层级中空间网格的第二网格id、第二avl树,所述入库层级的瓦片密度小于所述基础层级的瓦片密度;
[0113]
步骤b3,记录所述虚拟层级中空间网格的第三网格id;
[0114]
步骤b4,基于所述遥感影像管理体系预设的瓦片组织规则,确定所述第二网格id与所述第一网格id、所述第三网格id的网格映射关系。
[0115]
从多个存储层级中确定网格精度与全球经纬度精度一致的网格层级为基础层级,即为默认的首要进行数据存储的层级。例如,从遥感影像管理体系的32个层级中,选择3个层级作为存储层级,这三个存储层级中有一个存储层级中一个空间网格对应全球经纬度中的一度,则该存储层级为基础层级,并将其划分为与全球经纬度对应的180行、360列个空间网格,每行/列与经纬度相对应。
[0116]
例如,存储层级为8级时对应为基础层级,记录该基础层级中空间网格的id,为第一网格id,以及空间网格中的avl树为第一avl树。
[0117]
一个基础层级难以存储海量的遥感影像时,根据遥感影像预设体量扩展出多个层级为入库层级,记录入库层级中空间网格的id为第二网格id,以及空间网格对应的avl树为第二avl树。假设入库层级为2个,则在8级为基础层级的基础上,其他两个入库层级为6级和7级。根据预设的瓦片组织规则,某一瓦片等级地图的瓦片是由低一级的各瓦片切割成的4个瓦片组成,将瓦片对应于空间网格,则7级层级位图包含90行、180列,6级层级位图包含45行、90列,参照图2,图2为存储层级的空间网格划分示意图。
[0118]
为了建立遥感影像管理体系中所有层级的空间网格的映射关系,需要同时记录虚拟层级中空间网格的第三网格id,同样根据预设的瓦片组织规则,某一瓦片等级地图的瓦片是由低一级的各瓦片切割成的4个瓦片组成,将瓦片对应于空间网格,能够确定出不同层级的空间网格之间的映射关系。由于每个空间网格具有其独特且唯一的网格id,因此,在遥感影像管理体系中不同层级之间网格id形成了网格映射关系。可以理解,在第8个层级中的网格id,能够根据网格映射关系确定出对应第7个层级的网格id,由此确定出在7层级中的空间网格。
[0119]
上述经过一定的逻辑构建出了遥感影像管理体系的初始管理体系,在前期将海量的遥感影像存储于初始管理体系中,便能够得到成熟的可用于数据检索的遥感影像管理体系。
[0120]
作为一种示例,所述获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系的步骤,包括:
[0121]
步骤c1,获取待入库遥感影像的元数据;
[0122]
步骤c2,根据所述元数据计算出所述待入库遥感影像的入库影像四至;
[0123]
步骤c3,将所述入库影像四至锁定于所述基础层级,若所述入库影像四至满足存储于所述基础层级时的预设入库条件,则将所述待入库遥感影像存储于所述基础层级中空间网格的第一avl树中,并记录对应的第一网格id,完成数据入库,以得到遥感影像管理体系;
[0124]
步骤c4,否则,将所述待入库遥感影像存储于所述基础层级之外的入库层级中,根据所述第一网格id与所述网格映射关系,确定出所述待入库遥感影像存储于所述入库层级时的第二网格id,完成数据入库,以得到遥感影像管理体系。
[0125]
获取待入库遥感影像的元数据,该元数据中包括待入库遥感影像在自身管理体系中数据的层级、行列号、波段等信息,通过元数据计算出待入库遥感影像的入库影像四至。在存储过程中,先锁定基础层级存储入库遥感影像,为了提高每个层级的算力,均衡每个层级的存储效率,设定了预设入库条件,当符合该预设入库条件时,入库遥感影像的元数据存储于基础层级。若不符合预设入库条件,将入库遥感影像的元数据存储与其他入库层级中。例如,预设入库条件为遥感影像的元数据存储的空间网格数量大于9个时,上升一个层级存储该遥感影像。
[0126]
作为一种示例,假设存储层级为6级、7级、8级,其中8级为基础层级,6级和7级为入库层级,则上述入库存储过程为:根据入库影像四至直接锁定在第8层级位图中的空间网格里,确定对应的网格id,若该入库影像四至占据8级中空间网格数大于9时,则上升一个位图层级,即为第7层级。第7层级继续判断入库影像四至占据7级中空间网格数是否大于9,若是,则基础上升一个层级,最高为6级,即可存储遥感数据的存储层级的最高级。
[0127]
待入库遥感影像的元数据由所占据的空间网格的avl树管理,也即,根据入库影像四至直接锁定在第8层级位图中的空间网格里时,已经确定了对应的第一网格id,则在确定了入库遥感影像的元数据最终存储的层级后,根据第一网格id、最终存储的入库层级以及网格映射关系,确定出待入库遥感影像存储于入库层级时的第二网格id,从而完成待入库遥感影像的数据入库,得到遥感影像管理体系,从该遥感影像管理体系中可高效、迅速地检索出遥感影像。
[0128]
作为一种示例,在对待入库遥感影像的元数据进行入库存储之前,检验待入库遥感影像的合法性,合法性是指待入库遥感影像是否能够检测投影信息,即待入库遥感影像有没有映射到具体的位置上,其可通过gdl库进行tiff数据解析检测确定。若合法,则通过待入库遥感影像的元数据中带有的坐标信息(通常为左上角原点坐标经纬度)、分辨率、行列号等计算出入库影像四至。
[0129]
在本实施例中,通过统一网格索引,按照全球经纬度剖分网格,为每一个数据条目赋予网格编码,并依托编码建立空间网格索引,规避了多边形空间叠加和数据库遍历,在超大数据量的情况下,仍然可以保证较高的搜索效率,可以支撑海量数据在线快速检索的应用问题。
[0130]
下面对本发明提供的遥感数据管理装置进行描述,下文描述的遥感数据管理装置与上文描述的遥感数据管理方法可相互对应参照。
[0131]
本发明还提供一种遥感数据管理装置,所述装置包括:
[0132]
请求接收模块,用于当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户
端对应的瓦片组织规则;
[0133]
索引确定模块,用于根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;
[0134]
数据提取模块,用于根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
[0135]
和/或,所述索引确定模块还包括:
[0136]
第一四至计算子模块,用于根据请求数据计算出所请求的遥感影像的目标影像四至;
[0137]
层级确定子模块,用于基于目标影像四至的数据层级确定出在预设的遥感影像管理体系中对应的目标层级,所述目标层级包括存储层级与虚拟层级;
[0138]
网格确定子模块,用于确定在所述目标层级中所述目标影像四至对应的目标网格id;
[0139]
索引确定子模块,用于基于目标网格id形成存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置。
[0140]
和/或,所述索引确定子模块还包括:
[0141]
第一索引确定单元,用于若所述目标层级为存储层级,则基于所述目标网格id形成存储索引;
[0142]
第二索引确定单元,用于若所述目标层级为虚拟层级,基于所述目标网格id与预设的网格映射关系确定出遥感影像在目标存储层级中的存储网格id,所述存储网格id形成存储索引。
[0143]
和/或,所述装置还包括:
[0144]
层级划分模块,用于根据预设的瓦片组织规则、预设网格层级要求对每个网格层级对应的网格进行划分,得到多个空间网格,所述空间网格中包含有网格id、avl树,不同网格层级之间的网格id具有网格映射关系,所述avl树上存储遥感影像的元数据;所述遥感影像管理体系是根据预设网格层级要求与网格层级确定;
[0145]
第一构建模块,用于基于多个网格层级与所述网格层级对应的空间网格,构建出初始管理体系,所述网格层级包括存储层级与虚拟层级中一个层级;
[0146]
第二构建模块,用于获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系;
[0147]
所述网格id是m位数的二进制数,所述m是根据网格层级、以及用户端寄存器的二进制位数确定的。
[0148]
和/或,所述装置还包括:
[0149]
第一层级确定模块,用于从多个存储层级中确定其网格精度与全球经纬度精度对应的网格层级为存储数据的基础层级,记录所述基础层级中空间网格的第一网格id、第一avl树;
[0150]
第二层级确定模块,用于根据所述基础层级与遥感影像预设体量,扩展出以所述
基础层级为基准的多个存储数据的入库层级,记录所述入库层级中空间网格的第二网格id、第二avl树,所述入库层级的瓦片密度小于所述基础层级的瓦片密度;
[0151]
网格记录模块,用于记录所述虚拟层级中空间网格的第三网格id;
[0152]
关系确定模块,用于基于所述遥感影像管理体系预设的瓦片组织规则,确定所述第二网格id与所述第一网格id、所述第三网格id的网格映射关系。
[0153]
和/或,所述第二构建模块还包括:
[0154]
数据获取子模块,用于获取待入库遥感影像的元数据;
[0155]
第二四至计算子模块,用于根据所述元数据计算出所述待入库遥感影像的入库影像四至;
[0156]
第一数据存储子模块,用于将所述入库影像四至锁定于所述基础层级,若所述入库影像四至满足存储于所述基础层级时的预设入库条件,则将所述待入库遥感影像存储于所述基础层级中空间网格的第一avl树中,并记录对应的第一网格id,完成数据入库,以得到遥感影像管理体系;
[0157]
第二数据存储子模块,用于否则,将所述待入库遥感影像存储于所述基础层级之外的入库层级中,根据所述第一网格id与所述网格映射关系,确定出所述待入库遥感影像存储于所述入库层级时的第二网格id,完成数据入库,以得到遥感影像管理体系。
[0158]
本发明遥感数据管理装置的具体实施方式与上述遥感数据管理方法各实施例基本相同,在此不再赘述。
[0159]
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行遥感数据管理方法,该方法包括:当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
[0160]
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0161]
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的遥感数据管理方法,该方法包括:当接收到用户端
发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
[0162]
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的遥感数据管理方法,该方法包括:当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。
[0163]
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
[0164]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0165]
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征:
1.一种遥感数据管理方法,其特征在于,所述方法包括:当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据;根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。2.根据权利要求1所述的遥感数据管理方法,其特征在于,所述根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引的步骤,包括:根据请求数据计算出所请求的遥感影像的目标影像四至,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;基于目标影像四至的数据层级确定出在预设的遥感影像管理体系中对应的目标层级,所述目标层级包括存储层级与虚拟层级;确定在所述目标层级中所述目标影像四至对应的目标网格id;基于目标网格id形成存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置。3.根据权利要求2所述的遥感数据管理方法,其特征在于,所述基于目标网格id形成存储索引的步骤,包括:若所述目标层级为存储层级,则基于所述目标网格id形成存储索引;若所述目标层级为虚拟层级,基于所述目标网格id与预设的网格映射关系确定出遥感影像在目标存储层级中的存储网格id,所述存储网格id形成存储索引。4.根据权利要求1所述的遥感数据管理方法,其特征在于,所述遥感影像管理体系是根据预设网格层级要求与网格层级确定,所述根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引的步骤之前,所述方法还包括:根据预设的瓦片组织规则、预设网格层级要求对每个网格层级对应的网格进行划分,得到多个空间网格,所述空间网格中包含有网格id、avl树,不同网格层级之间的网格id具有网格映射关系,所述avl树上存储遥感影像的元数据;基于多个网格层级与所述网格层级对应的空间网格,构建出初始管理体系,所述网格层级包括存储层级与虚拟层级中一个层级;获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系。5.根据权利要求4所述的遥感数据管理方法,其特征在于,所述方法还包括:从多个存储层级中确定其网格精度与全球经纬度精度对应的网格层级为存储数据的基础层级,记录所述基础层级中空间网格的第一网格id、第一avl树;根据所述基础层级与遥感影像预设体量,扩展出以所述基础层级为基准的多个存储数据的入库层级,记录所述入库层级中空间网格的第二网格id、第二avl树,所述入库层级的瓦片密度小于所述基础层级的瓦片密度;
记录所述虚拟层级中空间网格的第三网格id;基于所述遥感影像管理体系预设的瓦片组织规则,确定所述第二网格id与所述第一网格id、所述第三网格id的网格映射关系。6.根据权利要求5所述的遥感数据管理方法,其特征在于,所述获取待入库遥感影像,基于所述待入库遥感影像的相关数据信息将所述待入库遥感影像存储至所述初始管理体系对应的网格层级中,得到遥感影像管理体系的步骤,包括:获取待入库遥感影像的元数据;根据所述元数据计算出所述待入库遥感影像的入库影像四至;将所述入库影像四至锁定于所述基础层级,若所述入库影像四至满足存储于所述基础层级时的预设入库条件,则将所述待入库遥感影像存储于所述基础层级中空间网格的第一avl树中,并记录对应的第一网格id,完成数据入库,以得到遥感影像管理体系;否则,将所述待入库遥感影像存储于所述基础层级之外的入库层级中,根据所述第一网格id与所述网格映射关系,确定出所述待入库遥感影像存储于所述入库层级时的第二网格id,完成数据入库,以得到遥感影像管理体系。7.一种遥感数据管理装置,其特征在于,所述装置包括:请求接收模块,用于当接收到用户端发送的用于检索遥感数据的检索请求时,获取所述检索请求中存在的请求数据,所述请求数据包括遥感数据的数据层级、行列号、用户端对应的瓦片组织规则;索引确定模块,用于根据所述请求数据计算出所请求的遥感影像的目标影像四至,基于所述目标影像四至与所述请求数据的数据层级确定出存储索引,所述存储索引用于指示所述检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;数据提取模块,用于根据所述存储索引从所述遥感影像管理体系中调取遥感影像,并输出至用户端。8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述遥感数据管理方法。9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述遥感数据管理方法。10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述遥感数据管理方法。
技术总结
本发明提供一种遥感数据管理方法、装置、设备、存储介质及产品,该方法包括:当接收到用户端发送的用于检索遥感数据的检索请求时,获取检索请求中存在的请求数据;根据请求数据计算出所请求的遥感影像的目标影像四至,基于目标影像四至与请求数据的数据层级确定出存储索引,存储索引用于指示检索请求对应的数据在预设的遥感影像管理体系的目标存储层级中的存储位置;根据存储索引从遥感影像管理体系中调取遥感影像,并输出至用户端。也即,本发明提高了遥感数据管理效率,从而提升遥感影像的准实时应用。实时应用。实时应用。
技术研发人员:刘朔 张钊 王存瑞 邹小川 刘华梅
受保护的技术使用者:中国科学院空天信息创新研究院
技术研发日:2023.03.27
技术公布日:2023/8/5
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/