基于分布式技术的时空大数据存储方法及系统与流程

1.本发明涉及一种时空大数据存储处理技术领域，特别涉及一种基于分布式技术的时空大数据存储方法及系统。


背景技术：

2.在利用unity3d和unreal提供的标准gis服务资源接入技术来进行基于gis的空间三维数据渲染之前，通常需要将空间三维数据进行对应的存储。
3.在进行分布式存储时，传统的技术手段是迭代遍历数据的存储文件夹；获取各个图幅需要的对应的数据名称和数据集；通过人工专家进行标记，输入至迭代模型（神经网络模型）就可以将数据通过迭代模型进行分类存储。目前的分类存储方法是通过构建存储树模型进行分类存储，每一分支均要对应的设置一个独立的存储空间，在存储空间进行数据存储时，一般都是按照时序和数据的完整性作为一个片段进行存储，存储时不同的时空大数据片段都是暂用一个独立的存储目录（比如存储文件夹内），一方面，存储目录较多，导致读取数据时需要经过大量的检索才能读取数据，同时大量的存储目录也导致存储空间不能被优化。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于分布式技术的时空大数据存储方法及系统。
5.为实现上述目的，一方面，本发明提供了一种基于分布式技术的时空大数据存储方法，包括如下步骤：将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
6.进一步地，将时空大数据片段从存储缓存区块移存到对应的存储区块后，存储缓存区块被释放。
7.进一步地，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存
储线程进行关联，通过监听单元实时的获取存储线程的执行状态；同时程序计数器向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
8.进一步地，对存储缓存区块的有效存储空间值进行检测的方法为：读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
9.进一步地，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
10.进一步地，在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
11.另一方面，本技术还提供了一种基于分布式技术的时空大数据存储系统，包括：存储服务器，该存储服务器被配置成按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；所述存储单元被配置成若干个存储区块，记录每一存储区块的存储地址；存储缓存区块，设置在存储服务器中，并与存储区块一一对应，且所述存储缓存区块被配置成具有设定的缓存存储空间值；所述存储服务器内还设置有分析模块、控制模块、移存模块、存储线程配置模块以及初始化模块；所述分析模块用于当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径；所述控制模块基于时空大数据片段对应的存储路径来控制存储线程配置模块生成存储线程并调用该存储线程，所述控制模块控制所述存储线程将时空大数据片段存储到
对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，所述移存模块用于基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；当所有时空大数据片段从存储缓存区块移存到对应的存储区块后，所述控制模块控制初始化模块对存储缓存区块进行初始化操作，初始化操作完毕后存储缓存区块被占用的内存被释放，恢复到设定的缓存存储空间值。
12.进一步地，所述控制模块设置有程序计数器；在所述程序计数器内设置有监听单元、协同监听检测单元、判断单元、识别单元以及列表生成单元；其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并将所述监听单元和调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；所述协同监听检测单元用于在监听单元实时的获取存储线程的执行状态的同时向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；所述判断单元用于基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务，输出判断结果；所述识别单元用于基于判断单元来对应的获取时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，所述列表生成单元用于基于每一时空大数据片段的特征编码形成一个数据列表。
13.进一步地，所述控制模块内设置有检测单元、存储任务确定单元以及记录单元；所述存储任务确定单元用于读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；所述检测单元发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；所述记录单元用于将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
14.进一步地，所述移存模块基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
15.本技术为了降低存储目录进行有效存储，在存储之前设置了一个存储缓存区块，
存储缓存区块被配置成具有设定的缓存存储空间值，比如每一个缓存存储空间值为50m，当时空大数据片段在存储之前，先存储到存储缓存区块中，当存储到一定量后，在移存到存储区块中，这种存储方式不需要建立树模型，也不会产生大量的存储目录，能够有效的对存储空间进行优化。
附图说明
16.图1为本发明的方法流程图；图2为本发明中控制所述存储线程将时空大数据片段存储到存储缓存区块的方法流程图；图3为本发明中对存储缓存区块的有效存储空间值进行检测的方法流程图；图4为本发明中基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法流程图；图5为本发明系统框架原理示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.实施例1：
19.参照图1-图4，本发明提供了一种基于分布式技术的时空大数据存储方法，包括如下步骤：将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
20.在上述中，分布式技术的时空大数据包括结构化和非结构化的数据，其中，结构化的数据又包括gis结构化数据和结构化业务数据，非结构化数据包括非结构化gis数据和非结构化业务数据，其中，gis结构化数据包括pgis（警用电子地图数据）；非结构化gis：minio（分布式存储系统产生的图片、视频、日志文件、备份数据等）、mongodb（应用程序数据平台产生的文本、图像、超媒体等信息）、s3（基于aws的标准的云存储产生的数据）等。
21.以minio为例，当使用minio作为分布式数据的前置工具时，首先需要对minio进行
配置，配置如下：minio_volumes：minio server使用的存储卷，并配置存储卷的读写权限；minio_opts：自定义minio server监听的ip和端口；minio_access_key：用户名；minio_secret_key：密钥；上述配置完毕后通过dir定义文件系统上的目录，用空格分割每个存储目录，也可用
“…”
来缩写目录；构建分布式minio时，设置为http(s) uris；其对应的核心代码如下：1.格式：mc [flags] command [command flags |
ꢀ‑
h][arguments...]2.command：3.ls
ꢀꢀꢀꢀꢀꢀ
列出文件和文件夹；4.mb
ꢀꢀꢀꢀꢀꢀ
创建一个存储桶或一个文件夹；5.cat
ꢀꢀꢀꢀꢀ
显示文件和对象内容；6.pipe
ꢀꢀꢀꢀ
将一个stdin重定向到一个对象或者文件或者stdout；7.share
ꢀꢀꢀ
生成用于共享的url；8.cp
ꢀꢀꢀꢀꢀꢀ
拷贝文件和对象；9.mirror
ꢀꢀ
给存储桶和文件夹做镜像；10.find
ꢀꢀꢀ
基于参数查找文件；11.diff
ꢀꢀꢀ
对两个文件夹或者存储桶比较差异；12.rm
ꢀꢀꢀꢀꢀ
删除文件和对象；13.events 管理对象通知；14.watch
ꢀꢀ
监视文件和对象的事件；15.policy 管理访问策略；16.session 为cp命令管理保存的会话；17.config 管理mc配置文件；18.update 检查软件更新；19.version 输出版本信息；20.21.配置文件：/root/.mc/config.json。
[0022]
上述完全的配置完毕后，由minio作为分布式数据的前置工具输入至存储服务器时，其已经将不同的数据进行了分类，本技术只需要对数据的来源（基于配置文件来识别）就知道是结构化数据还是非结构化数据。
[0023]
对应的，在上述中，当将时空大数据片段从存储缓存区块移存到对应的存储区块后，存储缓存区块被释放，存储缓存区块恢复到设定的存储值，进行下一轮的数据存储，其原理是采用了分块存储的方式，将多个时空大数据片段先汇聚成一个数据分块，在将数据分块存储到存储区块内，这样，极大的降低了存储目录，由于在存储缓存区块形成了一个数据列表，将数据分块移存到存储区块后，对应的数据列表被配置到存储区块中形成存储列表，因此并不会导致数据混乱。本技术为了降低存储目录进行有效存储，在存储之前设置了一个存储缓存区块，存储缓存区块被配置成具有设定的缓存存储空间值，比如每一个缓存存储空间值为50m，当时空大数据片段在存储之前，先存储到存储缓存区块中，当存储到一
定量后，在移存到存储区块中，这种存储方式不需要建立树模型，也不会产生大量的存储目录，能够有效的对存储空间进行优化。
[0024]
在上述中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；同时程序计数器向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
[0025]
在上述中，对存储缓存区块的有效存储空间值进行检测的方法为：读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
[0026]
在上述中，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
[0027]
在上述中，在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
[0028]
利用本技术的方法构建好时空大数据的存储后，在后期的数据使用中，还包括了对时空大数据的管理，可以提供对海量时空大数据进行空间数据资源管理、业务数据资源管理、数据资源质量管理和数据资源安全监控等数据治理与综合管理，并提供数据资源元数据管理、挖掘分析等相关功能，确保多源数据的一体化治理、管理与应用。
[0029]
实施例2：
[0030]
参照图5，以及图1-图4，另一方面，本技术还提供了一种基于分布式技术的时空大数据存储系统，包括：存储服务器，该存储服务器被配置成按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
所述存储单元被配置成若干个存储区块，记录每一存储区块的存储地址；存储缓存区块，设置在存储服务器中，并与存储区块一一对应，且所述存储缓存区块被配置成具有设定的缓存存储空间值；所述存储服务器内还设置有分析模块、控制模块、移存模块、存储线程配置模块以及初始化模块；所述分析模块用于当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径；所述控制模块基于时空大数据片段对应的存储路径来控制存储线程配置模块生成存储线程并调用该存储线程，所述控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，所述移存模块用于基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；当所有时空大数据片段从存储缓存区块移存到对应的存储区块后，所述控制模块控制初始化模块对存储缓存区块进行初始化操作，初始化操作完毕后存储缓存区块被占用的内存被释放，恢复到设定的缓存存储空间值。
[0031]
进一步地，所述控制模块设置有程序计数器；在所述程序计数器内设置有监听单元、协同监听检测单元、判断单元、识别单元以及列表生成单元；其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并将所述监听单元和调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；所述协同监听检测单元用于在监听单元实时的获取存储线程的执行状态的同时向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；所述判断单元用于基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务，输出判断结果；所述识别单元用于基于判断单元来对应的获取时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，所述列表生成单元用于基于每一时空大数据片段的特征编码形成一个数据列表。
[0032]
进一步地，所述控制模块内设置有检测单元、存储任务确定单元以及记录单元；所述存储任务确定单元用于读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；所述检测单元发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；所述记录单元用于将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
[0033]
进一步地，所述移存模块基于所述移存指令将所有时空大数据片段从存储缓存区
块移存到对应的存储区块的方法为：控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
[0034]
本技术的原理为：将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
[0035]
其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；同时程序计数器向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
[0036]
在上述中，对存储缓存区块的有效存储空间值进行检测的方法为：读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
[0037]
在上述中，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
[0038]
在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
[0039]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于分布式技术的时空大数据存储方法，其特征在于，包括如下步骤：将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。2.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，将时空大数据片段从存储缓存区块移存到对应的存储区块后，存储缓存区块被释放。3.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；同时程序计数器向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。4.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，对存储缓存区块的有效存储空间值进行检测的方法为：读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。5.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存
储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。6.根据权利要求5所述的基于分布式技术的时空大数据存储方法，其特征在于，在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。7.一种基于分布式技术的时空大数据存储系统，其特征在于，包括：存储服务器，该存储服务器被配置成按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；所述存储单元被配置成若干个存储区块，记录每一存储区块的存储地址；存储缓存区块，设置在存储服务器中，并与存储区块一一对应，且所述存储缓存区块被配置成具有设定的缓存存储空间值；所述存储服务器内还设置有分析模块、控制模块、移存模块、存储线程配置模块以及初始化模块；所述分析模块用于当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径；所述控制模块基于时空大数据片段对应的存储路径来控制存储线程配置模块生成存储线程并调用该存储线程，所述控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，所述移存模块用于基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；当所有时空大数据片段从存储缓存区块移存到对应的存储区块后，所述控制模块控制初始化模块对存储缓存区块进行初始化操作，初始化操作完毕后存储缓存区块被占用的内存被释放，恢复到设定的缓存存储空间值。8.根据权利要求7所述的基于分布式技术的时空大数据存储系统，其特征在于，所述控制模块设置有程序计数器；在所述程序计数器内设置有监听单元、协同监听检测单元、判断单元、识别单元以及列表生成单元；其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并将所述监听单元和调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；所述协同监听检测单元用于在监听单元实时的获取存储线程的执行状态的同时向cpu发送线程检测指令，cpu基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对cpu运行资源的占用状态；所述判断单元用于基于存储线程的执行状态和cpu输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务，输出判断结果；
所述识别单元用于基于判断单元来对应的获取时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，所述列表生成单元用于基于每一时空大数据片段的特征编码形成一个数据列表。9.根据权利要求7所述的基于分布式技术的时空大数据存储系统，其特征在于，所述控制模块内设置有检测单元、存储任务确定单元以及记录单元；所述存储任务确定单元用于读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；所述检测单元发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；所述记录单元用于将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。10.根据权利要求7所述的基于分布式技术的时空大数据存储系统，其特征在于，所述移存模块基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：控制模块读取移存指令，基于所述移存指令对应的调取数据列表；获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。

技术总结
本发明公开了一种基于分布式技术的时空大数据存储方法及系统，该方法将存储服务器按照数据形式划分为若干个存储单元，将每一存储单元划分成若干个存储区块，当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。存储区块中。存储区块中。


技术研发人员：彭贵旭 马伟 谢鹏 郭富涛 冀宗童
受保护的技术使用者：智成时空（西安）创新科技有限公司
技术研发日：2023.06.02
技术公布日：2023/7/7