一种主数据弹性存储与柔性建模系统的制作方法

1.本发明属于数据处理技术领域，具体的说是一种主数据弹性存储与柔性建模系统。


背景技术：

2.现有的虚拟主机技术配置的主机类型是固定的，用户只能选购不同的主机，不能自己远程创建自己的主机，而且主机不能根据业务需求自动增加或释放计算、存储、带宽、软件、硬件、数据资源。这样，用户购买的计算、存储、带宽等资源就没有弹性，不能即时即需自动扩展或释放；这种情况下，用户购买的虚拟主机还是类似一台硬件主机，isp提供的服务没有任何弹性。
3.数据建模是指以数据为基础生成模型，其通过分析给定数据集中的数据对象，确定这些数据对象之间的关系或者约束条件，然后生成最适合给定数据集的模型。数据建模的方法包括回归分析、统计分析、机器学习、深度学习、灰色预测、主成分分析、神经网络以及时间序列分析，等等。
4.目前还没有关于数据存储和数据建模合并方式来处理数据，本发明提出一种主数据弹性存储与柔性建模系统，实现了数据的存储和建模，在数据弹性存储时，不仅浏览器获取需要的数据，而且通过监控模块避免数据丢失，进而通过柔性建模提高数据集的建模效率。


技术实现要素：

5.本发明提出一种主数据弹性存储与柔性建模系统，实现了数据的存储和建模，在数据弹性存储时，不仅浏览器获取需要的数据，而且通过监控模块避免数据丢失，进而通过柔性建模提高数据集的建模效率。
6.本发明解决其技术问题所采用的技术方案是：
7.本发明所述一种主数据弹性存储与柔性建模系统，包括数据弹性存储模块和数据柔性建模模块；所述数据弹性存储模块包括云计算服务器、pc终端、信息传送装置和存储系统，所述云计算服务器用于提供弹性存储服务，所述pc终端用于安装网络浏览器，所述信息传送装置通过网络接入设备为pc终端提供信息传送，所述存储系统通过信息传送装置接收pc终端通过浏览器和网络接入设备提交的请求，所述存储系统包括多个数据集，所述数据柔性建模模块包括至少两个基于数据集的子集，所述子集生成以变量为自变量的模型，所述模型指示子集中的数据满足的第一约束条件，并且所述变量均为所述数据集的变量；以及通过合并所述模型来生成指示所述数据集的数据满足的第二约束条件的目标模型。
8.优选地，所述存储系统包括资源管理模块和监控模块，由资源管理模块通过浏览器人机管理界面分配给使用者其所购买的存储单元数量，每个存储单元由使用者根据需要的方式构建文件系统。
9.优选地，所述监控模块通过开放接口探知资源管理模块的备份类型配置，一旦指
定备份机制和备份份数后，监控模块启动自检机制，不因某个备份数据的损害或丢失而减少备份的数量。
10.优选地，所述网络接入设备中的网络包括局域网、电信网、互联网、广电网、物联网，或者所述网络的融合网络。
11.优选地，所述目标模型用于基于所述存储系统中数据集进行预测，生成所述目标模型包括生成表示所述模型的树；以及通过匹配树来生成所述目标模型，基于所述目标模型，生成包括未知参数的模型模板；使用所述数据集来求解所述模型模板中的未知参数；以及基于所述模型模板和所述未知参数，确定所述目标模型。
12.优选地，将存储系统通过连接弹性计算系统获得计算单元，使用者可在上面存放数据或安装所需要的应用；根据需要通过对资源管理模块的配置挂载一个或多个计算单元使用，使用者根据需要，选择结合或分离计算单元。
13.本发明的有益效果如下：使用者可以根据业务短期内大幅度变化第一时间获得需要的存储资源，极大的缩短了传统企业获得存储资源的时间，保障业务的正常运行，降低企业在硬件采购的投入和运维的成本。柔性建模模块主动地选择多个数据子集以便针对多个自变量生成多个模型，并且通过合柔性并多个模型来生成最终的目标模型，从而有效提高针对数据集的建模效率。本发明提出的一种主数据弹性存储与柔性建模系统，实现了数据的存储和建模，在数据弹性存储时，不仅浏览器获取需要的数据，而且通过监控模块避免数据丢失，进而通过柔性建模提高数据集的建模效率。
附图说明
14.下面结合附图对本发明作进一步说明。
15.图1是本发明的结构框图。
具体实施方式
16.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
17.如图1所示，本发明所述一种主数据弹性存储与柔性建模系统，包括数据弹性存储模块和数据柔性建模模块；所述数据弹性存储模块包括云计算服务器、pc终端、信息传送装置和存储系统，所述云计算服务器用于提供弹性存储服务，所述pc终端用于安装网络浏览器，所述信息传送装置通过网络接入设备为pc终端提供信息传送，所述存储系统通过信息传送装置接收pc终端通过浏览器和网络接入设备提交的请求，所述存储系统包括多个数据集，所述数据柔性建模模块包括至少两个基于数据集的子集，所述子集生成以变量为自变量的模型，所述模型指示子集中的数据满足的第一约束条件，并且所述变量均为所述数据集的变量；以及通过合并所述模型来生成指示所述数据集的数据满足的第二约束条件的目标模型。
18.本发明中，所述存储系统包括资源管理模块和监控模块，由资源管理模块通过浏览器人机管理界面分配给使用者其所购买的存储单元数量，每个存储单元由使用者根据需要的方式构建文件系统；述监控模块通过开放接口探知资源管理模块的备份类型配置，一旦指定备份机制和备份份数后，监控模块启动自检机制，不因某个备份数据的损害或丢失
而减少备份的数量。
19.本发明中，所述网络接入设备中的网络包括局域网、电信网、互联网、广电网、物联网，或者所述网络的融合网络。
20.本发明中，所述目标模型用于基于所述存储系统中数据集进行预测，生成所述目标模型包括生成表示所述模型的树；以及通过匹配树来生成所述目标模型，基于所述目标模型，生成包括未知参数的模型模板；使用所述数据集来求解所述模型模板中的未知参数；以及基于所述模型模板和所述未知参数，确定所述目标模型。
21.本发明中，将存储系统通过连接弹性计算系统获得计算单元，使用者可在上面存放数据或安装所需要的应用；根据需要通过对资源管理模块的配置挂载一个或多个计算单元使用，使用者根据需要，选择结合或分离计算单元。
22.本发明提供了其中的一种建模方法，步骤如下：
23.连接到存储系统任意数据集，提取至少两个基于数据集的子集，所述子集生成以变量为自变量的模型，所述模型指示子集中的数据满足的第一约束条件，并且所述变量均为所述数据集的变量；
24.通过合并所述模型来生成指示所述数据集的数据满足的第二约束条件的目标模型。
25.具体地，对数据集进行预测，生成所述目标模型包括生成表示所述模型的树；以及通过匹配树来生成所述目标模型，基于所述目标模型，生成包括未知参数的模型模板；使用所述数据集来求解所述模型模板中的未知参数；以及基于所述模型模板和所述未知参数，确定所述目标模型。
26.本发明还提供了另一种柔性建模方法，步骤如下：
27.连接到存储系统任意数据集，提取所述数据集的数据表中的m个字段，其中，m为大于1的正整数；
28.取i为1至m，统计历史数据库中与第i个字段对应的历史字段的用途，并基于用途统计结果计算所述第i个字段的用途推荐值，在处理完所述m个字段时，共计算获得m个用途推荐值，其中，所述用途推荐值包括将所述第i个字段推荐为数据模型的指标的指标推荐值，以及将所述第i个字段推荐为所述数据模型的维度的维度推荐值；基于所述m个用途推荐值确定推荐指标维度组合，所述推荐指标维度组合包括至少一个推荐为所述数据模型的维度的字段以及至少一个推荐为所述数据模型的指标的字段；
29.基于所述推荐指标维度组合从所述数据表中提取数据并生成所述目标数据模型。
30.本发明两种柔性建模都基于主数据弹性存储。
31.以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种主数据弹性存储与柔性建模系统，包括数据弹性存储模块和数据柔性建模模块；其特征在于：所述数据弹性存储模块包括云计算服务器、pc终端、信息传送装置和存储系统，所述云计算服务器用于提供弹性存储服务，所述pc终端用于安装网络浏览器，所述信息传送装置通过网络接入设备为pc终端提供信息传送，所述存储系统通过信息传送装置接收pc终端通过浏览器和网络接入设备提交的请求，所述存储系统包括多个数据集，所述数据柔性建模模块包括至少两个基于数据集的子集，所述子集生成以变量为自变量的模型，所述模型指示子集中的数据满足的第一约束条件，并且所述变量均为所述数据集的变量；以及通过合并所述模型来生成指示所述数据集的数据满足的第二约束条件的目标模型。2.根据权利要求1所述一种主数据弹性存储与柔性建模系统，其特征在于：所述存储系统包括资源管理模块和监控模块，由资源管理模块通过浏览器人机管理界面分配给使用者其所购买的存储单元数量，每个存储单元由使用者根据需要的方式构建文件系统。3.根据权利要求2所述一种主数据弹性存储与柔性建模系统，其特征在于：所述监控模块通过开放接口探知资源管理模块的备份类型配置，一旦指定备份机制和备份份数后，监控模块启动自检机制，不因某个备份数据的损害或丢失而减少备份的数量。4.根据权利要求1所述一种主数据弹性存储与柔性建模系统，其特征在于：所述网络接入设备中的网络包括局域网、电信网、互联网、广电网、物联网，或者所述网络的融合网络。5.根据权利要求1所述一种主数据弹性存储与柔性建模系统，其特征在于：所述目标模型用于基于所述存储系统中数据集进行预测，生成所述目标模型包括生成表示所述模型的树；以及通过匹配树来生成所述目标模型，基于所述目标模型，生成包括未知参数的模型模板；使用所述数据集来求解所述模型模板中的未知参数；以及基于所述模型模板和所述未知参数，确定所述目标模型。6.根据权利要求1所述一种主数据弹性存储与柔性建模系统，其特征在于：将存储系统通过连接弹性计算系统获得计算单元，使用者可在上面存放数据或安装所需要的应用；根据需要通过对资源管理模块的配置挂载一个或多个计算单元使用，使用者根据需要，选择结合或分离计算单元。

技术总结
本发明提出了一种主数据弹性存储与柔性建模系统，数据弹性存储模块包括云计算服务器、PC终端、信息传送装置和存储系统，所述存储系统通过信息传送装置接收PC终端通过浏览器和网络接入设备提交的请求，所述存储系统包括多个数据集，数据柔性建模模块包括至少两个基于数据集的子集，所述子集生成以变量为自变量的模型，所述模型指示子集中的数据满足的第一约束条件，并且所述变量均为所述数据集的变量；以及通过合并所述模型来生成指示所述数据集的数据满足的第二约束条件的目标模型。本发明实现了数据的存储和建模，在数据弹性存储时，不仅浏览器获取需要的数据，而且通过监控模块避免数据丢失，进而通过柔性建模提高数据集的建模效率。集的建模效率。集的建模效率。


技术研发人员：郑忠龙 舒路 崔壮 陆鑫 阮秀琼 解福文 罗韬 肖润南
受保护的技术使用者：国网信通亿力科技有限责任公司
技术研发日：2023.06.07
技术公布日：2023/9/9