基于云计算的监控数据存储方法及相关设备与流程

1.本技术涉及云计算技术领域，尤其涉及一种基于云计算的监控数据存储方法及相关设备，其中，相关设备包括基于云计算的监控数据存储装置、电子设备及存储介质。


背景技术：

2.随着计算机技术的发展，云计算在数据规模较大的数字医疗、金融科技等领域的应用越来越广泛。而随着云计算技术的不断成熟，容器技术逐步成为业界的发展热点，各主流云计算平台也无一例外地迅速提供了容器服务，kubernetes作为容器应用的管理中心，对集群内部所有容器的生命周期进行管理，结合自身的健康检查及错误恢复机制，实现了集群内部应用层的高可用性，如何有效地对集群内应用进行资源监控成为研究的重点。
3.prometheus是一套开源的监控、报警、时间序列数据库组件，是为数不多的适合docker、mesos、kubernetes环境的监控系统之一。prometheus可以作为数据库存储本地的监控数据，但缺点是在存储海量监控数据时容易发生数据丢失的风险，同时在监控数据过多时，prometheus的本地存储文件容易发生损坏。


技术实现要素：

4.鉴于以上内容，有必要提出一种基于云计算的监控数据存储方法及相关设备，以解决如何减少监控数据在存储过程中的丢失风险这一技术问题，其中，相关设备包括基于云计算的监控数据存储装置、电子设备及存储介质。
5.本技术提供一种基于云计算的监控数据存储方法，所述方法包括：
6.对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集；
7.基于所述远端存储数据集构建集群监控数据队列；
8.发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集；
9.基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集；
10.基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。
11.在一些实施例中，所述对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集包括：
12.依据预设的监控组件对kubernetes集群进行监控获得集群监控数据集；
13.统计所述集群监控数据集中各监控数据的生成时长；
14.对比所述生成时长和预设的时长阈值，将所有大于所述时长阈值的监控数据作为远端存储数据集。
15.在一些实施例中，所述基于所述远端存储数据集构建集群监控数据队列包括：
16.对所述预设的监控组件增加远程读写配置；
17.基于所述远程读写配置生成数据传输队列；
18.发送所述远端存储数据集至所述数据传输队列中获得集群监控数据队列。
19.在一些实施例中，所述发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集，包括：
20.依据结构化数据的序列化方法对所述集群监控数据队列进行序列化获得序列化数据集；
21.压缩所述序列化数据集；
22.以http请求的方式将经过压缩的序列化数据集发送至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集。
23.在一些实施例中，所述基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集包括：
24.基于所述远程存储适配器对接收到的http请求进行解析获得所述http请求中携带的集群监控请求数据集；
25.对所述集群监控请求数据集进行解压缩获得所述序列化数据集；
26.对所述序列化数据集进行反序列化操作获得所述集群监控数据队列中的监控数据，并将获得的所有监控数据作为集群远端监控数据集。
27.在一些实施例中，所述基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储包括：
28.建立所述远程存储适配器和远程存储数据库之间的连接；
29.在所述远程存储数据库中创建监控数据表；
30.基于所述远程存储适配器发送所述集群远端监控数据集至所述监控数据表中进行分片存储。
31.在一些实施例中，所述基于所述远程存储适配器发送所述集群远端监控数据集至所述监控数据表中进行分片存储包括：
32.依据预设的第一数目对所述监控数据表进行均匀分片获得多个分片数据表；
33.依据预设的第二数目为每个分片数据表生成多个副本表；
34.基于所述远程存储适配器发送所述集群远端监控数据集至所述分片数据表和所述副本表中进行存储。
35.本技术实施例还提供一种基于云计算的监控数据存储装置，所述装置包括划分模块、构建模块、发送模块、解析模块以及存储模块：
36.所述划分模块，用于对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集；
37.所述构建模块，用于基于所述远端存储数据集构建集群监控数据队列；
38.所述发送模块，用于发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集；
39.所述解析模块，用于基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集；
40.所述存储模块，用于基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。
41.本技术实施例还提供一种电子设备，所述电子设备包括：
42.存储器，存储至少一个指令；
43.处理器，执行所述存储器中存储的指令以实现所述的基于云计算的监控数据存储方法。
44.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于云计算的监控数据存储方法。
45.本技术通过生成时长对kubernetes集群中的监控数据进行划分来获取需要进行远端存储的监控数据，并使用远程存储适配器将所述需要进行远端存储的监控数据以数据队列的形式快速发送至远程数据库的数据表中，最后通过对所述数据表进行数据分片和多备份存储来有效降低监控数据的丢失风险。
附图说明
46.图1是本技术所涉及的基于云计算的监控数据存储方法的较佳实施例的流程图。
47.图2是本技术所涉及的基于云计算的监控数据存储装置的较佳实施例的功能模块图。
48.图3是本技术所涉及的基于云计算的监控数据存储方法的较佳实施例的电子设备的结构示意图。
49.图4是本技术所涉及的基于所述远程存储数据库对集群远端监控数据集进行分片存储的结构示意图。
具体实施方式
50.为了能够更清楚地理解本技术的目的、特征和优点，下面结合附图和具体实施例对本技术进行详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本技术，所述描述的实施例仅是本技术一部分实施例，而不是全部的实施例。
51.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
52.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
53.本技术实施例提供一种基于云计算的监控数据存储方法，可应用于一个或者多个电子设备中，电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
54.电子设备可以是任何一种可与客户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)、游戏机、交互式网络电视(internet protocol television，iptv)、智能式穿戴式设备等。
55.电子设备还可以包括网络设备和/或客户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量主机或网络服务器构成的云。所述电子设备可以上传下载医疗数据，如个人健康档案、处方、检查报告等，或者可以上传下载业务数据、交易数据、支付数据等。
56.电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，vpn)等。
57.如图1所示，是本技术基于云计算的监控数据存储方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
58.本技术提供的基于云计算的监控数据存储方法可以应用在任何一种需要进行监控数据存储的应用场景中，则该方法能够应用于这些场景的产品中，例如，数字医疗领域或金融科技领域中的监控数据的存储等。
59.该可选的实施例中，容器编排引擎(kubernetes)是用于自动部署、扩展和管理容器化应用程序的开源系统，具有以下特点：可移植：支持公有云、私有云、混合云和多重云；可扩展：模块化、插件化、可挂载、可组合、支持各种形式的扩展；自动化：自动部署、自动重启、自动复制、自动伸缩/扩展、通过声明式语法提供强大的自修复能力。
60.s10，对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集。
61.在一个可选的实施例中，所述对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集包括：
62.依据预设的监控组件对kubernetes集群进行监控获得集群监控数据集；
63.统计所述集群监控数据集中各监控数据的生成时长；
64.对比所述生成时长和预设的时长阈值，将所有大于所述时长阈值的监控数据作为远端存储数据集。
65.该可选的实施例中，可通过监控组件prometheus对kubernetes集群进行监控，并将获得的所有监控数据作为集群监控数据集。其中，监控组件prometheus是一个开源的服务监控系统和时间序列数据库，不仅能够实现对kubernetes集群的监控功能，还能够作为数据库对监控到的数据进行存储。
66.该可选的实施例中，对于获取到的集群监控数据集，可统计所述集群监控数据集中各监控数据的生成时长，即统计各监控数据从被监控组件prometheus采集后到目前为止的存在时长，并以此对比各监控数据的生成时长和预设的时长阈值，其中，所述时长阈值可以为7天。
67.该可选的实施例中，若监控数据的生成时长不大于7天，则将该监控数据存储于监控组件prometheus中，以保证监控数据写入和查询的高效率，若监控数据的生成时长大于7天，则将所有大于所述时长阈值的监控数据作为远端存储数据集，以便于后续过程将该远端存储数据集中的监控数据存储至远程存储数据库中，以减少本地监控组件prometheus中的数据量。
68.如此，通过对采集到的kubernetes集群的监控数据的划分，可以根据监控数据的
生成时长对监控数据进行不同形式的存储，从而提高监控数据的存储效率。
69.s11，基于所述远端存储数据集构建集群监控数据队列。
70.在一个可选的实施例中，所述基于所述远端存储数据集构建集群监控数据队列包括：
71.对所述预设的监控组件增加远程读写配置；
72.基于所述远程读写配置生成数据传输队列；
73.发送所述远端存储数据集至所述数据传输队列中获得集群监控数据队列。
74.该可选的实施例中，可通过配置文件对监控组件prometheus增加远程读写配置remote_write，从而使监控组件prometheus具有将本地存储的监控数据写入到远程存储数据库的能力。
75.该可选的实施例中，对增加有远程读写配置remote_write的监控组件prometheus进行重启，则在重启后所述远程读写配置remote_write可生成一个用于传输监控数据的数据传输队列，可通过监控组件prometheus将获得的所述远端存储数据集发送至生成的数据传输队列中得到集群监控数据队列，以便于通过所述集群监控数据队列实现对远端存储数据集的远程传输。
76.如此，可通过构建集群监控数据队列实现对所述远端存储数据集的远程快速传输，为后续过程将所述远端存储数据集发送至远程存储数据库中进行存储提供可能。
77.s12，发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集。
78.在一个可选的实施例中，所述发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集包括：
79.依据结构化数据的序列化方法对所述集群监控数据队列进行序列化获得序列化数据集；
80.压缩所述序列化数据集；
81.以http请求的方式将经过压缩的序列化数据集发送至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集。
82.该可选的实施例中，可通过结构化数据的序列化方法protobuf对所述集群监控数据队列进行序列化，所述protobuf是一种混合语言数据标准，可将结构化的数据进行序列化，即可以将所述集群监控数据队列中的监控数据转换成二进制串，以便于所述集群监控数据队列的通信传输，本方案中将经过序列化的集群监控数据队列中的监控数据作为序列化数据集。
83.该可选的实施例中，可通过压缩工具snappy对所述序列化数据集进行压缩，并以http请求的方式将经过压缩的序列化数据集发送至所述kubernetes集群的远程存储适配器prometheus-clickhouse-adapter中，所述远程存储适配器prometheus-clickhouse-adapter是一个将clickhouse数据库作为监控组件prometheus的远程存储数据库的适配器，本方案中将经过压缩后发送至所述远程存储适配器中的序列化数据集作为集群监控请求数据集。
84.如此，可将所述集群监控数据队列发送至远程存储适配器中，以便于通过所述远程存储适配器实现将所述集群监控数据队列中的监控数据存储至远程存储数据库。
85.s13，基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集。
86.在一个可选的实施例中，所述基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集包括：
87.基于所述远程存储适配器对接收到的http请求进行解析获得所述http请求中携带的集群监控请求数据集；
88.对所述集群监控请求数据集进行解压缩获得所述序列化数据集；
89.对所述序列化数据集进行反序列化操作获得所述集群监控数据队列中的监控数据，并将获得的所有监控数据作为集群远端监控数据集。
90.该可选的实施例中，当所述远程存储适配器接收到通过所述http请求的方式发送的集群监控请求数据集后，可对接收到的http请求进行解析来获取所述http请求报文中携带的集群监控请求数据集，接着同样根据解压缩工具snappy对所述集群监控请求数据集进行解压缩，从而获得所述序列化数据集。
91.该可选的实施例中，可同样通过所述protobuf对获得的序列化数据集进行反序列化，从而将所述序列化数据集由二进制串转换为原始的监控数据，本方案中将通过反序列化后获得的所有监控数据作为集群远端监控数据集。
92.如此，可通过所述远程存储适配器实现对所述集群监控请求数据集的快速解析，从而获得集群远端监控数据集。
93.s14，基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。
94.在一个可选的实施例中，所述基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储包括：
95.建立所述远程存储适配器和远程存储数据库之间的连接；
96.在所述远程存储数据库中创建监控数据表；
97.基于所述远程存储适配器发送所述集群远端监控数据集至所述监控数据表中进行分片存储。
98.该可选的实施例中，可建立所述远程存储适配器和远程存储数据库之间的通信连接，本方案中所述远程存储数据库为clickhouse数据库，由于数据在数据库中以数据表的形式进行存储，因此可在所述clickhouse数据库中创建用于存储所述集群远端监控数据集的监控数据表。
99.该可选的实施例中，如图4所示，通过监控组件prometheus对kubernetes集群进行监控，获得kubernetes集群的监控数据，并通过远程存储适配器将所述监控数据进行分片存储。具体地，可将所述监控数据表按照预设的第一数目进行均匀分片，所述第一数目可以为3，即将所述监控数据表划分为3个分片数据表，从而将所述集群远端监控数据集中的数据分别均匀存储于3个分片数据表中。同时可依据预设的第二数目为每个分片数据表生成多个副本表，示例性的，所述第二数据可以为2，即为每个分片数据表再生成两份相同的副本表，并将各副本表存储于clickhouse集群的不同机器节点中，这样即使其中一个副本表所在的机器节点崩溃出错，也能保证所述集群远端监控数据集中的数据不会存在丢失风险，因此最终可通过所述远程存储适配器将所述集群远端监控数据集发送至所述分片数据
表和所述副本表中进行分片存储。
100.如此，通过对监控数据表的分片和副本备份，可以保证存储于所述远程存储数据库中的集群远端监控数据集的安全性，降低所述集群远端监控数据集中数据的丢失风险。
101.请参见图2，图2是本技术基于云计算的监控数据存储装置的较佳实施例的功能模块图。基于云计算的监控数据存储装置11包括划分模块110、构建模块111、发送模块112、解析模块113、存储模块114。本技术所称的单元/模块是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各单元/模块的功能将在后续的实施例中详述。
102.在一个可选的实施例中，划分模块110用于对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集。
103.在一个可选的实施例中，所述对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集包括：
104.依据预设的监控组件对kubernetes集群进行监控获得集群监控数据集；
105.统计所述集群监控数据集中各监控数据的生成时长；
106.对比所述生成时长和预设的时长阈值，将所有大于所述时长阈值的监控数据作为远端存储数据集。
107.在一个可选的实施例中，构建模块111用于基于所述远端存储数据集构建集群监控数据队列。
108.在一个可选的实施例中，所述基于所述远端存储数据集构建集群监控数据队列包括：
109.对所述预设的监控组件增加远程读写配置；
110.基于所述远程读写配置生成数据传输队列；
111.发送所述远端存储数据集至所述数据传输队列中获得集群监控数据队列。
112.在一个可选的实施例中，发送模块112用于发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集。
113.在一个可选的实施例中，所述发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集包括：
114.依据结构化数据的序列化方法对所述集群监控数据队列进行序列化获得序列化数据集；
115.压缩所述序列化数据集；
116.以http请求的方式将经过压缩的序列化数据集发送至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集。
117.在一个可选的实施例中，解析模块113用于基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集。
118.在一个可选的实施例中，所述基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集包括：
119.基于所述远程存储适配器对接收到的http请求进行解析获得所述http请求中携带的集群监控请求数据集；
120.对所述集群监控请求数据集进行解压缩获得所述序列化数据集；
121.对所述序列化数据集进行反序列化操作获得所述集群监控数据队列中的监控数据，并将获得的所有监控数据作为集群远端监控数据集。
122.在一个可选的实施例中，存储模块114用于基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。
123.在一个可选的实施例中，所述基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储包括：
124.建立所述远程存储适配器和远程存储数据库之间的连接；
125.在所述远程存储数据库中创建监控数据表；
126.基于所述远程存储适配器发送所述集群远端监控数据集至所述监控数据表中进行分片存储。
127.由以上技术方案可以看出，本技术能够通过生成时长对kubernetes集群中的监控数据进行划分来获取需要进行远端存储的监控数据，并使用远程存储适配器将所述需要进行远端存储的监控数据以数据队列的形式快速发送至远程数据库的数据表中，最后通过对所述数据表进行数据分片和多备份存储来有效降低监控数据的丢失风险。
128.请参见图3，是本技术实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行所述储器中存储的计算机可读指令以实现上述任一实施例所述的基于云计算的监控数据存储方法。
129.在一个可选的实施例中，电子设备1还包括总线、存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于云计算的监控数据存储程序。
130.图3仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
131.结合图1，电子设备1中的所述存储器12存储多个计算机可读指令以实现一种基于云计算的监控数据存储方法，所述处理器13可执行所述多个指令从而实现：
132.对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集；
133.基于所述远端存储数据集构建集群监控数据队列；
134.发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集；
135.基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集；
136.基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。
137.具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
138.本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。
139.需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可
适应于本技术，也应包含在本技术的保护范围以内，并以引用方式包含于此。
140.其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于云计算的监控数据存储程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
141.处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(control unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于云计算的监控数据存储程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。
142.所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于云计算的监控数据存储方法实施例中的步骤，例如图1所示的步骤。
143.示例性的，所述计算机程序可以被分割成一个或多个单元/模块，所述一个或者多个单元/模块被存储在所述存储器12中，并由所述处理器13执行，以完成本技术。所述一个或多个单元/模块可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成划分模块110、构建模块111、发送模块112、解析模块113、存储模块114。
144.上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本技术各个实施例所述的基于云计算的监控数据存储方法的部分。
145.电子设备1集成的单元/模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
146.其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存储器及其他存储器等。
147.进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链
节点的使用所创建的数据等。
148.本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
149.总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
150.本技术实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于云计算的监控数据存储方法。
151.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
152.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
153.另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
154.此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。说明书陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
155.最后应说明的是，以上实施例仅用以说明本技术的技术方案而非限制，尽管参照较佳实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换，而不脱离本技术技术方案的精神和范围。

技术特征：
1.一种基于云计算的监控数据存储方法，其特征在于，所述方法包括：对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集；基于所述远端存储数据集构建集群监控数据队列；发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集；基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集；基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。2.如权利要求1所述的基于云计算的监控数据存储方法，其特征在于，所述对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集包括：依据预设的监控组件对kubernetes集群进行监控获得集群监控数据集；统计所述集群监控数据集中各监控数据的生成时长；对比所述生成时长和预设的时长阈值，将所有大于所述时长阈值的监控数据作为远端存储数据集。3.如权利要求2所述的基于云计算的监控数据存储方法，其特征在于，所述基于所述远端存储数据集构建集群监控数据队列包括：对所述预设的监控组件增加远程读写配置；基于所述远程读写配置生成数据传输队列；发送所述远端存储数据集至所述数据传输队列中获得集群监控数据队列。4.如权利要求1所述的基于云计算的监控数据存储方法，其特征在于，所述发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集，包括：依据结构化数据的序列化方法对所述集群监控数据队列进行序列化获得序列化数据集；压缩所述序列化数据集；以http请求的方式将经过压缩的序列化数据集发送至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集。5.如权利要求4所述的基于云计算的监控数据存储方法，其特征在于，所述基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集包括：基于所述远程存储适配器对接收到的http请求进行解析获得所述http请求中携带的集群监控请求数据集；对所述集群监控请求数据集进行解压缩获得所述序列化数据集；对所述序列化数据集进行反序列化操作获得所述集群监控数据队列中的监控数据，并将获得的所有监控数据作为集群远端监控数据集。6.如权利要求1所述的基于云计算的监控数据存储方法，其特征在于，所述基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储包括：建立所述远程存储适配器和远程存储数据库之间的连接；在所述远程存储数据库中创建监控数据表；基于所述远程存储适配器发送所述集群远端监控数据集至所述监控数据表中进行分
片存储。7.如权利要求6所述的基于云计算的监控数据存储方法，其特征在于，所述基于所述远程存储适配器发送所述集群远端监控数据集至所述监控数据表中进行分片存储包括：依据预设的第一数目对所述监控数据表进行均匀分片获得多个分片数据表；依据预设的第二数目为每个分片数据表生成多个副本表；基于所述远程存储适配器发送所述集群远端监控数据集至所述分片数据表和所述副本表中进行存储。8.一种基于云计算的监控数据存储装置，其特征在于，所述装置包括划分模块、构建模块、发送模块、解析模块以及存储模块：所述划分模块，用于对采集到的kubernetes集群的监控数据进行划分以获取远端存储数据集；所述构建模块，用于基于所述远端存储数据集构建集群监控数据队列；所述发送模块，用于发送所述集群监控数据队列至所述kubernetes集群的远程存储适配器中获得集群监控请求数据集；所述解析模块，用于基于所述远程存储适配器解析所述集群监控请求数据集获得集群远端监控数据集；所述存储模块，用于基于所述远程存储适配器发送所述集群远端监控数据集至远程存储数据库中进行存储。9.一种电子设备，其特征在于，所述电子设备包括：存储器，存储有计算机可读指令；及处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的基于云计算的监控数据存储方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于云计算的监控数据存储方法。

技术总结
本申请涉及云计算，提出一种基于云计算的监控数据存储方法、装置、电子设备及存储介质，所述方法包括：对采集到的Kubernetes集群的监控数据进行划分以获取远端存储数据集；基于远端存储数据集构建集群监控数据队列；发送集群监控数据队列至所述Kubernetes集群的远程存储适配器中获得集群监控请求数据集；基于远程存储适配器解析集群监控请求数据集获得集群远端监控数据集；基于远程存储适配器发送集群远端监控数据集至远程存储数据库中进行存储。本申请通过使用远程存储适配器将需要进行远端存储的监控数据快速发送至远程数据库的数据表中，并通过对数据表进行数据分片和多备份存储来有效降低监控数据的丢失风险。存储来有效降低监控数据的丢失风险。存储来有效降低监控数据的丢失风险。


技术研发人员：冯洋
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.06.14
技术公布日：2023/9/14