一种智慧燃气数据中心运行管理方法、物联网系统和介质与流程

未命名 09-09 阅读:94 评论:0


1.本说明书涉及数据管理领域,特别涉及一种智慧燃气数据中心运行管理方法、物联网系统和介质。


背景技术:

2.燃气管理系统的运作依托于各类燃气数据的交互、传输与分析,从而为燃气系统的正常运行提供保障。随着燃气业务的不断发展,燃气数据量越来越庞大,在对燃气数据进行处理时往往需要大量时间。此外,若数据中心出现故障,会直接导致燃气数据不可用,进而影响燃气系统的运转。
3.因此,亟需提供一种智慧燃气数据中心运行管理方法,提高数据管理效率,增强数据中心的稳定性,保障数据中心的日常运作。


技术实现要素:

4.发明内容包括一种智慧燃气数据中心运行管理方法。所述智慧燃气数据中心运行管理方法由智慧燃气管理平台执行,包括:获取待存储燃气数据及其对应的下游用户特征;基于所述待存储燃气数据、所述下游用户特征以及负载分配特征,确定所述待存储燃气数据的数据冗余等级;基于所述数据冗余等级生成所述待存储燃气数据的冗余数据块,将所述待存储燃气数据及所述冗余数据块存储至所述智慧燃气数据中心的一个或多个目标区域。
5.发明内容还包括一种智慧燃气数据中心运行管理物联网系统,所述智慧燃气数据中心运行管理物联网系统可以执行智慧燃气数据中心运行管理方法,包括:获取待存储燃气数据及其对应的下游用户特征;基于所述待存储燃气数据、所述下游用户特征以及负载分配特征,确定所述待存储燃气数据的数据冗余等级;基于所述数据冗余等级生成所述待存储燃气数据的冗余数据块,将所述待存储燃气数据及所述冗余数据块存储至所述智慧燃气数据中心的一个或多个目标区域。
6.发明内容还包括一种智慧燃气数据中心运行管理装置,包括处理器,所述处理器用于执行智慧燃气数据中心运行管理方法。
7.发明内容还包括一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行智慧燃气数据中心运行管理方法。
8.通过以上智慧燃气数据中心运行管理方法与物联网系统,能够实现燃气数据管理的智慧化和信息化,从而提高燃气数据管理的效率和安全性。
附图说明
9.本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的智慧燃气数据中心运行管理物联网系统的平台结构示意图;图2是根据本说明书一些实施例所示的智慧燃气数据中心运行管理方法的示例性流程图;图3是根据本说明书一些实施例所示的确定数据冗余等级的示意图;图4是根据本说明书一些实施例所示的确定燃气数据等级的示意图;图5是根据本说明书一些实施例所示的确定负载分配特征的示意图。
具体实施方式
10.为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
11.应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
12.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
13.图1是根据本说明书一些实施例所示的智慧燃气数据中心运行管理物联网系统的平台结构示意图。以下将对本说明书实施例所涉及的智慧燃气数据中心运行管理物联网系统进行详细说明。需要注意的是,以下实施例仅用于解释本说明书,并不构成对本说明书的限定。
14.在一些实施例中,如图1所示,智慧燃气数据中心运行管理物联网系统100可以包括依次连接的智慧燃气用户平台110、智慧燃气服务平台120、智慧燃气管理平台130、智慧燃气传感网络平台140和智慧燃气对象平台150。
15.智慧燃气用户平台可以是用于与用户进行交互的平台。在一些实施例中,智慧燃气用户平台可以被配置为终端设备。
16.智慧燃气服务平台可以是用于将用户的需求与控制信息传达出去的平台。智慧燃气管理平台可以从智慧燃气服务平台获取下游用户特征,并将下游用户特征发送至智慧燃气管理平台的智慧燃气数据中心。
17.智慧燃气管理平台可以是统筹、协调各功能平台之间的联系和协作,并汇聚着物联网全部的信息,为物联网运行体系提供感知管理和控制管理功能的平台。
18.在一些实施例中,智慧燃气管理平台可以包括燃气业务管理分平台、非燃气业务管理分平台和智慧燃气数据中心。
19.燃气业务管理分平台可以是用于处理与燃气相关的业务信息的平台。在一些实施例中,燃气业务管理分平台可以包括但不限于燃气安全管理模块、燃气设备管理模块、燃气
运营管理模块。燃气业务管理分平台可以通过前述各管理模块对燃气业务进行分析处理。
20.非燃气业务管理分平台可以是用于处理与燃气不相关的业务信息的平台。在一些实施例中,非燃气业务管理分平台可以包括但不限于产品业务管理模块、数据业务管理模块、渠道业务管理模块。非燃气业务管理分平台可以通过前述各管理模块对非燃气业务进行分析处理。
21.智慧燃气数据中心可以用于存储和管理智慧燃气数据中心运行管理物联网系统100的所有运行信息。在一些实施例中,智慧燃气数据中心可以被配置为存储设备,用于存储与燃气数据相关的数据等。例如,下游用户特征、燃气数据等级等。
22.在一些实施例中,智慧燃气数据中心可以包括服务信息数据库、管理信息数据库和传感信息数据库。
23.服务信息数据库可以包括燃气用户服务数据、政府用户服务数据、监管用户服务数据和非燃气用户服务数据。
24.管理信息数据库可以包括燃气设备管理数据、燃气安全管理数据、燃气运营管理数据和非燃气业务管理数据。
25.传感信息数据库可以包括燃气设备传感数据、燃气安全传感数据、燃气运营传感数据和非燃气业务传感数据。
26.在一些实施例中,智慧燃气管理平台可以通过智慧燃气数据中心分别与智慧燃气服务平台、智慧燃气传感网络平台进行信息交互。例如,智慧燃气数据中心可以将燃气数据等级发送至智慧燃气服务平台。又例如,智慧燃气数据中心可以发送获取燃气数据等级的指令至智慧燃气传感网络平台,以获取燃气数据等级数据。
27.智慧燃气传感网络平台可以是对传感通信进行管理的功能平台。在一些实施例中,智慧燃气传感网络平台可以实现感知信息传感通信和控制信息传感通信的功能。
28.智慧燃气对象平台可以是感知信息生成和控制信息执行的功能平台。
29.本说明书一些实施例,基于智慧燃气数据中心运行管理物联网系统100,可以在智慧燃气对象平台与智慧燃气用户平台之间形成信息运行闭环,并在智慧燃气管理平台的统一管理下协调、规律运行,实现数据管理信息化、智慧化。
30.图2是根据本说明书一些实施例所示的智慧燃气数据中心运行管理方法的示例性流程图。如图2所示,流程200包括下述步骤。在一些实施例中,流程200可以由智慧燃气数据中心运行管理物联网系统平台执行。
31.步骤210,获取待存储燃气数据及其对应的下游用户特征。
32.待存储燃气数据是指与燃气相关的数据。待存储燃气数据可以是监测燃气制备、传输或使用过程得到的数据等。
33.下游用户特征是指与燃气用户相关的特征。下游用户特征可以包括燃气需求变化频次、用户请求次数、用户燃气使用量和用户性质等。燃气需求变化频次是指用户的燃气需求发生变化的频率及次数。用户请求次数是指用户提交燃气工单的次数。用户性质是指用户的类型,例如,民用或商用等。
34.待存储燃气数据与下游用户特征存在对应关系。仅作为示例,不同待存储燃气数据可以对应不同的下游用户特征, 下游用户特征可基于待存储燃气数据的来源确定。例如,待存储燃气数据来自于燃气用户a,则可以基于燃气用户a的特征确定待存储燃气数据
对应的下游用户特征。
35.在一些实施例中,下游用户特征可以通过智慧燃气用户平台获取。用户可以通过智慧燃气用户平台上传与燃气相关的数据。待存储燃气数据可以通过智慧燃气对象平台获取。
36.步骤220,基于待存储燃气数据和下游用户特征,确定待存储燃气数据的数据冗余等级,基于数据冗余等级生成待存储燃气数据的冗余数据块。
37.在一些实施例中,对待存储燃气数据进行存储时,智慧燃气管理平台可以将待存储燃气数据切分为至少一个数据块,基于至少一个数据块,通过数据冗余算法计算得到至少一个冗余数据块。智慧燃气管理平台可以将至少一个数据块和至少一个冗余数据块存储到智慧燃气数据中心的至少一个存储节点中。其中,前述数据冗余算法可以是ec(erasure-code)算法,数据块的数量n可以为偶数,冗余数据块的数量m可以为2-4个。
38.数据存储的过程中,通常每个数据块存储的数据量是固定的,在一些实施例中,数据块的数量可以基于待存储燃气数据的总数据量大小和预设数据块大小确定,预设数据块大小通常基于先验经验确定,仅作为示例,预设数据块大小可以是64m、128m、256m或512m等。
39.在一些实施例中,冗余数据块的数量可以基于数据块的数量和数据冗余配比确定。
40.数据冗余等级是指数据块和冗余数据块的数量关系特征。在一些实施例中,数据冗余等级可以用0-10之间的整数数值表示,数据冗余等级越高,冗余数据块的数量越多。根据实际情况数据冗余等级还可以有其他表现形式。
41.智慧燃气管理平台可以基于待存储燃气数据和下游用户特征通过多种方式确定数据冗余等级。
42.在一些实施例中,智慧燃气管理平台可以基于预设的数据冗余等级参考表确定。该参考表可以包括参考数据类型和参考用户特征,及其对应的参考数据冗余等级。智慧燃气管理平台可以确定待存储燃气数据的类型,基于待存储燃气数据的类型和下游用户特征在前述参考表中查询确定数据冗余等级。
43.在一些实施例中,智慧燃气数据中心还可以基于待存储燃气数据和下游用户特征确定燃气数据等级,基于燃气数据等级、待存储燃气数据的预估保留时长和预估被访问频率,确定数据冗余等级。更多详细说明可以参见图2及其相关内容。
44.在一些实施例中,每一个数据冗余等级均对应一个数据冗余配比。数据冗余配比是指数据块和冗余数据块的数量配置,例如,数据配比可以是8个数据块配置2个冗余数据块、6个数据块配置3个冗余数据块等。
45.在一些实施例中,智慧燃气管理平台可以根据数据冗余等级,通过预设的冗余配比表确定数据冗余配比。冗余配比表可以包括数据冗余等级及其对应的数据配比,可以基于先验经验或历史数据确定。
46.在一些实施例中,智慧燃气管理平台可以基于数据冗余等级确定数据冗余配比,基于数据冗余配比通过数据冗余算法生成相应数量的数据冗余块。
47.步骤230,根据负载分配特征,将待存储燃气数据及冗余数据块存储至智慧燃气数据中心的一个或多个目标区域。
48.目标区域是指智慧燃气数据中心的至少一个存储区域。至少一个存储区域可以包括双活数据中心中的一个或多个子数据中心。在一些实施例中,智慧燃气管理平台可以基于负载分配特征确定目标区域。更多说明可参见本说明书图5中的相关描述。
49.在一些实施例中,智慧燃气数据中心包括至少一个子数据中心,每个子数据中心可以对待存储数据对应的数据块和冗余数据块进行存储,每个子数据中心包括至少一个存储节点。存储节点可以用于存储数据。
50.智慧燃气数据中心以双活数据中心的形式运作。双活数据中心包含第一数据中心和第二数据中心,共计两个子数据中心,且两个子数据中心之间可以进行通信。第一数据中心与第二数据中心分别存储和处理不同的数据。智慧燃气管理平台可以将待存储燃气数据对应的至少一个数据块和至少一个冗余数据块分别存储至两个数据中心。例如,若将至少一个数据块存储至第一数据中心,则将其对应的至少一个冗余数据快存储至第二数据中心,亦或是将至少一个数据块存储至第一数据中心,将至少一个冗余数据块存储至第二数据中心。这样当第其中一个数据中心出现故障致使数据块无法读取时,可以通过另一个数据中心中的冗余数据块对数据进行恢复,从而保障了智慧燃气数据中心存储数据的稳定性。
51.在一些实施例中,第一数据中心也可以被称为主数据中心,第二数据中心也可以被称为副数据中心。
52.负载分配特征是指燃气数据处理任务中不同子数据中心接收数据的标准。智慧燃气中心根据不同数据中心的负载分配特征,将不同的数据分配给不同的子数据中心处理。
53.智慧燃气管理平台可以通过多种方式获取负载分配特征。在一些实施例中,负载分配特征可以通过预设规则确定。例如,预设规则可以包括数据类型,负载分配特征可以是第一数据中心接收燃气管网基础设备数据和燃气管网维护数据、第二数据中心接收燃气系统运营数据等。预设规则还可以包括其他特征,可基于实际需求设置。
54.在一些实施例中,负载分配特征可以基于数据处理特征和总体故障风险确定。更多详细说明可参见图5及其相关描述。
55.在一些实施例中,智慧燃气管理平台可以根据负载分配特征,对待存储燃气数据对应的至少一个数据块和至少一个冗余数据块进行存储,将至少一个数据块和至少一个冗余数据块存储到不同子数据中心的至少一个存储节点中。
56.本说明书的一些实施例结合了多核心的数据中心处理技术及ec算法对数据进行处理和存储,提高了数据存储的效率和安全性,保障了智慧燃气平台的正常运行。
57.图3是根据本说明书一些实施例所示的确定数据冗余等级的示意图。如图3所示,确定数据冗余等级的流程300包括以下内容。
58.在一些实施例中,智慧燃气数据中心可以基于待存储燃气数据310和下游用户特征320,确定燃气数据等级330;基于燃气数据等级330、待存储燃气数据的预估保留时长340和预估被访问频率350,确定数据冗余等级360;其中,预估被访问频率相关于第一预设时间内数据处理特征的分布情况,数据处理特征基于燃气数据处理任务确定。
59.燃气数据等级是用来衡量待存储燃气数据的重要程度的标准。在一些实施例中,燃气数据等级可以通过数字0-10表示,数字越大,燃气数据等级越高。
60.智慧燃气管理平台可以通过多种方式确定燃气数据等级。
61.在一些实施例中,智慧燃气数据中心可以基于待存储燃气数据及其下游用户特征,通过查询燃气数据等级参考表的方式确定燃气数据等级。燃气数据等级参考表可以包括至少一个参考特征组及每个参考特征组对应的参考燃气数据等级,其中至少一个参考特征组包括参考燃气数据和参考用户特征。燃气数据等级参考表可以基于历史数据确定。
62.在一些实施例中,燃气数据等级也可以通过人工评定确定。
63.在一些实施例中,燃气数据等级还可以基于存储燃气数据、数据访问频率分布、下游用户特征确定。更多详细内容可以参见图4及其相关内容。
64.在一些实施例中,智慧燃气数据中心可以基于燃气数据等级330、待存储燃气数据的预估保留时长340和预估被访问频率350与数据冗余等级的关系表,确定数据冗余等级360。在一些实施例中,智慧燃气数据中心可以预先记录并保存不同的数据冗余等级对应的不同的燃气数据等级、预估保留时长和预估被访问频率的相关表格等。智慧燃气数据中心可以基于燃气数据等级、待存储燃气数据的预估保留时长和预估被访问频率,通过查表的方式,确定数据冗余等级。
65.预估保留时长是指待存储燃气数据预计需要保留在数据中心的时长。预估保留时长可以通过人工预设确定。
66.预估被访问频率是指待存储燃气数据预计可能会被访问的频率。其中,预估被访问频率相关于预设时间内数据处理特征的分布情况。
67.数据处理特征是指燃气数据处理任务中包含的待存储燃气数据的类型。数据处理特征包括总数据量和分布情况。数据处理特征的分布情况为执行燃气数据处理任务时所需的各数据类型的处理量占比的分布情况。智慧燃气管理平台可以根据燃气数据处理任务370的任务要求,预设确定数据处理特征。
68.例如,根据预设时间段内的燃气数据处理任务的数据处理特征的分布情况发现,a类数据被处理量占总数据量的50%,b类数据被处理量占总数据量的30%,c类数据被处理量占总数据量的20%,则当前的待存储燃气数据为a类数据时,认为其具有更高的预估被访问频率。
69.在一些实施例中,数据冗余等级可以根据预设好的算法确定。例如,数据冗余等级可以通过以下算式确定,数据冗余等级=k1*燃气数据等级+k2*预估保留时长+k3*预估被访问频率,其中,k
1、k2、
k3根据实际的衡量要求设置。k
1、k2、
k3都是大于0的自然数。
70.在一些实施例中,数据冗余等级正相关于燃气数据等级、预估保留时长和预估被访问频率。
71.本说明书的一些实施例通过分析多种与燃气和用户相关的数据确定数据的冗余等级,更合理地对数据进行分类存储,高效又快捷地完成了对数据量庞大的数据的整理和存储,提高了智慧燃气平台的运行性能。
72.图4是根据本说明书一些实施例所示的确定燃气数据等级的示意图。如图4所示,确定燃气数据等级的流程400包括以下内容。
73.在一些实施例中,燃气数据等级330还与待存储燃气数据310的数据类型430相关。
74.在一些实施例中,智慧燃气管理平台可以确定待存储燃气数据310的数据类型430;基于数据类型430预测待存储燃气数据310的访问频率分布特征450;基于待存储燃气数据310、访问频率分布特征450以及下游用户特征320,确定燃气数据等级330。
75.关于待存储燃气数据310和下游用户特征320的更多说明,参见图2及其相关描述。
76.数据类型430是指对待存储燃气数据310划分的类别。数据类型430可以包括基础设备数据、运营数据和维护数据等。数据类型430可以根据待存储燃气数据310的内容划分得到。
77.访问频率分布特征450是指某段时间内不同数据类型的待存储燃气数据的访问频率的概率分布。访问频率分布特征可以包括至少一个频率分布区间和至少一个频率分布区间各自对应的概率。例如,至少一个访问频率分布区间可以用f1、f2、f3、
……
、fn表示,区间划分可基于人工设置确定;对应的访问概率可以用p1、p2、
……
、pn表示。
78.智慧燃气管理平台可以通过多种方式预测访问频率分布特征450。在一些实施例中,智慧燃气管理平台可以基于至少一个数据类型的待存储燃气数据的历史访问情况,预测访问频率分布特征450。例如,在一段包含两个单位时间的时间段内,对于访问频率区间(10,20,30),若第一单位时间内总数据访问量为120次,访问待存储燃气数据30次,待存储燃气数据的访问频率就是30/1(单位时间)=30,访问概率为30/120=25%;若第二单位时间内总数据访问量为100次,访问待存储燃气数据10次,待存储燃气数据访问频率就是10/1(单位时间)=10,访问概率为10/100=10%,在前述时间段内不存在访问频率为20的情况,则该段时间内对于访问频率区间(10,20,30)对应的访问频率分布特征为(10%,0,25%)。
79.在一些实施例中,智慧燃气管理平台可以基于数据类型430,确定第二预设时间内数据类型430下数据的目标数据类型访问量431,以及确定第二预设时间内全部数据的数据总访问量432;基于数据总访问量432、目标数据类型访问量431和下游用户特征320,通过第一预测模型440确定所述访问频率分布特征450。
80.第二预设时间为获取目标数据访问量的时间段。第二预设时间可以基于人工设置获取。
81.在一些实施例中,第二预设时间可以和第一预设时间相同。
82.目标数据访问量是指第二预设时间内对应数据类型下对应的数据的访问量。智慧燃气管理平台可以基于对应数据类型的待存储燃气数据的历史访问情况,确定目标数据访问量。
83.数据总访问量是指第二预设时间内全部数据的访问量。智慧燃气管理平台可以基于历史访问情况,确定数据总访问量。
84.第一预测模型440可以为机器学习模型。例如,深度神经网络(deep neural networks,dnn)模型、循环神经网络(recurrent neural network,rnn)模型等或其任意组合。
85.在一些实施例中,第一预测模型440的输入为数据总访问量432、目标数据类型访问量431、待存储燃气数据310对应的下游用户特征320,输出可以为未来时段的访问频率分布特征450。关于下游用户特征320的更多说明参见图2及其相关内容。
86.在一些实施例中,第一预测模型可以通过带有第一标签的第一训练样本训练得到。
87.在一些实施例中,第一训练样本可以包括样本数据总访问量、样本目标数据类型访问量、样本待存储燃气数据对应的下游用户特征。
88.在一些实施例中,训练的标签可以包括多个访问频率区间对应的概率,标签可以
通过人工标注获得,访问概率不为0的区间标签为1,否则标签为0。例如,在一段包含两个样本单位时间的历史时间段内,对于样本访问频率区间(10,20,30),若第一样本单位时间内总数据访问量为120次,访问样本待存储燃气数据30次,样本访问频率就是30/1(单位时间)=30,样本访问概率为30/120=25%;若第二样本单位时间内总数据访问量为100次,访问样本待存储燃气数据10次,样本访问频率就是10/1(单位时间)=10,样本访问概率为10/100=10%,不存在访问频率为20的情况,则样本访问频率区间(10,20,30)对应标签为(1,0,1)。
89.本说明书一些实施例,通过第一预测模型对访问数据和下游用户特征进行处理,可以利用机器学习模型的自学习能力,从大量访问数据中找到规律,获取到访问频率分布特征与访问数据之间的关联关系,提高确定访问频率分布特征的准确度和效率。
90.在一些实施例中,智慧燃气管理平台可以基于待存储燃气数据310、访问频率分布特征450以及下游用户特征320,通过多种方式确定燃气数据等级。
91.在一些实施例中,智慧燃气管理平台可以预先记录并保存至少一个待存储燃气数据310、至少一个访问频率分布特征450以及至少一个下游用户特征320、至少一个燃气数据等级330的对应关系的相关表格。智慧燃气管理平台可以基于待存储燃气数据310、访问频率分布特征450以及下游用户特征320,通过查表等方式,确定燃气数据等级330。
92.在一些实施例中,智慧燃气管理平台可以基于下游用户特征320,确定用户重要等级421;基于管道数据411,确定管道风险度412;基于访问频率分布特征450确定数据风险度470;基于用户重要等级421、管道风险度412和数据风险度470确定燃气数据等级330。
93.用户重要等级421是指用户重要程度的等级。在一些实施例中,智慧燃气管理平台可以预先记录并保存历史数据中至少一个下游用户特征320、至少一个用户重要等级421的对应关系的相关表格。智慧燃气安全管理平台可以基于下游用户特征320,智慧燃气管理平台可以通过查表等方式,确定用户重要等级421。
94.管道数据411是指与管道特征相关的数据。管道数据411可以包括燃气管道寿命、处理该燃气管道的次数(例如,维修、调整等)、燃气管道耗损率等。管道数据411可以通过访问智慧燃气对象平台获取。
95.管道风险度412是指管道发生异常情况的概率。在一些实施例中,智慧燃气管理平台可以基于管道数据411构建查询特征向量,基于向量数据库进行向量匹配确定管道风险度412。向量数据库可以包括多个参考特征向量及其对应的参考管道风险度。特征向量可以基于历史管道数据构建。
96.在一些实施例中,智慧燃气管理平台可以基于查询特征向量,在向量数据库中确定符合预设条件的参考特征向量,将符合预设条件的参考特征向量确定为关联特征向量。其中,预设条件可以指用于确定关联特征向量的判断条件。在一些实施例中,预设条件可以包括向量距离小于距离阈值、向量距离最小等。
97.在一些实施例中,智慧燃气管理平台可以基于关联特征向量对应的参考管道风险度确定最终的管道风险度412。
98.数据风险度470是指数据发生异常的概率。数据发生的异常可以包括任务故障和存储故障等。其中,任务故障包括涉及待存储燃气数据的任务处理时间超出标准、涉及待存储燃气数据的任务出现死机,或者涉及待存储燃气数据处理的其他问题;存储故障包括数据丢失、数据存储失败等问题。
99.智慧燃气管理平台可以通过多种方式确定数据风险度。
100.在一些实施例中,智慧燃气管理平台可以预先记录并保存至少一个访问频率分布特征450对应的至少一个数据风险度470的相关表格。智慧燃气管理平台可以基于访问频率分布特征450,通过查表等方式,确定数据风险度470。
101.在一些实施例中,智慧燃气管理平台可以基于访问频率分布特征450,通过第二预测模型460确定数据风险度470。
102.第二预测模型460可以为机器学习模型。例如,dnn模型、rnn模型等或其任意组合。
103.在一些实施例中,第二预测模型460的输入可以包括访问频率分布特征450。在一些实施例中,第二预测模型460的输入还可以包括数据块数量、冗余数据块的数量、数据在存储空间内的分布情况、访问类型,输出为数据风险度470。
104.访问类型可以包括只读、只写、可读可写。关于数据块数量和冗余数据块的数量的更多说明,参见图2及其相关内容。数据在存储空间内的分布情况是指被切分的待存储燃气数据和冗余数据块在至少一个子数据中心中的分布情况。关于冗余数据块的更多说明参见图2及其相关描述。智慧燃气管理平台通过访问智慧燃气数据中心获得数据在存储空间内的分布情况和访问类型。
105.在一些实施例中,第二预测模型可以通过带有第二标签的第二训练样本训练得到。
106.在一些实施例中,第二训练样本可以包括样本待存储燃气数据及其对应的样本访问频率分布特征,第二标签为样本待存储燃气数据发生异常的频率。第二标签可以基于智慧燃气数据中心的历史异常数据获得。
107.当第二预测模型的输入还包括数据块数量、冗余数据块的数量、数据在存储空间内的分布情况、访问类型时,第二训练样本还包括样本数据块数量、样本冗余数据块的数量、样本数据在存储空间内的分布情况、样本访问类型。
108.本说明书一些实施例,通过第二预测模型对访问频率分布特征进行处理,可以利用机器学习模型的自学习能力,从大量访问频率分布特征中找到规律,获取到访问频率分布特征与数据风险度之间的关联关系,提高确定数据风险度的准确度和效率。
109.智慧燃气安全管理平台可以基于用户重要等级421、管道风险度412和数据风险度470,通过多种方式确定燃气数据等级330,具体方式可基于实际需求进行选择。
110.在一些实施例中,燃气数据等级330可以为用户重要等级421、管道风险度412和数据风险度470的加权求和。加权求和的权重可以基于先验知识和历史数据确定。
111.在一些实施例中,燃气数据等级330可以通过参数训练模型确定。
112.参数训练模型可以为机器学习模型。例如,dnn模型、rnn模型等或其任意组合。
113.在一些实施例中,参数训练模型的输入可以包括用户重要等级421、管道风险度412、数据风险度470,输出可以为燃气数据等级330。
114.在一些实施例中,参数训练模型可以通过带有第三标签的第三训练样本训练得到。第三训练样本可以为现有的历史数据确定的用户重要程度、管道风险度、数据风险度,第三标签可以为人工标注的燃气数据等级。燃气数据等级可以根据后续发生故障频率、故障的影响以及恢复成本确定。待存储燃气数据的故障频率越高、故障影响越大、恢复成本越高,其对应的燃气数据等级越高。
115.当参数训练模型为感知网络时,可以根据参数训练模型的参数确定加权求和的权重。仅作为示例,感知网络的输出可以包括燃气数据等级和参数训练模型的参数,智慧燃气管理平台可以基于感知网络输出的参数确定加权求和的权重,例如,可以直接将输出的参数作为权重。
116.本说明书一些实施例,基于用户重要等级、管道风险度和数据风险度确定燃气数据等级,更精准地定位影响燃气数据等级的特征,可以使确定的燃气数据等级更加准确,便于后续更加科学地进行数据存储和管理。
117.本说明书一些实施例,基于数据类型预测数据访问频率分布,可以更加准确地预测数据访问频率分布;基于存储燃气数据、数据访问频率分布、下游用户特征确定燃气数据等级,综合考虑多种指标确定燃气数据等级,可以使确定的燃气数据等级更加准确,便于后续更加科学地进行数据存储和管理。
118.图5是根据本说明书一些实施例所示的确定负载分配特征的示意图。
119.在一些实施例中,智慧燃气管理平台可以确定智慧燃气数据中心的控制集群的负载分配特征。
120.控制集群是指至少一个控制节点的总称。控制节点是指用于访问智慧燃气数据中心,分配燃气数据处理任务的节点。燃气数据处理任务的分配包括确定运行任务的数据中心,及燃气数据处理任务对应的待存储燃气数据在数据中心的位置。
121.关于负载分配特征的更多说明参见图2及其相关描述。
122.智慧燃气管理平台可以通过多种方式确定负载分配特征。
123.在一些实施例中,智慧燃气管理平台可以基于燃气数据等级均衡的策略确定负载分配特征。例如,负载分配特征可以包括至少一个数据中心的总燃气数据等级和平均燃气数据等级的差异程度小于差异程度阈值。其中,平均燃气数据等级指燃气数据中心中至少一个数据块的燃气数据等级的平均值。
124.在一些实施例中,负载分配特征与数据处理特征和总体故障风险相关;其中,总体故障风险基于燃气数据等级330确定。
125.数据处理特征是指燃气数据处理任务中包含的待存储燃气数据的相关特征。数据处理特征包括总数据量和数据分布(执行燃气处理任务时所需的各数据类型的数据量)。燃气数据处理任务包括至少一个待存储燃气数据的存储。智慧燃气管理平台可以根据燃气处理任务的任务要求,预设确定数据处理特征。
126.总体故障风险是指燃气处理任务的燃气数据等级分布中,所有等级的燃气数据的故障概率之和。故障概率是指某一燃气数据等级下所有燃气数据的故障概率。
127.该燃气数据等级下所有燃气数据的故障概率可以基于历史故障信息统计获得。例如,该燃气数据等级下燃气数据发生了n0次故障,每次故障修复后又重新投入使用,其平均故障间隔时间为燃气数据总工作时间与故障次数之比。燃气数据总工作时间为每次工作持续时间之和(排除故障时间)。该燃气数据等级下所有燃气数据的故障概率为平均故障间隔时间的倒数。
128.在一些实施例中,智慧燃气管理平台可以基于总体故障风险均衡的策略确定负载分配特征。总体故障风险均衡的策略为保证每个数据中心在当前时刻的故障风险是均衡的,即每一个数据中心的总负载风险和平均任务风险在新任务到来前,以及新任务到来并
分配至数据中心后,在整体上是均衡的。结合图5,即与保持平衡,且与保持平衡。其中,表示主数据中心中所有任务的总负载风险,表示副数据中心中所有任务的总负载风险;表示主数据中心各任务的平均任务风险;表示副数据中心各任务的平均任务风险。n表示主数据中心中的总任务量,m表示副数据中心中的总任务量,每个任务对应一次数据存储,每次数据存储包括一组待存储燃气数据的数据块和冗余数据块的存储。
129.总负载风险是指数据中心中负载的所有任务的总体故障风险之和。平均任务风险为总负载风险与负载的任务数量之比。例如,当前有两个数据中心,设定总负载风险与平均任务风险的差异程度阈值为30%,差异程度为不同数据中心的平均任务风险的差值与最大值之比,当前负载情况如下表1:表 1 当前负载情况数据中心1和数据中心2的平均任务风险以及总任务风险的差异程度都小于了对应的差异程度阈值,可以认为故障风险是均衡的。
130.又例如,任务a的总体故障风险为4,若将任务a分配在数据中心1时,负载程度如下表2:表 2 分配在数据中心1数据中心1和数据中心2的总任务风险的差异程度为50%,大于对应的风险阈值。
131.若将任务a分配在数据中心2时,负载程度如下表3:表3 分配在数据中心2数据中心1和数据中心2的平均任务风险的差异程度以及总任务风险的差异程度都小于对应的风险阈值。因此,将任务分配在负载中心2更能均衡故障风险。
132.在一些实施例中,智慧燃气管理平台可以基于上述总体故障风险均衡策略确定至
少一个候选数据中心,并基于待存储燃气数据的数据量,确定各候选数据中心次读写时间,最后,选取次读写时间最少的候选数据中心作为目标分配对象,并将任务分配至目标分配对象。次读写时间为单次读写花费的时间。次读写时间为数据量与数据中心每秒读写速度之比。
133.本说明书一些实施例,负载分配特征与数据处理特征和总体故障风险相关,可以保证每个数据中心均分故障风险,最终选择读写时间最少的候选数据中心作为目标分配对象,可以提高数据处理效率和性能。
134.本说明书一些实施例,通过确定智慧燃气数据中心的控制集群的负载分配特征,可以实现更好的负载均衡,提高智慧燃气数据中心的运行效率。
135.本说明书一些实施例提供了一种智慧燃气数据中心运行管理装置,包括处理器,处理器用于执行本说明书实施例中任一项所述的智慧燃气数据中心运行管理方法。
136.本说明书一些实施例提供了一种计算机可读存储介质,存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行本说明书实施例中任一项所述的智慧燃气数据中心运行管理方法。
137.上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
138.同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
139.同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
140.最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征:
1.一种智慧燃气数据中心运行管理方法,其特征在于,所述方法由智慧燃气管理平台执行,包括:获取待存储燃气数据及其对应的下游用户特征;基于所述待存储燃气数据和所述下游用户特征,确定所述待存储燃气数据的数据冗余等级;基于所述数据冗余等级生成所述待存储燃气数据的冗余数据块;根据负载分配特征,将所述待存储燃气数据及所述冗余数据块存储至所述智慧燃气数据中心的一个或多个目标区域。2.如权利要求1所述的智慧燃气数据中心运行管理方法,其特征在于,所述基于所述待存储燃气数据和所述下游用户特征,确定所述待存储燃气数据的数据冗余等级包括:基于所述待存储燃气数据和所述下游用户特征,确定燃气数据等级;基于所述燃气数据等级、所述待存储燃气数据的预估保留时长和预估被访问频率,确定所述数据冗余等级;其中,所述预估被访问频率相关于第一预设时间内数据处理特征的分布情况,所述数据处理特征基于燃气处理任务确定。3.如权利要求2所述的智慧燃气数据中心运行管理方法,其特征在于,所述燃气数据等级还与所述待存储燃气数据的数据类型相关;所述基于所述待存储燃气数据和所述下游用户特征,确定燃气数据等级包括:确定所述待存储燃气数据的所述数据类型;基于所述数据类型预测所述待存储燃气数据的访问频率分布特征;基于所述待存储燃气数据、所述访问频率分布特征以及所述下游用户特征,确定所述燃气数据等级。4.如权利要求3所述的智慧燃气数据中心运行管理方法,其特征在于,所述基于所述数据类型预测所述待存储燃气数据的访问频率分布特征包括:基于所述数据类型,确定第二预设时间内所述数据类型下数据的目标数据访问量,以及确定第二预设时间内全部数据的数据总访问量;基于所述数据总访问量、目标数据访问量和所述下游用户特征,通过第一预测模型确定所述访问频率分布特征,所述第一预测模型为机器学习模型。5.如权利要求3所述的智慧燃气数据中心运行管理方法,其特征在于,所述基于所述待存储燃气数据、所述访问频率分布特征以及所述下游用户特征,确定所述燃气数据等级包括:基于所述下游用户特征,确定用户重要等级;基于管道数据,确定管道风险度;基于所述访问频率分布特征确定数据风险度;基于所述用户重要等级、所述管道风险度和所述数据风险度确定所述燃气数据等级。6.如权利要求1所述的智慧燃气数据中心运行管理方法,其特征在于,所述方法还包括:确定所述智慧燃气数据中心的控制集群的所述负载分配特征,所述控制集群包括至少一个控制节点,所述控制节点用于访问所述智慧燃气数据中心。
7.一种智慧燃气数据中心运行管理物联网系统,其特征在于,所述系统包括智慧燃气管理平台,所述智慧燃气管理平台至少包括智慧燃气数据中心;所述智慧燃气管理平台被配置为执行以下操作:获取待存储燃气数据及其对应的下游用户特征;基于所述待存储燃气数据、下游用户特征以及负载分配特征,确定所述待存储燃气数据的数据冗余等级;基于所述数据冗余等级生成所述待存储燃气数据的冗余数据块,将所述待存储燃气数据及所述冗余数据块存储至所述智慧燃气数据中心的一个或多个目标区域。8.如权利要求7所述的智慧燃气数据中心运行管理物联网系统,其特征在于,所述智慧燃气管理平台还包括燃气业务管理分平台和非燃气业务管理分平台。9.如权利要求7所述的智慧燃气数据中心运行管理物联网系统,其特征在于,所述系统还包括智慧燃气用户平台、智慧燃气服务平台、智慧燃气传感网络平台和智慧燃气对象平台。10.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如权利要求1所述的智慧燃气数据中心运行管理方法。

技术总结
本发明提供一种智慧燃气数据中心运行管理方法、物联网系统与介质,该方法由智慧燃气管理平台执行,包括:获取待存储燃气数据及其对应的下游用户特征;基于待存储燃气数据、下游用户特征以及负载分配特征,确定待存储燃气数据的数据冗余等级;基于数据冗余等级生成待存储燃气数据的冗余数据块,将待存储燃气数据及冗余数据块存储至智慧燃气数据中心的一个或多个目标区域。通过以上方法和物联网系统,能够实现燃气数据管理的智慧化和信息化,从而提高燃气数据管理的效率和安全性。提高燃气数据管理的效率和安全性。提高燃气数据管理的效率和安全性。


技术研发人员:邵泽华 李勇 刘彬 黄光华
受保护的技术使用者:成都秦川物联网科技股份有限公司
技术研发日:2023.08.08
技术公布日:2023/9/7
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐