一种数据网关及采集探针与存储架构的组网系统的制作方法

1.本发明涉及数据采集和数据存储技术领域，特别是涉及一种数据网关及采集探针与存储架构的组网系统。


背景技术：

2.分布式存储架构采用规模并行的分布方式和横向扩展的存储架构，通过多路网格模块并行分担存储负荷，存储系统提供处理单元、缓存单元和主机接口，通过以太网交换机实现冗余连接，所有模块在一起形成一个存储系统的工作模式，接口模块和数据模块的结构基本相同，两者承担的功能不同，接口模块还承担主机系统连接以及远程镜像的连接支持，分布式存储架构通过分布的方式和独特的算法把一个特定的工作任务进行分离，使总的工作量分布在更多模块上，系统的整体性能会通过增加更多的模块提升。
3.数据网关是数据采集、转换、分发和处理的核心设备，电网领域的数据网关用于各个采集设备的数据汇聚、存储、转换、转发和处理，但是现有的数据网关功能单一、输入接口众多、接口复杂，而且并行处理能力不足，无法适应大规模数据的处理，容易造成数据丢失，不能满足大规模数据的采集；而现有的存储架构组网系统，提供基于存储池虚拟化管理的分布式存储系统的数据读写方法，但存在的问题是缺乏与数据采集设备的连接方案，没有明确提出数据网关的功能设计，没有数据采集设备的管理，缺乏数据可靠性和安全性方案，不能处理大数据，没有与大数据存储技术结合，缺乏可靠性设计组网，容易形成单点故障，无法保证数据安全存储。


技术实现要素：

4.本发明的目的在于提供一种数据网关及采集探针与存储架构的组网系统，从而提高数据处理并行程度，数据网关功能多样化，适应大规模数据的处理和采集，保证数据安全存储。
5.一种数据网关及采集探针与存储架构的组网系统，包括分布式电力数据网关，数据采集探针和分布式文件存储机构；数据采集探针通过多区域的数据采集获取分散的数据，采集到的数据通过分布式电力数据网关进行汇集和缓存，分布式电力数据网关作为客户端把数据存储到分布式文件存储机构中，数据采集探针收集数据，分布式电力数据网关管理和维护数据采集探针，分布式电力数据网关对收集的数据进行分类转换和缓存，缓存的数据一次性写入分布式文件存储机构中，分布式电力数据网关包含业务处理单元和通信单元，业务处理单元对采集的数据按多线程进行处理，分布式电力数据网关组网方式分为主备模式和负荷分担模式，多个并行的业务处理单元按照负荷分担模式并行处理，通信单元对外进行收发接口，业务处理单元和通信单元共享内部总线，内部数据通过共享总线转发，业务处理单元和通信单元之间按负荷分担模式运行。
6.分布式电力数据网关包含业务处理单元和通信单元，通信单元对外进行收发接口，业务处理单元和通信单元共享内部总线，数据网关功能多样化，分布式电力数据网关组
网方式分为主备模式和负荷分担模式，多个并行的业务处理单元按照负荷分担模式并行处理，并行处理能力强，分布式电力数据网关管理和维护数据采集探针，分布式电力数据网关对收集的数据进行分类转换和缓存，缓存的数据一次性写入分布式文件存储机构中，适应大规模数据的处理和采集，数据可靠性和安全性高，保证数据安全存储。
7.进一步，通信单元包含事务模块、检测与驱动模块、探针注册模块、探针数据转发模块和探针检测模块，通信单元基于事务内容种类，把各种事务分发到不同的事务模块进行处理，检测与驱动模块对接口运行功能进行检测和内部驱动，探针注册模块管理探针的注册事务，负责更改探针的状态信息，探针数据转发模块负责探针数据的转发功能，按照模余算法，将探针数据均匀的转发给相应的业务处理单元进行处理，探针检测模块定期下发探针状态检测消息，确定探针是否处于工作状态。
8.进一步，通信单元还包含消息分发模块、心跳检测模块和安全组件模块，消息分发模块负责操作维护接口的消息分发，根据指令对系统进行操作维护管理，心跳检测模块通过数据网关定时发送心跳消息，确定主用网关是否正常工作，主用网关故障后，备用网关会升级为主用网关，安全组件模块负责系统的安全工作，防止外部入侵和病毒攻击。
9.进一步，业务处理单元包含数据接收线程、数据存储线程池、环形缓冲池和数据发送线程，数据接收线程负责转发数据处理业务，根据业务要求对数据进行转换和数据存储操作，数据存储线程池包含多个存储线程，存储线程池的存储线程数根据业务量和处理机的线程核数进行设置，数据存储线程池选择一个空闲的缓冲池对应的存储线程执行探针采集数据的存储，环形缓冲池用于存储探针采集的数据，环形缓冲池分为空缓冲区和满缓冲区，数据存储线程会把探针采集的数据存放在空缓冲区，并定期修改空缓冲区的长度和满缓冲区的长度，数据发送线程把满缓冲区的数据写入到分布式文件存储机构中。
10.分布式文件存储机构是成熟的大数据存储系统，数据存储线程会把探针采集的数据存放在空缓冲区，并定期修改空缓冲区的长度和满缓冲区的长度，数据发送线程把满缓冲区的数据写入到分布式文件存储机构中，具有安全性高、容量大、可靠性高的特点，有效地保证数据地安全性，方便数据后续挖掘和分析。
11.进一步，业务处理单元还包含数据校验线程、数据备份线程、数据转换线程、线程状态监控模块、缓冲池监控模块、操作维护接口模块和实时信息模块，数据校验线程校验写入分布式文件存储机构的数据，保证数据写入分布式文件存储机构的完整性，数据备份线程定时向备用数据网关备份缓冲池数据，数据转换线程根据用户要求，对探针采集的数据进行格式转换，满足系统定制化需求，线程状态监控模块对业务处理单元各线程运行情况实时监控，保证系统运行处于安全状态，缓冲池监控模块实时监控各缓冲池的状态，通过操作维护接口模块对系统进行维护核管理，实时信息模块实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息。
12.线程状态监控模块对业务处理单元各线程运行情况实时监控，保证系统运行处于安全状态，缓冲池监控模块实时监控各缓冲池的状态，通过操作维护接口模块对系统进行维护核管理，实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息帮助维护人员判断系统运行状态。
13.数据校验线程校验写入分布式文件存储机构的数据，保证数据写入分布式文件存储机构的完整性，数据备份线程定时向备用数据网关备份缓冲池数据，业务处理单元设置
多个缓冲池，缓冲池的数量配置按照系统处理器支持的最大线核数配置，提高数据处理并行程度。
14.进一步，分布式电力数据网关包含主用数据网关和备用数据网关，主备模式下，主用数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入分布式文件存储机构中，主用数据网关定期向备用数据网关同步探针注册信息、状态信息、缓存数据，备用数据网关处于热备状态，备用数据网关通过心跳消息定期探测主用数据网关状态，当主用数据网关故障或者维护时，备用数据网关会自动升级为主用数据网关，接替主用数据网关的工作。
15.主用数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入分布式文件存储机构中，在大数据的处理中，能够通过分布式文件存储机构实现大数据存储、获取和处理，基于分布式架构，保证了数据安全传输，具备可靠、安全和高效的特点。
16.进一步，负荷分担模式下，两个数据网关基于事务处理算法，以负荷分担方式，各负责一部分探针的注册、状态维护和管理工作，一个探针群被分割成两个探针子群，每个探针子群由一个数据网关服务，当其中一个数据网关故障或处于维修状态时，其负责的探针子群的业务由另一个数据网关暂时接管，当故障网关恢复正常后，原来负责的子探针群业务切换到该数据网关，在一个探针群中，当数据网关数量设置为大于2时，子探针群的数量设置为与数据网关的数量相等。
17.数据网关基于事务处理算法，以负荷分担方式，各负责一部分探针的注册、状态维护和管理工作，一个探针群被分割成两个探针子群，每个探针子群由一个数据网关服务，通过数据网关对探针和分布式文件存储机构进行隔离，保证分布式文件存储机构的安全性。
18.进一步，探针状态分为激活态和未激活态两种状态，探针正常工作时处于激活态，主用数据网关上记录了最新的探针状态，主备模式下主用数据网关定期向备用数据网关备份所辖探针群的状态，负荷分担模式下，数据网关分担域内的其他数据网关备份所辖子探针群的探针状态，数据网关向其他数据网关备份探针状态发生变化的探针信息状态，对于状态没有发生变化的探针信息不做备份操作，主用数据网关根据检查探针状态消息流程或者探针注册消息流程的结果判断探针状态是否发生变化。
19.主用数据网关上记录了最新的探针状态，主备模式下主用数据网关定期向备用数据网关备份所辖探针群的状态，负荷分担模式下，数据网关分担域内的其他数据网关备份所辖子探针群的探针状态，主用数据网关根据检查探针状态消息流程或者探针注册消息流程的结果判断探针状态是否发生变化，通过数据网关定期检查探针的状态，降低探针维护成本。
20.进一步，主用数据网关定期向备用数据网关备份缓存数据，主用数据网关缓存数据达到上限时一次性把缓存数据写入分布式文件存储机构，当数据写入分布式文件存储机构后，数据网关清空主用数据网关的缓存数据，同时清空备用数据网关的缓存数据，主备模式下，主用数据网关定期向所辖探针群发送状态检查消息，处于激活状态的探针在收到状态检查消息后，向该数据网关发送状态检查激活消息，表示探针处于激活状态。
21.主用数据网关定期向备用数据网关备份缓存数据，主用数据网关缓存数据达到上限时一次性把缓存数据写入分布式文件存储机构，通过数据网关有效地对大规模探针数据进行汇聚和转换，一次性写入分布式文件存储机构中，降低大量数据多次涌入分布式文件
存储机构造成拥挤的风险。
22.进一步，探针向主用数据网关发送会话请求建立，主用数据网关给探针分配一个端口，探针在这个端口上传数据，主用数据网关给探针回复响应，探针向主用数据网关传送数据，数据探针每传送一次数据先建立会话请求，主用数据网关收到数据之后给探针回复一个响应。
23.本发明的优点在于：数据网关功能多样化，并行处理能力强，适应大规模数据的处理和采集，数据可靠性和安全性高，保证数据安全存储，线程状态监控模块对业务处理单元各线程运行情况实时监控，保证系统运行处于安全状态，缓冲池监控模块实时监控各缓冲池的状态，通过操作维护接口模块对系统进行维护核管理，实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息帮助维护人员判断系统运行状态，数据校验线程校验写入分布式文件存储机构的数据，保证数据写入分布式文件存储机构的完整性，数据备份线程定时向备用数据网关备份缓冲池数据，业务处理单元设置多个缓冲池，缓冲池的数量配置按照系统处理器支持的最大线核数配置，提高数据处理并行程度。
附图说明
24.图1是一种主备模式下数据网关的整体组网拓扑图。
25.图2是一种负荷分担模式下组网系统的拓扑图。
26.图3是一种数据网关向存储架构写入数据的流程示意图。
27.图4是一种业务处理单元的功能结构图。
28.图5是一种通信单元的功能结构图。
29.图6是一种分布式电力数据网关的部署示意图。
具体实施方式
30.针对现有技术存在的不足，本发明提供了一种数据网关及采集探针与存储架构的组网系统，从而提高数据处理并行程度，数据网关功能多样化，适应大规模数据的处理和采集，保证数据安全存储。
31.为解决上述技术问题，本发明采用如下技术方案：作为一种实施方式，如图1所示，主备模式情况下，主数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入 hdfs的功能。主用数据网关定期向备用数据网关同步探针注册信息、状态信息、缓存数据。备用数据网关处于热备状态，备用数据网关通过心跳消息定期探测主用数据网关状态，当主用数据网关故障或者维护时，备用数据网关会自动升级为主用数据网关，接替主用数据网关的工作。
32.优选的，数据采集探针，简称探针 probe，主要负责数据采集和上传功能。探针群，简称 probes，由若干个探针组成的探针集合群，一个探针群同一时刻只能向一个数据网关注册。并由一个数据网关负责维护和管理。子探针群，简称 subprobes, 在负荷分担模式下，为了负荷均衡和方便管理，一个探针群按照复合分担模式，可以分割成若干个子探针群。数据网关(data gateway)，简称 dg，负责数据采集探针的注册、状态维护、状态管理、告警管理、数据汇聚、数据缓存、数据转换、数据传输功能。主备模式(active standby) ：在双数据网关组网模式下，只有主数据网关（activedg）负责业务，备用数据（standby dg）处于
热备用状态，不负责业务。备用数据网关在主数据网关故障或处于维护情况时，自动升级为 active dg。负荷分担模式(load banlance)：在双数据网关或多数据网关的情况下，每个数据网关以负荷均分的原则，分别负责一部分数据采集探针的注册、状态维护和管理、数据汇聚和传输服务。主用数据网关(active data gateway)，简称 active dg。负责 probes 业务的数据网关。备用数据网关(standby data gateway)，简称 standby dg，处于热备用状态的数据网关。
33.优选的，数据采集探针通过多区域的数据采集获取分散的数据，采集到的数据通过分布式电力数据网关进行汇集和缓存，分布式电力数据网关作为客户端把数据存储到分布式文件存储机构中，数据采集探针收集数据，分布式电力数据网关管理和维护数据采集探针，分布式电力数据网关对收集的数据进行分类转换和缓存，缓存的数据一次性写入分布式文件存储机构中，分布式电力数据网关包含业务处理单元和通信单元，业务处理单元对采集的数据按多线程进行处理，分布式电力数据网关组网方式分为主备模式和负荷分担模式，多个并行的业务处理单元按照负荷分担模式并行处理，通信单元对外进行收发接口，业务处理单元和通信单元共享内部总线，内部数据通过共享总线转发，业务处理单元和通信单元之间按负荷分担模式运行。
34.优选的，分布式电力数据网关包含业务处理单元和通信单元，通信单元对外进行收发接口，业务处理单元和通信单元共享内部总线，数据网关功能多样化，分布式电力数据网关组网方式分为主备模式和负荷分担模式，多个并行的业务处理单元按照负荷分担模式并行处理，并行处理能力强，分布式电力数据网关管理和维护数据采集探针，分布式电力数据网关对收集的数据进行分类转换和缓存，缓存的数据一次性写入分布式文件存储机构中，适应大规模数据的处理和采集，数据可靠性和安全性高，保证数据安全存储。
35.作为一种实施方式，如图2所示，负荷分担模式下，两个数据网关基于事务处理算法，以负荷分担方式，各负责一部分探针的注册、状态维护和管理工作，一个探针群被分割成两个探针子群，每个探针子群由一个数据网关服务，当其中一个数据网关故障或处于维修状态时，其负责的探针子群的业务由另一个数据网关暂时接管，当故障网关恢复正常后，原来负责的子探针群业务切换到该数据网关，在一个探针群中，当数据网关数量设置为大于2时，子探针群的数量设置为与数据网关的数量相等。
36.优选的，数据网关基于事务处理算法，以负荷分担方式，各负责一部分探针的注册、状态维护和管理工作，一个探针群被分割成两个探针子群，每个探针子群由一个数据网关服务，通过数据网关对探针和分布式文件存储机构进行隔离，保证分布式文件存储机构的安全性。
37.优选的，探针状态分为激活态和未激活态两种状态，探针正常工作时处于激活态，主用数据网关上记录了最新的探针状态，主备模式下主用数据网关定期向备用数据网关备份所辖探针群的状态，负荷分担模式下，数据网关分担域内的其他数据网关备份所辖子探针群的探针状态，数据网关向其他数据网关备份探针状态发生变化的探针信息状态，对于状态没有发生变化的探针信息不做备份操作，主用数据网关根据检查探针状态消息流程或者探针注册消息流程的结果判断探针状态是否发生变化。
38.优选的，主用数据网关上记录了最新的探针状态，主备模式下主用数据网关定期向备用数据网关备份所辖探针群的状态，负荷分担模式下，数据网关分担域内的其他数据
网关备份所辖子探针群的探针状态，主用数据网关根据检查探针状态消息流程或者探针注册消息流程的结果判断探针状态是否发生变化，通过数据网关定期检查探针的状态，降低探针维护成本。
39.作为一种实施方式，如图3所示，数据网关缓存数据达到上限时，则向hdfs 发起写数据流程。数据网关 dg 调用distributedfilesystem 对象的create()方法。此后distributedfilesystem 将创建一个fsdata outputstream对象，并用hdfs的输出流对象dfsoutputstream 来实例化fsdataoutputstream。distributedfilesystem 向 namenode 发送 rpc 请求，namenode 会根据要创建的文件是否已经存在和 dg 是否有权限进行创建等执行检查。如果没有问题，namenode 会为文件创建一个记录，否则会让客户端抛出异常。
40.优选的，dg 调用 dfsoutputstream 的 write()方法来写入数据，dfsoutputstream 将收到的数据分成一个个 block 大小的数据包，并放到一个数据队列（data queue）中。datastreamer 可以从namenode 上获取存储数据的 block 信息及 datanode 地址，然后datastreamer 将数据从队列中取出并开始写入 datanode。对于每个 block，namenode 会分配与副本系数相等数量的 datanode 来存储 block副本。dfsoutputstream 将数据写入第一个 datanode，然后该datanode 根据副本放置与机架感知策略将数据块复制并传输给其他 datanode，直到写入所有 block 副本。
41.优选的，每个 datanode 完成数据存储后，会向客户端发送“确认包”（ack packet）。dg 接受响应后，会将对应的数据包从数据队列中删除。不断执行步骤 3～步骤 5，直到所有数据写完。当所有数据都写入完毕后，dg 会调用 dfsoutputstream 的 close()方法关闭文件输出流。dg 调用 complete()方法通知 namenode 文件写入完成。主用模式下，主用 dg 清除自身缓存数据，并向备用 dg 发送 clear data catch 消息，清除备用 dg 的缓存数据。复合分担模式下，dg 清除自身缓存数据，并向负荷分担域内的其他数据网关会互相发送 clear data catch 消息，清除其他数据网关中缓存的备份数据。
42.作为一种实施方式，分布式电力数据网关包含主用数据网关和备用数据网关，主备模式下，主用数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入分布式文件存储机构中，主用数据网关定期向备用数据网关同步探针注册信息、状态信息、缓存数据，备用数据网关处于热备状态，备用数据网关通过心跳消息定期探测主用数据网关状态，当主用数据网关故障或者维护时，备用数据网关会自动升级为主用数据网关，接替主用数据网关的工作。
43.优选的，主用数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入分布式文件存储机构中，在大数据的处理中，能够通过分布式文件存储机构实现大数据存储、获取和处理，基于分布式架构，保证了数据安全传输，具备可靠、安全和高效的特点。
44.作为一种实施方式，如图4所示，业务处理单元包含数据接收线程、数据存储线程池、环形缓冲池和数据发送线程，数据接收线程负责转发数据处理业务，根据业务要求对数据进行转换和数据存储操作，数据存储线程池包含多个存储线程，存储线程池的存储线程数根据业务量和处理机的线程核数进行设置，数据存储线程池选择一个空闲的缓冲池对应的存储线程执行探针采集数据的存储，环形缓冲池用于存储探针采集的数据，环形缓冲池分为空缓冲区和满缓冲区，数据存储线程会把探针采集的数据存放在空缓冲区，并定期修
改空缓冲区的长度和满缓冲区的长度，数据发送线程把满缓冲区的数据写入到分布式文件存储机构中。
45.优选的，分布式文件存储机构是成熟的大数据存储系统，数据存储线程会把探针采集的数据存放在空缓冲区，并定期修改空缓冲区的长度和满缓冲区的长度，数据发送线程把满缓冲区的数据写入到分布式文件存储机构中，具有安全性高、容量大、可靠性高的特点，有效地保证数据地安全性，方便数据后续挖掘和分析。
46.优选的，业务处理单元还包含数据校验线程、数据备份线程、数据转换线程、线程状态监控模块、缓冲池监控模块、操作维护接口模块和实时信息模块，数据校验线程校验写入分布式文件存储机构的数据，保证数据写入分布式文件存储机构的完整性，数据备份线程定时向备用数据网关备份缓冲池数据，数据转换线程根据用户要求，对探针采集的数据进行格式转换，满足系统定制化需求，线程状态监控模块对业务处理单元各线程运行情况实时监控，保证系统运行处于安全状态，缓冲池监控模块实时监控各缓冲池的状态，通过操作维护接口模块对系统进行维护核管理，实时信息模块实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息。
47.优选的，线程状态监控模块对业务处理单元各线程运行情况实时监控，保证系统运行处于安全状态，缓冲池监控模块实时监控各缓冲池的状态，通过操作维护接口模块对系统进行维护核管理，实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息帮助维护人员判断系统运行状态。
48.优选的，数据校验线程校验写入分布式文件存储机构的数据，保证数据写入分布式文件存储机构的完整性，数据备份线程定时向备用数据网关备份缓冲池数据，业务处理单元设置多个缓冲池，缓冲池的数量配置按照系统处理器支持的最大线核数配置，提高数据处理并行程度。
49.作为一种实施方式，如图5所示，通信单元包含事务模块、检测与驱动模块、探针注册模块、探针数据转发模块和探针检测模块，通信单元基于事务内容种类，把各种事务分发到不同的事务模块进行处理，检测与驱动模块对接口运行功能进行检测和内部驱动，探针注册模块管理探针的注册事务，负责更改探针的状态信息，探针数据转发模块负责探针数据的转发功能，按照模余算法，将探针数据均匀的转发给相应的业务处理单元进行处理，探针检测模块定期下发探针状态检测消息，确定探针是否处于工作状态。
50.优选的，通信单元还包含消息分发模块、心跳检测模块和安全组件模块，消息分发模块负责操作维护接口的消息分发，根据指令对系统进行操作维护管理，心跳检测模块通过数据网关定时发送心跳消息，确定主用网关是否正常工作，主用网关故障后，备用网关会升级为主用网关，安全组件模块负责系统的安全工作，防止外部入侵和病毒攻击。
51.作为一种实施方式，如图6所示，主用数据网关定期向备用数据网关备份缓存数据，主用数据网关缓存数据达到上限时一次性把缓存数据写入分布式文件存储机构，当数据写入分布式文件存储机构后，数据网关清空主用数据网关的缓存数据，同时清空备用数据网关的缓存数据，主备模式下，主用数据网关定期向所辖探针群发送状态检查消息，处于激活状态的探针在收到状态检查消息后，向该数据网关发送状态检查激活消息，表示探针处于激活状态。
52.优选的，主用数据网关定期向备用数据网关备份缓存数据，主用数据网关缓存数
据达到上限时一次性把缓存数据写入分布式文件存储机构，通过数据网关有效地对大规模探针数据进行汇聚和转换，一次性写入分布式文件存储机构中，降低大量数据多次涌入分布式文件存储机构造成拥挤的风险。
53.优选的，探针向主用数据网关发送会话请求建立，主用数据网关给探针分配一个端口，探针在这个端口上传数据，主用数据网关给探针回复响应，探针向主用数据网关传送数据，数据探针每传送一次数据先建立会话请求，主用数据网关收到数据之后给探针回复一个响应。
54.本发明的有益效果：分布式电力数据网关包含业务处理单元和通信单元，通信单元对外进行收发接口，业务处理单元和通信单元共享内部总线，数据网关功能多样化，分布式电力数据网关组网方式分为主备模式和负荷分担模式，多个并行的业务处理单元按照负荷分担模式并行处理，并行处理能力强，分布式电力数据网关管理和维护数据采集探针，分布式电力数据网关对收集的数据进行分类转换和缓存，缓存的数据一次性写入分布式文件存储机构中，适应大规模数据的处理和采集，数据可靠性和安全性高，保证数据安全存储。
55.分布式文件存储机构是成熟的大数据存储系统，数据存储线程会把探针采集的数据存放在空缓冲区，并定期修改空缓冲区的长度和满缓冲区的长度，数据发送线程把满缓冲区的数据写入到分布式文件存储机构中，具有安全性高、容量大、可靠性高的特点，有效地保证数据地安全性，方便数据后续挖掘和分析；主用数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入分布式文件存储机构中，在大数据的处理中，能够通过分布式文件存储机构实现大数据存储、获取和处理，基于分布式架构，保证了数据安全传输，具备可靠、安全和高效的特点。
56.数据网关基于事务处理算法，以负荷分担方式，各负责一部分探针的注册、状态维护和管理工作，一个探针群被分割成两个探针子群，每个探针子群由一个数据网关服务，通过数据网关对探针和分布式文件存储机构进行隔离，保证分布式文件存储机构的安全性；主用数据网关上记录了最新的探针状态，主备模式下主用数据网关定期向备用数据网关备份所辖探针群的状态，负荷分担模式下，数据网关分担域内的其他数据网关备份所辖子探针群的探针状态，主用数据网关根据检查探针状态消息流程或者探针注册消息流程的结果判断探针状态是否发生变化，通过数据网关定期检查探针的状态，降低探针维护成本。
57.本发明说明书中提到的所有专利和出版物都表示这些是本领域的公开技术，本发明可以使用。这里所引用的所有专利和出版物都被同样列在参考文献中，跟每一个出版物具体的单独被参考引用一样。这里所述的本发明可以在缺乏任何一种元素或多种元素，一种限制或多种限制的情况下实现，这里这种限制没有特别说明。例如这里每一个实例中术语“包含”，“实质由......组成”和“由......组成”可以用两者之一的其余2个术语代替。这里采用的术语和表达方式所为描述方式，而不受其限制，这里也没有任何意图来指明此书描述的这些术语和解释排除了任何等同的特征，但是可以知道，可以在本发明和权利要求的范围内做任何合适的改变或修改。可以理解，本发明所描述的实施例子都是一些优选的实施例子和特点，任何本领域的一般技术人员都可以根据本发明描述的精髓下做一些更改和变化，这些更改和变化也被认为属于本发明的范围和独立权利要求以及附属权利要求所限制的范围内。

技术特征：
1.一种数据网关及采集探针与存储架构的组网系统，其特征在于，包括：分布式电力数据网关，数据采集探针和分布式文件存储机构；数据采集探针通过多区域的数据采集获取分散的数据，采集到的数据通过分布式电力数据网关进行汇集和缓存，分布式电力数据网关作为客户端把数据存储到分布式文件存储机构中，数据采集探针收集数据，分布式电力数据网关管理和维护数据采集探针，分布式电力数据网关对收集的数据进行分类转换和缓存，缓存的数据一次性写入分布式文件存储机构中，分布式电力数据网关包含业务处理单元和通信单元，业务处理单元对采集的数据按多线程进行处理，分布式电力数据网关组网方式分为主备模式和负荷分担模式，多个并行的业务处理单元按照负荷分担模式并行处理，通信单元对外进行收发接口，业务处理单元和通信单元共享内部总线，内部数据通过共享总线转发，业务处理单元和通信单元之间按负荷分担模式运行。2.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的通信单元包含事务模块、检测与驱动模块、探针注册模块、探针数据转发模块和探针检测模块，通信单元基于事务内容种类，把各种事务分发到不同的事务模块进行处理，检测与驱动模块对接口运行功能进行检测和内部驱动，探针注册模块管理探针的注册事务，负责更改探针的状态信息，探针数据转发模块负责探针数据的转发功能，按照模余算法，将探针数据均匀的转发给相应的业务处理单元进行处理，探针检测模块定期下发探针状态检测消息，确定探针是否处于工作状态。3.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的通信单元还包含消息分发模块、心跳检测模块和安全组件模块，消息分发模块负责操作维护接口的消息分发，根据指令对系统进行操作维护管理，心跳检测模块通过数据网关定时发送心跳消息，确定主用网关是否正常工作，主用网关故障后，备用网关会升级为主用网关，安全组件模块负责系统的安全工作，防止外部入侵和病毒攻击。4.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的业务处理单元包含数据接收线程、数据存储线程池、环形缓冲池和数据发送线程，数据接收线程负责转发数据处理业务，根据业务要求对数据进行转换和数据存储操作，数据存储线程池包含多个存储线程，存储线程池的存储线程数根据业务量和处理机的线程核数进行设置，数据存储线程池选择一个空闲的缓冲池对应的存储线程执行探针采集数据的存储，环形缓冲池用于存储探针采集的数据，环形缓冲池分为空缓冲区和满缓冲区，数据存储线程会把探针采集的数据存放在空缓冲区，并定期修改空缓冲区的长度和满缓冲区的长度，数据发送线程把满缓冲区的数据写入到分布式文件存储机构中。5.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的业务处理单元还包含数据校验线程、数据备份线程、数据转换线程、线程状态监控模块、缓冲池监控模块、操作维护接口模块和实时信息模块，数据校验线程校验写入分布式文件存储机构的数据，保证数据写入分布式文件存储机构的完整性，数据备份线程定时向备用数据网关备份缓冲池数据，数据转换线程根据用户要求，对探针采集的数据进行格式转换，满足系统定制化需求，线程状态监控模块对业务处理单元各线程运行情况实时监控，保证系统运行处于安全状态，缓冲池监控模块实时监控各缓冲池的状态，通过操作维护接口模块对系统进行维护核管理，实时信息模块实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息。
6.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的分布式电力数据网关包含主用数据网关和备用数据网关，主备模式下，主用数据网关负责数据采集探针的注册信息、状态维护和管理、数据缓存和写入分布式文件存储机构中，主用数据网关定期向备用数据网关同步探针注册信息、状态信息、缓存数据，备用数据网关处于热备状态，备用数据网关通过心跳消息定期探测主用数据网关状态，当主用数据网关故障或者维护时，备用数据网关会自动升级为主用数据网关，接替主用数据网关的工作。7.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的负荷分担模式下，两个数据网关基于事务处理算法，以负荷分担方式，各负责一部分探针的注册、状态维护和管理工作，一个探针群被分割成两个探针子群，每个探针子群由一个数据网关服务，当其中一个数据网关故障或处于维修状态时，其负责的探针子群的业务由另一个数据网关暂时接管，当故障网关恢复正常后，原来负责的子探针群业务切换到该数据网关，在一个探针群中，当数据网关数量设置为大于2时，子探针群的数量设置为与数据网关的数量相等。8.据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的探针状态分为激活态和未激活态两种状态，探针正常工作时处于激活态，主用数据网关上记录了最新的探针状态，主备模式下主用数据网关定期向备用数据网关备份所辖探针群的状态，负荷分担模式下，数据网关分担域内的其他数据网关备份所辖子探针群的探针状态，数据网关向其他数据网关备份探针状态发生变化的探针信息状态，对于状态没有发生变化的探针信息不做备份操作，主用数据网关根据检查探针状态消息流程或者探针注册消息流程的结果判断探针状态是否发生变化。9.根据权利要求6所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的主用数据网关定期向备用数据网关备份缓存数据，主用数据网关缓存数据达到上限时一次性把缓存数据写入分布式文件存储机构，当数据写入分布式文件存储机构后，数据网关清空主用数据网关的缓存数据，同时清空备用数据网关的缓存数据，主备模式下，主用数据网关定期向所辖探针群发送状态检查消息，处于激活状态的探针在收到状态检查消息后，向该数据网关发送状态检查激活消息，表示探针处于激活状态。10.根据权利要求1所述的一种数据网关及采集探针与存储架构的组网系统，其特征在于：所述的数据采集探针向主用数据网关发送会话请求建立，主用数据网关给探针分配一个端口，探针在这个端口上传数据，主用数据网关给探针回复响应，探针向主用数据网关传送数据，数据探针每传送一次数据先建立会话请求，主用数据网关收到数据之后给探针回复一个响应。

技术总结
本发明公开了一种数据网关及采集探针与存储架构的组网系统，数据采集探针通过多区域的数据采集获取分散的数据，采集到的数据通过分布式电力数据网关进行汇集和缓存，分布式电力数据网关作为客户端把数据存储到分布式文件存储机构中，数据采集探针收集数据，分布式电力数据网关管理和维护数据采集探针。本发明的优点在于实时提取系统各个模块运行情况、系统负荷情况，并反馈实时信息帮助维护人员判断系统运行状态，业务处理单元设置多个缓冲池，缓冲池的数量配置按照系统处理器支持的最大线核数配置，提高数据处理并行程度，数据网关功能多样化，并行处理能力强，适应大规模数据的处理和采集，保证数据安全存储。保证数据安全存储。保证数据安全存储。


技术研发人员：乃学尚 陆俊强 梁辉平 李铭基 郑怀好 郑超宇 罗宇健 朱国忠 劳笑华 邹林均 何春霞 袁明磊 梁何
受保护的技术使用者：佛山祥电电力设计工程有限公司
技术研发日：2023.08.11
技术公布日：2023/10/15