一种数据集成的系统及方法与流程

1.本发明属于企业安全生产数据集成技术领域，具体涉及一种数据集成的系统及方法。


背景技术：

2.在企业安全生产信息系统建设过程中，面向不同业务场景的信息系统由于建设需求优先级、配套资金到位周期等因素，以及早期顶层设计规划的缺失，导致各业务系统分批次独立建设，且系统之间技术路线各不相同，数据孤岛效应突出。随着系统运营时间的推移数据量持续递增，给后续开展统一的数据融合、治理与应用造成了较大困难。


技术实现要素：

3.本发明的目的在于提供一种数据集成的系统及方法，消除数据孤岛效应，提高多源、自动化数据集成的效率和质量。
4.为达到上述目的，本发明所采取的技术方案为：
5.一种数据集成的系统，该系统可以与多个源数据管理系统和一个目的数据管理系统建立数据访问连接，将源数据管理系统中的数据自动化、持续性导入到目的数据管理系统中；该系统包括任务组管理子系统、数据集成任务子系统、任务运行调度子系统、任务运行监控子系统。
6.所述任务组管理子系统，由系统管理员负责创建任务组，并为任务组分别分配任务规划设计员用户和运行监控员用户。
7.所述任务组，包含但不限于名称、标识、任务目标描述、创建时间；所述任务组，相关信息可以被数据集成任务子系统、任务运行调度子系统、任务运行监控子系统的权限用户共享引用。
8.所述数据集成任务子系统，包含多种类型数据管理系统的网络访问连接参数配置模板和执行库程序；所述数据集成任务子系统，规划设计员可以为多个业务系统的不同类型的数据管理系统，分别创建数据连接任务和数据集成任务；所述数据连接任务和数据集成任务，须由规划设计员设置归属于某一个任务组；所述数据连接任务和数据集成任务，可以被保存、删除、检索和重新编辑，也可以被标记为启用或禁用状态；所述数据连接任务，规划设计员可以分别选择源、目的数据管理系统的网络访问连接参数配置模板和执行库程序；所述数据集成任务，规划设计员可以设定数据集成范围：可以选择将源数据管理系统中某数据表的数据整体集成到目的数据管理系统中；也可以选择执行预设的数据查询语句脚本将符合条件的查询结果数据导入到目的数据管理系统中。
9.所述数据集成任务，规划设计员可以设定数据集成过程中的数据自动转换规则：可以选择从源数据管理系统中导出某数据字段后，先进行数据类型转换，再将转换后的结果存入到目的数据管理系统中；可以选择从源数据管理系统中导出某数据字段后，先根据预设规则判定是否符合脏数据的特征条件，再将不符合条件的数据存入到目的数据管理系
统中，而符合条件的数据将被丢弃；可以选择从源数据管理系统中导出某数据字段后，先给数据进行追加或截取某特征符号的转换，再将转换结果存入到目的数据管理系统中；可以选择从源数据管理系统中导出某数据字段后，先按照预设的计算公式对数据进行计算，再将计算结果存入到目的数据管理系统中。
10.所述数据自动转换规则，规划设计员可以设定当转换规则被执行一次后，相应的被转换过的数据在目的数据管理系统中的最后更新时间是否要自动更新成当前最新时间。
11.所述任务运行调度子系统，规划设计员可以从数据集成任务子系统导入属于权限工作组且处于启用状态的数据连接任务和数据集成任务；所述任务运行调度子系统，规划设计员可以创建数据集成的任务执行工作流。
12.所述工作流，工作流中的任务执行节点由一系列被标记为启用状态的数据连接任务和数据集成任务组成；所述工作流，规划设计员可以通过在软件操作界面上通过拖拽和连线的方式，为工作流添加任务执行节点，并设置各任务节点的执行先后顺序和依赖关系；所述工作流，规划设计员可以设定工作流中的每个任务节点分别运行在哪台计算机上；所述工作流，规划设计员可以为工作流设置自动执行的时间策略：可选择工作流执行的起始时间和结束时间；可以选择工作流在起始时间到达后只执行一次；可以选择工作流在起始时间到达后按照设定的时间间隔重复执行；所述工作流，规划设计员可以设置某工作流执行出错后是继续执行还是终止执行；所述工作流，规划设计员可以为每个工作流分别设置优先级，当出现计算机运行资源竞争时，多个工作流按照优先级从高到低的顺序依次执行；所述工作流，可以被规划设计员保存、删除、检索和修改；所述工作流，可以被规划设计员标记为上线状态和下线状态，当某个工作流被标记为上线状态后，不允许对该工作流执行删除、修改操作。
13.所述任务运行监控子系统，运行监控员可以从任务运行调度子系统导入属于权限任务组且被标记为上线状态的工作流；所述任务运行监控子系统，可以由运行监控员通过软件界面操作启动执行工作流，处于启动状态的工作流在预先分配的计算机中自动按照预先设定的任务节点执行顺序和依赖关系、时间策略、优先级运行；所述任务运行监控子系统，运行监控员监控查看工作流任务执行情况，监控内容包括但不限于工作流的名称、唯一标识、当前是否启动执行、当前是否启动执行、开始时间、结束时间、累计执行次数、累计出错次数、参与任务执行的计算机地址；所述任务运行监控子系统，可以记录并保存工作流的实际运行日志信息，并可供运行监控员随时调阅、查看；所述任务运行监控子系统，运行监控员可导出已执行结束的工作流运行报告；所述运行日志信息，以文本的形式被记录和保存，并且信息按照实际产生的时间进行组织顺序。
14.一种数据集成的方法，系统管理员创建任务组，为任务组分配规划设计员和运行监控员；规划设计员在数据集成任务子系统中为任务组添加创建数据连接任务，设置数据连接任务的参数，选择任务执行库；规划设计员为任务组添加创建数据集成任务，设置数据集成范围和数据转换规则；规划设计员将数据连接任务和数据集成任务设置为启用或禁用状态；规划设计员在任务执行调度子系统中导入处于启用状态的数据连接任务和数据集成任务；规划设计员在任务执行调度子系统中创建任务工作流，分别设置任务节点执行顺序、分配计算机资源、设置任务执行策略、设置工作流上线或下线状态；运行监控员在任务运行监控子系统中导入处于上线状态的任务工作流；运行监控员启动工作流执行，执行过程中
监控工作流的运行状态；当工作流执行结束后，运行监控员导出任务执行报告。
15.本发明所取得的有益效果为：
16.相比于现有数据集成方法，本发明可以由系统管理员创建工作组，并且为工作组分配任务规划设计员和运行监控员，由规划设计员预先创建数据集成任务并配置相关任务调度流程和执行策略，运行监控员负责启动并监控数据集成任务的自动执行，并在任务执行结束后导出任务执行报告，规划设计员根据任务执行报告决定是否需要进行任务流程和执行策略设计优化，用户角色职责界限清晰、分工明确；系统能够在最大限度保护现有投资的前提下，实现将多个各自独立运行的安全生产业务系统数据自动化、持续性集成到一个统一的数据管理系统中，为后续的数据资产化管理和数据增值应用建立基础。
附图说明
17.图1为一种数据集成的系统及方法示意图。
具体实施方式
18.下面结合附图和具体实施例对本发明进行详细说明。
19.一种多源数据自动化集成的系统，包括任务组管理子系统、数据集成任务子系统、任务运行调度子系统、任务运行监控子系统，可以与多个源数据管理系统和一个目的数据管理系统建立数据访问连接，将源数据管理系统中的数据自动化、持续性导入到目的数据管理系统中。
20.所述任务组管理子系统，由系统管理员负责创建任务组，并为任务组分别分配任务规划设计员用户和运行监控员用户；所述任务组，包含但不限于名称、标识、任务目标描述、创建时间等属性信息；所述任务组，相关信息可以被数据集成任务子系统、任务运行调度子系统、任务运行监控子系统的权限用户共享引用；
21.所述数据集成任务子系统，包含了多种类型数据管理系统的网络访问连接参数配置模板和执行库程序；所述数据集成任务子系统，规划设计员可以为多个业务系统的不同类型的数据管理系统，分别创建数据连接任务和数据集成任务；所述数据连接任务和数据集成任务，须由规划设计员设置归属于某一个任务组；所述数据连接任务和数据集成任务，可以被保存、删除、检索和重新编辑，也可以被标记为启用或禁用状态；所述数据连接任务，规划设计员可以分别选择源、目的数据管理系统的网络访问连接参数配置模板和执行库程序；所述数据集成任务，规划设计员可以设定数据集成范围：可以选择将源数据管理系统中某数据表的数据整体集成到目的数据管理系统中；也可以选择执行预设的数据查询语句脚本将符合条件的查询结果数据导入到目的数据管理系统中；所述数据集成任务，规划设计员可以设定数据集成过程中的数据自动转换规则：可以选择从源数据管理系统中导出某数据字段后，先进行数据类型转换，再将转换后的结果存入到目的数据管理系统中；可以选择从源数据管理系统中导出某数据字段后，先根据预设规则判定是否符合脏数据的特征条件，再将不符合条件的数据存入到目的数据管理系统中，而符合条件的数据将被丢弃；可以选择从源数据管理系统中导出某数据字段后，先给数据进行追加或截取某特征符号的转换，再将转换结果存入到目的数据管理系统中；可以选择从源数据管理系统中导出某数据字段后，先按照预设的计算公式对数据进行计算，再将计算结果存入到目的数据管理系统
中；所述数据自动转换规则，规划设计员可以设定当转换规则被执行一次后，相应的被转换过的数据在目的数据管理系统中的最后更新时间是否要自动更新成当前最新时间；
22.所述任务运行调度子系统，规划设计员可以从数据集成任务子系统导入属于权限工作组且处于启用状态的数据连接任务和数据集成任务；所述任务运行调度子系统，规划设计员可以创建数据集成的任务执行工作流；所述工作流，工作流中的任务执行节点由一系列被标记为启用状态的数据连接任务和数据集成任务组成；所述工作流，规划设计员可以通过在软件操作界面上通过拖拽和连线的方式，为工作流添加任务执行节点，并设置各任务节点的执行先后顺序和依赖关系；所述工作流，规划设计员可以设定工作流中的每个任务节点分别运行在哪台计算机上；所述工作流，规划设计员可以为工作流设置自动执行的时间策略：可选择工作流执行的起始时间和结束时间；可以选择工作流在起始时间到达后只执行一次；可以选择工作流在起始时间到达后按照设定的时间间隔重复执行；所述工作流，规划设计员可以设置某工作流执行出错后是继续执行还是终止执行；所述工作流，规划设计员可以为每个工作流分别设置优先级，当出现计算机运行资源竞争时，多个工作流按照优先级从高到低的顺序依次执行；所述工作流，可以被规划设计员保存、删除、检索和修改；所述工作流，可以被规划设计员标记为上线状态和下线状态，当某个工作流被标记为上线状态后，不允许对该工作流执行删除、修改操作；
23.所述任务运行监控子系统，运行监控员可以从任务运行调度子系统导入属于权限任务组且被标记为上线状态的工作流；所述任务运行监控子系统，可以由运行监控员通过软件界面操作启动执行工作流，处于启动状态的工作流在预先分配的计算机中自动按照预先设定的任务节点执行顺序和依赖关系、时间策略、优先级运行；所述任务运行监控子系统，运行监控员监控查看工作流任务执行情况，监控内容包括但不限于工作流的名称、唯一标识、当前是否启动执行、当前是否启动执行、开始时间、结束时间、累计执行次数、累计出错次数、参与任务执行的计算机地址等。所述任务运行监控子系统，可以记录并保存工作流的实际运行日志信息，并可供运行监控员随时调阅、查看；所述任务运行监控子系统，运行监控员可导出已执行结束的工作流运行报告；所述运行日志信息，以文本的形式被记录和保存，并且信息按照实际产生的时间进行组织顺序。
24.系统管理员创建任务组，为任务组分配规划设计员和运行监控员；规划设计员在数据集成任务子系统中为任务组添加创建数据连接任务，设置数据连接任务的参数，选择任务执行库；规划设计员为任务组添加创建数据集成任务，设置数据集成范围和数据转换规则；规划设计员将数据连接任务和数据集成任务设置为启用或禁用状态；规划设计员在任务执行调度子系统中导入处于启用状态的数据连接任务和数据集成任务；规划设计员在任务执行调度子系统中创建任务工作流，分别设置任务节点执行顺序、分配计算机资源、设置任务执行策略、设置工作流上线或下线状态；运行监控员在任务运行监控子系统中导入处于上线状态的任务工作流；运行监控员启动工作流执行，执行过程中监控工作流的运行状态；当工作流执行结束后，运行监控员导出任务执行报告。

技术特征：
1.一种数据集成的系统，其特征在于：该系统可以与多个源数据管理系统和一个目的数据管理系统建立数据访问连接，将源数据管理系统中的数据自动化、持续性导入到目的数据管理系统中；该系统包括任务组管理子系统、数据集成任务子系统、任务运行调度子系统、任务运行监控子系统。2.根据权利要求1所述的数据集成的系统，其特征在于：所述任务组管理子系统，由系统管理员负责创建任务组，并为任务组分别分配任务规划设计员用户和运行监控员用户。3.根据权利要求2所述的数据集成的系统，其特征在于：所述任务组，包含但不限于名称、标识、任务目标描述、创建时间；所述任务组，相关信息可以被数据集成任务子系统、任务运行调度子系统、任务运行监控子系统的权限用户共享引用。4.根据权利要求2所述的数据集成的系统，其特征在于：所述数据集成任务子系统，包含多种类型数据管理系统的网络访问连接参数配置模板和执行库程序；所述数据集成任务子系统，规划设计员可以为多个业务系统的不同类型的数据管理系统，分别创建数据连接任务和数据集成任务；所述数据连接任务和数据集成任务，须由规划设计员设置归属于某一个任务组；所述数据连接任务和数据集成任务，可以被保存、删除、检索和重新编辑，也可以被标记为启用或禁用状态；所述数据连接任务，规划设计员可以分别选择源、目的数据管理系统的网络访问连接参数配置模板和执行库程序；所述数据集成任务，规划设计员可以设定数据集成范围：可以选择将源数据管理系统中某数据表的数据整体集成到目的数据管理系统中；也可以选择执行预设的数据查询语句脚本将符合条件的查询结果数据导入到目的数据管理系统中。5.根据权利要求4所述的数据集成的系统，其特征在于：所述数据集成任务，规划设计员可以设定数据集成过程中的数据自动转换规则：可以选择从源数据管理系统中导出某数据字段后，先进行数据类型转换，再将转换后的结果存入到目的数据管理系统中；可以选择从源数据管理系统中导出某数据字段后，先根据预设规则判定是否符合脏数据的特征条件，再将不符合条件的数据存入到目的数据管理系统中，而符合条件的数据将被丢弃；可以选择从源数据管理系统中导出某数据字段后，先给数据进行追加或截取某特征符号的转换，再将转换结果存入到目的数据管理系统中；可以选择从源数据管理系统中导出某数据字段后，先按照预设的计算公式对数据进行计算，再将计算结果存入到目的数据管理系统中。6.根据权利要求5所述的数据集成的系统，其特征在于：所述数据自动转换规则，规划设计员可以设定当转换规则被执行一次后，相应的被转换过的数据在目的数据管理系统中的最后更新时间是否要自动更新成当前最新时间。7.根据权利要求4所述的数据集成的系统，其特征在于：所述任务运行调度子系统，规划设计员可以从数据集成任务子系统导入属于权限工作组且处于启用状态的数据连接任务和数据集成任务；所述任务运行调度子系统，规划设计员可以创建数据集成的任务执行工作流。8.根据权利要求7所述的数据集成的系统，其特征在于：所述工作流，工作流中的任务执行节点由一系列被标记为启用状态的数据连接任务和数据集成任务组成；所述工作流，规划设计员可以通过在软件操作界面上通过拖拽和连线的方式，为工作流添加任务执行节点，并设置各任务节点的执行先后顺序和依赖关系；所述工作流，规划设计员可以设定工作
流中的每个任务节点分别运行在哪台计算机上；所述工作流，规划设计员可以为工作流设置自动执行的时间策略：可选择工作流执行的起始时间和结束时间；可以选择工作流在起始时间到达后只执行一次；可以选择工作流在起始时间到达后按照设定的时间间隔重复执行；所述工作流，规划设计员可以设置某工作流执行出错后是继续执行还是终止执行；所述工作流，规划设计员可以为每个工作流分别设置优先级，当出现计算机运行资源竞争时，多个工作流按照优先级从高到低的顺序依次执行；所述工作流，可以被规划设计员保存、删除、检索和修改；所述工作流，可以被规划设计员标记为上线状态和下线状态，当某个工作流被标记为上线状态后，不允许对该工作流执行删除、修改操作。9.根据权利要求8所述的数据集成的系统，其特征在于：所述任务运行监控子系统，运行监控员可以从任务运行调度子系统导入属于权限任务组且被标记为上线状态的工作流；所述任务运行监控子系统，可以由运行监控员通过软件界面操作启动执行工作流，处于启动状态的工作流在预先分配的计算机中自动按照预先设定的任务节点执行顺序和依赖关系、时间策略、优先级运行；所述任务运行监控子系统，运行监控员监控查看工作流任务执行情况，监控内容包括但不限于工作流的名称、唯一标识、当前是否启动执行、当前是否启动执行、开始时间、结束时间、累计执行次数、累计出错次数、参与任务执行的计算机地址；所述任务运行监控子系统，可以记录并保存工作流的实际运行日志信息，并可供运行监控员随时调阅、查看；所述任务运行监控子系统，运行监控员可导出已执行结束的工作流运行报告；所述运行日志信息，以文本的形式被记录和保存，并且信息按照实际产生的时间进行组织顺序。10.一种数据集成的方法，其特征在于：系统管理员创建任务组，为任务组分配规划设计员和运行监控员；规划设计员在数据集成任务子系统中为任务组添加创建数据连接任务，设置数据连接任务的参数，选择任务执行库；规划设计员为任务组添加创建数据集成任务，设置数据集成范围和数据转换规则；规划设计员将数据连接任务和数据集成任务设置为启用或禁用状态；规划设计员在任务执行调度子系统中导入处于启用状态的数据连接任务和数据集成任务；规划设计员在任务执行调度子系统中创建任务工作流，分别设置任务节点执行顺序、分配计算机资源、设置任务执行策略、设置工作流上线或下线状态；运行监控员在任务运行监控子系统中导入处于上线状态的任务工作流；运行监控员启动工作流执行，执行过程中监控工作流的运行状态；当工作流执行结束后，运行监控员导出任务执行报告。

技术总结
本发明属于企业安全生产数据集成技术领域，具体涉及一种数据集成的系统及方法。包括任务组管理子系统、数据集成任务子系统、任务运行调度子系统、任务运行监控子系统，可以与多个源数据管理系统和一个目的数据管理系统建立数据访问连接，将源数据管理系统中的数据自动化、持续性导入到目的数据管理系统中。本发明可以消除数据孤岛效应，提高多源、自动化数据集成的效率和质量。数据集成的效率和质量。数据集成的效率和质量。


技术研发人员：尚伟林 曾喻 杨海波
受保护的技术使用者：核工业计算机应用研究所
技术研发日：2023.06.19
技术公布日：2023/10/15