一种信息集成数据处理方法、系统、电子设备和存储介质与流程

未命名 07-23 阅读:90 评论:0

1.本发明涉及数据处理技术领域,尤其涉及一种信息集成数据处理方法、系统、电子设备和存储介质。


背景技术:

2.信息系统是业务信息资源开发利用的重要基石,通过信息系统对数据资源进行组织、运用和管理,可实现各要素一体化。其中,数据资源作为信息系统建设的基础,要求对信息资源进行整合以及集成应用,数据资源的集成逐渐成为信息化建设的重要决定因素。目前,各种信息系统内对数据资源的集成处理通常存在以下不足:
3.1、多种信息系统单独建设,不与外部互联互通,导致多数信息系统不能互相兼容,信息系统缺乏统一的平台标准,各信息系统之间无法进行数据共享,极大影响信息化管理的规范化和科学化,严重制约了信息化建设的协调发展。
4.2、信息系统的数据资源共享程度不高,数据资源沉淀于各信息系统内部,数据资源缺乏有效挖掘和利用,导致数据资源的利用率较低,信息系统内缺乏科学的数据资源管理。


技术实现要素:

5.本发明提供了一种信息集成数据处理方法、系统、电子设备和存储介质,以实现不同信息系统的数据资源集成,实现不同系统间的数据资源共享,有助于实现数据资源挖掘,可提高数据资源的利用效率,提升信息的科学化管理程度。
6.根据本发明的一方面,提供了一种信息集成数据处理方法,其中,该方法包括:
7.将至少一个业务信息系统的数据资源存储到数据资源池;
8.根据预设数据模型生成所述数据资源池的数据目录;
9.根据所述数据目录和数据访问请求确定数据访问接口;
10.基于所述数据访问接口访问所述数据资源池内的目标数据资源。
11.根据本发明的另一方面,提供了一种信息集成数据处理系统,其中,该系统包括:
12.数据存储模块,用于将至少一个业务信息系统的数据资源存储到数据资源池;
13.目录生成模块,用于根据预设数据模型生成所述数据资源池的数据目录;
14.接口确定模块,用于根据所述数据目录和数据访问请求确定数据访问接口;
15.资源访问模块,用于基于所述数据访问接口访问所述数据资源池内的目标数据资源。
16.根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
17.至少一个处理器;以及
18.与所述至少一个处理器通信连接的存储器;其中,
19.所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的
信息集成数据处理方法。
20.根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的信息集成数据处理方法。
21.本发明实施例的技术方案,通过数据资源池存储不同业务信息系统的数据资源,根据预设数据模型为数据资源池生成数据目录,按照数据目标和数据访问请求确定数据访问接口,根据数据访问接口的调用实现数据资源池内目标数据资源的访问,实现不同业务信息系统的数据资源集成,实现不同系统间的数据资源共享,有助于实现数据资源挖掘,可提高数据资源的利用效率,提升系统信息的科学化管理程度。
22.应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
23.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
24.图1是根据本发明实施例一提供的一种信息集成数据处理方法的流程图;
25.图2是根据本发明实施例二提供的一种信息集成数据处理方法的流程图;
26.图3是根据本发明实施例三提供的一种信息集成数据处理系统的结构示意图;
27.图4是实现本发明实施例的信息集成数据处理方法的电子设备的结构示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
29.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.实施例一
31.图1是根据本发明实施例一提供的一种信息集成数据处理方法的流程图,本实施例可适用于不同业务信息系统内数据资源的共享利用的情况,该方法可以由信息集成数据处理系统来执行,该信息集成数据处理系统可以采用硬件和/或软件的形式实现,该信息集
成数据处理系统可配置于服务器或服务器集群内。如图1所示,该方法包括:
32.步骤110、将至少一个业务信息系统的数据资源存储到数据资源池。
33.其中,业务信息系统可以是各专业领域的信息化系统,业务信息系统的开发方式以及软硬件架构可以不同,业务信息系统可以分别归属不同的单位。在一些实施例中,业务信息系统可以包括传统关系型数据库系统、文件系统、网络报文系统、分布式消息系统、分布式数据库他、分布式文件系统等,可以理解的是,上述业务信息系统的开发语音以及软硬件架构可以均不同。数据资源可以是业务信息系统在运行过程中产生的具有价值的数据,数据资源可以包括自动化数据以及非自动化数据,数据资源按照业务信息系统实现的不同功能可以包括不同的数据类型,数据资源可以包括结构化数据以及非结构化数据。
34.在本发明实施例中,可以与不同的业务信息系统建立通信连接,可以在通信连接内获取不同业务信息系统的数据资源,可以将采集到的数据资源存储到数据资源池。其中,数据资源池可以是数据资源的共享集合,数据资源池可以具体为数据仓库或者数据湖,数据资源池可以采用分布式架构进行搭建,可以将不同的业务信息系统进行连接,消除不同业务信息系统的数据孤岛,数据资源池可以支持结构化数据、半结构化数据以及非结构化数据。在一些实施例中,可以通过hadoop分布式集群搭建数据资源池,可以将各业务信息系统的数据资源经过梳理后存储到搭建的数据资源池。
35.步骤120、根据预设数据模型生成数据资源池的数据目录。
36.其中,预设数据模型可以基于专业领域信息的数据特征抽象生成,预设数据模型可以包括一组数据的概念和定义,预设数据模型可以由数据结构、数据操作以及数据约束组成。可以理解的是,预设数据模型的数量可以为一个或多个,根据不同业务信息系统内不同数据的数据特征可以分别抽象生成预设数据模型。数据目录可以是对数据资源池内进行管理的信息,数据目录内可以包括一个或多个目录项,每个目录项可以对应一类数据资源,数据目录可以用于对数据资源的管理、分析以及浏览导航。数据目录可以包括一个或多个,按照存储位置可以将数据目录划分为本地目录、全局目录以及条件共享目录。
37.在本发明实施例中,可以读取预先配置的一个或多个预设数据模型,该预设数据模型可以由管理员基于不同的业务信息系统的数据特征生成。可以按照该预设数据模型对数据资源池内的数据资源进行梳理,并将数据资源按照不同的预设数据模型作为目录项存储为数据目录,可以理解的是,数据目录在生成后可以定时或定量的方式进行更新。在一个实施例中,在新的数据资源存储到数据资源池时,可以将该数据资源的目录项注册到数据目录内。在另一个实施例中,预设数据模型可以按照业务归属进行定义,可以按照预设数据模型在数据资源池内查询不同数据资产对应的数据资源,可以将上述数据资产整理为数据目录。
38.步骤130、根据数据目录和数据访问请求确定数据访问接口。
39.其中,数据访问请求可以是用户对数据资源进行访问的请求,数据访问请求可以来自于不同的业务信息系统,数据访问请求可以按照数据资源池规定的访问格式生成或者按照业务信息系统的访问格式生成,在一些实施例中,数据资源池获取到的数据访问请求可以进行格式统一,以便对不同业务信息系统的通信方式进行兼容。数据访问接口可以对数据资源池内数据进行访问的函数接口,数据访问接口内可以配置有数据资源的访问规则,数据访问接口可以按照数据资源池内的数据资源的种类进行设置,可以理解的是,不同
的数据资源的数据访问接口可以不同。
40.在本发明实施例中,可以针对数据访问请求件监听,在获取到数据访问请求后,可以按照数据访问请求在数据目录内查询待访问的数据资源,并按照该数据资源获取匹配的数据访问接口。可以理解的是,数据访问请求的数量可以为一个或多个,可以在数据目录中同时查询各数据访问请求对应的数据资源,以提高数据访问效率。在一些实施例中,数据目录内可以存储数据资源的资源名称,可以将数据访问请求内的资源名称与数据目录进行匹配,从而查询到待访问的数据资源。在一些实施例中若在数据目录内未查询到待访问的数据资源,还可以向数据访问请求的数据源反馈数据查询错误请求。
41.步骤140、基于数据访问接口访问数据资源池内的目标数据资源。
42.其中,目标数据资源可以数据访问请求待查询的数据资源,数据访问请求可以与目标数据资源的数据源不同,例如,数据访问请求来自于第一个业务信息系统,而目标数据资源来自于第二个业务信息系统,数据资源池可以实现不同业务信息系统之间的数据共享。
43.在本发明实施中,可以对数据访问接口进行调用,从而通过数据访问接口内配置的数据访问规则对数据资源池的目标数据资源进行访问,可以理解的是,在读取到目标数据资源时还可以根据数据访问请求的内容对目标数据进行处理,该处理包括但不限于数据更新、数据删除以及数据新增等。在一些实施例中,不同的数据访问接口内配置有不同数据结构的数据资源访问规则,可以通过调用数据访问接口实现不同数据结构的数据资源的访问。在另一些实施例中,数据访问接口内配置有不同文件系统的数据资源访问规则,而数据资源池由不同的数据存储系统构成,可以通过调用数据访问接口实现对传统关系型数据库数据、文件系统数据、网络报文系统数据、分布式消息队列数据、分布式数据库数据、分布式文件系统数据的访问,从而实现数据资源的集成管理,可提高不同业务信息系统兼容。
44.本发明实施例,通过数据资源池存储不同业务信息系统的数据资源,根据预设数据模型为数据资源池生成数据目录,按照数据目标和数据访问请求确定数据访问接口,根据数据访问接口的调用实现数据资源池内目标数据资源的访问,实现不同业务信息系统的数据资源集成,实现不同系统间的数据资源共享,有助于实现数据资源挖掘,可提高数据资源的利用效率,提升系统信息的科学化管理程度。
45.实施例二
46.图2是根据本发明实施例二提供的一种信息集成数据处理方法的流程图,本发明实施例是在上述发明实施例基础上的具体化,参见图2,本发明实施例具体包括如下步骤:
47.步骤210、读取业务信息系统的数据配置信息。
48.其中,数据配置信息可以是预先设置的用于访问不同业务信息系统的参数信息,数据配置信息可以包括不同业务信息系统的权限认证信息、通信协议等,数据配置信息可以加密文件的形式存在。
49.在本发明实施例中,可以读取不同的业务信息系统的数据配置信息,不同业务信息系统的数据配置信息可以位于相同存储位置或者不同存储位置。在一些实施例中,不同业务信息系统的数据配置文件可以存储在相同的配置文件内,可以在一个配置文件内读取到不同的数据配置信息。在另一些实施例中,数据配置信息可以存储在不同用户的硬件密钥内,可以在硬件密钥接入后读取到该业务信息系统的数据配置信息。
50.步骤220、在预设配置文件内按照数据配置信息确定数据访问通道。
51.其中,预设配置文件可以是包括不同业务信息系统访问规则的数据文件,预设配置文件可以配置在执行本发明方法的服务器或服务器集群内,预设配置文件包括一个或多个配置项,每个配置项可以对应一个业务信息系统的访问规则,可以理解的是,该访问规则可包括数据通信协议。数据访问通道可以是与业务信息系统构建的数据传输通道,数据访问通道具体可以包括嵌套字数据传输通道、超文本传输协议通道、流媒体传输协议通道等。
52.在本发明实施例中,可以加载预设配置文件到内存,可以按照读取的数据配置信息在预设配置文件内查找一种或多种数据访问通道的构建规则,可以按照该数据访问通道的构建规则以及数据配置信息与业务信息系统构建数据访问通道。可以理解的是,在预设配置文件根据数据配置信息确定数据访问通道的方式可以包括查找数据配置信息对应的业务信息系统的标识,并查找与该标识关联存储的数据访问通道。在一些实施例中,数据访问通道已经预先建立,可以按照获取的数据配置信息在获取数据访问通道的访问权限。
53.步骤230、在数据访问通道内读取业务信息系统的数据资源,并存储数据资源到数据资源池。
54.在本发明实施例中,可以通过数据访问通道在业务信息系统获取数据资源,可以理解的是,该数据资源可以由业务信息系统通过数据访问通道主动进行推送或者由本发明方法的执行设备通过数据访问通道在业务信息系统进行拉取,在获取到数据资源后可以存储到数据资源池。在一些实施例中,业务信息系统内可以对数据资源的访问权限进行设置,从而实现数据资源共享的控制,业务信息系统内只有数据资源被设置了共享权限后,才可以通过数据访问通道获取到该数据资源,从而实现在保障数据共享利用的前提下,提高数据资源的安全性。
55.步骤240、读取预设数据模型的数据模型定义,其中,数据模型定义至少包括数据结构。
56.其中,数据模型定义可以包括描述不同数据资源的定义信息,数据模型定义至少由数据结构组成,该数据结构可以用于描述数据资源的静态特征,可以包括数据资源的类型、内容、性质、以及数据之间的联系等,联系可以包括不同数据资源之间的层次结构以及关系结构等。数据模型定义还可以包括数据操作以及数据约束等信息,数据操作可以描述数据资源的动态特征,可以包括数据的插入、修改、删除和查询等,数据约束条件可以包括数据资源的完整性规则,可以是数据资源以及数据资源联系所具有的的制约和存储规则,例如,数据资源的取值不为负或数据资源的数据类型为整数型。
57.在本发明实施例中,针对各预设数据模型可以提取对应的数据模型定义,该数据模型定义可以由管理员根据业务信息系统的数据特征抽象生成,每个数据模型定义可以由数据结构、数据操作以及数据约束等要素组成。可以理解的是,数据模型定义可以配置文件的形式存在。
58.步骤250、在数据资源池查找各数据模型定义对应的数据资源。
59.具体的,可以在数据资源池内按照数据模型定义对数据资源进行分类,每个数据模型定义可以存在各自对应的一个或多个数据资源,每个分类内的数据资源可以均满足对应数据模型定义的要素信息,该要素信息包括但不限于数据结构、数据操作以及数据约束。在一个实施例中,可以提取各数据模型定义的数据结构,在数据资源池内分别按照提取到
的数据结构查询对应的数据资源。
60.步骤260、针对各数据资源按照数据结构确定数据资源的至少一个关联层次关系。
61.其中,关联层次关系可以是反映不同数据资源之间相互联系关系的信息,关联层次关系可以反映至少两个数据资源之间是否存在关联。
62.在本发明实施例中,可以针对归属于不同数据模型定义的数据资源,可以提取该类数据资源的数据模型定义内的数据结构,可以按照该数据结构内的静态特征确定与其他至少一个数据资源的关联层次关系。例如,在一个数据资源按照数据结构可以与数据资源a存在联系时,可以为该数据资源与数据资源a创建标识信息以表示关联层次关系。
63.步骤270、按照各关联层次关系生成各数据资源对应的数据目录。
64.在本发明实施例中,可以按照确定出的关联层次关系确定不同数据资源之间的层次架构,可以按照该层次架构将数据资源转换为目录项,并按照该层次架构将目录项存储为数据目录。
65.步骤280、提取数据访问请求内的数据特征标识。
66.其中,数据特征标识可以是反映数据资源特征的信息,可以包括数据名称、数据类型、业务归属等信息。
67.在本发明实施例中,可以在各数据访问请求提取数据名称、数据类型、业务归属等数据特征标识,用于数据资源的匹配。
68.步骤290、在数据目录内查找与数据特征标识匹配的数据资源。
69.在本发明实施中,可以在数据目录内将数据特征标识与目录项进行匹配,可以将匹配的目录项对应的数据资源作为与数据特征标识匹配的数据资源。可以理解的是,该匹配过程可以通过将目录项与数据特征标识的字符串匹配或者正则匹配方式实现。
70.步骤2100、在预设接口文件内提取与数据资源的匹配的数据访问接口。
71.在本发明实施例中,预设接口文件可以是存储数据访问接口的配置文件,预设接口文件内可以包括一个或多个数据访问接口,可以按照数据资源的资源名称或者资源类型查找匹配的数据访问接口。
72.步骤2110、基于数据访问接口访问数据资源池内的目标数据资源。
73.本发明实施例,通过读取不同业务信息系统的数据配置信息,按照数据配置信息在预设配置文件内确定访问通道,在数据访问通道获取业务信息系统的数据资源,并存储数据资源到数据资源池,读取包含数据结构的数据模型定义,在数据资源池查找各数据模型定义分别匹配的数据资源,针对各数据资源按照对应的数据模型定义内的数据结构生成关联层次关系,按照该关联层次关系将数据资源处理为数据目录,在数据访问请求提取数据特征标识,查找数据目录内与数据特征标识匹配的数据资源,获取与数据资源相符的数据访问接口,通过调用访问接口实现对数据资源池内目标数据资源的访问,实现不同业务信息系统的数据资源集成,共享不同业务信息系统的数据资源,有助于实现数据资源挖掘,可提高数据资源的利用效率,提升系统信息的科学化管理程度。
74.在一些实施例中,存储所述数据资源到所述数据资源池之前,还包括:
75.提取所述数据资源的数据结构,并按照所述数据结构确定预设格式转换规则;按照所述预设转换规则对所述数据资源进行数据格式转换。
76.其中,预设格式转换规则可以是将数据资源进行格式转换的规则,预设格式转换
规则可以包源数据格式以及目标数据格式。
77.在本发明实施例中,数据资源池存储的数据资源的数据格式可以统一,可以将针对不同数据结构的数据资源可以提取对应的预设转换规则,可以按照该预设转换规则将数据资源从源数据格式转换到目标数据格式。
78.在另一些实施例中,按照各所述关联层次关系生成各所述数据资源对应的所述数据目录,包括:
79.将所述数据资源和所述关联层次关系生成最小联通图;按照所述最小联通图将各所述数据资源分别作为所述数据目录的目录项。
80.其中,最小联通图可以以数据资源为节点以管理层次关系为边构成的图形,该最小联通图可以反映数据资源之间最简化的关联关系。
81.在本发明实施例中,可以数据资源为节点并且以关联层次关系为边构建最小联通图,该构建过程可以通过prim算法、kruskal算法生成,可以将按照该最小联通图内各节点的数据资源作为目录项,并按照该最小联通图的层次架构组织各目录项为数据目录,可以理解的是,该数据目录中不同目录项的层次关系与最小联通图内各目录项的节点的层次关系相同。
82.在一些实施例中,还包括:按照预设数据粒度生成所述数据资源的数据质量分析结果,其中,所述预设数据粒度至少包括空值、重复值、格式、参考值、波动性。
83.在本发明实施例中,可以针对各数据资源进行数据质量分析,该数据质量分析的过程中可以对数据资源内的空值、重复值、格式、参考值、波动性等预设数据粒度进行分析统计,不同的预设数据粒度可以存在不同的权重值,可以将各数据资源的权重值之和作为数据质量分析结果。
84.实施例三
85.图3是根据本发明实施例三提供的一种信息集成数据处理系统的结构示意图。如图3所示,该系统包括:数据存储模块310、目录生成模块320、接口确定模块330和资源访问模块340。
86.数据存储模块310,用于将至少一个业务信息系统的数据资源存储到数据资源池。
87.目录生成模块320,用于根据预设数据模型生成所述数据资源池的数据目录。
88.接口确定模块330,用于根据所述数据目录和数据访问请求确定数据访问接口。
89.资源访问模块340,用于基于所述数据访问接口访问所述数据资源池内的目标数据资源。
90.本发明实施例,通过数据存储模块在数据资源池存储不同业务信息系统的数据资源,目录生成模块根据预设数据模型为数据资源池生成数据目录,接口确定模块按照数据目标和数据访问请求确定数据访问接口,资源访问模块根据数据访问接口的调用实现数据资源池内目标数据资源的访问,实现不同业务信息系统的数据资源集成,实现不同系统间的数据资源共享,有助于实现数据资源挖掘,可提高数据资源的利用效率,提升系统信息的科学化管理程度。
91.进一步的,在本发明实施例的基础上,数据存储模块310包括:
92.信息读取单元,用于读取所述业务信息系统的数据配置信息。
93.通道确定单元,用于在预设配置文件内按照所述数据配置信息确定数据访问通
道。
94.资源存储单元,用于在所述数据访问通道内读取所述业务信息系统的所述数据资源,并存储所述数据资源到所述数据资源池。
95.进一步的,在上述发明实施例的基础上,系统还包括:格式转换模块,用于提取所述数据资源的数据结构,并按照所述数据结构确定预设格式转换规则;按照所述预设转换规则对所述数据资源进行数据格式转换。
96.进一步的,在上述发明实施例的基础上,目录生成模块320包括:
97.定义读取单元,用于读取所述预设数据模型的数据模型定义,其中,所述数据模型定义至少包括数据结构。
98.资源分类单元,用于在所述数据资源池查找各所述数据模型定义对应的所述数据资源。
99.层次关系单元,用于针对各所述数据资源按照所述数据结构确定所述数据资源的至少一个关联层次关系。
100.目录生成单元,用于按照各所述关联层次关系生成各所述数据资源对应的所述数据目录。
101.进一步的,在上述发明实施例的基础上,目录生成单元具体用于:将所述数据资源和所述关联层次关系生成最小联通图;按照所述最小联通图将各所述数据资源分别作为所述数据目录的目录项。
102.进一步的,在上述发明实施例的基础上,接口确定模块330包括:
103.标识提取单元,用于提取所述数据访问请求内的数据特征标识。
104.目录查找单元,用于在所述数据目录内查找与所述数据特征标识匹配的所述数据资源。
105.接口提取单元,用于在预设接口文件内提取与所述数据资源的匹配的所述数据访问接口。
106.进一步的,在上述发明实施例的基础上,系统还包括:数据质量模块,用于按照预设数据粒度生成所述数据资源的数据质量分析结果,其中,所述预设数据粒度至少包括空值、重复值、格式、参考值、波动性。
107.本发明实施例所提供的信息集成数据处理系统可执行本发明任意实施例所提供的信息集成数据处理方法,具备执行方法相应的功能模块和有益效果。
108.实施例四
109.图4是实现本发明实施例的信息集成数据处理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
110.如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(rom)12、随机访问存储器(ram)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(rom)12中的计
算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序,来执行各种适当的动作和处理。在ram 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
111.电子设备10中的多个部件连接至i/o接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
112.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如信息集成数据处理方法。
113.在一些实施例中,信息集成数据处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时,可以执行上文描述的信息集成数据处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信息集成数据处理方法。
114.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
115.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
116.在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
117.为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
118.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)、区块链网络和互联网。
119.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务中,存在的管理难度大,业务扩展性弱的缺陷。
120.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
121.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

技术特征:
1.一种信息集成数据处理方法,其特征在于,包括:将至少一个业务信息系统的数据资源存储到数据资源池;根据预设数据模型生成所述数据资源池的数据目录;根据所述数据目录和数据访问请求确定数据访问接口;基于所述数据访问接口访问所述数据资源池内的目标数据资源。2.根据权利要求1所述方法,其特征在于,所述将至少一个业务信息系统的数据资源存储到数据资源池,包括:读取所述业务信息系统的数据配置信息;在预设配置文件内按照所述数据配置信息确定数据访问通道;在所述数据访问通道内读取所述业务信息系统的所述数据资源,并存储所述数据资源到所述数据资源池。3.根据权利要求2所述方法,其特征在于,所述存储所述数据资源到所述数据资源池之前,还包括:提取所述数据资源的数据结构,并按照所述数据结构确定预设格式转换规则;按照所述预设转换规则对所述数据资源进行数据格式转换。4.根据权利要求1所述方法,其特征在于,所述根据预设数据模型生成所述数据资源池的数据目录,包括:读取所述预设数据模型的数据模型定义,其中,所述数据模型定义至少包括数据结构;在所述数据资源池查找各所述数据模型定义对应的所述数据资源;针对各所述数据资源按照所述数据结构确定所述数据资源的至少一个关联层次关系;按照各所述关联层次关系生成各所述数据资源对应的所述数据目录。5.根据权利要求4所述方法,其特征在于,所述按照各所述关联层次关系生成各所述数据资源对应的所述数据目录,包括:将所述数据资源和所述关联层次关系生成最小联通图;按照所述最小联通图将各所述数据资源分别作为所述数据目录的目录项。6.根据权利要求1所述方法,其特征在于,所述根据所述数据目录和数据访问请求确定数据访问接口,包括:提取所述数据访问请求内的数据特征标识;在所述数据目录内查找与所述数据特征标识匹配的所述数据资源;在预设接口文件内提取与所述数据资源的匹配的所述数据访问接口。7.根据权利要求1-6中任一项所述方法,其特征在于,还包括:按照预设数据粒度生成所述数据资源的数据质量分析结果,其中,所述预设数据粒度至少包括空值、重复值、格式、参考值、波动性。8.一种信息集成数据处理系统,其特征在于,包括:数据存储模块,用于将至少一个业务信息系统的数据资源存储到数据资源池;目录生成模块,用于根据预设数据模型生成所述数据资源池的数据目录;接口确定模块,用于根据所述数据目录和数据访问请求确定数据访问接口;资源访问模块,用于基于所述数据访问接口访问所述数据资源池内的目标数据资源。9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的信息集成数据处理方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的信息集成数据处理方法。

技术总结
本发明公开了一种信息集成数据处理方法、系统、电子设备和存储介质,其中,该方法包括:将至少一个业务信息系统的数据资源存储到数据资源池;根据预设数据模型生成所述数据资源池的数据目录;根据所述数据目录和数据访问请求确定数据访问接口;基于所述数据访问接口访问所述数据资源池内的目标数据资源。本发明实施例实现不同业务信息系统的数据资源集成,共享不同业务信息系统的数据资源,有助于实现数据资源挖掘,可提高数据资源的利用效率,提升业务系统信息的科学化管理程度。业务系统信息的科学化管理程度。业务系统信息的科学化管理程度。


技术研发人员:钱李昌 高建 肖毅 赵宇 缪希伟 曲建辉
受保护的技术使用者:中国人民解放军中部战区联合参谋部联合训练局
技术研发日:2022.10.27
技术公布日:2023/7/22
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐