跨网络数据共享交换的方法及其系统与流程

1.本发明涉及计算机系统领域，具体而言，涉及一种跨网络数据共享交换的方法、系统、终端设备、存储介质及产品。


背景技术：

2.数据在当先已经成为一种资源，并具有其他资源无法替代的经济功能，特别是大数据时代的来临，数据维度越来越多，数据的潜在价值越来越高。数据信息资源共享和应用，对跨部门业务协作和跨部门服务协同起到关键支撑作用。
3.大数据共享能够有效解决“数据孤岛”的现象，数据资源也能有效整合。但如何打通跨网络数据共享问题，一直是数据共享亟待解决的问题。
4.在目前的数据共享交换中，数据大多都处于不同网络环境中，处于网络隔离状态，如何打通网络壁垒，实现跨网络间的数据共享交换主要存在几个问题：
5.1、数据敏感，不可开放，仅对有白名单或通过权限校验的人员共享
6.2、受物理环境等多方面影响，网络关系难以打通。
7.同时跨网络间的数据共享交换也存在系统之间对接复杂、数据流转周期长以及数据时效性难以满足需求的问题。


技术实现要素：

8.针对上述背景技术中提出的需求，本发明实施例提供一种跨网络数据共享交换的方法以及系统，旨在实现了数据的共享交换的统一鉴权，搭桥实现跨网络间数据共享交换。
9.一种跨网络数据共享交换的方法，具体步骤包括：
10.步骤一、需求方发布需求至数据共享平台以及资源方发布资源至数据共享平台；
11.步骤二、需求方根据需求对数据共享平台上已经发布的资源进行订阅；
12.步骤三、资源方对己方发布资源的订阅进行审核，并在审核通过后对该对数据需求方进行授权；所述的授权方法包括通过密钥加密等方式实现资源的授权，并通过搭建权限验证规则，并结合区块链解决数据可信等问题；
13.所述通过密钥加密方式实现资源的授权的方法包括向平台发送授权标识获取请求；
14.其中，所述授权标识获取请求包括授权密钥；
15.所述授权密钥是通过目标加密函数对随机生成的第一字符串进行多次迭代处理，得到的密钥；
16.获取所述平台响应于所述授权标识获取请求发送的目标授权标识；
17.其中，所述目标授权标识与所述授权密钥、所述目标加密函数的标识以及所述目标迭代次数具有对应关系；
18.向所述平台发送令牌获取请求，其中，所述令牌获取请求包括所述第一字符串和所述目标授权标识；
19.在所述授权密钥与所述平台生成的密钥相同的情况下，获取所述平台响应于所述令牌获取请求发送的资源访问令牌，其中，所述平台生成的密钥是所述平台根据所述第一字符串、所述目标加密函数的标识以及所述目标迭代次数生成的密钥；
20.最后使用所述资源访问令牌从资源服务器获取目标资源信息；
21.步骤四、以数据共享平台桥接跨网络之间的需求方以及资源方，实现需求方与资源方之间的数据互通。
22.进一步的：当需求方与资源方之间构成数据互通后，数据共享平台对需求方与资源方之间的数据传输任务包含任务监控步骤，所述任务监控步骤包括监控任务创建以及监控任务的执行。
23.进一步的：监控任务创建步骤包括：
24.s11、前置服务接收到创建任务消息；
25.s12、判断订阅关系表中是否有此监控任务的有效记录；
26.s13、如果有，则退出，结束执行，不创建监控任务；
27.s14、如果没有，则在订阅关系表中新增监控任务记录并创建监控定时任务。
28.进一步的：监控任务的执行步骤包括：
29.s111、监控任务启动；
30.s112、连接提供方数据库；
31.s113、扫描提供方数据表中是否有新增数据，批次号值为0，可看做新增记录；
32.s114、如果新增数据量为0，则退出，结束执行；
33.s115、如果新增数据量不为0，则从数据提供登记表中获取最大批次号，给新增数据设置批次号，值为最大批次号加1；
34.s116、插入数据提供表。
35.进一步的：当需求方与资源方之间构成数据互通后，需求方与资源方之间还包括任务同步步骤，任务同步步骤包括增量任务创建以及增量任务执行。
36.进一步的：所述增量任务创建步骤包括：
37.s21、前置服务接收到创建增量任务消息；
38.s22、判断订阅关系表中是否有此订阅记录的有效记录；
39.s23、如果有，则退出，结束执行；
40.s24、如果没有，则在订阅关系表中新增订阅记录并创建同步定时任务。
41.进一步的：所述增量任务执行步骤包括：
42.s121、增量定时任务执行；
43.s122、判断是否有初始化任务；
44.s123、如果有初始化任务；
45.s124、判断初始化任务是否执行完成；
46.s125、初始化任务未完成，则退出，结束执行；
47.s126、初始化任务完成或者没有初始化任务；
48.s127、连接订阅方库；
49.s128、扫描数据接收回执表，获取接收到的最大批次号；
50.s129、连接提供方前置库；
51.s130、根据最大批次号，扫描数据提供登记表，获取满足条件的记录；
52.判断记录是否为空；
53.s131、如果为空，则退出，结束执行；
54.s132、如果不为空，插入账目表，状态为待传输。
55.s133、调用kettle服务接口；
56.s134、kettle服务扫描账目表(状态为待传输)，将账目表状态改为传输中，并登记订阅方数据接收回执表；
57.s135、构建kettle脚本；
58.s136、开始进行初始化传输，传输完成则改成传输成功；
59.s137、传输失败则改为传输失败，写入传输异常表；
60.s138、发送账目消息。
61.进一步的：一种跨网络数据共享交换的系统，包括需求发布模块、资源发布模块、资源订阅功能模块、资源审核模块、资源授权模块、网络桥接搭建模块、任务监控模块以及任务同步模块；
62.需求发布模块，该模块用于维护数据需求方相关信息，并对数据需求方所需数据进行需求发布；
63.资源发布模块，该模块用于维护数据提供方相关信息，并将资源登记在本平台；
64.资源订阅功能模块，数据需求方基于该模块在数据共享平台中浏览数据共享平台中全部已发布的资源，并对该资源进行订阅；
65.资源审核模块，该模块用于数据提供方对己方发布资源的订阅进行审核，审核通过后该资源对数据需求方授权；
66.资源授权模块，该模块用于通过密钥加密方式对资源的授权；
67.网络桥接搭建模块，该模块以数据共享平台桥接跨网络之间的数据对接方，结合数据提供方以及数据需求方节点管理，使数据实现跨网络共享交换；
68.任务监控模块，该模块用于监控指定数据库中指定表中是否有新插入数据；
69.任务同步模块，该模块用于将提供方前置机该目录资源对应的表数据定时增量传输至订阅方前置机。
70.进一步的：终端设备可以包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当终端设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如前述实施例中所述的深度学习模型训练方法的步骤。
71.进一步的：一种存储介质，该存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
72.进一步的：一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行上述所述的方法。
73.本发明的有益效果：本发明支持专网的数据共享，统一了数据安全机制，保证了数据共享的安全性和可信性，同时统一了数据对接规范，解耦了数据提供方和数据需求方的强耦合关系，通过安全机制和网络桥接机制等机制有效解决了对等机构间数据共享的诸多问题，实现数据共享利用过程可追溯，安全性强，耦合性低等优点。
附图说明
74.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
75.图1示出了本发明方法的步骤流程示意图。
76.图2示出了本发明方法中任务监控步骤流程示意图。
77.图3示出了本发明方法中任务同步步骤流程示意图。
78.图4示出了本发明系统的组成示意图。
79.图5示出了本发明终端设备的组成示意图。
具体实施方式
80.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，本发明中附图仅起到说明和描述的目的，并不用于限定本发明的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
81.另外，本发明所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
82.需要说明的是，本发明实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。还应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，还需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
83.下面结合说明书附图1-4来对本案细致描述。
84.本发明所述系统主要包括以下功能或者功能模块：
85.(1)需求方发布需求(需求发布模块)
86.平台中维护数据需求方相关信息，并对数据需求方所需数据进行需求发布，包括数据类型-库表、文件、接口，数据更新频率-月、天、小时，数据结构，数据接收节点维护，如数据库信息、文件服务器信息、接口规范等。
87.(2)提供方发布资源(资源发布模块)
88.平台中维护数据提供方相关信息，并将资源登记在本平台，包括数据类型-库表、文件、接口，数据更新频率-月、天、小时，数据结构，数据接收节点维护，如数据库信息、文件服务器信息、接口规范等。
89.(3)资源订阅(资源订阅功能模块)
90.数据需求方可在平台中浏览平台全部已发布的资源，并对该资源进行订阅，若无该类资源，可通过资源需求管理发布所需资源，等待资源提供方对该资源需求进行响应并发布相应资源，发布后可对该资源进行订阅，订阅需提供申请相关材料，如订阅方信息，订阅时间，订阅用途等。
91.(4)资源审核(资源审核模块)
92.数据提供方可对己方发布资源的订阅进行审核，审核通过后该资源对数据需求方授权，数据需求方可通过本平台获取该资源，审核内容包括订阅方信息，订阅时间，订阅用途等。
93.(5)资源授权(资源授权模块)
94.通过权限令牌，密钥加密等方式实现资源的授权，通过搭建权限验证规则，并结合区块链解决数据可信等问题；
95.所述通过密钥加密方式实现资源的授权的方法包括向平台发送授权标识获取请求；
96.其中，所述授权标识获取请求包括授权密钥；
97.所述授权密钥是通过目标加密函数对随机生成的第一字符串进行多次迭代处理，得到的密钥；
98.获取所述平台响应于所述授权标识获取请求发送的目标授权标识；
99.其中，所述目标授权标识与所述授权密钥、所述目标加密函数的标识以及所述目标迭代次数具有对应关系；
100.向所述平台发送令牌获取请求，其中，所述令牌获取请求包括所述第一字符串和所述目标授权标识；
101.在所述授权密钥与所述平台生成的密钥相同的情况下，获取所述平台响应于所述令牌获取请求发送的资源访问令牌，其中，所述平台生成的密钥是所述平台根据所述第一字符串、所述目标加密函数的标识以及所述目标迭代次数生成的密钥；
102.最后使用所述资源访问令牌从资源服务器获取目标资源信息。
103.(6)网络桥接搭建(网络桥接搭建模块)
104.以本平台桥接跨网络之间的数据对接方，结合数据提供方以及数据需求方节点管理，使数据实现跨网络共享交换，该要求需要数据提供和数据需求双方提供。
105.在本技术中，本平台(系统)用于桥接跨网络之间的数据对接方，用于解决“数据孤岛”的现象，使得不同的数据对接方可以通过本平台(系统)实现数据交换。
106.(7)监控任务(任务监控模块)
107.监控指定数据库中指定表中是否有新插入数据，如果有新插入数据，则给新插入数据生成批次号，并登记到数据提供登记表中。
108.监控任务创建步骤包括：
109.s11、前置服务接收到创建任务消息；
110.s12、判断订阅关系表中是否有此监控任务的有效记录；
111.s13、如果有，则退出，结束执行，不创建监控任务；
112.s14、如果没有，则在订阅关系表中新增监控任务记录并创建监控定时任务；
113.执行步骤包括：
114.s111、监控任务启动；
115.s112、连接提供方数据库；
116.s113、扫描提供方数据表中是否有新增数据，批次号值为0，可看做新增记录；
117.s114、如果新增数据量为0，则退出，结束执行；
118.s115、如果新增数据量不为0，则从数据提供登记表中获取最大批次号，给新增数据设置批次号，值为最大批次号加1；
119.s116、插入数据提供表。
120.(8)同步任务(任务同步模块)
121.功能：将提供方前置机该目录资源对应的表数据定时增量传输至订阅方前置机。
122.数据流向：提供方前置机
→
订阅方前置机。
123.增量任务创建步骤包括：
124.s21、前置服务接收到创建增量任务消息；
125.s22、判断订阅关系表中是否有此订阅记录的有效记录；
126.s23、如果有，则退出，结束执行；
127.s24、如果没有，则在订阅关系表中新增订阅记录并创建同步定时任务；
128.增量任务执行步骤包括：
129.s121、增量定时任务执行；
130.s122、判断是否有初始化任务；
131.s123、如果有初始化任务；
132.s124、判断初始化任务是否执行完成；
133.s125、初始化任务未完成，则退出，结束执行；
134.s126、初始化任务完成或者没有初始化任务；
135.s127、连接订阅方库；
136.s128、扫描数据接收回执表，获取接收到的最大批次号；
137.s129、连接提供方前置库；
138.s130、根据最大批次号，扫描数据提供登记表，获取满足条件的记录；
139.判断记录是否为空；
140.s131、如果为空，则退出，结束执行；
141.s132、如果不为空，插入账目表，状态为待传输。
142.s133、调用kettle服务接口；
143.s134、kettle服务扫描账目表(状态为待传输)，将账目表状态改为传输中，并登记订阅方数据接收回执表；
144.s135、构建kettle脚本；
145.s136、开始进行初始化传输，传输完成则改成传输成功；
146.s137、传输失败则改为传输失败，写入传输异常表；
147.s138、发送账目消息。
148.如图5所示，该终端设备6可以包括：处理器601、存储介质602和总线603，存储介质602存储有处理器601可执行的机器可读指令，当终端设备运行时，处理器601与存储介质
602之间通过总线603通信，处理器601执行机器可读指令，以执行时执行如前述实施例中所述的深度学习模型训练方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
149.为了便于说明，在上述终端设备中仅描述了一个处理器。然而，应当注意，一些实施例中，本发明中的终端设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。
150.以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种跨网络数据共享交换的方法，其特征在于，具体步骤包括：步骤一、需求方发布需求至数据共享平台以及资源方发布资源至数据共享平台；步骤二、需求方根据需求对数据共享平台上已经发布的资源进行订阅；步骤三、资源方对己方发布资源的订阅进行审核，并在审核通过后对该对数据需求方通过搭建权限验证规则，随后向平台令牌获取请求并基于该资源访问令牌从资源服务器获取目标资源信息；步骤四、以数据共享平台桥接跨网络之间的需求方以及资源方，实现需求方与资源方之间的数据互通。2.根据权利要求1所述的方法，其特征在于，当需求方与资源方之间构成数据互通后，数据共享平台对需求方与资源方之间的数据传输任务包含任务监控步骤，所述任务监控步骤包括监控任务创建以及监控任务的执行。3.根据权利要求2所述的方法，其特征在于，监控任务创建步骤包括：s11、前置服务接收到创建任务消息；s12、判断订阅关系表中是否有此监控任务的有效记录；s13、如果有，则退出，结束执行，不创建监控任务；s14、如果没有，则在订阅关系表中新增监控任务记录并创建监控定时任务。4.根据权利要求2所述的方法，其特征在于，监控任务的执行步骤包括：s111、监控任务启动；s112、连接提供方数据库；s113、扫描提供方数据表中是否有新增数据，批次号值为0，可看做新增记录；s114、如果新增数据量为0，则退出，结束执行；s115、如果新增数据量不为0，则从数据提供登记表中获取最大批次号，给新增数据设置批次号，值为最大批次号加1；s116、插入数据提供表。5.根据权利要求1所述的方法，其特征在于，当需求方与资源方之间构成数据互通后，需求方与资源方之间还包括任务同步步骤，任务同步步骤包括增量任务创建以及增量任务执行。6.根据权利要求5所述的方法，其特征在于，所述增量任务创建步骤包括：s21、前置服务接收到创建增量任务消息；s22、判断订阅关系表中是否有此订阅记录的有效记录；s23、如果有，则退出，结束执行；s24、如果没有，则在订阅关系表中新增订阅记录并创建同步定时任务。7.根据权利要求5所述的方法，其特征在于，所述增量任务执行步骤包括：s121、增量定时任务执行；s122、判断是否有初始化任务；s123、如果有初始化任务；s124、判断初始化任务是否执行完成；s125、初始化任务未完成，则退出，结束执行；s126、初始化任务完成或者没有初始化任务；
s127、连接订阅方库；s128、扫描数据接收回执表，获取接收到的最大批次号；s129、连接提供方前置库；s130、根据最大批次号，扫描数据提供登记表，获取满足条件的记录；判断记录是否为空；s131、如果为空，则退出，结束执行；s132、如果不为空，插入账目表，状态为待传输；s133、调用kettle服务接口；s134、kettle服务扫描账目表(状态为待传输)，将账目表状态改为传输中，并登记订阅方数据接收回执表；s135、构建kettle脚本；s136、开始进行初始化传输，传输完成则改成传输成功；s137、传输失败则改为传输失败，写入传输异常表；s138、发送账目消息。8.根据权利要求1所述的方法，其特征在于，所述授权标识获取请求包括授权密钥；所述授权密钥是通过目标加密函数对随机生成的第一字符串进行多次迭代处理，得到的密钥。9.根据权利要求1所述的方法，其特征在于，所述目标授权标识与所述授权密钥、所述目标加密函数的标识以及所述目标迭代次数具有对应关系。10.根据权利要求1所述的方法，其特征在于，在所述授权密钥与所述平台生成的密钥相同的情况下，获取所述平台响应于所述令牌获取请求发送的资源访问令牌，其中，所述平台生成的密钥是所述平台根据所述第一字符串、所述目标加密函数的标识以及所述目标迭代次数生成的密钥。11.一种跨网络数据共享交换的系统，其特征在于，包括：包括需求发布模块、资源发布模块、资源订阅功能模块、资源审核模块、资源授权模块、网络桥接搭建模块、任务监控模块以及任务同步模块；需求发布模块，该模块用于维护数据需求方相关信息，并对数据需求方所需数据进行需求发布；资源发布模块，该模块用于维护数据提供方相关信息，并将资源登记在本平台；资源订阅功能模块，数据需求方基于该模块在数据共享平台中浏览数据共享平台中全部已发布的资源，并对该资源进行订阅；资源审核模块，该模块用于数据提供方对己方发布资源的订阅进行审核，审核通过后该资源对数据需求方授权；资源授权模块，该模块通过搭建权限验证规则，并通过以向平台发送授权标识获取请求的密钥加密方式对资源的授权；网络桥接搭建模块，该模块以数据共享平台桥接跨网络之间的数据对接方，结合数据提供方以及数据需求方节点管理，使数据实现跨网络共享交换；任务监控模块，该模块用于监控指定数据库中指定表中是否有新插入数据；任务同步模块，该模块用于将提供方前置机该目录资源对应的表数据定时增量传输至
订阅方前置机。12.一种终端设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述终端设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至10任一项所述的方法的步骤。13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至10任一项所述的方法的步骤。14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-10中任一项所述的方法。

技术总结
本发明提供了一种跨网络数据共享交换的方法及其系统，涉及计算机系统领域，本发明通过资源方对己方发布资源的订阅进行审核，并在审核通过后对该对数据需求方进行授权；所述的授权方法包括通过密钥加密等方式实现资源的授权，并通过搭建权限验证规则，并结合区块链解决数据可信等问题，本发明支持专网的数据共享，统一了数据安全机制，保证了数据共享的安全性和可信性，同时统一了数据对接规范，解耦了数据提供方和数据需求方的强耦合关系，通过安全机制和网络桥接机制等机制有效解决了对等机构间数据共享的诸多问题，实现数据共享利用过程可追溯，安全性强，耦合性低等优点。耦合性低等优点。耦合性低等优点。


技术研发人员：杨浩
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2023.06.13
技术公布日：2023/8/23