通过和围绕数据目录到已注册数据源的受管理的数据库连通性(GDBC)的制作方法

未命名 07-14 阅读:56 评论:0

通过和围绕数据目录到已注册数据源的受管理的数据库连通性(gdbc)
技术领域
1.本发明总体涉及用于数据处理的方法、系统和计算机程序产品。更具体地,本发明涉及用于实现针对通过和围绕数据目录到已注册数据源的连接的数据治理(data governance)的方法、系统和计算机程序产品。


背景技术:

2.数据治理是组织遵循的以便确保高质量数据在数据的整个生命周期中存在的经定义的过程。数据治理的关键焦点领域包括可利用性、可用性、完整性和安全性。这包括建立确保重要数据资产在整个企业中被正式管理并且数据可被信任用于决策的过程。
3.数据治理的关键部分与建立和维护定义如何实现数据治理策略的治理规则有关。例如,一些治理规则基于数据类来定义治理策略。数据类描述在数据资产(诸如数据字段或表列)中包含的数据的类型。数据类的一些示例包括社会安全号(ssn)、信用卡号、出生日期等。
4.例如,数据治理策略可陈述:“如果数据资产包含其数据分类是具有至少75%的置信度的社会安全号的列,则应记录对该列的所有访问。”数据分类的置信度是指该列中的数据属于该数据类的百分比。换言之,上述规则规定如果列中的数据的至少75%是ssn类型,则应记录对该数据资产的所有访问。
5.数据资产用于表示数据。数据资产的示例包括关系数据库中的表、对象存储中的文件、或存储javascript对象表示法(json)数据的数据库。数据源可以是关系数据库或对象存储,并且可以包含多个数据资产。目录是存储关于数据资产的信息的元数据储存库。通常,每当数据资产被添加到目录时,对数据资产进行剖析。作为剖析过程的一部分,对于每一列标识数据类。被添加到目录中的数据资产可以是例如数据库或外部系统中的文件。因此,这些数据源将被评估以确定治理规则应当如何被应用于其中的数据。


技术实现要素:

6.说明性实施例提供了针对通过和围绕数据目录到已注册数据源的连接的数据治理。实施例包括:在数据库连通性(dbc)层接收访问数据源的数据的请求,其中,数据源被注册到包括数据治理三门的数据目录,并且其中,经由绕过数据目录的连接进行该请求。实施例还包括:由在dbc层的治理管理器比较用于与请求相关联的凭证的访问权限级别和被包括在治理工件(governance artifact)的数据保护规则中的所请求的数据的访问要求。实施例还包括:由治理管理器掩蔽响应于请求而提供的数据的一部分,其中,数据的该部分具有用于与请求相关联的凭证的访问权限级别未满足的访问要求。该方面的其他实施例包括对应的在一个或多个计算机存储设备上记录的计算机系统、装置和计算机程序,其每一个被配置为执行实施例的动作。
7.实施例包括一种计算机可用程序产品。计算机可用程序产品包括计算机可读存储
介质和存储在存储介质上的程序指令。
8.实施例包括一种计算机系统。计算机系统包括处理器、计算机可读存储器、计算机可读存储介质、以及存储在存储介质上以供处理器经由存储器执行的程序指令。
附图说明
9.在所附的权利要求中阐述了被认为是本发明特征的新颖特征。然而,当结合附图阅读时,通过参考说明性实施例的以下详细描述,将最好地理解本发明本身以及其优选的使用模式、进一步的目的和优点,其中:
10.图1描绘了根据本发明的实施例的云计算环境;
11.图2描绘了根据本发明实施例的抽象模型层;
12.图3描绘了根据说明性实施例的包括数据目录系统的示例服务基础设施的框图;
13.图4描绘了根据说明性实施例的示例数据治理环境的框图;
14.图5描绘了根据说明性实施例的示例数据目录系统的框图;
15.图6描绘了根据说明性实施例的示例gdbc的框图;以及
16.图7描绘了根据说明性实施例的用于实现针对通过和围绕数据目录到已注册数据源的连接的数据治理的示例过程的流程图。
具体实施方式
17.数据治理是组织遵循的以便确保高质量数据在数据的整个生命周期中存在的所定义的过程。数据治理的关键焦点领域包括可利用性、可用性、完整性和安全性。这包括建立确保重要的数据资产在整个企业中被正式管理并且数据可被信任用于决策的过程。
18.说明性实施例提供了针对通过和围绕数据目录到已注册数据源的连接的数据治理。数据管理平台或数据库系统的实施例包括数据目录和数据库连通性(dbc)层。在一些这种实施例中,数据库连通性层包括数据治理功能,并且可以被称为受管理的数据库连通性(gdbc)层。一些这种实施例包括在dbc层接收访问数据源的数据的请求,其中,数据源被注册到包括数据治理工件的数据目录,并且其中,经由绕过数据目录的连接进行该请求。在一些实施例中,治理工件被存储在数据目录中的javascript对象表示法(json)文档中。
19.在一些实施例中,请求源自应用,并且其中,该方法进一步包括在应用与dbc层之间建立应用编程接口(api)连接。在一些这种实施例中,该方法还包括在api连接中建立应用与dbc层之间的套接字连接。在一些这种实施例中,api包括用于建立api连接的dbc驱动器。dbc驱动器可以是开放数据库连通性(odbc)驱动器。在一些这种实施例中,该方法还包括由dbc驱动器从数据源检索所请求的数据。
20.实施例还包括由在dbc层的治理管理器(例如,gdbc的治理管理器)比较用于与请求相关联的凭证的访问权限级别和被包括在治理工件的数据保护规则中的所请求的数据的访问要求。在一些实施例中,如果访问权限级别允许访问所有所请求的数据,则gdbc根据在数据目录中定义的访问控制,响应于请求而返回所请求的数据。另一方面,如果访问权限级别不允许访问所有所请求的数据,则gdbc掩蔽或拒绝访问未经授权的数据,如由来自数据目录系统的治理工件所定义的。例如,在一些实施例中,如果访问权限级别缺少对访问(一个或多个)特定数据元素的授权但是包括对其他数据元素的授权,则gdbc将掩蔽未经授
权的数据元素,并且将响应于请求而传递剩余的经授权的数据元素。如果访问权限级别不允许对所请求的数据的(一个或多个)数据元素中的任一个数据元素的授权访问,则gdbc将拒绝对数据资产的访问。
21.在一些实施例中,该过程还包括在数据目录中生成日志条目,该日志条目报告并充当数据请求的记录,例如用于合规和审计目的,并且包括访问数据的请求包括未经授权的访问请求的报告(如果适用)。日志和日志条目的确切内容和格式可以取决于实现而变化。例如,日志条目可以包括诸如请求者的用户名、请求的日期和时间、目标(即,所请求的数据)、所执行的动作(所请求的数据被返回、所请求的数据被部分返回和部分屏蔽、请求被拒绝等)、任何未授权请求的指示等信息。
22.在一些实施例中,gdbc还提供从数据源到数据目录的数据资产的自动同步。例如,在一些实施例中,gdbc检测在数据源中是否存在新的数据资产或数据资产的变化,并且如果检测到,则gdbc自动地将新的或经修改的数据资产与数据目录同步。因此,在一些实施例中,该过程进一步包括由治理管理器检测访问数据的请求包括未向数据目录注册的新数据。在一些这种实施例中,该过程包括由治理管理器将新数据与数据目录自动同步,其中,该同步包括生成新数据的元数据并将元数据存储在数据目录中。
23.为了描述的清楚起见,并且不暗示对其的任何限制,使用一些示例配置来描述说明性实施例。根据本公开,本领域普通技术人员将能够设想用于实现所描述的目的的所描述的配置的许多改变、适配和修改,并且在说明性实施例的范围内设想相同的改变、适配和修改。
24.此外,在附图和说明性实施例中使用了数据处理环境的简化图。在实际的计算环境中,在不脱离说明性实施例的范围的情况下,可存在本文未示出或描述的额外结构或组件,或者不同于所示的但用于与本文所述的类似功能的结构或组件。
25.此外,仅作为实例,针对特定的实际或假设的组件描述说明性实施例。例如,各种说明性实施例所描述的步骤可以被适配成用于提供针对机器学习分类器模型所做出的决策的解释。
26.这些和其他类似产物的任何特定表现并不旨在限制本发明。在说明性实施例的范围内,可以选择这些和其他类似产物的任何合适的表现。
27.本公开中的示例仅用于描述的清楚,并且不限于说明性实施例。在此列出的任何优点仅是示例,并且不旨在限制说明性实施例。通过具体的说明性实施例可以实现另外的或不同的优点。此外,特定说明性实施例可具有上文所列的优点中的一些、全部或无优点。
28.此外,可以相对于任何类型的数据、数据源或通过数据网络对数据源的访问来实现说明性实施例。在本发明的范围内,任何类型的数据存储设备可以在数据处理系统本地或通过数据网络将数据提供给本发明的实施例。在说明性实施例的范围内,在使用移动设备描述实施例的情况下,适合于与移动设备一起使用的任何类型的数据存储装置可在移动设备本地或通过数据网络将数据提供给这种实施例。
29.使用具体代码、对比解释、计算机可读存储介质、高级特征、训练数据、设计、架构、协议、布局、示意图、以及工具描述示例性实施方式仅仅是作为示例,并且不限制示例性实施例。此外,为了描述的清楚,在一些实例中使用特定软件、工具和数据处理环境描述说明性实施例仅仅是作为示例。说明性实施例可以结合其他可比较的或相似目的的结构、系统、
应用或架构使用。例如,在本发明的范围内,其他可比较的移动设备、结构、系统、应用或架构因此可以结合本发明的这种实施例使用。说明性实施例可以在硬件、软件或其组合中实现。
30.本公开中的示例仅用于描述的清楚,并且不限制说明性实施例。将可从本公开设想附加的数据、操作、动作、任务、活动和操纵,并且在说明性实施例的范围内设想相同的数据、操作、动作、任务、活动和操纵。
31.在此列出的任何优点仅仅是示例,并且不旨在限制说明性实施例。通过具体的说明性实施例可以实现另外的或不同的优点。此外,特定说明性实施例可具有上文所列的优点中的一些、全部或无优点。
32.应当理解,尽管本公开包括关于云计算的详细描述,但是本文所记载的教导的实现不限于云计算环境。相反,本发明的实施例能够结合现在已知或以后开发的任何其它类型的计算环境来实现。
33.云计算是一种服务交付模型,用于实现对共享的可配置计算资源(例如,网络、网络带宽、服务器、处理、存储器、存储、应用、vm和服务)池的方便、按需的网络访问,可配置计算资源可以以最小的管理成本或与服务提供商进行最少的交互来快速供应和释放。这种云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
34.特性如下:
35.按需自助式服务:云的消费者可以单方面自动地按需提供计算能力(诸如服务器时间和网络存储),而无需与服务提供者进行人工交互。
36.广泛的网络接入:能力在网络上可用并通过促进异构的瘦或厚客户端平台(例如,移动电话、膝上型计算机和pda)的使用的标准机制来接入。
37.资源池:提供商的计算资源被归入资源池以使用多租户模型来服务多个消费者,其中不同的物理和虚拟资源根据需求被动态地分配和再分配。一般情况下,消费者不能控制或不知道所提供的资源的确切位置,但是可以在较高抽象程度上指定位置(例如国家、州或数据中心),因此具有位置无关性。
38.迅速弹性:可以迅速且有弹性地(在一些情况下自动地)提供能力以快速向外扩展并被迅速释放以快速缩小。对于消费者,可用于提供的能力通常看起来是无限的,并可以在任何时间以任何数量购买。
39.可测量的服务:云系统通过利用在适于服务类型(例如,存储、处理、带宽和活动用户账户)的某一抽象程度的计量能力,自动地控制和优化资源使用。可以监视、控制和报告资源使用情况,为所利用的服务的提供者和消费者双方提供透明度。
40.服务模型如下:
41.软件即服务(saas):向消费者提供的能力是使用提供者在云基础架构上运行的应用。可通过诸如网络浏览器的瘦客户机接口(例如,基于网络的电子邮件)来从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置以外,消费者既不管理也不控制包括网络、服务器、操作系统、存储、或甚至单个应用能力等的底层云基础架构。
42.平台即服务(paas):向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用,这些应用是使用由提供商支持的编程语言和工具创建的。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构,但对其部署的应用具有控制
权,对应用托管环境配置可能也具有控制权。
43.基础架构即服务(iaas):向消费者提供的能力是提供消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其它基础计算资源。消费者既不管理也不控制底层云基础架构,但对操作系统、存储、所部署的应用具有控制权,对所选择的网络组件(例如,主机防火墙)可能具有有限的控制权。
44.部署模型如下:
45.私有云:云基础架构单独为某个组织运行。它可以由该组织或第三方管理,并且可以存在于该组织内部或外部。
46.共同体云:云基础架构被若干组织共享,并支持具有共同利害关系(例如,任务、安全要求、政策和合规考虑)的特定共同体。它可以由该组织或第三方管理,并且可以存在于该组织内部或外部。
47.公共云:云基础架构可用于一般公众或大型产业群,并由销售云服务的组织拥有。
48.混合云:云基础架构由两个或更多云(私有云、共同体云或公共云)组成,这些云依然是独特实体,但是通过使数据和应用能够移植的标准化技术或私有技术(例如,用于云之间的负载平衡的云突发)绑定在一起。
49.云计算环境是面向服务的,特点集中在无状态性、低耦合性、模块性和语义的互操作性。计算的核心是包括互连节点网络的基础架构。
50.参见图1,该图示出了云计算环境50。如图所示,云计算环境50包括包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点10,本地计算设备例如个人数字助理(pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n。节点10可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中,诸如上文所描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境50提供基础架构即服务、平台即服务和/或软件即服务,而云消费者不需要为其在本地计算设备上维护资源。应当理解,图1中所示的计算设备54a-n的类型旨在仅仅是说明性的,计算节点10和云计算环境50可以在任何类型的网络和/或网络可寻址连接上(例如,使用网络浏览器)与任何类型的计算机化设备通信。
51.参考图2,该图描绘了由云计算环境50(图1)提供的一组功能抽象层。应提前理解,图2中所示的组件、层和功能旨在仅仅是说明性的,并且本发明的实施例不限于此。如所描述的,提供了以下层和对应功能:
52.硬件和软件层60包括硬件和软件组件。硬件组件的示例包括:大型机61;基于risc(精简指令集计算机)架构的服务器62;服务器63;刀片服务器64;存储设备65;以及网络和联网组件66。在一些实施例中,软件组件包括网络应用服务器软件67和数据库软件68。
53.虚拟化层70提供抽象层,从该抽象层可以提供虚拟实体的以下示例:虚拟服务器71;虚拟存储72;虚拟网络73,包括虚拟专用网络;虚拟应用程序和操作系统74;以及虚拟客户端75。
54.在一个示例中,管理层80可以提供以下描述的功能。资源供应功能81提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取。计量和定价功能82提供对在云计算环境中使用资源的成本跟踪,并为这些资源的消耗提供账单或发票。在一个示例中,这些资源可以包括应用软件许可。安全功能为云消费者和任务提供身份验证,并为数据和其
他资源提供保护。用户门户功能83为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84提供云计算资源分配和管理,以满足所需的服务水平。服务水平协议(sla)计划和履行功能85提供对根据sla针对其预测未来需求的云计算资源的预安排和采购。
55.工作负载层90提供了可以利用云计算环境的功能的示例。在该层中,可提供的工作负载和功能的示例包括:地图绘制和导航91;软件开发及生命周期管理92;虚拟教室的教学提供93;数据分析处理94;交易处理95;以及在本公开的说明性实施例的上下文中,用于使用训练验证的机器学习处理的各种工作负载和功能96。此外,用于数据治理处理的工作负载和功能96可以包括如本文所描述的诸如数据编目录和数据库管理之类的操作。在一些实施例中,用于数据治理处理的工作负载和功能96还结合不同抽象层的其他部分工作,例如在硬件和软件60、虚拟化70、管理80和其他工作负载90(诸如数据分析处理94)中的那些部分,以实现所公开的实施例的不同目的。
56.参考图3,该图描绘了根据说明性实施例的包括数据目录系统306的示例服务基础设施300的框图。在一些实施例中,数据目录系统306被部署在图2的工作负载层90中。作为示例,在一些实施例中,数据目录系统306被实现为图2中的机器学习处理96。
57.在所示的实施例中,服务基础设施300向用户设备308提供服务和服务实例。用户设备308经由api网关302与服务基础设施300通信。在各种实施例中,服务基础设施300及其相关联的数据目录系统306为多个用户和多个租户服务。租户是共享具有对软件实例的特定权限的公共访问的一组用户(例如,公司)。服务基础设施300确保租户特定数据与其他租户隔离。
58.在一些实施例中,用户设备308经由任何合适的网络或网络组合(例如,互联网等)与api网关302连接,并且使用任何合适的通信协议(例如,wi-fi、蓝牙等)。可以基于云计算建立服务基础设施300。api网关302提供对诸如数据目录系统306的客户端应用的访问。api网关302接收由客户端应用发出的服务请求,并基于服务请求来创建服务查找请求。作为非限制性示例,在实施例中,用户设备308是执行访问例程以响应于所感测到的访问卡来确定是否准许访问工作空间的读卡器设备。
59.在所示的实施例中,服务基础设施300包括服务注册表304。在一些实施例中,服务注册表304响应于服务查找请求(诸如响应于来自用户设备308的服务请求而来自api网关302的一个服务查找请求)来查找数据目录系统306的服务实例。例如,在一些实施例中,服务注册表304响应于来自用户设备308的与访问由数据目录系统306索引的数据相关的请求来查找数据目录系统306的服务实例。
60.在一些实施例中,请求源自用户设备308上的应用,用户设备308在应用与数据目录系统306或其dbc层(例如,图4的gdbc 414)之间建立api连接。在一些这种实施例中,该方法还包括:在api连接中在用户设备308与数据目录系统306或其dbc层之间建立套接字连接。在一些这种实施例中,api包括用于建立api连接的dbc驱动器。dbc驱动器可以是开放数据库连通性(odbc)驱动器。在一些这种实施例中,用户设备308经由dbc驱动器连接到数据源。
61.在一些实施例中,服务基础设施300包括数据目录系统306的一个或多个实例。在一些这种实施例中,数据目录系统306的多个实例中的每个实例在多个计算系统上独立运行。在一些这种实施例中,数据目录系统306以及数据目录系统306的其他服务实例被注册
在服务注册表304中。
62.在一些实施例中,服务注册表304维护关于每个服务实例的状态或健康的信息,包括与每个服务实例相关联的性能信息。例如,这样的性能信息可以包括给定服务实例的若干类型的性能特性(例如,高速缓存度量等)。在一些实施例中,扩展服务注册表304基于服务实例的相应性能特性来对服务实例进行排序,并针对分类请求选择排名最高的服务实例。在一些这种实施例中,在服务实例变得不响应或不健康的情况下,服务注册表将不再向其他服务提供它的地址或关于该服务实例的信息。
63.参考图4,该图描绘了根据说明性实施例的示例数据治理环境400的框图。在特定实施例中,数据治理环境400是用于图1的数据治理处理的工作负载和功能96的实例。
64.在一些实施例中,数据治理环境400包括数据目录系统402,其包括治理工件404和技术资产(元数据)406。在一些实施例中,数据目录402是组织中的一些或所有数据资产的详细清单,并且可以被提供以帮助数据专业人员快速找到用于任何分析或商业目的的最适合的数据。
65.在一些实施例中,技术资产406包括用于创建组织的数据资产的信息化可搜索清单的元数据(描述或概述数据的数据)。在所示的实施例中,数据目录402还包括治理工件404,其可以是业务元数据的形式。
66.在所示的实施例中,治理工件404包括治理策略、治理规则、数据保护规则、商务术语表、数据规则、数据分类等。这些通常由组织创建,以使得数据资产可被更好地管理、维护、保护、可视化和报告(例如,出于审计和/或合规目的)。
67.在所示的实施例中,数据目录系统402与治理数据库连通性模块416(也被更简单地称为gdbc 416)以及一个或多个数据源418通信。gdbc416提供数据库驱动器和数据治理功能。理想地,用户设备和应用(诸如用户设备408和应用410)经由数据目录402访问组织的数据。这允许治理工件404强制执行治理策略和规则以尝试访问数据。
68.在一些情况下,用户设备和应用(诸如用户设备412和应用414)可尝试直接(即,不经过数据目录系统402)访问外部数据源。然而,这样的访问将由于数据治理功能与gdbc 416中的数据库驱动器集成而仍然受到数据治理。
69.参见图5,该图描绘了根据说明性实施例的示例数据目录系统500的框图。在特定实施例中,数据目录系统500是图4的数据目录系统402的示例。数据目录系统500还包括作为图4的治理工件404的示例的治理工件502,并且包括作为图4的技术资产406的示例的技术资产(元数据)504。
70.在所示的实施例中,治理工件502包括若干类别的策略、规则和其他管理元素,诸如治理策略、治理规则、参考数据、元数据同步策略、商业术语、分类、数据保护规则、数据类,以及用于诸如将商业术语分配给资产、敏感数据的分类和敏感数据的保护之类的事情的过程。例如,分类是可以用于基于组织的敏感度或机密性级别来对数据资产进行分类的治理工件。分类可以像标签一样被用于控制组织中的资产的分组。与包括用于匹配数据值的逻辑的数据类不同,分类更像标签。分类的示例可以包括个人可识别的信息、敏感信息和机密信息。在实际实现中,组织可保持、改变或添加与该组织相关的分类。
71.例如,组织可根据其自身的公司数据安全指南来创建受限数据、私人数据和公共数据的分类。为了保护高度敏感的数据,组织可以在治理工件502中创建数据保护规则,以
基于数据资产的分类和用户的授权级别来阻止一些用户访问某些数据资产。
72.在一些实施例中,在数据目录系统500中,分类可以描述整个数据资产的敏感度,以帮助目录成员理解资产。组织可以使用分类来描述商业术语、数据类、参考数据集和治理规则。在一些实施例中,当数据目录系统500索引新的数据资产或与新的数据资产同步时,数据目录系统500自动地剖析数据类,并将数据类分配给新的数据资产。
73.在一些实施例中,资产分类和数据类被包括在治理工件502的数据保护规则中以识别要控制的数据的类型。治理工件502还可以允许通过将资产分类和数据类与商业术语表相关联来对它们进行重命名。
74.在一些实施例中,技术资产504包括关于数据源(诸如(一个或多个)数据源510)的元数据,采用导入的元数据、质量记分卡、和/或知识储存库的形式。这些资产可以使用自助服务506经由数据目录系统500来访问,例如以搜索和找到相关数据、用于工作流和协作、以及用于自助服务数据准备。这些资产还可使用数据消费者508经由数据目录系统500来访问,诸如数据虚拟化、用户报告或sql访问和数据流。访问由gdbc 512使用治理工件502来管理。此外,当用户设备514尝试访问外部数据源510而不经过数据目录系统500时,gdbc 512治理对外部数据源510的访问。
75.说明性实施例提供针对通过和围绕数据目录500到已注册数据源510的连接的数据治理。实施例包括在数据库连通性(dbc)层(例如gdbc512)接收访问数据源510的数据的请求,其中,数据源被注册到包括数据治理工件502的数据目录500,并且其中,经由绕过数据目录500的连接(例如,绕过数据目录500从用户设备514到数据源510的连接)进行请求。在一些实施例中,治理工件502被存储在数据目录500中的javascript对象表示法(json)文档中。
76.参考图6,该图描绘了根据说明性实施例的示例gdbc 600的框图。在特定实施例中,gdbc 600是图5的gdbc 512或图4的gdbc 416的示例。gdbc 600与数据目录系统610通信,该数据目录系统610是图5的数据目录系统500或图4的数据目录系统402的示例。
77.在所示的实施例中,gdbc 600包括治理管理器602、(一个或多个)数据源608的驱动器604和数据库驱动器606。在实施例中,治理管理器602使用治理工件612来提供数据隐私实施、数据保护实施和一般治理策略标准,诸如授权或拒绝对来自数据源608的数据的请求。驱动器管理器604和数据库驱动器606允许数据目录610与数据源608连接,例如以更新/同步技术资产614。驱动器管理器604提供在dbc层的治理管理器602、用于与请求相关联的凭证的访问权限级别、被包括在治理工件的数据保护规则中的所请求的数据的访问要求之间的连接。实施例还包括由治理管理器602掩蔽响应于请求而提供的数据的一部分,其中,数据的该部分具有用于与请求相关联的凭证的访问权限级别未满足的访问要求。在一些实施例中,该过程还包括在数据目录中生成日志条目,该日志条目充当数据请求的记录,例如用于合规和审计的目的,并且包括访问数据的请求包括未经授权的访问请求的报告(如果适用)。日志和日志条目的确切内容和格式可以取决于实现而变化。例如,日志条目可以包括诸如请求者的用户名、请求的日期和时间、目标(即,所请求的数据)、所执行的动作(所请求的数据被返回、所请求的数据被部分返回和被部分屏蔽、请求被拒绝等)、任何未经授权的请求的指示等信息。
78.在一些实施例中,该过程还包括由治理管理器602检测访问数据的请求包括未向
数据目录注册的新数据。在一些这种实施例中,该过程包括由治理管理器将新数据与数据目录自动同步,其中,同步包括生成新数据的元数据并将元数据存储在数据目录中。
79.参考图7,该图描绘了根据说明性实施例的用于实现针对通过和围绕数据目录到已注册数据源的连接的数据治理的示例过程700的流程图。在特定实施例中,gdbc 416、512或600执行过程700。
80.在实施例中,在框702处,该过程在数据库连通性(dbc)层接收经由绕过数据目录的连接来访问数据源的数据的请求。接下来,在框704处,该过程通过在dbc层的治理管理器来比较用于与请求相关联的凭证的访问权限级别和所请求的数据的访问要求。接下来,在框706处,该过程例如基于来自框704的凭证的访问权限级别来确定数据请求是否包括未经授权的请求。
81.如果没有检测到授权缺陷(来自框706的“否”),则该过程继续到框707,其中,gdbc根据在数据目录中定义的访问控制,响应于请求而传递所请求的数据。另一方面,如果检测到未经授权的数据请求(来自框706的“是”),则该过程继续到框708,其中,gdbc掩蔽或拒绝对未经授权的数据的访问,如由来自数据目录系统的治理工件所定义的。例如,在一些实施例中,如果访问权限级别缺少对访问(一个或多个)特定数据元素的授权但是包括对其他数据元素的授权,则gdbc将掩蔽未经授权的数据元素,并将响应于请求而传递剩余的经授权的数据元素。如果访问权限级别不允许对所请求的数据的(一个或多个)数据元素中的任一个的授权访问,则gdbc将拒绝对数据资产的访问。
82.接下来,在框710,该过程在数据目录中生成日志条目,该日志条目充当数据请求的记录,例如用于合规和审计的目的,并且包括访问数据的请求包括未经授权的访问请求的报告(如果适用)。接下来,在框712,该过程确定数据请求是否引用未向数据目录注册的数据。如果是,则在框714,该过程自动地将新数据与数据目录同步。
83.以下定义和缩写将用于解释权利要求书和说明书。如在此所使用的,术语“包括”、“包含”、“具有”、或“含有”、或其任何其他变体旨在涵盖非排他性的包括。例如,包括一系列元素的组合物、混合物、工艺、方法、物品或装置不必仅限于那些元素,而是可以包括未明确列出的或这种组合物、混合物、工艺、方法、物品或设备固有的其他元素。
84.此外,术语“说明性的”在本文中用于表示“用作示例、实例或例证”。在此被描述为“说明性的”任何实施例或设计不一定被解释为是比其他实施例或设计优选的或有利的。术语“至少一个”和“一个或多个”应被理解为包括大于或等于一的任何整数,即,一、二、三、四等。术语“多个”应被理解为包括大于或等于二的任何整数,即,二、三、四、五等。术语“连接”可包括间接“连接”和直接“连接”。
85.说明书中提及“一个实施例”、“实施例”、“示例性实施例”等表明所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可以包括或可以不包括该特定特征、结构或特性。此外,这样的短语不一定是指相同的实施例。进一步地,当结合实施例描述特定特征、结构或特性时,认为结合其他实施例(无论是否明确描述)影响这样的特征、结构或特性在本领域技术人员的知识范围内。
86.术语“约”、“基本上”、“大致”及其变型旨在包括与基于提交本技术时可用的设备的特定量的测量相关联的误差程度。例如,“约”可以包括给定值的
±
8%或5%或2%的范围。
87.已经出于说明的目的呈现了本发明的各种实施例的描述,但该描述并不旨在是穷尽的或者限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下,许多修改和变化对本领域普通技术人员将是显而易见的。本文所使用的术语被选择以最好地解释实施例的原理、实际应用或优于在市场中发现的技术的技术改进,或者使得本领域普通技术人员能够理解本文描述的实施例。
88.已经出于说明的目的呈现了本发明的各种实施例的描述,但该描述并不旨在是穷尽的或者限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下,许多修改和变化对本领域普通技术人员将是显而易见的。本文所使用的术语被选择以最好地解释实施例的原理、实际应用或优于在市场中发现的技术的技术改进,或者使得本领域普通技术人员能够理解本文描述的实施例。
89.因此,在说明性实施例中提供了用于管理在线社区的参与和其他相关特征、功能或操作的计算机实现的方法、系统或装置以及计算机程序产品。在关于设备的类型描述实施例或其部分时,计算机实现的方法、系统或设备、计算机程序产品或其部分适于或被配置用于与该类型的设备的合适且可比较的表现一起使用。
90.在实施例被描述为在应用中实现的情况下,在说明性实施例的范围内设想在软件即服务(saas)模型中传递应用。在saas模型中,通过在云基础设施中执行应用来向用户提供实现实施例的应用的能力。用户可通过诸如网络浏览器(例如,基于网络的电子邮件)或其他轻量级客户端应用之类的瘦客户端接口使用各种客户端设备来访问应用。用户不管理或控制包括云基础设施的网络、服务器、操作系统或存储的底层云基础设施。在一些情况下,用户可能甚至不管理或控制saas应用的能力。在一些其他情况下,应用的saas实现可允许有限的用户特定应用配置设置的可能异常。
91.本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括在其上具有计算机可读程序指令的(一个或多个)计算机可读存储介质,该计算机可读程序指令用于使处理器执行本发明的各方面。
92.计算机可读存储介质可以是可保持并存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或前述存储设备的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下:便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、诸如在上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码设备、以及上述设备的任何适当的组合。如本文所使用的计算机可读存储介质不应被解释为是暂时性信号本身,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,通过光纤线缆的光脉冲)、或通过导线传输的电信号。
93.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备,或者经由网络(例如互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令,并转发计算机可读程序指令以存储在相应计算/处理设备内的
计算机可读存储介质中。
94.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或者以一种或多种编程语言(包括面向对象的编程语言,例如smalltalk、c++等)和过程编程语言(例如“c”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立的软件包执行、部分在用户的计算机上并且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种场景下,远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机,或者可以连接到外部计算机(例如,使用互联网服务提供商通过互联网)。在一些实施例中,包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化,以便执行本发明的各方面。
95.在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解,流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
96.这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,以使得经由计算机或其他可编程数据处理装置的处理器而执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中,其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作,已使得在其中存储有指令的计算机可读存储介质包括制品,该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
97.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上,以使一系列操作步骤将在计算机、其他可编程装置或其他设备上执行,以产生计算机实现的过程,以使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
98.附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上,流程图或框图中的每个框可以表示指令的模块、段或部分,其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中,框中所注明的功能可不按图中所注明的次序发生。例如,连续示出的两个框实际上可以基本上同时执行,或者这些框有时可以以相反的顺序执行,这取决于所涉及的功能。还将注意,框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
99.本发明的实施例还可作为与客户公司、非盈利组织、政府实体、内部组织结构等的服务参与的一部分来传递。这些实施例的各方面可以包括配置计算机系统以执行和部署实现本文所描述的一些或所有方法的软件、硬件和网络服务。这些实施例的各方面还可包括分析客户端的操作、响应于分析而创建推荐、构建实现推荐的各部分的系统、将系统合并到现有的过程和基础设施中、系统的计量使用、向系统的用户分配花费和对系统的使用记账。
虽然通过分别陈述它们各自的优点描述了本发明的上述实施例,但是本发明不限于它们的特定组合。相反,这样的实施例也可以根据本发明的预期部署以任意方式和数量组合,而不损失其有益效果。

技术特征:
1.一种计算机实现的方法,包括:在数据库连通性dbc层接收访问数据源的数据的请求,其中,所述数据源被注册到包括数据治理工件的数据目录,并且其中,经由绕过所述数据目录的连接进行所述请求;由在所述dbc层的治理管理器比较用于与所述请求相关联的凭证的访问权限级别和被包括在所述治理工件的数据保护规则中的所请求的数据的访问要求;以及由所述治理管理器掩蔽响应于所述请求而提供的所述数据的一部分,其中,所述数据的所述部分具有用于与所述请求相关联的所述凭证的所述访问权限级别未满足的访问要求。2.根据权利要求1所述的方法,进一步包括:生成日志条目,所述日志条目包括访问数据的所述请求包括未经授权的访问请求的报告。3.根据权利要求1所述的方法,进一步包括:由所述治理管理器检测访问数据的所述请求包括未向所述数据目录注册的新数据。4.根据权利要求3所述的方法,进一步包括:由所述治理管理器将所述新数据与所述数据目录自动同步,其中,所述同步包括:生成所述新数据的元数据,以及将所述元数据存储在所述数据目录中。5.根据权利要求1所述的方法,其中,所述请求源自应用,并且其中,所述方法进一步包括:在所述应用与所述dbc层之间建立应用编程接口api连接。6.根据权利要求5所述的方法,进一步包括:在所述api连接中建立所述应用与所述dbc层之间的套接字连接。7.根据权利要求6所述的方法,其中,所述api包括用于建立所述api连接的dbc驱动器。8.根据权利要求7所述的方法,其中,所述dbc驱动器是开放数据库连通性(odbc)驱动器。9.根据权利要求7所述的方法,进一步包括:由所述dbc驱动器从所述数据源检索所请求的数据。10.根据权利要求1所述的方法,其中,所述治理工件被存储在所述数据目录中的javascript对象表示法(json)文档中。11.一种计算机程序产品,所述计算机程序产品包括一个或多个计算机可读存储介质以及共同存储在所述一个或多个计算机可读存储介质上的程序指令,所述程序指令可由一个或多个处理器执行以使所述一个或多个处理器执行根据权利要求1至10中任一项所述的方法的操作。12.一种计算机系统,包括:一个或多个处理器和一个或多个计算机可读存储介质,以及共同存储在所述一个或多个计算机可读存储介质上的程序指令,所述程序指令可由所述一个或多个处理器执行以使所述一个或多个处理器执行根据权利要求1至10中任一项所述的方法的操作。13.一种数据管理平台,包括:一个或多个处理器;一个或多个计算机可读存储介质;以及共同存储在所述一个或多个计算机可读存储介质上的程序指令,所述程序指令可由一个或多个处理器执行以使所述一个或多个处理器执行操作,所述操作包括:
在数据库连通性(dbc)层接收访问数据源的数据的请求,其中,所述数据源被注册到包括数据治理工件的数据目录,并且其中,经由绕过所述数据目录的连接进行所述请求;由在所述dbc层的治理管理器确定用于与所述请求相关联的凭证的访问权限级别是否满足所请求的数据的访问要求,所述访问要求被包括在所述治理工件的数据保护规则中;以及响应于确定所述访问权限级别未能满足所述访问要求,由所述治理管理器拒绝访问所述数据的所述请求。14.根据权利要求13所述的数据管理平台,其中,所述操作进一步包括:生成日志条目,所述日志条目包括访问数据的所述请求包括未经授权的访问请求的报告。15.一种受管理的数据库连通性gdbc层,包括:一个或多个处理器;一个或多个计算机可读存储介质;以及共同存储在所述一个或多个计算机可读存储介质上的程序指令,所述程序指令可由一个或多个处理器执行以使所述一个或多个处理器执行操作,所述操作包括:由所述gdbc接收访问数据源的数据的请求,其中,所述数据源被注册到包括数据治理工件的数据目录,并且其中,经由绕过所述数据目录的连接进行所述请求;由所述gdbc确定用于与所述请求相关联的凭证的访问权限级别是否满足所请求的数据的至少一部分的访问要求,所述访问要求被包括在所述治理工件的数据保护规则中;以及在所述gdbc确定所述访问权限级别满足所请求的数据的第一部分的所述访问要求但不满足所请求的数据的第二部分的所述访问要求的情况下,由所述gdbc掩蔽响应于所述请求而提供的所述数据的所述第二部分。16.根据权利要求15所述的gdbc,其中,所述操作进一步包括:在所述gdbc确定所述访问权限级别不满足所有所请求的数据的所述访问要求的情况下,由所述gdbc拒绝访问所述数据的所述请求。17.根据权利要求15所述的gdbc,其中,所述操作进一步包括:生成日志条目,所述日志条目包括访问数据的所述请求包括未经授权的访问请求的报告。

技术总结
实施例包括:在数据库连通性(DBC)层接收访问数据源的数据的请求,其中,数据源被注册到包括数据治理工件的数据目录,并且其中,经由绕过数据目录的连接进行该请求。实施例还包括:由在DBC层的治理管理器比较用于与请求相关联的凭证的访问权限级别和被包括在治理工件的数据保护规则中的所请求的数据的访问要求。实施例还包括:由治理管理器掩蔽响应于请求而提供的数据的一部分,其中,数据的该部分具有用于与请求相关联的凭证的访问权限级别未满足的访问要求。未满足的访问要求。未满足的访问要求。


技术研发人员:B
受保护的技术使用者:国际商业机器公司
技术研发日:2023.01.06
技术公布日:2023/7/13
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐