数据对比方法、装置、计算机设备及存储介质与流程

未命名 09-11 阅读:86 评论:0


1.本技术涉及大数据以及金融科技领域,尤其涉及一种数据对比方法、装置、计算机设备及存储介质。


背景技术:

2.数据对比是一种常见的数据处理方式,现有的数据对比通常通过数据库数据对比工具实现,数据库数据对比工具可以进行库之间的比较。例如,在金融科技领域,某公司可能有两个数据库,用于存储两类业务下的数据,数据库中有些客户数据可能来自同一个客户,可以通过数据库数据对比工具对两种业务的数据库进行对比,以检测根据两个数据库的数据差异。
3.现有的数据对比工具功能较为呆板,对比对象上只能实现不同数据库之间的对比,并且只能进行全量对比,配置功能单一。然而实际中对比需求多种多样,更加显得现有的数据对比工具缺少灵活性。


技术实现要素:

4.本技术实施例的目的在于提出一种数据对比方法、装置、计算机设备及存储介质,以解决数据对比灵活性较低的问题。
5.为了解决上述技术问题,本技术实施例提供一种数据对比方法,采用了如下所述的技术方案:
6.获取多个存储对象扫描结果,所述多个存储对象扫描结果根据对多个存储对象的扫描得到,所述多个存储对象包括数据库及其历史备份,或数据表及其历史备份;
7.获取针对所述多个存储对象扫描结果的对比配置信息,所述对比配置信息包括对比配置项和规则项;
8.根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果;
9.根据所述对比配置信息中的规则项和所述初级对比结果,生成目标对比结果。
10.为了解决上述技术问题,本技术实施例还提供一种数据对比装置,采用了如下所述的技术方案:
11.扫描获取模块,用于获取多个存储对象扫描结果,所述多个存储对象扫描结果根据对多个存储对象的扫描得到,所述多个存储对象包括数据库及其历史备份,或数据表及其历史备份;
12.配置获取模块,用于获取针对所述多个存储对象扫描结果的对比配置信息,所述对比配置信息包括对比配置项和规则项;
13.数据对比模块,用于根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果;
14.结果生成模块,用于根据所述对比配置信息中的规则项和所述初级对比结果,生
成目标对比结果。
15.为了解决上述技术问题,本技术实施例还提供一种计算机设备,采用了如下所述的技术方案:
16.获取多个存储对象扫描结果,所述多个存储对象扫描结果根据对多个存储对象的扫描得到,所述多个存储对象包括数据库及其历史备份,或数据表及其历史备份;
17.获取针对所述多个存储对象扫描结果的对比配置信息,所述对比配置信息包括对比配置项和规则项;
18.根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果;
19.根据所述对比配置信息中的规则项和所述初级对比结果,生成目标对比结果。
20.为了解决上述技术问题,本技术实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
21.获取多个存储对象扫描结果,所述多个存储对象扫描结果根据对多个存储对象的扫描得到,所述多个存储对象包括数据库及其历史备份,或数据表及其历史备份;
22.获取针对所述多个存储对象扫描结果的对比配置信息,所述对比配置信息包括对比配置项和规则项;
23.根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果;
24.根据所述对比配置信息中的规则项和所述初级对比结果,生成目标对比结果。
25.与现有技术相比,本技术实施例主要有以下有益效果:获取多个存储对象扫描结果,存储对象扫描结果是对存储对象进行扫描得到的,存储对象可以是数据库及其历史备份,或者数据表及其历史备份,确保了数据对比的对象的灵活性;获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项,可以实现数据对比的个性化配置;根据对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果;初级对比结果体现存储对象扫描结果之间的差异,规则项用于根据初级对比结果生成结论性的信息,从而生成最终的目标对比结果;本技术中从数据对比的对象到对比过程都可以进行设置,提高了数据对比工具进行数据对比的灵活性。
附图说明
26.为了更清楚地说明本技术中的方案,下面将对本技术实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
27.图1是本技术可以应用于其中的示例性系统架构图;
28.图2是根据本技术的数据对比方法的一个实施例的流程图;
29.图3是根据本技术的数据对比装置的一个实施例的结构示意图;
30.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
31.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的
技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本技术;本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
32.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
33.为了使本技术领域的人员更好地理解本技术方案,下面将结合附图,对本技术实施例中的技术方案进行清楚、完整地描述。
34.如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
35.用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
36.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
37.服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
38.需要说明的是,本技术实施例所提供的数据对比方法一般由服务器执行,相应地,数据对比装置一般设置于服务器中。
39.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
40.继续参考图2,示出了根据本技术的数据对比方法的一个实施例的流程图。所述的数据对比方法,包括以下步骤:
41.步骤s201,获取多个存储对象扫描结果,多个存储对象扫描结果根据对多个存储对象的扫描得到,多个存储对象包括数据库及其历史备份,或数据表及其历史备份。
42.在本实施例中,数据对比方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式于终端设备进行通信。需要指出的是,上述无线连接方式可以包括但不限于3g/4g/5g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
43.其中,存储对象是存储数据的对象,例如,数据库可以作为存储对象;数据表也可以作为存储对象;即便数据表是数据库中的表,数据表也可以单独作为一个存储对象,只是其等级不同于数据库。本技术可以对数据库/数据表进行备份,得到数据库/数据表的历史
备份,数据库/数据表的历史备份也可以作为存储对象。在进行扫描或数据对比时,数据库的历史备份与数据库视作同一等级的对象,数据表的历史备份与数据表视作同一等级的对象。
44.具体地,可以预先对多个存储对象进行扫描,得到每个存储对象所对应的存储对象扫描结果。
45.步骤s202,获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项。
46.具体地,获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项,通过设置对比配置信息,能够对对比处理进行个性化配置,满足各种对比需求;其中,对比配置项可以是对存储对象扫描结果中的哪些部分(例如数据库中的数据表,或者数据表中的字段)进行对比;规则项则用于对比结果的生成。
47.步骤s203,根据对比配置信息中的对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果。
48.具体地,本技术采用独立编写的数据对比工具,支持存储对象的扫描,并支持数据对比过程的个性化配置。数据对比工具根据对比配置信息中的对比配置项,对多个存储对象扫描结果进行数据对比,得到初级对比结果。
49.步骤s204,根据对比配置信息中的规则项和初级对比结果,生成目标对比结果。
50.具体地,数据对比工具需要根据规则项生成目标对比结果,规则项用于指示数据对比工具生成结论性的信息。例如,根据规则项中的差异阈值,判断多个存储对象扫描结果的差异程度;根据规则项生成特定格式的展示信息,并连同初级对比结果生成最终的目标对比结果。
51.本实施例中,获取多个存储对象扫描结果,存储对象扫描结果是对存储对象进行扫描得到的,存储对象可以是数据库及其历史备份,或者数据表及其历史备份,确保了数据对比的对象的灵活性;获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项,可以实现数据对比的个性化配置;根据对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果;初级对比结果体现存储对象扫描结果之间的差异,规则项用于根据初级对比结果生成结论性的信息,从而生成最终的目标对比结果;本技术中从数据对比的对象到对比过程都可以进行设置,提高了数据对比工具进行数据对比的灵活性。
52.进一步的,上述获取多个存储对象扫描结果的步骤可以包括:响应于接收到的扫描选择指令,选取多个存储对象;接收针对多个存储对象的扫描配置信息,扫描配置信息用于设置待扫描部分,待扫描部分来自多个存储对象;根据预设的扫描校验规则对扫描配置信息进行校验;当扫描配置信息通过校验时,根据扫描配置信息对多个存储对象进行扫描,得到多个存储对象分别对应的存储对象扫描结果。
53.具体地,用户可以操作终端并触发扫描选择指令,数据对比工具根据接收到的扫描选择指令,选取多个存储对象。
54.数据对比工具接收针对多个存储对象的扫描配置信息,扫描配置信息可以通过可视化配置页面进行配置,或者,将历史上的扫描配置信息作为本次的扫描配置信息(例如将扫描设置为定时任务,在定时任务触发时获取历史上的扫描配置信息;或者,用户选取历史
上的扫描配置信息,对其进行编辑和调整后,得到本次的扫描配置信息)。扫描配置信息用于设置待扫描部分,待扫描部分来自存储对象,待扫描部分是指扫描存储对象中的哪部分数据(例如扫描数据库中的哪些数据表,或者扫描数据表中的哪些字段),可以理解,也可以将待扫描部分设置为数据库整体,或者数据表整体。
55.数据对比工具中预设了扫描校验规则,在进行扫描前,需要根据扫描校验规则对扫描配置信息进行校验,以校验扫描配置信息是否合法。在校验中,较为重要的一个校验维度,是校验存储对象是否为同一级别的对象,例如是否同为数据库,或者同为数据表,这是因为扫描通常与数据对比是前后进行的,数据对比时,需要保证多个存储对象扫描结果的级别是相同的。
56.当扫描配置信息通过校验时,数据对比工具根据扫描配置信息对多个存储对象进行扫描,得到多个存储对象分别对应的存储对象扫描结果。
57.本实施例中,选取多个存储对象,并接收扫描配置信息,扫描配置信息用于对扫描内容进行设置,从而实现个性化扫描;根据扫描校验规则校验扫描配置信息是否合法,当通过校验时,根据扫描配置信息对多个存储对象进行扫描,得到多个存储对象分别对应的存储对象扫描结果,确保了存储对象扫描结果的准确性。
58.进一步的,在上述响应于接收到的扫描选择指令,选取多个存储对象的步骤之前,还可以包括:确定可备份数据表,可备份数据表根据接收到的表设置指令或者数据表的存储价值评估值确定;当接收到触发的备份指令时,对可备份数据表进行备份处理,得到可备份数据表的历史备份;将可备份数据表的历史备份设置为存储对象。
59.具体地,虽然数据库和数据表都可以进行备份,但是,数据库的数据量通常较大,存储内容较多,因此,通常选择对数据表进行备份,并需要预先确定可备份数据表。
60.可备份数据表是指需要进行备份的数据表,可以接收用户发送的表设置指令,根据表设置指令将数据表设置为可备份数据表;或者,按照预设算法计算数据表的存储价值评估值,存储价值评估值表示数据表中数据的存储价值的高低,根据存储价值评估值,可以自动选取可备份数据表。在一个实施例中,获取各数据表的存储评估指标,存储评估指标包括预设时间内各数据表的访问次数、数据表所关联任务的等级、访问数据表的用户的等级等信息,对各存储评估指标进行加权计算,得到各数据表的存储价值评估值。
61.当接收到触发的备份指令时,对可备份数据表进行备份处理,得到可备份数据表的历史备份,可备份数据表的历史备份也要被设置为存储对象。将数据表的历史备份也设置为存储对象,可以实现同一个存储对象在不同时间的前后对比,这是现有的数据对比工具所不具备的。
62.本实施例中,根据表设置指令或数据表的存储价值评估值,确定可备份数据表,可备份数据表是需要进行备份的数据表;当接收到备份指令时,对可备份数据表进行备份处理,得到可备份数据表的历史备份,并将可备份数据表的历史备份设置为存储对象,确保后续能够实现不同时间的同一对象的数据对比。
63.进一步的,上述获取针对多个存储对象扫描结果的对比配置信息的步骤可以包括:从配置信息库中获取多个存储对象扫描结果所关联的历史对比配置信息,并基于历史对比配置信息生成当前的对比配置信息;或者,通过终端展示可视化配置页面,并根据可视化配置页面中触发的配置操作生成对比配置信息。
64.具体地,数据对比工具中设置了配置信息库,配置信息库存储了历史对比配置信息,历史对比配置信息是过去使用过的对比配置信息,数据对比工具可以将使用过的对比配置信息进行持久化。
65.从配置信息库中获取多个存储对象扫描结果所关联的历史对比配置信息,这里的关联,是指历史对比配置信息中要包含当前的存储对象扫描结果所对应的存储对象。历史对比配置信息可以直接作为当前的对比配置信息(例如在定时任务场景下,不必每次都单独配置对比配置信息),或者,由用户对历史对比配置信息进行调整,得到当前适用的对比配置信息。对使用过的历史配置信息进行持久化并重新利用,可以提高对比配置信息的生成速度。
66.数据对比工具还可以通过终端展示可视化配置页面,用户可以在可视化配置页面中以拖拉拽、勾选、文本输入等方式,进行所见即所得的配置操作,从而生成对比配置信息。
67.本实施例中,对比配置信息可以根据配置信息库中的历史对比配置信息生成,或者根据可视化配置页面中的配置操作生成,丰富了对比配置信息的获取方式。
68.进一步的,上述步骤s203可以包括:根据对比配置信息分别获取多个存储对象扫描结果中的待比较部分;分别计算各待比较部分的哈希值;当得到的各哈希值不一致时,通过预设的多维度比较算法对各待比较部分进行对比,得到初级对比结果。
69.具体地,根据对比配置信息分别获取多个存储对象扫描结果中的待比较部分,例如,将数据库扫描结果中的扫描表作为待比较部分,或者,将数据表扫描结果中的某些字段所对应的扫描内容作为待比较部分;可以理解,也可以将整个的数据库扫描结果或数据表扫描结果作为待比较部分。
70.分别计算各待比较部分的哈希值,哈希值是具有唯一性的数据指纹。通过比较哈希值,可以快速判断各存储对象扫描结果是否一致,从而避免逐条数据比对带来的计算开销。
71.当得到的各哈希值不一致时,通过预设的多维度比较算法对各待比较部分进行对比,得到初级对比结果。多维度比较算法包含多个维度的比较算法,例如,通过行级差异算法通过比较各存储对象扫描结果中的每一行数据来确定差异;通过最长公共子序列(lcs)算法、模糊匹配算法等来匹配相似的数据,并确定它们之间的关联性。
72.本实施例中,先计算各待比较部分的哈希值,根据哈希值从整体进行比较,当哈希值一致时可以结束比较,减少数据处理量;当得到的各哈希值不一致时,通过预设的多维度比较算法对各待比较部分进行对比,得到初级对比结果,确保了初级对比结果的准确性。
73.进一步的,对比配置信息中的规则项包括预警规则项和格式规则项,则上述步骤s204可以包括:根据预警规则项和初级对比结果确定多个存储对象扫描结果之间的差异度,并根据差异度生成预警信息;根据格式规则项对初级对比结果进行格式转换处理,得到次级对比结果;根据初级对比结果、预警信息和次级对比结果,生成目标对比结果。
74.具体地,规则项包括预警规则项和格式规则项。初级对比结果可以记录存储对象扫描结果之间的差异,例如差异记录数(有多少处差异)、差异字段(哪些字段存在差异)、差异数据详情(具体差异情况);预警规则项记录了预警规则,根据预警规则项和初级对比结果可以确定多个存储对象扫描结果之间的差异度,并根据差异度生成预警信息。例如,当两个存储对象扫描结果之间的差异记录数大于预设阈值时,表示差异度较大,生成相应的预
警信息。
75.根据格式规则项对初级对比结果进行格式转换处理,得到次级对比结果;格式转换处理,可以是对差异项进行处理,或者,生成特定格式(例如图表等)的次级对比结果。根据初级对比结果、预警信息和次级对比结果,生成最终的目标对比结果。
76.本实施例中,根据预警规则项和初级对比结果确定多个存储对象扫描结果之间的差异度,以生成预警信息;根据格式规则项对初级对比结果进行格式转换处理,得到次级对比结果,实现对初级对比结果的个性化加工处理,并生成最终的目标对比结果。
77.需要强调的是,为进一步保证上述目标对比结果的私密和安全性,上述目标对比结果还可以存储于一区块链的节点中。
78.本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
79.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)等非易失性存储介质,或随机存储记忆体(random access memory,ram)等。
80.应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
81.进一步参考图3,作为对上述图2所示方法的实现,本技术提供了一种数据对比装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
82.如图3所示,本实施例所述的数据对比装置300包括:扫描获取模块301、配置获取模块302、数据对比模块303以及结果生成模块304,其中:
83.扫描获取模块301,用于获取多个存储对象扫描结果,多个存储对象扫描结果根据对多个存储对象的扫描得到,多个存储对象包括数据库及其历史备份,或数据表及其历史备份。
84.配置获取模块302,用于获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项。
85.数据对比模块303,用于根据对比配置信息中的对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果。
86.结果生成模块304,用于根据对比配置信息中的规则项和初级对比结果,生成目标对比结果。
87.本实施例中,获取多个存储对象扫描结果,存储对象扫描结果是对存储对象进行扫描得到的,存储对象可以是数据库及其历史备份,或者数据表及其历史备份,确保了数据对比的对象的灵活性;获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项,可以实现数据对比的个性化配置;根据对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果;初级对比结果体现存储对象扫描结果之间的差异,规则项用于根据初级对比结果生成结论性的信息,从而生成最终的目标对比结果;本技术中从数据对比的对象到对比过程都可以进行设置,提高了数据对比工具进行数据对比的灵活性。
88.在本实施例的一些可选的实现方式中,扫描获取模块301可以包括:对象选取子模块、扫描接收子模块、信息校验子模块以及对象扫描子模块,其中:
89.对象选取子模块,用于响应于接收到的扫描选择指令,选取多个存储对象。
90.扫描接收子模块,用于接收针对多个存储对象的扫描配置信息,扫描配置信息用于设置待扫描部分,待扫描部分来自多个存储对象。
91.信息校验子模块,用于根据预设的扫描校验规则对扫描配置信息进行校验。
92.对象扫描子模块,用于当扫描配置信息通过校验时,根据扫描配置信息对多个存储对象进行扫描,得到多个存储对象分别对应的存储对象扫描结果。
93.本实施例中,选取多个存储对象,并接收扫描配置信息,扫描配置信息用于对扫描内容进行设置,从而实现个性化扫描;根据扫描校验规则校验扫描配置信息是否合法,当通过校验时,根据扫描配置信息对多个存储对象进行扫描,得到多个存储对象分别对应的存储对象扫描结果,确保了存储对象扫描结果的准确性。
94.在本实施例的一些可选的实现方式中,扫描获取模块301还可以包括:数据表确定子模块、备份处理子模块以及备份设置子模块,其中:
95.数据表确定子模块,用于确定可备份数据表,可备份数据表根据接收到的表设置指令或者数据表的存储价值评估值确定。
96.备份处理子模块,用于当接收到触发的备份指令时,对可备份数据表进行备份处理,得到可备份数据表的历史备份。
97.备份设置子模块,用于将可备份数据表的历史备份设置为存储对象。
98.本实施例中,根据表设置指令或数据表的存储价值评估值,确定可备份数据表,可备份数据表是需要进行备份的数据表;当接收到备份指令时,对可备份数据表进行备份处理,得到可备份数据表的历史备份,并将可备份数据表的历史备份设置为存储对象,确保后续能够实现不同时间的同一对象的数据对比。
99.在本实施例的一些可选的实现方式中,配置获取模块302可以包括:历史获取子模块以及页面获取子模块,其中:
100.历史获取子模块,用于从配置信息库中获取多个存储对象扫描结果所关联的历史对比配置信息,并基于历史对比配置信息生成当前的对比配置信息。
101.页面获取子模块,用于通过终端展示可视化配置页面,并根据可视化配置页面中触发的配置操作生成对比配置信息。
102.本实施例中,对比配置信息可以根据配置信息库中的历史对比配置信息生成,或者根据可视化配置页面中的配置操作生成,丰富了对比配置信息的获取方式。
103.在本实施例的一些可选的实现方式中,数据对比模块303可以包括:比较获取子模块、哈希计算子模块以及对比子模块,其中:
104.比较获取子模块,用于根据对比配置信息分别获取多个存储对象扫描结果中的待比较部分。
105.哈希计算子模块,用于分别计算各待比较部分的哈希值。
106.对比子模块,用于当得到的各哈希值不一致时,通过预设的多维度比较算法对各待比较部分进行对比,得到初级对比结果。
107.本实施例中,先计算各待比较部分的哈希值,根据哈希值从整体进行比较,当哈希值一致时可以结束比较,减少数据处理量;当得到的各哈希值不一致时,通过预设的多维度比较算法对各待比较部分进行对比,得到初级对比结果,确保了初级对比结果的准确性。
108.在本实施例的一些可选的实现方式中,对比配置信息中的规则项包括预警规则项和格式规则项,则结果生成模块304可以包括:预警生成子模块、转换处理子模块以及结果生成子模块,其中:
109.预警生成子模块,用于根据预警规则项和初级对比结果确定多个存储对象扫描结果之间的差异度,并根据差异度生成预警信息。
110.转换处理子模块,用于根据格式规则项对初级对比结果进行格式转换处理,得到次级对比结果。
111.结果生成子模块,用于根据初级对比结果、预警信息和次级对比结果,生成目标对比结果。
112.本实施例中,根据预警规则项和初级对比结果确定多个存储对象扫描结果之间的差异度,以生成预警信息;根据格式规则项对初级对比结果进行格式转换处理,得到次级对比结果,实现对初级对比结果的个性化加工处理,并生成最终的目标对比结果。
113.为解决上述技术问题,本技术实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。
114.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程门阵列(field-programmable gate array,fpga)、数字处理器(digital signal processor,dsp)、嵌入式设备等。
115.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
116.所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器
41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如数据对比方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
117.所述处理器42在一些实施例中可以是中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述数据对比方法的计算机可读指令。
118.所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
119.本实施例中提供的计算机设备可以执行上述数据对比方法。此处数据对比方法可以是上述各个实施例的数据对比方法。
120.本实施例中,获取多个存储对象扫描结果,存储对象扫描结果是对存储对象进行扫描得到的,存储对象可以是数据库及其历史备份,或者数据表及其历史备份,确保了数据对比的对象的灵活性;获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项,可以实现数据对比的个性化配置;根据对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果;初级对比结果体现存储对象扫描结果之间的差异,规则项用于根据初级对比结果生成结论性的信息,从而生成最终的目标对比结果;本技术中从数据对比的对象到对比过程都可以进行设置,提高了数据对比工具进行数据对比的灵活性。
121.本技术还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的数据对比方法的步骤。
122.本实施例中,获取多个存储对象扫描结果,存储对象扫描结果是对存储对象进行扫描得到的,存储对象可以是数据库及其历史备份,或者数据表及其历史备份,确保了数据对比的对象的灵活性;获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项,可以实现数据对比的个性化配置;根据对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果;初级对比结果体现存储对象扫描结果之间的差异,规则项用于根据初级对比结果生成结论性的信息,从而生成最终的目标对比结果;本技术中从数据对比的对象到对比过程都可以进行设置,提高了数据对比工具进行数据对比的灵活性。
123.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本技术各个实施例所述的方法。
124.显然,以上所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例,附图中给出了本技术的较佳实施例,但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本技术专利保护范围之内。

技术特征:
1.一种数据对比方法,其特征在于,包括下述步骤:获取多个存储对象扫描结果,所述多个存储对象扫描结果根据对多个存储对象的扫描得到,所述多个存储对象包括数据库及其历史备份,或数据表及其历史备份;获取针对所述多个存储对象扫描结果的对比配置信息,所述对比配置信息包括对比配置项和规则项;根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果;根据所述对比配置信息中的规则项和所述初级对比结果,生成目标对比结果。2.根据权利要求1所述的数据对比方法,其特征在于,所述获取多个存储对象扫描结果的步骤包括:响应于接收到的扫描选择指令,选取多个存储对象;接收针对所述多个存储对象的扫描配置信息,所述扫描配置信息用于设置待扫描部分,所述待扫描部分来自所述多个存储对象;根据预设的扫描校验规则对所述扫描配置信息进行校验;当所述扫描配置信息通过校验时,根据所述扫描配置信息对所述多个存储对象进行扫描,得到所述多个存储对象分别对应的存储对象扫描结果。3.根据权利要求2所述的数据对比方法,其特征在于,在所述响应于接收到的扫描选择指令,选取多个存储对象的步骤之前,还包括:确定可备份数据表,所述可备份数据表根据接收到的表设置指令或者数据表的存储价值评估值确定;当接收到触发的备份指令时,对所述可备份数据表进行备份处理,得到所述可备份数据表的历史备份;将所述可备份数据表的历史备份设置为存储对象。4.根据权利要求1所述的数据对比方法,其特征在于,所述获取针对所述多个存储对象扫描结果的对比配置信息的步骤包括:从配置信息库中获取所述多个存储对象扫描结果所关联的历史对比配置信息,并基于所述历史对比配置信息生成当前的对比配置信息;或者,通过终端展示可视化配置页面,并根据所述可视化配置页面中触发的配置操作生成对比配置信息。5.根据权利要求1所述的数据对比方法,其特征在于,所述根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果的步骤包括:根据所述对比配置信息分别获取所述多个存储对象扫描结果中的待比较部分;分别计算各待比较部分的哈希值;当得到的各哈希值不一致时,通过预设的多维度比较算法对所述各待比较部分进行对比,得到初级对比结果。6.根据权利要求1所述的数据对比方法,其特征在于,所述对比配置信息中的规则项包括预警规则项和格式规则项,所述根据所述对比配置信息中的规则项和所述初级对比结果,生成目标对比结果的步骤包括:根据所述预警规则项和所述初级对比结果确定所述多个存储对象扫描结果之间的差
异度,并根据所述差异度生成预警信息;根据所述格式规则项对所述初级对比结果进行格式转换处理,得到次级对比结果;根据所述初级对比结果、所述预警信息和所述次级对比结果,生成目标对比结果。7.一种数据对比装置,其特征在于,包括:扫描获取模块,用于获取多个存储对象扫描结果,所述多个存储对象扫描结果根据对多个存储对象的扫描得到,所述多个存储对象包括数据库及其历史备份,或数据表及其历史备份;配置获取模块,用于获取针对所述多个存储对象扫描结果的对比配置信息,所述对比配置信息包括对比配置项和规则项;数据对比模块,用于根据所述对比配置信息中的对比配置项对所述多个存储对象扫描结果进行数据对比,得到初级对比结果;结果生成模块,用于根据所述对比配置信息中的规则项和所述初级对比结果,生成目标对比结果。8.根据权利要求7所述的数据对比装置,其特征在于,所述数据对比模块包括:比较获取子模块,用于根据所述对比配置信息分别获取所述多个存储对象扫描结果中的待比较部分;哈希计算子模块,用于分别计算各待比较部分的哈希值;对比子模块,用于当得到的各哈希值不一致时,通过预设的多维度比较算法对所述各待比较部分进行对比,得到初级对比结果。9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的数据对比方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的数据对比方法的步骤。

技术总结
本申请实施例属于大数据以及金融科技领域,涉及一种数据对比方法、装置、计算机设备及存储介质,方法包括:获取多个存储对象扫描结果,多个存储对象扫描结果根据对多个存储对象的扫描得到,多个存储对象包括数据库及其历史备份,或数据表及其历史备份;获取针对多个存储对象扫描结果的对比配置信息,对比配置信息包括对比配置项和规则项;根据对比配置信息中的对比配置项对多个存储对象扫描结果进行数据对比,得到初级对比结果;根据对比配置信息中的规则项和初级对比结果,生成目标对比结果。此外,本申请还涉及区块链技术,目标对比结果可存储于区块链中


技术研发人员:麦明瑶
受保护的技术使用者:中国平安财产保险股份有限公司
技术研发日:2023.06.30
技术公布日:2023/9/9
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐