一种数据删除方法、装置、存储介质及电子设备与流程

1.本发明涉及数据处理
技术领域：
：，特别涉及一种数据删除方法、装置、存储介质及电子设备。
背景技术：
：：2.目前，由于数据库中表主键通常为无业务含义的字段，使得在对数据库中的表数据进行业务操作时，往往会出现一笔业务流程数据写入多条的情况，导致数据不唯一，使得业务流程数据无法进行下一业务处理环节。技术实现要素：3.本发明所要解决的技术问题是提供一种数据删除方法，能够保障业务数据的唯一性。4.本发明还提供了一种数据删除装置，用以保证上述方法在实际中的实现及应用。5.一种数据删除方法，包括：6.响应于重复数据检测指令，确定待检测的数据表；7.检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；8.在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；9.将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。10.上述的方法，可选的，所述在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据，包括：11.确定每个所述字段数据所属的业务流程数据的数据标识，每个所述业务流程数据的数据标识表征所述业务流程数据在所述数据表中的存储位置；12.根据每个所述业务流程数据的数据标识，在各个所述业务流程数据中确定出目标业务流程数据。13.上述的方法，可选的，所述在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据，包括：14.将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中；15.在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。16.上述的方法，可选的，在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，还包括：17.输出所述备份表，使得用户基于所述备份表确定所述多个相同的字段数据对应的异常类型。18.上述的方法，可选的，所述检测所述数据表中是否存在与重复检测字段对应的多个相同的业务流程数据，包括：19.在预先设置的配置文件中获得所述数据表的表标识对应的重复检测字段；20.检测所述数据表中是否存在与所述重复检测字段对应的多个相同的字段数据。21.一种数据删除装置，包括：22.确定单元，用于响应于重复数据检测指令，确定待检测的数据表；23.检测单元，用于检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；24.选取单元，用于在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；25.执行单元，用于将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。26.上述的装置，可选的，选取单元，包括：27.第一确定子单元，用于确定每个所述字段数据所属的业务流程数据的数据标识，每个所述业务流程数据的数据标识表征所述业务流程数据在所述数据表中的存储位置；28.第一选取子单元，用于根据每个所述业务流程数据的数据标识，在各个所述业务流程数据中选取出目标业务流程数据。29.上述的装置，可选的，所述选取单元，包括：30.备份子单元，用于将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中；31.第二选取子单元，用于在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。32.一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的数据删除方法。33.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的数据删除方法。34.基于上述本发明实施提供的一种数据删除方法、装置、存储介质及电子设备，该方法包括：响应于重复数据检测指令，确定待检测的数据表；检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。应用本发明实施例提供的方法，能够保证数据的唯一性，避免数据冗余。附图说明35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。36.图1为本发明提供的一种数据删除方法的方法流程图；37.图2为本发明提供的一种对敏感字段进行脱敏处理的过程的流程图；38.图3为本发明提供的一种生成目标数据文件的过程的流程图；39.图4为本发明提供的一种数据删除装置的结构示意图；40.图5为本发明提供的一种电子设备的结构示意图。具体实施方式41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。42.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。43.目前，由于数据库中表主键通常为无业务含义的字段，使得在对数据库中的表数据进行业务操作时，往往会出现因网络延迟或遮罩问题导致一笔业务流程数据写入多条的情况，造成数据冗余，而且在按照一些业务流程数据的特定的字段进行更新时，会由于无法锁定唯一项而报错，使得业务流程数据无法正常进行下一业务处理环节。44.基于此，本发明实施例提供了一种数据删除方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：45.s101：响应于重复数据检测指令，确定待检测的数据表。46.在本实施例中，重复数据检测指令可以是存在重复数据检测需求的情况下触发的指令，该重复数据检测指令可以由用户点击预设的按键或虚拟控件触发，也可以由应用程序在自动运行的过程中触发。47.可选的，可以对重复数据检测指令进行解析，获得指令信息，根据指令信息中的表标识在数据表集合中确定待检测的数据表，待检测的数据表的数量可以为一个或多个，数据表集合可以是数据库。48.在本实施例中，数据表包括多个业务流程数据，每一业务流程数据包括至少一个字段数据。49.s102：检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定。50.在本实施例中，数据表的表标识与重复检测字段预先存储于配置文件中；针对数据表的不同业务类型，可以采用与该业务类型的数据表所存储的业务流程数据的属性相匹配的重复检测字段对数据表进行检测，重复检测字段可以是客户号字段、流水号字段等其中的一种或多种。51.例如，数据表的业务类型为合同业务类型，则可以将流水号字段作为重复检测字段，该流水号字段用于表示合同流水号；数据表的业务类型为客户信息处理业务类型，则可以将客户号字段和流水号字段中的至少一种作为重复检测字段。52.可选的，该重复检测字段可以是用于对数据表中的流程数据进行更新的字段。53.s103：在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。54.在本实施例中，可以根据各个字段数据所属的业务流程数据在数据表中的排序，选取出目标业务流程数据；也可以选取任一字段数据所属的业务流程数据作为目标业务流程数据。55.可选的，在业务数据的时效性要求级别为第一级别的情况下，可以根据各个字段数据所属的业务流程数据存储到数据表中的顺序，选取出目标业务流程数据；在业务数据的时效性要求级别为第二级别的情况下，可以选取任一字段数据所属的业务流程数据作为目标业务流程数据，第一级别高于第二级别。56.s104：将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。57.在本实施例中，可以在数据表中保留各个相同的字段数据所属的业务流程数据中的目标业务流程数据，将各个相同的字段数据所属的业务流程数据中除目标业务流程数据以外的流程数据进行删除，能够有效地保证数据的唯一性。58.将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除后，可以将该数据表发往下一业务处理环节进行处理。59.应用本提供的方法，能够通过数据表的业务类型确定出重复检测字段，然后根据重复检测字段对数据表进行检测，以确定数据表中是否存在重复数据，若存在，则将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除，从而保证数据的唯一，避免数据冗余，以及避免无法锁定唯一项导致的报错，使得该数据表能够正常进入下一业务处理环节。60.在本发明提供的一实施例中，基于上述的实施过程，可选的，所述在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据的过程，如图2所示，包括：61.s201：确定每个所述字段数据所属的业务流程数据的数据标识，每个所述业务流程数据的数据标识表征所述业务流程数据在所述数据表中的存储位置。62.在本实施例中，该数据标识可以是地址标识，例如，可以是数据库中的伪列rowid。63.s202：根据每个所述业务流程数据的数据标识，在各个所述业务流程数据中确定出目标业务流程数据。64.在本实施例中，可以根据每个业务流程数据的数据标识的大小，在各个业务流程数据中确定出目标业务流程数据，目标业务流程数据可以是各个业务流程数据中数据标识最大的流程数据，也可以是各个业务流程数据中数据标识最小的流程数据。能够快速准确地在数据表的各个业务流程数据中确定出目标业务流程数据。65.在本发明提供的一实施例中，基于上述的实施过程，可选的，所述在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据，包括：66.将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中；67.在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。68.在本实施例中，将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中的过程，可以为包括：确定当前是否存在数据表对应的备份表，若不存在，则可以建立数据表对应的备份表，并将各个所述业务流程数据存储到当前建立的备份表中；若存在，则可以直接将各个所述业务流程数据存储到该数据表对应的备份表中。69.可选的，通过具有重复字段数据的业务流程数据进行备份，以便于用户基于备份表进行异常分析，从而能够迅速解决异常。70.在本发明提供的一实施例中，基于上述的实施过程，可选的，在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，还包括：71.输出所述备份表，使得用户基于所述备份表确定所述多个相同的字段数据对应的异常类型。72.在本实施例中，异常类型可以是网络延时异常或遮罩异常等。73.在一些实施例中，用户基于备份表确定多个相同的字段数据对应的异常类型之后，若该异常类型为可修复的异常类型，则在接收到所述用户发送的修复请求的情况下，基于所述修复请求中的修复操作信息对所述异常类型的异常进行修复。74.在本发明提供的一实施例中，基于上述的实施过程，可选的，所述检测所述数据表中是否存在与重复检测字段对应的多个相同的业务流程数据的过程，如图3所示，包括：75.s301：在预先设置的配置文件中获得所述数据表的表标识对应的重复检测字段。76.在本实施例中，配置文件记录多个表的标识与重复检测字段之间的映射关系，可以通过待检测的数据表的表标识对配置文件进行查询，获得该表标识对应的重复检测字段。77.s302：检测所述数据表中是否存在与所述重复检测字段对应的多个相同的字段数据。78.在本实施例中，通过配置文件存储表的标识与重复检测字段之间的映射关系，可以方便快速的通过表标识从配置文件获得对应的重复检测字段。79.在一些实施例中，可以预先根据数据库中的每个表的业务类型确定每个表对应的重复检测字段，然后将每个表的标识与重复检测字段对应存储于配置文件中；接收到重复数据检测指令后，响应于该重复数据检测指令，在各个表中确定待检测的数据表，根据待检测的数据表的表标识查询配置文件，获得表标识对应的重复检测字段，并检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据；在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。80.在本实施例中，可以先创建配置文件，配置文件中包括重复数据字段配置表，配置表定义行数据删除的表和字段，具体如表1所示：[0081][0082]表1[0083]创建重复数据字段配置表后，可以初始化该重复数据字段配置表，初始化后的重复数据字段配置表如表2所示：[0084]table_namecolnametable1custnotable2cntno,flno[0085]表2[0086]在对重复数据字段配置表进行初始化后，可以编写程序基于该重复数据字段表实现重复数据的备份和删除。由于重复数据字段配置表中字段可以更改，可以通过程序利用动态sql获取变量拼接，实现起来比较灵活便捷。[0087]与图1所述的方法相对应，本发明实施例还提供了一种数据删除装置，用于对图1中方法的具体实现，本发明实施例提供的数据删除装置可以应用于电子设备中，其结构示意图如图4所示，具体包括：[0088]确定单元401，用于响应于重复数据检测指令，确定待检测的数据表；[0089]检测单元402，用于检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；[0090]选取单元403，用于在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；[0091]执行单元404，用于将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。[0092]在本发明提供的一实施例中，基于上述的实施过程，可选的，选取单元403，包括：[0093]第一确定子单元，用于确定每个所述字段数据所属的业务流程数据的数据标识，每个所述业务流程数据的数据标识表征所述业务流程数据在所述数据表中的存储位置；[0094]第一选取子单元，用于根据每个所述业务流程数据的数据标识，在各个所述业务流程数据中选取出目标业务流程数据。[0095]在本发明提供的一实施例中，基于上述的实施过程，可选的，所述选取单元，包括：[0096]备份子单元，用于将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中；[0097]第二选取子单元，用于在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。[0098]在本发明提供的一实施例中，基于上述的方案，具体的，所述数据删除装置还包括：[0099]输出单元，用于输出所述备份表，使得用户基于所述备份表确定所述多个相同的字段数据对应的异常类型。[0100]在本发明提供的一实施例中，基于上述的方案，具体的，所述检测单元，包括：[0101]获取子单元，用于在预先设置的配置文件中获得所述数据表的表标识对应的重复检测字段；[0102]检测子单元，用于检测所述数据表中是否存在与所述重复检测字段对应的多个相同的字段数据。[0103]上述本发明实施例公开的数据删除装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的数据删除方法相同，可参见上述本发明实施例提供的数据删除方法中相应的部分，这里不再进行赘述。[0104]本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述数据删除方法。[0105]本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：[0106]响应于重复数据检测指令，确定待检测的数据表；[0107]检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；[0108]在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；[0109]将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。[0110]需要说明的是，本发明提供的一种数据删除方法、装置、存储介质及电子设备可用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种数据删除方法、装置、存储介质及电子设备的应用领域进行限定。[0111]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0112]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0113]为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。[0114]通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。[0115]以上对本发明所提供的一种数据删除方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。当前第1页12当前第1页12
技术特征：
1.一种数据删除方法，其特征在于，包括：响应于重复数据检测指令，确定待检测的数据表；检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。2.根据权利要求1所述的方法，其特征在于，所述在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据，包括：确定每个所述字段数据所属的业务流程数据的数据标识，每个所述业务流程数据的数据标识表征所述业务流程数据在所述数据表中的存储位置；根据每个所述业务流程数据的数据标识，在各个所述业务流程数据中确定出目标业务流程数据。3.根据权利要求1所述的方法，其特征在于，所述在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据，包括：将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中；在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。4.根据权利要求3所述的方法，其特征在于，在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，还包括：输出所述备份表，使得用户基于所述备份表确定所述多个相同的字段数据对应的异常类型。5.根据权利要求1所述的方法，其特征在于，所述检测所述数据表中是否存在与重复检测字段对应的多个相同的业务流程数据，包括：在预先设置的配置文件中获得所述数据表的表标识对应的重复检测字段；检测所述数据表中是否存在与所述重复检测字段对应的多个相同的字段数据。6.一种数据删除装置，其特征在于，包括：确定单元，用于响应于重复数据检测指令，确定待检测的数据表；检测单元，用于检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；选取单元，用于在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；执行单元，用于将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。7.根据权利要求6所述的装置，其特征在于，选取单元，包括：第一确定子单元，用于确定每个所述字段数据所属的业务流程数据的数据标识，每个所述业务流程数据的数据标识表征所述业务流程数据在所述数据表中的存储位置；第一选取子单元，用于根据每个所述业务流程数据的数据标识，在各个所述业务流程数据中选取出目标业务流程数据。
8.根据权利要求6所述的装置，其特征在于，所述选取单元，包括：备份子单元，用于将每个所述字段数据所属的业务流程数据存储到所述数据表对应的备份表中；第二选取子单元，用于在成功将各个所述业务流程数据存储到所述数据表对应的备份表之后，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据。9.一种存储介质，其特征在于，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～5任意一项所述的数据删除方法。10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～5任意一项所述的数据删除方法。

技术总结
本发明提供了一种数据删除方法、装置、存储介质及电子设备，可应用于大数据领域或金融领域，其中，响应于重复数据检测指令，确定待检测的数据表；检测所述数据表中是否存在与重复检测字段对应的多个相同的字段数据，所述重复检测字段基于所述数据表的业务类型确定；在检测到所述数据表中存在与所述重复检测字段对应的多个相同的字段数据的情况下，在每个所述字段数据所属的业务流程数据中选取出目标业务流程数据；将所述数据表中除所述目标业务流程数据以外的所述业务流程数据进行删除。应用本发明实施例提供的方法，能够保障业务数据的唯一性。唯一性。唯一性。


技术研发人员：贾红蕾
受保护的技术使用者：中银金融科技有限公司
技术研发日：2023.06.26
技术公布日：2023/9/20