多源异构数据的自动化转换方法和装置与流程

1.本技术的实施例一般涉及数据管理技术领域，并且更具体地，涉及多源异构数据的自动化转换方法和装置。


背景技术：

2.在大数据管理系统中，需要对各类原始输入数据进行读取和转换。由于这些数据往往都是多源异构的数据，即不仅来源不同且结构也不一样，所以往往需要大量的人工进行预先分析处理。人工处理方式不仅效率低下，而且经常会进行重复性的工作，造成人力成本的浪费，同时也不利于对数据的管理。


技术实现要素：

3.有鉴于此，本技术的实施例，提供了一种多源异构数据的自动化转换方法和装置，用于对输入的数据进行自动识别和转换。
4.在本技术的第一方面，提供一种多源异构数据的自动化转换方法，包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。
5.在一些实施例中，所述对所述当前数据的格式类型进行识别，确定对应的编码，包括：使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。
6.在一些实施例中，所述根据所述编码，确定对应的转换规则，包括：将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。
7.在一些实施例中，所述转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则；所述将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则，包括：将所述编码与转换规则库中的编码标识进行匹配，若匹配成功，则将匹配成功的转换规则确定为所述编码的转换规则。
8.在一些实施例中，还包括：若匹配不成功，则由人工确定所述编码的转换规则，并将所述编码的编码标识和转换规则存储在所述转换规则库中。
9.在一些实施例中，所述数据的数据结构包括json格式、txt格式、xls格式和csv格式。
10.在一些实施例中，在所述对所述当前数据的格式类型进行识别，确定对应的编码之后，所述方法还包括：将识别后的数据按照编码划分为多个类别，然后按照类别对数据的格式进行转换。
11.在本技术的第二方面，提供一种多源异构数据的自动化转换装置，包括：数据接收模块，用于接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；格式类型识别模块，用于对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；转换规则确定模块，用于根据所述编码，确定对应的转换规则；格式转换模块，用于根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。
12.在本技术的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
13.在本技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
14.通过本技术的多源异构数据的自动化转换方法，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率，降低数据转换的成本。
15.发明内容部分中所描述的内容并非旨在限定本技术的实施例的关键或重要特征，亦非用于限制本技术的范围。本技术的其它特征将通过以下的描述变得容易理解。
附图说明
16.结合附图并参考以下详细说明，本技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了本技术实施例一的多源异构数据的自动化转换方法的流程图；图2示出了本技术实施例二的多源异构数据的自动化转换装置的结构示意图；图3示出了能够实施本技术的实施例的示例性电子设备的方框图；图4示出了本技术实施例的数据格式转换示意图。
具体实施方式
17.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本技术保护的范围。
18.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
19.本技术实施例的多源异构数据的自动化转换方法，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率。具体地，如图1所示，为本技术实施例一的多源异
构数据的自动化转换方法的流程图。在本实施例中，所述多源异构数据的自动化转换方法，可以包括以下步骤：s101：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式。
20.本技术实施例的多源异构数据的自动化转换方法，可以应用于大数据管理系统中，用于对输入到大数据管理系统中的数据进行管理，即将不同格式的数据转换成预定义的统一的标准格式的数据，从而便于数据的整理和管理。其中，大数据管理系统可以设置有多个数据结构，每个数据接口可以对接一个或多个数据源。数据源发送至所述大数据管理系统中的数据的格式可以包括多种格式，例如json格式、txt格式、xls格式和csv格式。这是只是实例性的说明数据的格式，此外，送至所述大数据管理系统中的数据的格式还可以包括其他格式，这里不做具体限定。
21.s102：对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码。
22.在本实施例中，大数据管理系统在预设的时间段内，可能收到一个或多个数据源发送的数据。大数据管理系统可以按照同样的方式对接收到的数据进行处理。处理的方式可以包括并行或串行，或者并行和串行同步进行。下面以一个数据的处理过程为例，对本技术的技术方案进行说明。对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定当前数据的格式类型的对应的编码。在确定数据的格式类型对应的编码的过程中，可以以关键字的形式去确定当前数据的格式类型的对应的编码。
23.s103：根据所述编码，确定对应的转换规则。
24.具体地，在大数据管理系统中，设置有转换规则库，转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则。并且，大数据管理系统使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。在确定对应的编码后，将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。
25.在本实施例中，在将所述编码与转换规则库中的编码标识进行匹配后，还可以进一步判断是否匹配成功，若匹配成功，则将匹配成功的转换规则确定为所述编码的转换规则。
26.若匹配不成功，则由人工确定所述编码的转换规则，并将所述编码的编码标识和转换规则存储在所述转换规则库中，从而对所述转换规则库进行更新。
27.s104：根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。
28.在本实施例中，当确定当前数据对应的转换规则后，根据所述转换规则对当前数据进行格式转换，将所述当前数据转换成标准化数据，并将转换后的标准化数据输出。在输出标准化数据后，可以对所述标准数据进行存储。
29.具体地，对于格式转换后的数据，采用纯文本存储，使用utf-8字符集，并且格式转换后的数据由记录组成，每一行代表一条记录；每条记录被分隔符分成一个个字段，分隔符为逗号；如果格式转换后的数据本身的内容中包括逗号，则使用加斜杠的方式进行转义；如果出现换行符号，同样使用转义的方式表示；每生成一条记录就自动排序。
30.在本实施例中，可以将其他格式的数据在格式转换后，转换成csv结构文件，在转换为csv结构文件的同时生成一条记录并自动排序。当处理完一个数据文件时，自动统计生成的csv结构文件中生成记录的序列组、总行数、总列数、空值数量等，并结合原数据文件中
的数据源信息、数据列属性，在csv结构文件头中生成数据摘要进行文件信息表示。再对下一个数据文件进行处理时，将生成的数据摘要添加到上一个数据摘要的后面，生成的数据文件添加到上一个数据文件的后面，即根据处理的先后顺序对数据摘要进行排序，并按照同样的顺序对数据内容进行排序，全部的数据摘要位于痊愈的数据内容的前面。
31.如图4所示，为本技术实施例的数据格式转换示意图。对于不同格式的数据文件，经过csv标准化后，生成csv结构的文件。其中的[1-2]表示对应文件在数据再要中对应的行数，“来自mysql的员工表”表示数据的来源和进行格式转换前的数据格式，“数据列属性：姓名(char,32)，性别(char,1)，年龄(int)，电话(char,12)
ꢀ”
表示数据列都包括什么属性的内容，“总行数: 2，总列数: 4，空值数量: 2”，表示数据的整体统计信息。对于“来自excel成绩单数据列属性:姓名，语文，数学，英语，总行数: 1，总列数:4，空值数量:1”，“[4-5]来自txt电影采集，数据列属性:电影名称，上映时间，豆瓣评分，总行数: 2，总列数: 3，空值数量: 0”可以做类似解释，这里不再详细说明。
[0032]
本技术实施例的多源异构数据的自动化转换方法，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率。
[0033]
此外，作为本技术的一个可选实施例，在上述实施例中，在对所述当前数据的格式类型进行识别，确定对应的编码之后，所述方法还包括：将识别后的数据按照编码划分为多个类别，然后按照类别对数据的格式进行转换。这样，可不对数据进行类别集中的格式转换，将转换后的数据按照转换钱的类别进存储，进而有利于数据的管理。
[0034]
下面结合具体的实例对本技术的技术方案进行说明。例如，大数据管理系统接收到数据源发送的txt格式的数据，而预先定义的大数据管理系统输出的标准化数据为josn格式的数据。这样，在大数据管理系统接收到数据源发送的txt格式的数据后，首先确定数据的格式，然后根据数据的格式确定数据的格式对应的编码，然后将确定的编码与转换规则库中的转换规则进行匹配，当匹配成功时，利用预先定义的匹配成功的转换规则对数据源发送的数据进行格式转换，生成标准化数据。即生成另一种用户预先定义格式的数据。
[0035]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应所述知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应所述知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0036]
以上是关于方法实施例的介绍，以下通过装置实施例，对本技术所述方案进行进一步说明。
[0037]
如图2所示，为本技术实施例二的多源异构数据的自动化转换装置的结构示意图。本实施例的多源异构数据的自动化转换装置，包括：数据接收模块201，用于接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；格式类型识别模块202，用于对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；转换规则确定模块203，用于根据所述编码，确定对应的转换规则；
格式转换模块204，用于根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。
[0038]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0039]
图3示出了能够实施本技术的实施例的示例性电子设备300的方框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0040]
电子设备300包括计算单元301，其可以根据存储在rom302中的计算机程序或者从存储单元308加载到ram303中的计算机程序，来执行各种适当的动作和处理。在ram303中，还可存储电子设备300操作所需的各种程序和数据。计算单元301、rom302以及ram303通过总线304彼此相连。i/o接口305也连接至总线304。
[0041]
电子设备300中的多个部件连接至i/o接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0042]
计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如多源异构数据的自动化转换方法。例如，在一些实施例中，多源异构数据的自动化转换方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由rom302和/或通信单元309而被载入和/或安装到电子设备300上。当计算机程序加载到ram303并由计算单元301执行时，可以执行上文描述的多源异构数据的自动化转换方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行多源异构数据的自动化转换方法。
[0043]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0044]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处
理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0045]
在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或电子设备使用或与指令执行系统、装置或电子设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或电子设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0046]
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本技术的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
[0047]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

技术特征：
1.多源异构数据的自动化转换方法，其特征在于，包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。2.根据权利要求1所述的自动化转换方法，其特征在于，所述对所述当前数据的格式类型进行识别，确定对应的编码，包括：使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。3.根据权利要求2所述的自动化转换方法，其特征在于，所述根据所述编码，确定对应的转换规则，包括：将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。4.根据权利要求3所述的自动化转换方法，其特征在于，所述转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则；所述将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则，包括：将所述编码与转换规则库中的编码标识进行匹配，若匹配成功，则将匹配成功的转换规则确定为所述编码的转换规则。5.根据权利要求4所述的自动化转换方法，其特征在于，还包括：若匹配不成功，则由人工确定所述编码的转换规则，并将所述编码的编码标识和转换规则存储在所述转换规则库中。6.根据权利要求5所述的自动化转换方法，其特征在于，所述数据的数据结构包括json格式、txt格式、xls格式和csv格式。7.根据权利要求6所述的自动化转换方法，其特征在于，在所述对所述当前数据的格式类型进行识别，确定对应的编码之后，所述方法还包括：将识别后的数据按照编码划分为多个类别，然后按照类别对数据的格式进行转换。8.多源异构数据的自动化转换装置，其特征在于，包括：数据接收模块，用于接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；格式类型识别模块，用于对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；转换规则确定模块，用于根据所述编码，确定对应的转换规则；格式转换模块，用于根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。

技术总结
本申请提供了一种多源异构数据的自动化转换方法和装置，涉及数据管理技术领域，其中，所述方法包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。以此方式，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率，降低数据转换的成本。据转换的成本。据转换的成本。


技术研发人员：郝伟 沈传宝 李宏发 纪文 刘文亮 沈立翔
受保护的技术使用者：安徽华云安科技有限公司
技术研发日：2023.07.14
技术公布日：2023/8/14