多源异构数据的自动化转换方法和装置制造方法及图纸

本申请提供了一种多源异构数据的自动化转换方法和装置，涉及数据管理技术领域，其中，所述方法包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。以此方式，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率，降低数据转换的成本。据转换的成本。据转换的成本。

【技术实现步骤摘要】
多源异构数据的自动化转换方法和装置


[0001]本申请的实施例一般涉及数据管理
，并且更具体地，涉及多源异构数据的自动化转换方法和装置。

技术介绍

[0002]在大数据管理系统中，需要对各类原始输入数据进行读取和转换。由于这些数据往往都是多源异构的数据，即不仅来源不同且结构也不一样，所以往往需要大量的人工进行预先分析处理。人工处理方式不仅效率低下，而且经常会进行重复性的工作，造成人力成本的浪费，同时也不利于对数据的管理。

技术实现思路

[0003]有鉴于此，本申请的实施例，提供了一种多源异构数据的自动化转换方法和装置，用于对输入的数据进行自动识别和转换。
[0004]在本申请的第一方面，提供一种多源异构数据的自动化转换方法，包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。
[0005]在一些实施例中，所述对所述当前数据的格式类型进行识别，确定对应的编码，包括：使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。
[0006]在一些实施例中，所述根据所述编码，确定对应的转换规则，包括：将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。
[0007]在一些实施例中，所述转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则；所述将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则，包括：将所述编码与转换规则库中的编码标识进行匹配，若匹配成功，则将匹配成功的转换规则确定为所述编码的转换规则。
[0008]在一些实施例中，还包括：若匹配不成功，则由人工确定所述编码的转换规则，并将所述编码的编码标识和转换规则存储在所述转换规则库中。
[0009]在一些实施例中，所述数据的数据结构包括json格式、txt格式、xls格式和csv格式。
[0010]在一些实施例中，在所述对所述当前数据的格式类型进行识别，确定对应的编码之后，所述方法还包括：将识别后的数据按照编码划分为多个类别，然后按照类别对数据的格式进行转换。
[0011]在本申请的第二方面，提供一种多源异构数据的自动化转换装置，包括：数据接收模块，用于接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；格式类型识别模块，用于对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；转换规则确定模块，用于根据所述编码，确定对应的转换规则；格式转换模块，用于根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。
[0012]在本申请的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0013]在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
[0014]通过本申请的多源异构数据的自动化转换方法，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率，降低数据转换的成本。
[0015]
技术实现思路
部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
[0016]结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了本申请实施例一的多源异构数据的自动化转换方法的流程图；图2示出了本申请实施例二的多源异构数据的自动化转换装置的结构示意图；图3示出了能够实施本申请的实施例的示例性电子设备的方框图；图4示出了本申请实施例的数据格式转换示意图。
具体实施方式
[0017]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
[0018]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0019]本申请实施例的多源异构数据的自动化转换方法，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率。具体地，如图1所示，为本申请实施例一的多源异
构数据的自动化转换方法的流程图。在本实施例中，所述多源异构数据的自动化转换方法，可以包括以下步骤：S101：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式。
[0020]本申请实施例的多源异构数据的自动化转换方法，可以应用于大数据管理系统中，用于对输入到大数据管理系统中的数据进行管理，即将不同格式的数据转换成预定义的统一的标准格式的数据，从而便于数据的整理和管理。其中，大数据管理系统可以设置有多个数据结构，每个数据接口可以对接一个或多个数据源。数据源发送至所述大数据管理系统中的数据的格式可以包括多种格式，例如json格式、txt格式、xls格式和csv格式。这是只是实例性的说明数据的格式，此外，送至所述大数据管理系统中的数据的格式还可以包括其他格式，这里不做具体限定。
[0021]S102：对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码。
[0022]在本实施例中，大数据管理系统在预设的时间段内，可能收到一个或多个数据源发送的数据。大数据管理系统可以按照同样的方式对接收到的数据进行处理。处理的方式可以包括并行或串行，或者并行和串行同步进行。下面以一个数据的处理过程为例，对本申请的技术方案进行说明。对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定当前数据的格式类型的对应的编码。在确定数据的格式类型对应的编码的过程中，可以以关键字的形式去确定当前数据的格式类型的对应的编码。
[0023]S103：根据所述编码，确定对应的转换规则。
[0024]具体地，在大数据管理系统中，设置有转换规则库，转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则。并且，大数据管理系统使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。在确定对应的编码后，将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。
[0025]在本实施例中，在将所述编码与转换规则库中的编码标识进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多源异构数据的自动化转换方法，其特征在于，包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。2.根据权利要求1所述的自动化转换方法，其特征在于，所述对所述当前数据的格式类型进行识别，确定对应的编码，包括：使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。3.根据权利要求2所述的自动化转换方法，其特征在于，所述根据所述编码，确定对应的转换规则，包括：将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。4.根据权利要求3所述的自动化转换方法，其特征在于，所述转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则；所述将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则，包括：将所述编码与转换规则库中的编码标识进行匹配，若匹配成功，则将匹配成功的转换规则确定为所述编码的转换规则。5.根据权利要求4所述的自动化转换方法，其特征在于，还包括：若匹配不成功，则由人...

【专利技术属性】
技术研发人员：郝伟，沈传宝，李宏发，纪文，刘文亮，沈立翔，
申请(专利权)人：安徽华云安科技有限公司，
类型：发明
国别省市：