一种数据处理方法、装置、设备、介质及产品制造方法及图纸

本申请实施例公开了一种数据处理方法、装置、设备、介质及产品。该数据处理方法通过文件扫描线程扫描文件服务器上的文件目录，在基于文件目录确定有新的数据文件上传至文件服务器，且新的数据文件上传完成的情况下，根据新的数据文件的文件参数，确定与新的数据文件的格式类型对应的目标文件解析器，利用目标文件解析器解析新的数据文件，得到第一数据。即该数据处理方法利用与数据文件的格式类型对应的文件解析器识别并解析对应的数据文件，得到数据内容，如此可以准确识别各种格式类型的数据文件，而且本申请实施例是在数据文件上传完成后，利用对应的文件解析器解析，如此可以准确识别数据文件的数据内容。确识别数据文件的数据内容。确识别数据文件的数据内容。

【技术实现步骤摘要】
一种数据处理方法、装置、设备、介质及产品


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置、设备、介质及产品。

技术介绍

[0002]在数据处理场景中，通常需要将数据加载到数据仓库，利用作业或算法对数据进行加工处理。这些数据可以包括数据字典、交易数据等多源数据，具有多厂商、多业务线、多渠道等特点，导致了数据格式的多样化。
[0003]这些多源异构的数据格式，无法被数据平台准确识别，导致这些数据无法被正常加载到数据仓库，从而影响了数据的处理结果。
[0004]申请内容
[0005]本申请实施例提供一种数据处理方法、装置、设备、介质及产品，可以准确识别多源异构的数据格式。
[0006]第一方面，本申请实施例提供了一种数据处理方法，包括：
[0007]通过文件扫描线程扫描文件服务器上的文件目录，文件目录基于上传至文件服务器的数据文件生成；
[0008]在基于文件目录确定有新的数据文件上传至文件服务器，且新的数据文件上传完成的情况下，根据新的数据文件的文件参数，确定与新的数据文件的格式类型对应的目标文件解析器；
[0009]利用目标文件解析器解析新的数据文件，得到第一数据。
[0010]第二方面，本申请实施例提供了一种数据处理装置，包括：
[0011]扫描模块，用于通过文件扫描线程扫描文件服务器上的文件目录，文件目录基于上传至文件服务器的数据文件生成；
[0012]确定模块，用于在基于文件目录确定有新的数据文件上传至文件服务器，且新的数据文件上传完成的情况下，根据新的数据文件的文件参数，确定与新的数据文件的格式类型对应的目标文件解析器；
[0013]解析模块，用于利用目标文件解析器解析新的数据文件，得到第一数据。
[0014]第三方面，本申请实施例提供了一种电子设备，包括：
[0015]处理器；
[0016]存储器，用于存储计算机程序指令；
[0017]当计算机程序指令被处理器执行时，实现如第一方面所述的方法。
[0018]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如第一方面所述的方法。
[0019]第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第一方面所述的方法。
[0020]本申请实施例提供的数据处理方法、装置、设备、介质及产品，通过文件扫描线程
扫描文件服务器上的文件目录，在基于文件目录确定有新的数据文件上传至文件服务器，且新的数据文件上传完成的情况下，根据新的数据文件的文件参数，确定与新的数据文件的格式类型对应的目标文件解析器，利用目标文件解析器解析新的数据文件，得到第一数据。即本申请实施例利用与数据文件的格式类型对应的文件解析器识别并解析对应的数据文件，得到数据内容，如此可以准确识别各种格式类型的数据文件，而且本申请实施例是在数据文件上传完成后，利用对应的文件解析器解析，如此可以准确识别数据文件的数据内容。
附图说明
[0021]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本申请实施例提供的一种数据处理方法的流程图；
[0023]图2为本申请实施例提供的一种数据处理的过程示意图；
[0024]图3为本申请实施例提供的一种数据处理装置的结构图；
[0025]图4为本申请实施例提供的一种电子设备的结构图。
具体实施方式
[0026]下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
[0027]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0028]还需要说明的是，本申请所有实施方式对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0029]如上所述，在数据处理场景中，通常会面临多种类型的数据文件，这些数据文件还有可能来源于不同的厂商、业务线或渠道，为了不影响后续的数据处理结果，需要准确识别不同的厂商、业务线或渠道上传的各种类型的数据文件。
[0030]但通常情况下，平台或机构仅能识别某一种类型的数据文件，无法识别各种类型的数据文件，从而影响后续的数据处理结果。
[0031]为此，本申请实施例提供了一种数据处理方法、装置、设备、介质及产品，可以准确识别多源异构的数据格式，获取数据内容。
[0032]下面结合具体的实施例对本申请实施例提供的数据处理方法进行说明，图1为本申请实施例提供的一种数据处理方法的流程图。该方法可以应用于电子设备，电子设备可以包括但不限于手机、平板电脑、笔记本电脑、掌上电脑等。
[0033]如图1所示，该数据处理方法可以包括如下步骤：
[0034]S110、通过文件扫描线程扫描文件服务器上的文件目录。
[0035]其中，文件目录基于上传至文件服务器的数据文件生成。
[0036]S120、在基于文件目录确定有新的数据文件上传至文件服务器，且新的数据文件上传完成的情况下，根据新的数据文件的文件参数，确定与新的数据文件的格式类型对应的目标文件解析器。
[0037]S130、利用目标文件解析器解析新的数据文件，得到第一数据。
[0038]本申请实施例通过文件扫描线程扫描文件服务器上的文件目录，在基于文件目录确定有新的数据文件上传至文件服务器，且新的数据文件上传完成的情况下，根据新的数据文件的文件参数，确定与新的数据文件的格式类型对应的目标文件解析器，利用目标文件解析器解析新的数据文件，得到第一数据。即本申请实施例可以利用与数据文件的格式类型对应的文件解析器识别并解析对应的数据文件，得到数据内容，如此可以准确识别各种格式类型的数据文件，而且本申请实施例是在数据文件上传完成后，利用对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：通过文件扫描线程扫描文件服务器上的文件目录，所述文件目录基于上传至所述文件服务器的数据文件生成；在基于所述文件目录确定有新的数据文件上传至所述文件服务器，且所述新的数据文件上传完成的情况下，根据所述新的数据文件的文件参数，确定与所述新的数据文件的格式类型对应的目标文件解析器；利用所述目标文件解析器解析所述新的数据文件，得到第一数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述新的数据文件的文件参数，确定与所述新的数据文件的格式类型对应的目标文件解析器之前，所述方法还包括：将所述新的数据文件加入文件执行列队，进行等候；在文件解析执行线程空闲的情况下，通过所述文件解析执行线程，将所述新的数据文件分发给文件解析执行器；利用所述文件解析执行器，通过关键字识别的方式识别所述新的数据文件的文件名，得到所述新的数据文件的文件参数，所述文件参数用于指示所述新的数据文件的格式类型。3.根据权利要求1所述的方法，其特征在于，所述根据所述新的数据文件的文件参数，确定与所述新的数据文件的格式类型对应的目标文件解析器，包括：根据所述新的数据文件的文件参数，查找文件解析器列表，得到与所述新的数据文件的格式类型对应的目标文件解析器，所述文件解析器列表用于存储已注册的适配不同格式类型数据文件的文件解析器。4.根据权利要求1所述的方法，其特征在于，所述利用所述目标文件解析器解析所述新的数据文件，得到第一数据之后，所述方法还包括：按照预设格式排列所述第一数据，得到标准格式的数据文件；将所述标准格式的数据文件上传至数据平台，由所述...

【专利技术属性】
技术研发人员：李玮，李德良，郭鹏翔，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：