多数据源数据文件路径处理方法及装置制造方法及图纸

本发明专利技术提供了一种多数据源数据文件路径处理方法及装置，应用于大数据技术领域，该方法包括：获得数据源对应的规则列表；在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；基于源文件规则，获得源文件的各个路径变量的值；基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径。本发明专利技术可以对各数据源所提供的数据文件路径按照本系统能够识别的形式进行标准化处理，效率高，准确性高。准确性高。准确性高。

Multi data source data file path processing method and device

【技术实现步骤摘要】
多数据源数据文件路径处理方法及装置


[0001]本专利技术涉及大数据
，尤其涉及一种多数据源数据文件路径处理方法及装置。

技术介绍

[0002]企业级开发中经常会遇到这种场景，在存在多个数据源时，部分数据源仅以数据文件形式提供(txt、excel、mdb等)，由于数据源的系统都有各自特点，导致各数据源提供的数据文件没有统一的标准，因此需要花费大量的人力对各数据源所提供的数据文件路径按照本系统能够识别的形式进行标准化处理，如图1所示，这样不仅造成人力资源的浪费且数据处理的时效性、准确性大打折扣。因此，目前缺乏一种多数据源数据文件路径处理方法，将数据源的数据文件处理为标准化形式。

技术实现思路

[0003]本专利技术实施例提出一种多数据源数据文件路径处理方法，用以对各数据源所提供的数据文件路径按照本系统能够识别的形式进行标准化处理，效率高，准确性高，该方法包括：
[0004]获得数据源对应的规则列表；
[0005]在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；
[0006]基于源文件规则，获得源文件的各个路径变量的值；
[0007]基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径。
[0008]本专利技术实施例提出一种多数据源数据文件路径处理装置，用以对各数据源所提供的数据文件路径按照本系统能够识别的形式进行标准化处理，效率高，准确性高，该装置包括：
[0009]规则列表获得模块，用于获得数据源对应的规则列表；
[0010]源文件规则筛选模块，用于在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；
[0011]第一路径变量映射模块，用于基于源文件规则，获得源文件的各个路径变量的值；
[0012]第二路径变量映射模块，用于基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径。
[0013]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述多数据源数据文件路径处理方法。
[0014]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多数据源数据文件路径处理方法。
[0015]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述多数据源数据文件路径处理方法。
[0016]在本专利技术实施例中，获得数据源对应的规则列表；在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；基于源文件规则，获得源文件的各个路径变量的值；基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径。与现有技术需要人为进行标准化处理的方法相比，通过筛选规则列表，获取源文件的路径对应的源文件规则；然后通过路径变量的转换，获得了目标文件的路径，实现了自动化处理，很大程度降低了人为干预程度，效率高，准确性高，进一步提高了系统处理数据的吞吐能力。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0018]图1为现有技术中通过人力进行多数据源数据文件路径处理的思路图；
[0019]图2为本专利技术实施例中多数据源数据文件路径处理方法的流程图；
[0020]图3为本专利技术实施例中工作空间和工作目录的示意图；
[0021]图4为本专利技术实施例中多数据源数据文件路径处理的思路图；
[0022]图5为本专利技术实施例中多数据源数据文件路径处理方法的原理图；
[0023]图6为本专利技术实施例中多数据源数据文件路径处理装置的示意图一；
[0024]图7为本专利技术实施例中多数据源数据文件路径处理装置的示意图二；
[0025]图8为本专利技术实施例中计算机设备的示意图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0027]在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
[0028]首先，对本专利技术涉及的术语进行解释。
[0029]工作空间：数据源上传文件所访问的根目录。
[0030]工作目录：为不同数据源提供的数据文件定义一个访问工作目录。
[0031]图2为本专利技术实施例中多数据源数据文件路径处理方法的流程图，如图2所示，包
括：
[0032]步骤201，获得数据源对应的规则列表；
[0033]步骤202，在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；
[0034]步骤203，基于源文件规则，获得源文件的各个路径变量的值；
[0035]步骤204，基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径。
[0036]本专利技术实施例提出的处理方法可称为标准化处理方法。
[0037]图3为本专利技术实施例中源工作空间和工作目录的示意图，见图3，比如说“数据源
‑
系统1”的fileName文件信息为：“/fileFolder1/fileFolder2/fileFolder3/fileName”，为数据源分配的工作空间为：“fileUpload”，工作目录为：“system1”，所有以后“数据源
‑
系统1”所提供的数据文件均在“/fileUpload/system1/”目录下。“数据源
‑
系统1”上传fileName文件进行标准化后的完整路径为：“/fileUpload/system1/fileFolder1/fileFolder2/fileFolder3/fileName”。
[0038]因此，在获得数据源的源文件后，将所述源文件放入数据源对应的工作目录下，且将数据源对应的规则列表放入数据源对应的工作目录下，使得各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源数据文件路径处理方法，其特征在于，包括：获得数据源对应的规则列表；在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；基于源文件规则，获得源文件的各个路径变量的值；基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径。2.如权利要求1所述的方法，其特征在于，源文件的路径变量包括源文件所在层级、文件名及文件类型。3.如权利要求1所述的方法，其特征在于，所述源文件规则和目标文件规则包括第一类规则；其中，源文件规则的第一类规则包括过滤器；目标文件规则的第一类规则包括内置函数和常量。4.如权利要求1所述的方法，其特征在于，所述源文件规则和目标文件规则包括第二类规则，所述第二类规则采用正则表达式。5.如权利要求1所述的方法，其特征在于，还包括：在接收到的数据源的源文件为同一路径下的多个源文件时，在获得多个源文件对应的目标文件的路径后，对源文件的路径中已处理的源文件进行标记；基于源文件规则，获得源文件的各个路径变量的值；基于目标文件规则，根据源文件的各个路径变量的值，获得源文件对应的目标文件的路径，包括：对于源文件的路径下的每个未标记的源文件，基于源文件规则，获得该未标记的源文件的各个路径变量的值；基于目标文件规则，根据该未标记的源文件的各个路径变量的值，获得该未标记的源文件对应的目标文件的路径。6.一种多数据源数据文件路径处理装置，其特征在于，包括：规则列表获得模块，用于获得数据源对应的规则列表；源文件规则筛选模块，用于在接收到数据源的源文件后，筛选规则列表，获取源文件的路径对应的源文件规则；第一路径变量映射模块，用于基于源文件规则，获得源文件的各个路径变量的值；第...

【专利技术属性】
技术研发人员：李志强，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：