一种文件处理方法、装置、计算机可读存储介质及服务器制造方法及图纸

本发明专利技术属于人工智能技术领域，尤其涉及一种文件处理方法、装置、计算机可读存储介质及服务器。所述方法包括：通过文件轮询作业节点从目标文件源中获取文件信息，根据文件信息生成对应的文件任务信息，并将文件任务信息存储入文件任务表中；通过文件下载作业节点读取表中的文件任务信息，并根据文件任务信息从目标文件源中下载文件；通过文件校验作业节点调度第一数目的文件校验作业分片分别对文件进行校验操作；通过文件入库作业节点调度第二数目的文件入库作业分片分别对文件进行文件解析，并将其插入库表中；通过文件上传作业节点调度第三数目的文件上传作业分片分别将库表中的文件解析信息生成本地文件，并将其上传至分布式文件系统。式文件系统。式文件系统。

【技术实现步骤摘要】
一种文件处理方法、装置、计算机可读存储介质及服务器


[0001]本专利技术属于人工智能
，尤其涉及一种文件处理方法、装置、计算机可读存储介质及服务器。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。在现代金融企业应用当中，在复杂的业务场景下，会产生海量的数据文件，相比于传统金融企业，数据文件呈现数倍、数十倍、甚至上百倍的迅猛增长，而目前的金融企业所采用的仍然是传统的文件处理方式，即按固有的顺序对文件进行处理，上一文件的全部处理过程完成之后，再进行下一文件的处理，这些方式针对的是小数据量下的文件处理，处理效率较低，越来越难以满足当前对海量文件的处理需求。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种文件处理方法、装置、计算机可读存储介质及服务器，以解决现有的文件处理方式处理效率较低的问题。
[0004]本专利技术实施例的第一方面提供了一种文件处理方法，可以包括：
[0005]通过预设的文件轮询作业节点从指定的目标文件源中获取文件信息，根据获取的文件信息生成对应的文件任务信息，并将生成的文件任务信息存储入预设的文件任务表中；
[0006]通过预设的文件下载作业节点读取所述文件任务表中的文件任务信息，并根据读取的文件任务信息从所述目标文件源中下载对应的文件；
[0007]通过预设的文件校验作业节点调度预设的第一数目的文件校验作业分片分别对下载的文件进行校验操作；
[0008]通过预设的文件入库作业节点调度预设的第二数目的文件入库作业分片分别对校验操作后的文件进行文件解析，并将得到的文件解析信息插入预设的库表中；
[0009]通过预设的文件上传作业节点调度预设的第三数目的文件上传作业分片分别将所述库表中的文件解析信息生成本地文件，并将生成的本地文件上传至预设的分布式文件系统。
[0010]在第一方面的一种具体实现方式中，所述根据获取的文件信息生成对应的文件任务信息，可以包括：
[0011]将获取的文件信息与在预设文件配置表中注册的文件配置数据进行正则匹配；
[0012]若匹配不成功，则在预设的异常信息表中记录异常信息；
[0013]若匹配成功，则提取匹配到的文件配置数据中的轮询标志位；
[0014]若所述轮询标志位为预设的第一取值，则在所述异常信息表中记录异常信息；
[0015]若所述轮询标志位为预设的第二取值，则根据匹配到的文件配置数据生成文件任
务信息。
[0016]在第一方面的一种具体实现方式中，所述将生成的文件任务信息存储入预设的文件任务表中，可以包括：
[0017]在所述文件任务表中查询是否存在与生成的文件任务信息相同的文件任务信息；
[0018]若在所述文件任务表中存在相同的文件任务信息，则在预设的异常信息表中记录异常信息；
[0019]若在所述文件任务表中不存在相同的文件任务信息，则将生成的文件任务信息存储入预设的文件任务表中。
[0020]在第一方面的一种具体实现方式中，所述读取所述文件任务表中的文件任务信息，并根据读取的文件任务信息从所述目标文件源中下载对应的文件，可以包括：
[0021]根据预设的读取条件读取所述文件任务表中的文件任务信息；
[0022]提取读取的文件任务信息中的下载标志位；
[0023]若所述下载标志位为预设的第一取值，则将读取的文件任务信息的状态更新为跳过下载状态；
[0024]若所述下载标志位为预设的第二取值，则对所述目标文件源中对应的文件进行完整性检查；
[0025]若完整性检查未通过，则在预设的异常信息表中记录异常信息；
[0026]若完整性检查通过，则从所述目标文件源中下载对应的文件，并将下载的文件上传至所述分布式文件系统的指定目录中；
[0027]向所述目标文件源发送转移文件指令，将对应的源文件转移至预设的备份目录中。
[0028]在第一方面的一种具体实现方式中，所述调度预设的第一数目的文件校验作业分片分别对下载的文件进行校验操作，可以包括：
[0029]根据各个文件校验作业分片的分片号和各个下载的文件的文件号，使用预设的分片算法确定各个文件校验作业分片分别对应的文件任务信息列表；
[0030]调度各个文件校验作业分片分别遍历各自对应的文件任务信息列表，对文件任务信息列表中的各个文件进行校验操作；
[0031]所述对文件任务信息列表中的各个文件进行校验操作，可以包括：
[0032]提取目标文件任务信息中的校验标志位；所述目标文件任务信息为文件任务信息列表中的任意一条文件任务信息；
[0033]若所述校验标志位为预设的第一取值，则将所述目标文件任务信息的状态更新为跳过校验状态；
[0034]若所述校验标志位为预设的第二取值，则从所述分布式文件系统中获取目标文件；所述目标文件为与所述目标文件任务信息对应的文件；
[0035]分别解析第一参数和第二参数；所述第一参数为所述目标文件任务信息中的参数，所述第二参数为所述目标文件中的参数；
[0036]若所述第一参数与所述第二参数不一致，则在预设的异常信息表中记录异常信息；
[0037]若所述第一参数与所述第二参数一致，则将所述目标文件任务信息的状态更新为
校验完成状态。
[0038]在第一方面的一种具体实现方式中，所述调度预设的第二数目的文件入库作业分片分别对校验操作后的文件进行文件解析，并将得到的文件解析信息插入预设的库表中，可以包括：
[0039]根据各个文件入库作业分片的分片号和各个下载的文件的文件号，使用预设的分片算法确定各个文件入库作业分片分别对应的文件任务信息列表；
[0040]调度各个文件入库作业分片分别遍历各自对应的文件任务信息列表，对文件任务信息列表中的各个文件进行入库操作；
[0041]所述对文件任务信息列表中的各个文件进行入库操作，可以包括：
[0042]提取目标文件任务信息中的入库标志位；所述目标文件任务信息为文件任务信息列表中的任意一条文件任务信息；
[0043]若所述入库标志位为预设的第一取值，则将所述目标文件任务信息的状态更新为跳过入库状态；
[0044]若所述入库标志位为预设的第二取值，则对目标文件进行文件解析，得到文件解析信息；所述目标文件为与所述目标文件任务信息对应的文件；
[0045]将所述文件解析信息插入目标库表中；所述目标库表为与所述目标文件任务信息中配置的表名对应的库表。
[0046]在第一方面的一种具体实现方式中，所述调度预设的第三数目的文件上传作业分片分别将所述库表中的文件解析信息生成本地文件，并将生成的本地文件上传至预设的分布式文件系统，可以包括：
[0047]根据各个文件上传作业分片的分片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件处理方法，其特征在于，包括：通过预设的文件轮询作业节点从指定的目标文件源中获取文件信息，根据获取的文件信息生成对应的文件任务信息，并将生成的文件任务信息存储入预设的文件任务表中；通过预设的文件下载作业节点读取所述文件任务表中的文件任务信息，并根据读取的文件任务信息从所述目标文件源中下载对应的文件；通过预设的文件校验作业节点调度预设的第一数目的文件校验作业分片分别对下载的文件进行校验操作；通过预设的文件入库作业节点调度预设的第二数目的文件入库作业分片分别对校验操作后的文件进行文件解析，并将得到的文件解析信息插入预设的库表中；通过预设的文件上传作业节点调度预设的第三数目的文件上传作业分片分别将所述库表中的文件解析信息生成本地文件，并将生成的本地文件上传至预设的分布式文件系统。2.根据权利要求1所述的文件处理方法，其特征在于，所述根据获取的文件信息生成对应的文件任务信息，包括：将获取的文件信息与在预设文件配置表中注册的文件配置数据进行正则匹配；若匹配不成功，则在预设的异常信息表中记录异常信息；若匹配成功，则提取匹配到的文件配置数据中的轮询标志位；若所述轮询标志位为预设的第一取值，则在所述异常信息表中记录异常信息；若所述轮询标志位为预设的第二取值，则根据匹配到的文件配置数据生成文件任务信息。3.根据权利要求1所述的文件处理方法，其特征在于，所述将生成的文件任务信息存储入预设的文件任务表中，包括：在所述文件任务表中查询是否存在与生成的文件任务信息相同的文件任务信息；若在所述文件任务表中存在相同的文件任务信息，则在预设的异常信息表中记录异常信息；若在所述文件任务表中不存在相同的文件任务信息，则将生成的文件任务信息存储入预设的文件任务表中。4.根据权利要求1所述的文件处理方法，其特征在于，所述读取所述文件任务表中的文件任务信息，并根据读取的文件任务信息从所述目标文件源中下载对应的文件，包括：根据预设的读取条件读取所述文件任务表中的文件任务信息；提取读取的文件任务信息中的下载标志位；若所述下载标志位为预设的第一取值，则将读取的文件任务信息的状态更新为跳过下载状态；若所述下载标志位为预设的第二取值，则对所述目标文件源中对应的文件进行完整性检查；若完整性检查未通过，则在预设的异常信息表中记录异常信息；若完整性检查通过，则从所述目标文件源中下载对应的文件，并将下载的文件上传至所述分布式文件系统的指定目录中；向所述目标文件源发送转移文件指令，将对应的源文件转移至预设的备份目录中。
5.根据权利要求1所述的文件处理方法，其特征在于，所述调度预设的第一数目的文件校验作业分片分别对下载的文件进行校验操作，包括：根据各个文件校验作业分片的分片号和各个下载的文件的文件号，使用预设的分片算法确定各个文件校验作业分片分别对应的文件任务信息列表；调度各个文件校验作业分片分别遍历各自对应的文件任务信息列表，对文件任务信息列表中的各个文件进行校验操作；所述对文件任务信息列表中的各个文件进行校验操作，包括：提取目标文件任务信息中的校验标志位；所述目标文件任务信息为文件任务信息列表中的任意一条文件任务信息；若所述校验标志位为预设的第一取值，则将所述目标文件任务信息的状态更新为跳过校验状态；若所述校验标志位为预设的第二取值，则从所述分布式文件系统中获取目标文件；所述目标文件为与所述目标文件任务信息对应的文件；分别解析第一参数和第二参数；所述第一参数为所述目标文件任务信息中的参数，所述第二参数为所述目标文件中的参数；若所述第一参数与所述第二参数不一致，则在预设的异常信息表...

【专利技术属性】
技术研发人员：刘芳君，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：