批量文件处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，尤其涉及一种批量文件处理方法、装置、电子设备和存储介质。本发明专利技术的批量文件处理方法、装置、电子设备和存储介质，获取批量文件处理请求对应的批量文件；对批量文件进行解析，得到属性信息；获取每个批量文件的数据处理逻辑，根据各批量文件的数据处理逻辑确定各批量文件的处理顺序，根据处理顺序获取批量文件的处理链；根据属性信息、数据处理逻辑以及处理链，对批量文件进行任务配置，生成批量文件处理请求对应的批量文件处理任务；通过上述方式，实现对批量文件处理请求中涉及的每个批量文件的属性信息以及业务逻辑进行配置，减少批量文件处理的开发周期，实现了批量入口的统一管理，增加了批量文件处理的速度。件处理的速度。件处理的速度。

【技术实现步骤摘要】
批量文件处理方法、装置、电子设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种批量文件处理方法、装置、电子设备和存储介质。

技术介绍

[0002]网络已成为人们必不可少的一部分，而各种网络项目、工程的后台的运行都离不开批量处理，因此批量文件是软件程序中不可或缺的部分，在批量中有个常用的功能，那就是文件的处理，但是现有的生产实例中，不同系统处理文件的方式五花八门，对于文件的处理没有一个统一的处理方式，并且如果文件处理的方式不当，很容易出现系统的内存溢出、异常时文件数据的重复处理等问题，并且文件的解析方式也因文件规则不一样，而出现大量的个性化定制解析，维护成本很大。

技术实现思路

[0003]本专利技术的目的在于提供一种批量文件处理方法、装置、电子设备和存储介质，以解决现有技术中批量文件处理速度慢及批量文件入口无法统一的技术问题。
[0004]本专利技术的技术方案如下：提供一种批量文件处理方法，包括：
[0005]当接收到批量文件处理请求时，获取所述批量文件处理请求对应的至少一个批量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量文件处理方法，其特征在于，包括：当接收到批量文件处理请求时，获取所述批量文件处理请求对应的至少一个批量文件；对每个所述批量文件进行解析，得到每个所述批量文件的属性信息，其中，所述属性信息包括文件信息、字段信息以及格式信息；获取每个所述批量文件的数据处理逻辑，根据各所述批量文件的数据处理逻辑确定各批量文件的处理顺序，根据所述处理顺序获取所述批量文件的处理链；根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务。2.根据权利要求1所述的批量文件处理方法，其特征在于，所述文件信息包括所述批量文件的文件类型、所述批量文件的存储路径以及所述批量文件的文件命名规则，所述字段信息包括所述批量文件中每个字段的关键字以及所述批量文件中每个字段的有效数据，所述格式信息包括所述批量文件的正文解析起始位置以及所述批量文件的编码格式。3.根据权利要求2所述的批量文件处理方法，其特征在于，所述批量文件中每个字段的有效数据按照如下步骤获取：获取所述批量文件中每个字段的长度；判断所述字段是否为定长数据，当判断结果为是时，获取所述字段的补位规则；根据所述字段的长度及补位规则还原补位前的有效数据。4.根据权利要求1所述的批量文件处理方法，其特征在于，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务之前，还包括：获取预设时间周期内的服务器的状态信息，其中，所述状态信息包括资源种类和空闲资源量；根据所述服务器的状态信息获取每个所述批量文件的单次最大处理数据量；相应地，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务，包括：根据所述批量文件的属性信息、所述批量文件的单次最大处理数据量、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务。5.根据权利要求1所述的批量文件处理方法，其特征在于，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务之后，还包括：获取多个批量文件处理任务的处理链，根据所述处理链中各批量文件及对应的数据处理逻辑生成各批量文件的批量文件处理树形图，其中，所述批量文件处理树形图中每个执行节点包...

【专利技术属性】
技术研发人员：王维柳，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：