【技术实现步骤摘要】
用于批量作业的特殊文件自动化处理方法
[0001]本专利技术涉及分布式批量调度
，尤其是涉及一种用于批量作业的特殊文件自动化处理方法。
技术介绍
[0002]随着经济数字化浪潮的蓬勃兴起，各商业银行为提高自身服务质量、提升同业竞争力，纷纷踏上数字化转型的道路。数据是企业的发展关键，数据的需求来源于业务也服务于业务，数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入，数据的调度就是作业的调度，而批量作业调度是金融行业信息后台最为重要的技术形态。
[0003]伴随金融行业分布式新核心以及大数据平台的建设，批量处理作业规模越来越大，相对应的调度场景更加多样，系统调度逻辑也会更加复杂，对调度性能和稳定性、扩展性提出了更高要求。目前主要采用分布式批量调度的方式，根据数据文件预定的调度日期，确定每一调度日需加工的数据文件，按照调度作业列表中每一项任务顺序执行，实现对数据文件的加工；同时，针对全球一体化系统，为了实现业务使用无影响感，还采用分区加工的模式，以提高批量调度的效率、尽可能减少业务使用影响、
【技术保护点】
【技术特征摘要】
1.一种用于批量作业的特殊文件自动化处理方法，其特征在于，包括以下步骤：S1、构建特殊文件配置表；S2、扫描文件接收目录，读取所有文件，并从中筛选出待特殊处理的文件和规范文件；S3、对于规范文件，执行正常批量作业加工操作；对于待特殊处理的文件，通过读取特殊文件配置表，完成对待特殊处理文件的批量处理操作，得到可正常加载文件，再执行正常批量作业加工操作。2.根据权利要求1所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述特殊文件配置表包括特殊文件名称、特殊类型以及对应的处理规则描述。3.根据权利要求2所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述处理规则描述具体为：针对不规范命名文件，执行正则表达式匹配操作；针对不定频率下发文件，移至备份目录进行单独加载；针对文件内容包含换行符文件，移至临时目录进行换行转换；针对待转码文件，移至临时目录进行转码。4.根据权利要求3所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述步骤S2具体是采用正则表达式匹配的方法，以从读取的所有文件中筛选出待特殊处理的文件和规范文件。5.根据权利要求4所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述待特殊处理的文件包括不规范命名、不定频率下发、文件内容包含换行符、文件待转码四种形式。6.根据权利要求5所述的一种用于批量作业的特殊文件自动化处理方法，...
【专利技术属性】
技术研发人员：周林溪，岑锦祥，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。