用于批量作业的特殊文件自动化处理方法技术

本发明专利技术涉及一种用于批量作业的特殊文件自动化处理方法，包括以下步骤：构建特殊文件配置表；扫描文件接收目录，读取所有文件，并从中筛选出待特殊处理的文件和规范文件；对于规范文件，执行正常批量作业加工操作；对于待特殊处理的文件，通过读取特殊文件配置表，完成对待特殊处理文件的批量处理操作，得到可正常加载文件，再执行正常批量作业加工操作。与现有技术相比，本发明专利技术将特殊文件的处理方式纳入批量作业中，能够实现批量自动处理特殊文件，从而减少运维人员手工处理时间及工作量、提高批量作业执行效率、保证数据加工时效性、降低业务使用影响。业务使用影响。业务使用影响。

【技术实现步骤摘要】
用于批量作业的特殊文件自动化处理方法


[0001]本专利技术涉及分布式批量调度
，尤其是涉及一种用于批量作业的特殊文件自动化处理方法。

技术介绍

[0002]随着经济数字化浪潮的蓬勃兴起，各商业银行为提高自身服务质量、提升同业竞争力，纷纷踏上数字化转型的道路。数据是企业的发展关键，数据的需求来源于业务也服务于业务，数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入，数据的调度就是作业的调度，而批量作业调度是金融行业信息后台最为重要的技术形态。
[0003]伴随金融行业分布式新核心以及大数据平台的建设，批量处理作业规模越来越大，相对应的调度场景更加多样，系统调度逻辑也会更加复杂，对调度性能和稳定性、扩展性提出了更高要求。目前主要采用分布式批量调度的方式，根据数据文件预定的调度日期，确定每一调度日需加工的数据文件，按照调度作业列表中每一项任务顺序执行，实现对数据文件的加工；同时，针对全球一体化系统，为了实现业务使用无影响感，还采用分区加工的模式，以提高批量调度的效率、尽可能减少业务使用影响、保证数据时效性。
[0004]银行系统每天会进行交易相关的结算、清算、结息、对账等活动，批量调度用于银行系统中大量数据的批量处理业务，现有技术中，银行普遍使用批量调度平台将各系统的批量任务进行统一编排，统一预处理，统一定时调度或者人工调度，通过远程系统调度等实现对批量作业的统一治理。分布式批量调度平台是指批量调度平台采用了分布式架构，体现高可扩展性，对一个体量较大的任务来进行分片拆分，让多个服务来分工执行不同条件的任务，降低单体服务环境下服务器的压力。当一个服务出现异常，立刻让另外一个服务来顶替异常服务的工作，从而保证任务可以继续执行，提高系统的稳定和可靠性。
[0005]银行系统批量处理是银行业整个信息后台最为重要的技术形态，也是银行核心信息资产数据的分享、传输、演化的重要技术手段。随着大数据时代的到来，特别是在数据仓库、大数据平台的带动下，这样的规模还将快速发展，其批量作业数规模也必将产生数量级的增长变化，搭建批量调度平台，批量自动化处理是银行系统目前普遍使用的数据文件加工方式，可以从为数据安全提供更可靠的技术保障，可以加快具体系统构建速度，提升系统运维效率，降低运维风险。
[0006]正常情况下，上游系统批量文件按规定格式、规定命名、规定频率下发，下游系统通过调度作业对文件进行批量加工，供业务使用。但是，实际应用中往往存在一些命名不规范、下发频率不稳定、文件内容包含换行符、需要转码等的特殊文件，此时必须通过运维人员手工干预处理，才能保证作业正确执行。根据目前情况来看，系统对于上游特殊文件情况不可控，依赖于上游通知或批量作业执行报错后人为干预处理，确保批量作业正常运行，这种处理方式需要运维人员手工处理，增加工作量，且对于大量特殊文件，手工解决时间过长，影响其余正常文件加工时间，进而影响业务使用。对于接收多系统文件的下游系统而言，人为处理特殊文件的时间必然会影响到整个批量作业的执行，从而影响到业务使用；此
外，特殊文件多种情况的不确定性也会大大增加手工处理的工作量，导致消耗过多的人力成本。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种用于批量作业的特殊文件自动化处理方法，以能够减少运维人员手工处理时间及工作量，提高批量作业执行效率，降低业务使用影响。
[0008]本专利技术的目的可以通过以下技术方案来实现：一种用于批量作业的特殊文件自动化处理方法，包括以下步骤：
[0009]S1、构建特殊文件配置表；
[0010]S2、扫描文件接收目录，读取所有文件，并从中筛选出待特殊处理的文件和规范文件；
[0011]S3、对于规范文件，执行正常批量作业加工操作；
[0012]对于待特殊处理的文件，通过读取特殊文件配置表，完成对待特殊处理文件的批量处理操作，得到可正常加载文件，再执行正常批量作业加工操作。
[0013]进一步地，所述特殊文件配置表包括特殊文件名称、特殊类型以及对应的处理规则描述。
[0014]进一步地，所述处理规则描述具体为：
[0015]针对不规范命名文件，执行正则表达式匹配操作；
[0016]针对不定频率下发文件，移至备份目录进行单独加载；
[0017]针对文件内容包含换行符文件，移至临时目录进行换行转换；
[0018]针对待转码文件，移至临时目录进行转码。
[0019]进一步地，所述步骤S2具体是采用正则表达式匹配的方法，以从读取的所有文件中筛选出待特殊处理的文件和规范文件。
[0020]进一步地，所述待特殊处理的文件包括不规范命名、不定频率下发、文件内容包含换行符、文件待转码四种形式。
[0021]进一步地，所述步骤S3中对待特殊处理文件的批量处理操作具体包括以下步骤：
[0022]S31、采用正则表达式匹配不规范命名文件；
[0023]S32、将其余待特殊处理文件移至备份目录，备份其余待特殊处理文件；
[0024]S33、将其余待特殊处理文件移动至临时目录；
[0025]S34、临时目录下解压其余待特殊处理文件，并通过读取特殊文件配置表，完成对其余待特殊处理文件的处理操作。
[0026]进一步地，所述步骤S34具体包括以下步骤：
[0027]S341、临时目录下解压其余待特殊处理文件，并通过重命名得到对应的临时文件；
[0028]S342、读取特殊文件配置表，确定其余待特殊处理文件对应的处理操作、并执行；
[0029]S343、删除临时文件，压缩，移动回加载目录。
[0030]进一步地，所述步骤S342中，通过读取特殊文件配置表，判断其余待特殊处理文件是否需要换行，若判断为是，则执行换行处理、输出到原文件；否则退出。
[0031]进一步地，所述步骤S342中，通过读取特殊文件配置表，判断其余待特殊处理文件
是否需要转码，若判断为是，则执行转码处理、输出到原文件；否则退出。
[0032]进一步地，所述临时文件的后缀为tmp。
[0033]与现有技术相比，本专利技术将特殊文件的处理方式纳入批量作业中，通过构建特殊文件配置表，当系统接收上游文件后，自动读取文件清单，对于规范文件，正常批量作业加工；对于特殊文件，则进入特殊处理任务，根据已配置的特殊文件处理方法、对文件进行转码、换行等处理，处理结束后，再执行正常批量加工，由此实现批量自动处理特殊文件，能够有效减少人工干预工作量，节省运维人员手工处理时间，从而提高批量作业执行效率、保证数据加工时效性，降低业务使用影响。
[0034]本专利技术采用特殊文件配置表的方式，当筛选出待特殊处理的文件后，通过读取特殊文案金配置表，即可自动完成对待特殊处理文件的批量处理操作、得到可正常加载的文件，即使存在多种不同形式的特殊文件，也能高效准确地完成处理操作，大大减小人力消耗。
附图说明
...

【技术保护点】

【技术特征摘要】
1.一种用于批量作业的特殊文件自动化处理方法，其特征在于，包括以下步骤：S1、构建特殊文件配置表；S2、扫描文件接收目录，读取所有文件，并从中筛选出待特殊处理的文件和规范文件；S3、对于规范文件，执行正常批量作业加工操作；对于待特殊处理的文件，通过读取特殊文件配置表，完成对待特殊处理文件的批量处理操作，得到可正常加载文件，再执行正常批量作业加工操作。2.根据权利要求1所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述特殊文件配置表包括特殊文件名称、特殊类型以及对应的处理规则描述。3.根据权利要求2所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述处理规则描述具体为：针对不规范命名文件，执行正则表达式匹配操作；针对不定频率下发文件，移至备份目录进行单独加载；针对文件内容包含换行符文件，移至临时目录进行换行转换；针对待转码文件，移至临时目录进行转码。4.根据权利要求3所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述步骤S2具体是采用正则表达式匹配的方法，以从读取的所有文件中筛选出待特殊处理的文件和规范文件。5.根据权利要求4所述的一种用于批量作业的特殊文件自动化处理方法，其特征在于，所述待特殊处理的文件包括不规范命名、不定频率下发、文件内容包含换行符、文件待转码四种形式。6.根据权利要求5所述的一种用于批量作业的特殊文件自动化处理方法，...

【专利技术属性】
技术研发人员：周林溪，岑锦祥，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：