文件批量处理及调度的方法技术

本发明专利技术公开了一种文件批量处理及调度的方法，包括：接收下传平台下发的外部数据文件；加载所述外部数据文件到数据库。本发明专利技术的文件批量处理及调度的方法使用状态驱动的方法对外部数据文件的各处理阶段进行调度，达到高效并发、资源可控的处理文件的目的。并且为文件的每个处理步骤设定状态，并在数据库中予以记录；采取随到随处理的方式顺序调用各个处理过程，不同文件的各处理阶段之间实现最大程度的并发。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种，包括：接收下传平台下发的外部数据文件；加载所述外部数据文件到数据库。本专利技术的使用状态驱动的方法对外部数据文件的各处理阶段进行调度，达到高效并发、资源可控的处理文件的目的。并且为文件的每个处理步骤设定状态，并在数据库中予以记录；采取随到随处理的方式顺序调用各个处理过程，不同文件的各处理阶段之间实现最大程度的并发。【专利说明】
本专利技术公开了一种文件处理方法，特别是一种。
技术介绍
目前，在数据处理类系统中，对于源头的外部数据文件的检查、清洗、加载过程非常重要，是数据仓库建设的基础；特别对于数据量很大的系统来说，如何能高效稳定的实现上述要求更加关键。 现有技术中针对海量文件的并发处理与调度，尚无专门的文件处理批量调度工具或方法。例如在AIX(Advanced Interactive eXecutive)系统下，AIX系统是 IBM基于 AT&TUnix System V开发的一套类UNIX操作系统，运行在IBM专有的Power系列芯片设计的小型机硬件系统之上。其具有较好的安全性、可管理性和持续可用性等特点，而广泛应用于银行、零售业等领域。而以银行为例，对于海量文件的并发处理和调度问题，始终存在效率低且不够稳定的问题存在。
技术实现思路
鉴于现有技术存在的上述问题，本专利技术的目的在于提供一种文件批量处理及调度方法。该方法可以高效稳定的实现对于源头的外部数据文件的批量处理和调度。 为了实现上述目的，本专利技术提供的一种，包括: 接收下传平台下发的外部数据文件； 加载所述外部数据文件到数据库。 作为优选，加载所述外部数据文件到数据库，包括: 连接数据库； 获取加载控制文件并根据所述加载控制文件加载所述外部数据文件到数据库。 作为优选，在连接数据库后，先获取日志文件路径，并在加载外部数据文件到数据库后再次检查加载日志文件判断加载外部数据文件是否成功，如果判断加载外部数据文件成功，更新文件状态并断开数据库连接。 作为优选，在获取加载控制文件时，如果成功加载，删除数据库中当前表区域的数据后进入加载外部数据文件步骤；反之则先编写加载控制文件再获取加载控制文件。 作为优选，加载所述外部数据文件到数据库之前，判断所述外部数据文件是否当期文件，如果是则加载所述外部数据文件到数据库；反之将所述外部数据文件压缩保存，并在期数到达预设值时，解压所述外部数据文件。 作为优选，判断所述外部数据文件是否当期文件之前，清洗所述外部数据文件，该步骤包括:文件控制信息检查、获取文件分隔符、清洗配置文件等公共信息，逐行对文件按照各字段的清洗规则进行清洗，将清洗后数据逐行写入清洗后文件，计算清洗出错率。 作为优选，对所述外部数据文件进行文件清洗之前，检查所述外部数据文件，包括: 连接数据库； 打开所述外部数据文件，读取文件控制信息后，检查文件控制信息并对文件根据不同的检查设置不同的状态。 作为优选，所述文件控制信息包括系统名称、下传表名、增全量标识、文件分隔符、数据内容的起始日期及数据内容的结束日期。 作为优选，检查所述外部数据文件之前，解压所述外部数据文件。 与现有技术相比较，本专利技术的使用状态驱动的方法对外部数据文件的各处理阶段进行调度，达到高效并发、资源可控的处理文件的目的。并且为文件的每个处理步骤设定状态，并在数据库中予以记录；采取随到随处理的方式顺序调用各个处理过程，不同文件的各处理阶段之间实现最大程度的并发。 【专利附图】【附图说明】 图1为本专利技术的的流程简图。 图2为本专利技术的中加载外部数据文件的流程简图。 图3为本专利技术的中检查外部数据文件的流程简图。 【具体实施方式】 以下结合附图及【具体实施方式】对本专利技术的技术方案做进一步详细的说明。 本专利技术提供的一种，提供AIX系统下海量文件的并发处理与调度功能，为数据仓库建设过程的基础文件数据准备阶段提供控制。基本上包括:首先接收下传平台下发的外部数据文件；然后再以最大程度的并发使外部数据文件加载到数据库。这两个步骤是实现本专利技术技术方案的最基本的实施方式。而在如下的附图1中，提供了另一个更为具体的实施方式，如图1所示，该方法包括: S10，接收外部数据文件。这里的外部数据文件通常指来自下传平台的所有的数据文件。在数据处理类系统中，对于源头的外部数据文件的检查、清洗、加载过程非常重要，是数据仓库建设的基础；特别对于数据量很大的系统来说，如何能高效稳定的实现上述要求更加关键。 S11，解压外部数据文件。这里是指由下传平台传送的外部数据文件如果为压缩格式，需要在此对其进行解压缩以便后续操作。实际操作过程中，可以通过在此步骤调用解压缩程序来进行这一操作。 S12，检查外部数据文件。这一步骤的作用是检查每个文件的文件控制信息是否完整，并且读取文件控制信息中的系统名称、下传表名、增全量标识、文件分隔符、数据内容的起始日期、结束日期等信息。并根据数据库中其中一个表的配置，获取外部数据文件对应的数据库中的表名，然后将这些信息再记录到另一个表中。例如，在一具体操作中，针对ODS (Operat1nal DataStore,操作性数据存储)数据集，根据SYS_TABNAMECHG表中的配置，获取文件对应的ODS表名，并将这些记录到SYS_FTPFILECTL表中。文件检查结束后文件的状态为3000。 图3示出了本专利技术的中检查外部数据文件的流程简图。如图3所示，在进行文件检查时，步骤包括:S31、连接数据库；如果连接成功，则进入S32步骤；S32、打开要检查的外部数据文件的源文件，如果打开成功则进入S33步骤，如果打开文件失败，设置文件状态为2005 ;S33、读取外部数据文件的文件控制信息，如果读取成功则进入S34步骤，如果读取文件控制信息失败，则设置文件状态为2001 ;S34、检查外部数据文件。如果检查成功，则进入S35步骤。如果检查失败，则对文件根据不同的检查设置不同的状态；S35、更新文件状态，如果更新成功则进入S36步骤，如果更新失败，则设置文件状态为2006 ;S36、关闭文件；S37、断开数据库连接。 S13、清洗外部数据文件。文件控制信息检查、获取文件分隔符、清洗配置文件等公共信息，逐行对文件按照各字段的清洗规则进行清洗，将清洗后数据逐行写入清洗后文件，计算清洗出错率。 S14、加载所述外部数据文件到数据库之前，判断所述外部数据文件是否当期文件，如果是则加载所述外部数据文件到数据库；反之进入S15步骤。 S15、将所述外部数据文件压缩保存，并在期数到达预设值时，进入S16步骤。 S16、解压所述外部数据文件。 S17、加载外部数据文件到数据库。这一步骤的作用是将清洗完后的数据文件通过加载到它所对应的数据库的表中。承接以上实例，例如通过ODS中SYS_TABNAMECHG表找到对应的ODS表名，然后再调用程序(例如sqlldr工具)将这个清洗后的外部数据文件加载到它对应的ODS表中。同时将加载成功后的文件状态为6000。 在这一步骤中，如图2所示，具体又是通过如下步骤来完成外部数据文件的加载:S21、连接数据库；S22、在连接上数据库之后，首先获取日志文件路径，本文档来自技高网...

【技术保护点】
一种文件批量处理及调度的方法，其特征在于，包括：接收下传平台下发的外部数据文件；加载所述外部数据文件到数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：王莉，郭铸，王作为，陈世强，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11