【技术实现步骤摘要】
分布式文件生成方法及装置
[0001]本专利技术涉及分布式数据处理
,具体而言,涉及一种分布式文件生成方法及装置。
技术介绍
[0002]在金融银行业应用系统中,不同系统之间存在大量的文件交互,例如在不同系统间进行数据同步、向金融监管部门提供监管报送文件、银行账户账务核对等业务场景,这些业务场景数据量大、文件导出逻辑和生成周期相对固定。
[0003]现有技术一般是通过批量文件来实现,指定一台服务器作为批量服务器,批量调度器每日定时串行调度执行不同的文件生成作业来生成符合不同需求的批量数据文件,然而串行调度会造成文件生成的执行效率较低,因此现有技术缺少一种更为高效的批量文件生成方案。
技术实现思路
[0004]本专利技术为了解决上述
技术介绍
中的技术问题,提出了一种分布式文件生成方法及装置。
[0005]为了实现上述目的,根据本专利技术的一个方面,提供了一种分布式文件生成方法,该方法包括:
[0006]获取每个文件生成任务各自的任务配置信息,其中,所述任务配置信息包括:计划执行日期以 ...
【技术保护点】
【技术特征摘要】
1.一种分布式文件生成方法,其特征在于,包括:获取每个文件生成任务各自的任务配置信息,其中,所述任务配置信息包括:计划执行日期以及文件生成规则配置信息标识;在当前时间到达预设的待执行任务确定时间时,根据每个文件生成任务各自的计划执行日期确定当日需要执行的所有文件生成任务,并在待执行文件生成作业队列表中生成每个当日需要执行的文件生成任务各自对应的待执行作业信息,其中,所述待执行作业信息包括:执行状态,在所述待执行作业信息生成时所述待执行作业信息的执行状态为待执行;从所述待执行文件生成作业队列表中确定出一条执行状态为待执行的待执行作业信息,并将该条待执行作业信息的执行状态设置为执行中;获取该条待执行作业信息对应的文件生成任务的文件生成规则配置信息标识,然后确定获取的文件生成规则配置信息标识对应的文件生成规则配置信息,进而根据所述文件生成规则配置信息进行文件生成,在文件生成完成时将该条待执行作业信息的执行状态设置为执行成功。2.根据权利要求1所述的分布式文件生成方法,其特征在于,所述待执行作业信息还包括:服务器标识字段以及时间戳字段;在所述将该条待执行作业信息的执行状态设置为执行中的同时,所述方法还包括:将该条待执行作业信息的服务器标识字段更新为本地的服务器标识;将该条待执行作业信息的时间戳字段更新为当前时间。3.根据权利要求2所述的分布式文件生成方法,其特征在于,还包括:在文件生成完成时将该条待执行作业信息的时间戳字段更新为文件生成完成时间。4.根据权利要求1所述的分布式文件生成方法,其特征在于,所述待执行作业信息还包括:执行时间以及优先级;所述从所述待执行文件生成作业队列表中确定出一条执行状态为待执行的待执行作业信息,具体包括:从所述待执行文件生成作业队列表中查找执行时间为当前时间并且执行状态为待执行的所有待执行作业信息;从查找出的所有待执行作业信息中确定出优先级最高的一条待执行作业信息。5.根据权利要求1所述的分布式文件生成方法,其特征在于,所述在待执行文件生成作业队列表中生成每个当日需要执行的文件生成任务各自对应的任务信息,具体包括:针对每个当日需要执行的文件生成任务,首先判断所述待执行文件生成作业队列表中是否已经存在该文件生成任务对应的任务信息;若否,则在所述待执行文件生成作业队列表中生成该文件生成任务对应的任务信息。6.根据权利要求1所述的分布式文件生成方法,其特征在于,所述方法应用于分布式批量文件生成服务器集群中的任意一个批量文件生成服务器。7.根据权利要求6所述的分布式文件生成方法,其特征在于,每个文件生成任务各自的任务配置信息均存储在同一个作业定义表中;所述作业定义表存储在所述分布式批量文件生成服务器集群中的分布式数据库中。8.根据权利要求7所述的分布式文件生成方法,其特征在于,所述待执行文件生成作业...
【专利技术属性】
技术研发人员:李逸帆,刘鹏,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。