并行批量处理方法技术

公开了一种以批量单位的形式对作业进行并行处理的并行批量处理方法，所述批量单位都包括至少一个要执行的作业，所述并行批量处理方法包括步骤：将数据库表从物理上分成多个分区，并将与预定区域相对应的数据存储在分区中，所述预定区域具有区域代号；建立区域代号和各个批量单位的编号之间的映射表；建立数据访问模式，以将批量单位的作业访问的数据范围限定在区域代号与批量单位编号映射的范围内；针对预定的批量单位，将该预定的批量单位中的作业拷贝成多份，形成多个批量单位；以及并行提交所述多个批量单位。利用上述方法，提高了金融机构的海量数据的处理效率。

【技术实现步骤摘要】

本专利技术涉及批量数据的集中处理的
，具体涉及一种，以提高金融机构的海量数据的处理效率。
技术介绍
随着国内金融业竞争的不断激烈，各大金融机构纷纷走上数据集中之路。数据集中就是要将分布在全国各地的数万个机构的数据合并到一起，并建立起一个全行统一的电子化体系，这是中国金融电子化、集约化体系建设大工程。数据集中将带来一场信息技术和管理的变革。原来金融机构的数据信息是分布在各个机构的本地系统上，银行的批量处理系统包括完全独立的运行在各地的系统，这些系统分别处理本地数据库表中的数据。但是由于各机构的数据量相对较小，传统的批量处理按照图6所示的串行流程来进行。众所周知，银行业务处理中的批量(BATCH)是由若干个作业(JOB)组成的，作业是批量的基本运行单元，每个作业完成一定的业务处理功能。作业之间按照严格的业务逻辑顺序运行。每个作业(JOB)中可以有多个作业步(JOBSTEP)，每个作业步(JOBSTEP)承载着一个应用程序(PROGRAM)的运行。在数据集中的形势下，数据中心的主机通过系统耦合技术，建立了强大的主机设备集群，这个设备集群由多台主机组成，每一台主机都配置了5个的CP本文档来自技高网...

【技术保护点】
一种以批量单位的形式对作业进行并行处理的并行批量处理方法，所述批量单位包括至少一个要执行的作业，所述并行批量处理方法包括步骤：　　　　将数据库表从物理上分成多个分区，并将与预定区域相对应的数据存储在分区中，所述预定区域具有区域代号；　　　　建立区域代号和各个批量单位的编号之间的映射表；　　　　建立数据访问模式，以将批量单位的作业访问的数据范围限定在区域代号与批量单位编号映射的范围内；　　　　针对预定的批量单位，将该预定的批量单位中的作业拷贝成多份，形成多个批量单位；以及　　　　并行提交所述多个批量单位。

【技术特征摘要】

【专利技术属性】
技术研发人员：林晓轩，苏文力，吕仲涛，卢练文，于芳，李兴双，王煜辉，李奇伟，谭汉清，张海军，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：11[中国|北京]