一种数据的批量处理方法及系统技术方案

本发明专利技术公开了一种数据的批量处理方法，其特征在于，包括：当接收到对目标数据集的处理请求时，解析所述目标数据集包含的各个目标数据，确定每一个目标数据所属的集群；并行的将每一个集群中包含的各个目标数据进行切分得到各个切片数据集；确定所述各个切片数据集中的每一个切片数据所属的表和数据库；对每一个数据库中的每一个表包含的各个切片数据进行并行处理。上述方法，将目标数据集中的目标数据通过分片的方式分配给了不同的数据库中的不同表，通过多服务器加载进行并行处理，避免了现有技术中，由于是单库单表机制和资源限制，不能通过多服务器并行加载和处理，只能通过串行的方式来完成所有数据的加载和处理流程，处理效率低的问题。

【技术实现步骤摘要】
一种数据的批量处理方法及系统
本专利技术涉及数据处理
，尤其涉及一种数据的批量处理方法及系统。
技术介绍
银行的信息技术IT(InformationTechnology)系统中通常涉及海量数据的存储与处理，每天全量或增量的数据档需要定时加载和处理，现有技术中，通过单库单表的方式集中加载和处理数据，无论数据档大小，通过调整服务器的存储空间大小，以批量方式始终往同一表里追加或更新数据。专利技术人对现有的数据的批量处理方法进行研究发现，由于是单库单表机制和资源限制，不能通过多服务器并行加载和处理，只能通过串行的方式来完成所有数据的加载和处理流程，在效率和性能上难以达到令人满意的效果。
技术实现思路
有鉴于此，本专利技术提供了一种数据的批量处理方法及系统，用以解决现有技术中由于是单库单表机制和资源限制，不能通过多服务器并行加载和处理，只能通过串行的方式来完成所有数据的加载和处理流程，在效率和性能上难以达到令人满意的效果的问题。具体方案如下：一种数据的批量处理方法，包括：当接收到对目标数据集的处理请求时，解析所述目标数据集包含的各个目标数据，确定每一个目标数据所属的集群；并行的将每一个集群中本文档来自技高网...

【技术保护点】
1.一种数据的批量处理方法，其特征在于，包括：当接收到对目标数据集的处理请求时，解析所述目标数据集包含的各个目标数据，确定每一个目标数据所属的集群；并行的将每一个集群中包含的各个目标数据进行切分得到各个切片数据集；确定所述各个切片数据集中的每一个切片数据所属的表和数据库，其中，每一个数据库中包含至少一个表；对每一个数据库中的每一个表包含的各个切片数据进行并行处理。

【技术特征摘要】
1.一种数据的批量处理方法，其特征在于，包括：当接收到对目标数据集的处理请求时，解析所述目标数据集包含的各个目标数据，确定每一个目标数据所属的集群；并行的将每一个集群中包含的各个目标数据进行切分得到各个切片数据集；确定所述各个切片数据集中的每一个切片数据所属的表和数据库，其中，每一个数据库中包含至少一个表；对每一个数据库中的每一个表包含的各个切片数据进行并行处理。2.根据权利要求1所述的方法，其特征在于，并行的将每一个集群中包含的各个目标数据进行切分得到各个切片数据集，包括：获取与所述目标数据集对应的各个集群；解析所述各个集群中包含的各个目标数据；依据每一个目标数据的切分字段对其进行切分，得到各个切片数据；采用哈希算法并行的计算每一个切片数据的哈希值；依据每一个切片数据的哈希值进行划分得到所述各个切片数据集。3.根据权利要求1所述的方法，其特征在于，确定所述各个切片数据集中的每一个切片数据所属的表和数据库，包括：针对每一个切片数据集，获取每一个切片数据的切片编号；在对应的预设的映射关系对照表中依据每一个切片数据的切编号查找与其对应的表和数据库，其中，所述预设的映射关系对照表存储有表，数据库和切片编号的对应关系。4.根据权利要求3所述的方法，其特征在于，还包括：当检测到对任一个数据库的调整请求时，对与所述调整请求对应的预设关系对照表进行调整。5.根据权利要求1所述的方法，其特征在于，对每一个数据库中的每一个表包含的各个切片数据进行并行处理，包括：针对每一个切片数据，获取与其对应的临时区分表中的临时数据和数据分区表中的存量数据；判断所述存量数据中是否存在临时数据；若否，将所述临时数据插入到所述存量数量。6.一种数据的批量处理系统，其特征在于，包括：解...

【专利技术属性】
技术研发人员：陈仲宇，尹涛，刘新阳，朱建兵，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京,11