一种银行数据的并行批量处理系统技术方案

本实用新型专利技术实施例提供了一种银行数据的并行批量处理系统，该系统包括：银行业务系统，包括柜面交易系统、网上银行交易系统、自助交易系统、批处理系统，与银行核心数据库相连接；银行核心数据库，与数据处理装置相连接；数据处理装置，具体包括：数据输入接口，与所述的银行核心数据库相连接；数据存储器，与所述的数据输入接口相连接；顺序号存储器，与所述的数据存储器相连接；分批控制表输出接口，与顺序号存储器相连接；作业输出接口，与所述的分批控制表输出接口相连接；作业处理器，与所述的作业输出接口相连接。解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术关于数据处理技术，特别是关于银行海量数据处理技术，具体的讲是一种银行数据的并行批量处理系统。技术背景 目前，各大银行均将全行的数据集中进行统一处理，以在此基础上建立统一的业务功能和技术服务。银行集中处理的数据量非常庞大，对于银行数据进行的集中处理过程，如核算处理、报表处理，结息处理等，往往有严格的时间限制，通常在银行停止营业的夜间开始处理，并需要在第二天银行营业开门前处理完毕，对海量数据处理的效率要求极高。传统的串行处理方式无法满足银行海量数据处理的要求，因此现有技术中各个银行均采用并行处理的方式进行数据处理。并行处理方式是将银行的海量数据按照一定规则划分为多个批次，然后并行运行多个批次的批量处理技术。现有技术中的并行批量处理技术，在将银行海量数据拆分后并行运行时，其批次的划分原则相对固定，诸如按行政地区拆分或按照业务类型划分，这种划分方式一旦确定后，每次批量都按照该原则划分为固定的批次，并对划分后的批次进行批量处理。上述的并行处理方式，其固定的拆分原则存在很大的缺陷，往往无法做到对数据量的自适应，无法控制每个批次处理数据量的大小，导致实际划分出来的各批次数据不均衡，在此基础上进行的并行批量处理各批次的结束时间有先后，如此造成了如下缺陷(I)系统的空闲资源无法得到有效利用，造成整个数据处理的效率低下；(2)批量处理的整体结束时间较长，因此当银行数据量较大时会产生无法在银行营业开门前处理完毕的风险，严重影响银行生产活动的正常运行；(3)由于划分方式是固定的，对大数据库表和小数据库表采取同样的并行度，大数据库表的处理速度往往无法保证；(4)固定划分批次的系统如果根据实际的使用需要调整其批次划分原则时，其风险较高，而且工程实施规模庞大，不易操作。
技术实现思路
本技术实施例提供了一种银行数据的并行批量处理系统，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题。本技术的目的是，提供一种银行数据的并行批量处理系统，所述的系统包括银行核心数据库，与所述的数据处理装置相连接，存储银行处理业务时输出的数据；数据处理装置，具体包括数据输入接口，与所述的银行核心数据库相连接，接收银行业务系统处理银行业务时输出的数据；数据存储器，与所述的数据输入接口相连接，将所述的数据按顺序进行存储；顺序号存储器，与所述的数据存储器相连接，记录所述的数据存储后对应的顺序号，并将所述的顺序号存储；分批控制表输出接口，与所述的顺序号存储器相连接，根据控制参数表输出所述的数据对应的分批控制表；作业输出接口，与所述的分批控制表输出接口相连接，根据所述的分批控制表以及预设的作业运行模板输出作业运行实体；作业处理器，与所述的作业输出接口相连接，根据控制顺序运行所述的作业运行实体。本技术的有益效果在于，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题，通过为具体数据量提供最优的处理方案，提高了系统资源的利用率，同时也提高了系统的处理效率，能自动处理数据变化所带来的影响，确保系统持续稳定并不断优化。附图说明为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。图I为本技术实施例提供的一种银行数据的并行批量处理系统的结构示意图；图2为本技术实施例提供的一种银行数据的并行批量处理系统的实施方式二的结构示意图；图3为本技术实施例中将数据按顺序存储后的数据表的示意图；图4为本技术实施例中控制参数表的实例图；图5为本技术实施例中分批控制表的实例图；图6为本技术实施例中运行统计表的实例图。具体实施方式下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。图I为本技术实施例提供的一种银行数据的并行批量处理系统的结构框图，由图I可知，该系统包括银行业务系统100，包括柜面交易系统102、网上银行交易系统101、自助交易系统103、批处理系统104，与银行核心数据库相连接，处理银行业务同时输出数据。即银行业务系统负责在每日运营期间处理银行各种业务，包括柜面交易、网上银行交易、各种自助渠道交易以及批处理业务等，从而产生数据。即本技术中的处理对象主要是商业银行核心数据库的海量数据。银行核心数据库200，与所述的数据处理装置相连接，存储所述的银行业务系统处理银行业务时输出的数据；数据处理装置，具体包括数据输入接口 301，与所述的银行核心数据库相连接，接收银行业务系统处理银行业务时输出的数据。数据存储器302，与所述的数据输入接口 301相连接，将所述的数据按顺序进行存储。将等待批量处理的数据从银行核心数据库中提取，根据每张数据库表的数据情况，自动生成当前数据的顺序号，用以标识该数据在数据表中的位置，并控制所有数据严格按照顺序号的先后按顺序存放。图3为将数据按顺序存储后的数据表的示意图，由图3可知，数据连续存放，中间不留空的顺序号。在本技术的其他实施方式中，在将数据按顺序进行存储之后还可包括监控实际数据库表的物理存储情况。定期计算空记录占总记录的比例，因为当空记录比例超过10%时，将会对后续的分批处理结果产生较大影响，破坏了分批的均衡性，因此此时需及时进行数据重组，确保后续步骤的顺利进行。具体包括当数据表中间未存在任何空记录时，则直接在最大顺序号上加I返回；当数据库表中间存在空记录时，并且所有空记录占总记录的比例不超过10%时，则返回最小的空记录所对应的顺序号；当所有空记录占总记录的比例 超过10%时，进行数据重组，确保所有记录连续存放，并重新计算所有记录的顺序号，返回最大顺序号加I。顺序号存储器303，与所述的数据存储器302相连接，记录所述的数据存储后对应的顺序号，并将所述的顺序号存储；分批控制表输出接口 304，与所述的顺序号存储器相连接，根据控制参数表输出所述的数据对应的分批控制表。每张数据表根据其处理的复杂度(分为复杂度高、中、低等)和业务分类(对公业务、对私业务、客户信息、核算业务等)对应一个控制参数表，该控制参数表是作为后续步骤批次划分的依据，主要包含表分类、业务分类、分批数据量等参数字段。其中“表分类”字段用于标识各数据表的数据处理的复杂度，例如可以分为复杂度低、复杂度中、复杂度高三个等级。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为对公业务、对私业务、客户信息、核算业务等。图4为本技术实施例中控制参数表的实例图。控制参数表首次使用时需进行初始化设定，实际投入使用后，则可根据后续的步骤重新进行优化配置。该步骤用于根据数据对应本文档来自技高网...

【技术保护点】
一种银行数据的并行批量处理系统，其特征是，所述的系统包括：银行核心数据库，与所述的数据处理装置相连接，存储银行处理业务时输出的数据；数据处理装置，具体包括：数据输入接口，与所述的银行核心数据库相连接，接收银行业务系统处理银行业务时输出的数据；数据存储器，与所述的数据输入接口相连接，将所述的数据按顺序进行存储；顺序号存储器，与所述的数据存储器相连接，记录所述的数据存储后对应的顺序号，并将所述的顺序号存储；分批控制表输出接口，与所述的顺序号存储器相连接，根据控制参数表输出所述的数据对应的分批控制表；作业输出接口，与所述的分批控制表输出接口相连接，根据所述的分批控制表以及预设的作业运行模板输出作业运行实体；作业处理器，与所述的作业输出接口相连接，根据控制顺序运行所述的作业运行实体。

【技术特征摘要】

【专利技术属性】
技术研发人员：温建波，王旭光，林卫华，
申请(专利权)人：中国工商银行股份有限公司，
类型：实用新型
国别省市：