【技术实现步骤摘要】
一种基于数据库分段的分布式批量处理方法
本专利技术涉及信息
，提供了一种基于晚间批量分布式分段方法。
技术介绍
现有技术：账务系统晚间批量需要处理大量的账务信息，同时需要为上下游的系统或合作渠道提供数据，这就要求系统晚间批量效率极高，目前行内系统晚间批量运行机制是串行与并行共存，各个批量单元存在较为紧密的依赖关系，每个批量单元是批处理最小因子，无法拆分。技术缺陷：1、基于目前行内批量运行机制，一个批量单元无法细分，只能在一台服务器上运行，且每个批量单元运行时间不一致，导致有些服务器满负荷运行时，其他的服务器可能处于闲置状态，同时当晚间批量运行时间达到阈值时，只能通过增加服务器的方式来减少运行时间，这样会导致更多的机器在跑批期间的某些时间段闲置，未能实现资源的充分利用。2、某一批量单元在运行期间由于各种原因中断了，此时重新运行该批量单元，由于该批量单元包括处理逻辑及数据都是一个整体，就会从最初的状态开始往下执行，极大的浪费了批量处理时间，如果该批量单元运行时间较久，甚至会影响下游系统供数。...
【技术保护点】
1.一种基于数据库分段的分布式批量处理方法，其特征在于，包括以下步骤：/n步骤1、定义分段参数，判断批量单元是否需要分段，如需分段则进行，如需分段则进行；/n步骤2、对批量单元A，进行分段，分成N小段SQL任务；/n步骤3、通过RPC远程过程调用ZK服务监控每台服务器的运行情况，将分段后的SQL任务分配到，相对空闲的服务器上运行。/n
【技术特征摘要】
1.一种基于数据库分段的分布式批量处理方法，其特征在于，包括以下步骤：
步骤1、定义分段参数，判断批量单元是否需要分段，如需分段则进行，如需分段则进行；
步骤2、对批量单元A，进行分段，分成N小段SQL任务；
步骤3、通过RPC远程过程调用ZK服务监控每台服务器的运行情况，将分段后的SQL任务分配到，相对空闲的服务器上运行。
2.根据权利要求1所述的一种基于数据库分段的分布式批量处理方法，其特征在于，步骤1中，判断批量单元是否需要分段具体包括以下步骤：
晚间批量的每个运行单元都有唯一JOB_ID，新增批量分段单元定义表，以JOB_ID作为主键，包含是否需要分段，分段执行类，以及分段执行SQL方法字段，每个分段的数据量，当晚间批量单元运行时，会根据J0B_ID去定义表中查询“是否分段”字段，若为‘Y’，则读取分段分段执行类字段以及分段执行SQL字段，同时根据获取的执行SQL方法到定义的...
【专利技术属性】
技术研发人员：王智聪，李耀，彭磊，薛伟，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。