【技术实现步骤摘要】
基于分布式系统的批处理执行方法
本专利技术涉及大数据的数据批处理处理方法，具体讲是基于分布式系统的批处理执行方法。
技术介绍
随着分布式微服务系统的广泛推广和应用，特别是在数据量高速增长的背景下，目前很多银行系统都采用了分库分表的策略来存储大规模日间交易数据。基于某些特殊业务的需要，如何在规定的时间内，集中且高效的处理完大规模日间交易，是许多分布式系统所面临的难题。例如，需要在T+1日处理T日的日间交易，将T日的日间交易按照某种业务逻辑进行核对，校验和修正后，给下游系统提供T日的日终对账明细，下游系统根据对账明细核算本系统T日的交易状态和资金，从而保证系统间交易状态的最终一致性以及资金的零误差。目前，批处理框架多种多样，很多银行系统针对批处理任务一般使用开源的分布式批处理框架。但开源的批处理框架通常存在一些缺陷，例如：1）、开源的分布式批处理框架只解决了数据分片和分布式任务调度，没有解决贴近业务的大规模数据的批量处理方法；2）、针对分库分表存储策略下的分布式系统，开源社区还没有形成标准且高效的批处理方...
【技术保护点】
1.基于分布式系统的批处理执行方法，其特征包括：/nS1．通过金融行业的维度作业调度组件向各任务节点下发批处理指令和用于数据处理的维度数据；/nS2．任务节点接收到批处理指令后，启动批处理程序并初始化数据源，通过数据源DS-1~DS-N分别获取对应的存储节点1~N的源数据，将获取的所有源数据汇总后输出到源数据集合NS中，并将源数据集合NS输出到节点作业处理组件中，所述的源数据集合NS在存储器中的存储结构为：<节点：源数据集合>；/nS3．节点作业处理组件根据业务规则对源数据集合NS中的源数据进行处理后，输出到节点算法组件；/nS4．节点算法组件计算每个源数据的落...
【技术特征摘要】
1.基于分布式系统的批处理执行方法，其特征包括：
S1．通过金融行业的维度作业调度组件向各任务节点下发批处理指令和用于数据处理的维度数据；
S2．任务节点接收到批处理指令后，启动批处理程序并初始化数据源，通过数据源DS-1~DS-N分别获取对应的存储节点1~N的源数据，将获取的所有源数据汇总后输出到源数据集合NS中，并将源数据集合NS输出到节点作业处理组件中，所述的源数据集合NS在存储器中的存储结构为：<节点：源数据集合>；
S3．节点作业处理组件根据业务规则对源数据集合NS中的源数据进行处理后，输出到节点算法组件；
S4．节点算法组件计算每个源数据的落地位置，再根据各数据源的落地位置与数据源的匹配关系，输出各数据源与源数据对应关系的集合到预编译批处理组件中；
S5．预编译批处理组件从数据源与源数据对应关系的集合中获取各数据源和其对应的源数据的链接，然后通过所述链接预编译各数据源对应的源数据，最后提交预编译后的源数据，实现对源数据的持久化；循环执行本步骤直到所有数据源对应的源数据完成预编译后，完成预编译的批处理；
S6．所有任务节点执行完成步骤S2至步骤S5后，分布式批处理任务结束。
2.如权利要求1所述的基于分布式系统的批处理执行方法，其特征为：步骤S1中，先通过维度作业调度组件配置用于数据处理的维度数据，然后再将批处理指令和配置好的维度数据下发给各任务节点，在任务节点的任务执行过程中，维度作业调度组件实时监听各任务节点的服务状态和运行参数，根据各任务节点的运行情况对各任务节点的任务进行调度。
3.如权利要求1所述的基于分布式系统的批处理执行方法，其特征为：步骤S2中，启动批处理程序时获取1~N各存储节点对应的数据源参数，并在校验了数据源参数的合法性后，通过数据源参数分别获得并初始化存储节点1~N分别对应的数据源DS-1~DS-N，将数据源DS-1~DS-N依次添加到已定义的数据源集合中，并且各数据源实时检查其对应源数据的链接的有效性，保证数据源始终存在有效的链接；在存储器中建立源数据集合NS的存...
【专利技术属性】
技术研发人员：李安清，尹强，宁顺斌，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。