一种批量任务处理的闭环方法及装置制造方法及图纸

技术编号:42597319 阅读:36 留言:0更新日期:2024-09-03 18:10
本发明专利技术提供一种批量任务处理的闭环方法及装置,在执行任务前置操作后执行批量任务,在处理步骤执行之前执行步骤前置操作,在对处理步骤对应的任一业务数据进行读取操作之前执行数据前置操作,得到前置操作上下文并存入线程变量,线程处理业务数据之后根据线程变量中前置操作上下文执行数据后置操作,当所有线程变量中的前置操作上下文对应的数据后置操作执行后执行步骤后置操作,当所有处理步骤对应的步骤后置操作执行后执行任务后置操作。在本方案中,利用Spring Batch框架在多进程和容错的场景下处理批量任务时,保证对应于任务、步骤和数据维度预设的前置操作和后置操作执行的确定性,以实现批量任务执行过程中各个维度的闭环。

【技术实现步骤摘要】

本专利技术涉及批量任务处理,具体涉及一种批量任务处理的闭环方法及装置


技术介绍

1、金融系统中,需要执行批量任务处理借据随着时间推移而变化的数据和状态。为了保证批量任务执行的效率,需要采用各种多进程、多线程方案,提升并发量,加速执行。同时随着数据量变大、数据入口变多、业务场景变多、业务复杂度升高、业务交叉和耦合性提高,出现异常的可能性也在增大,所以还需要采用各个级别的容错方案保证批量任务执行的准确性。在并发和容错场景的基础上,为了防止执行批量任务出现不可预测的问题,需要在各个维度保证闭环。例如:某个批量任务需要在任务执行前进行加锁、执行任务后进行解锁,保证分布式场景下任务执行的唯一性;某个批量任务的某个步骤需要在步骤执行前插入预制数据,设置状态为处理中,在步骤执行后将状态修改为终态,保证状态机的完整性;某个批量任务的某个步骤的某个数据需要在执行前打标、执行后解标,保证并发场景下的数据一致性。

2、现有技术中,采用spring batch框架处理批量任务,而spring batch框架默认提供的任务维度和步骤维度的前置监听器和后置监听器,不能满本文档来自技高网...

【技术保护点】

1.一种批量任务处理的闭环方法,其特征在于,所述方法应用于金融系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述检测所述线程对任一所述业务数据依次进行读取操作、处理操作和写入操作时是否出现异常,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述响应于所述批量任务的启动指令,执行预设的任务前置操作之后执行所述批量任务,包括:

6.根据权利要求1至5任一所述的方法,其特征在于,所述针对每一所述...

【技术特征摘要】

1.一种批量任务处理的闭环方法,其特征在于,所述方法应用于金融系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述检测所述线程对任一所述业务数据依次进行读取操作、处理操作和写入操作时是否出现异常,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述响应于所述批量任务的启动指令,执行预设的任务前置操作之后执行所述批量任务,包括:

6.根...

【专利技术属性】
技术研发人员:孙继斌李尼科谭红刘舒坦白铁强
申请(专利权)人:湖南长银五八消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1