【技术实现步骤摘要】
业务表的批量处理方法及装置、非易失性存储介质
本专利技术涉及数据处理领域,具体而言,涉及一种业务表的批量处理方法及装置、非易失性存储介质。
技术介绍
图1是根据现有技术的一种传统的业务表的批量处理示意图,如图1所示,目前多表关联方案多使用嵌套查询(在一个SELECT语句的WHERE子句或HAVING子句中嵌套另一个SELECT语句的查询)、SQL脚本串行执行SQL逐层加工、存储过程等方式实现,在批量处理海量数据时,同类型表需反复关联多次,会消耗大量的时间,并对CPU和内存造成巨的压力。但是,在数据时效性要求较高时,简单的函数或语法优化批量关联次数较多,无法实现缩短SQL任务执行时间同时有效的降低资源占用率,即现有的多表关联方案已无法满足用户需求。针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种业务表的批量处理方法及装置、非易失性存储介质,以至少解决现有技术中在批量处理业务表时,同类型表需反复关联多次,消耗时间长且资源占用率高的技术问题。根据本专 ...
【技术保护点】
1.一种业务表的批量处理方法,其特征在于,包括:/n响应于接收到的批量处理请求,获取多个待批量处理业务表;/n确定所述多个待批量处理业务表之间的基础关联关系;/n确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑,其中,基于预先确定的不同关联需求确定所述关联需求逻辑,基于所述待批量处理业务表对应的不同种类接口,确定不同的所述关联取数逻辑;/n基于所述基础关联关系、所述关联需求逻辑和所述关联取数逻辑,对所述多个待批量处理业务表进行批量关联处理。/n
【技术特征摘要】
1.一种业务表的批量处理方法,其特征在于,包括:
响应于接收到的批量处理请求,获取多个待批量处理业务表;
确定所述多个待批量处理业务表之间的基础关联关系;
确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑,其中,基于预先确定的不同关联需求确定所述关联需求逻辑,基于所述待批量处理业务表对应的不同种类接口,确定不同的所述关联取数逻辑;
基于所述基础关联关系、所述关联需求逻辑和所述关联取数逻辑,对所述多个待批量处理业务表进行批量关联处理。
2.根据权利要求1所述的方法,其特征在于,确定所述多个待批量处理业务表之间的基础关联关系,包括:
对所述多个待批量处理业务表进行基础关联关系的加工处理,其中,所述加工处理包括增量追加处理和/或全量覆盖处理;
基于加工处理结果确定所述多个待批量处理业务表之间的基础关联关系。
3.根据权利要求2所述的方法,其特征在于,对所述多个待批量处理业务表进行基础关联关系的加工处理,包括:
通过对所述多个待批量处理业务表中的新增数据进行增量追加关联处理,得到增量关联结果,并基于所述增量关联结果确定所述多个待批量处理业务表的第一基础关联关系;和/或
对所述多个待批量处理业务表中的全部数据进行全量覆盖关联处理,得到全量关联结果,并基于所述全量关联结果确定所述多个待批量处理业务表的第二基础关联关系。
4.根据权利要求3所述的方法,其特征在于,基于所述基础关联关系、所述关联需求逻辑和所述关联取数逻辑,对所述多个待批量处理业务表进行批量关联处理,包括:
根据所述多个待批量处理业务表的基础关联关系,对所述多个待批量处理业务表进行第一批量关联处理,得到第一批量关系处理结果;
基于所述第一批量关联处理结果和所述关联需求逻辑,对所述待批量处理业务表进行第二批量关联处理,得到第二批量关系处理结果;
基于所述第二批量关联处理结果和所述关联取数逻辑...
【专利技术属性】
技术研发人员:赵成文,陈震宇,刘国华,
申请(专利权)人:中国邮政储蓄银行股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。