用于业务数据聚合的方法和装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种用于业务数据聚合的方法和装置、电子设备和存储介质，其中，用于业务数据聚合的方法包括：响应于监测到至少一个业务源表中的数据变化，确定对应各聚合层级的表征数据变化的消息队列；其中，聚合层级以及聚合层级之间的聚合执行顺序，根据实现聚合目标的逻辑关系预先划分；根据消息队列以及聚合执行顺序，递归触发对应每个聚合层级的聚合任务，直至得到匹配聚合目标的聚合结果；其中，聚合任务为根据实现聚合目标的逻辑关系预先确定，聚合结果包括数据模型或聚合中间表。利用本公开方法，可以提高业务数据聚合的效率。率。率。

【技术实现步骤摘要】
用于业务数据聚合的方法和装置、电子设备和存储介质


[0001]本公开涉及数据处理
，尤其是一种用于业务数据聚合的方法和装置、电子设备和存储介质。

技术介绍

[0002]在业财类业务处理应用中，对数据模型的重塑聚合是一个普遍需求。相关技术中，对数据模型的重塑聚合的方式主要包括两种，其一是基于数据仓库技术(Extract
‑
Load
‑
Transform，ETL)工具的批处理方式；其二是基于消息中间件的流式处理方式。
[0003]其中，对于基于消息中间件的流式处理方式，在相关技术中，主要采用的方案是将全部待聚合数据一次性聚合，一旦因某项数据获取失败，就会导致聚合任务失败；进而相关技术会将失败的聚合任务持久化到数据库中，然后以一定时间间隔重试调用失败的聚合任务，并且每次重试调用需要重新对全部待聚合数据执行一次性聚合。
[0004]因此，相关技术的这种处理方式，不仅因消耗大量运算资源而导致聚合任务执行效率较低，还会因为存储大量失败的聚合任务而消耗存储空间。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于业务数据聚合的方法，包括：响应于监测到至少一个业务源表中的数据变化，确定对应各聚合层级的表征所述数据变化的消息队列；其中，所述聚合层级以及所述聚合层级之间的聚合执行顺序，根据实现聚合目标的逻辑关系预先划分；根据所述消息队列以及所述聚合执行顺序，递归触发对应每个聚合层级的聚合任务，直至得到匹配所述聚合目标的聚合结果；其中，所述聚合任务为根据实现聚合目标的逻辑关系预先确定，所述聚合结果包括数据模型或聚合中间表。2.根据权利要求1所述的方法，其特征在于，响应于监测到至少一个业务源表中的数据变化，确定对应各聚合层级的表征所述数据变化的消息队列，包括：响应于监测到所述至少一个业务源表中的数据变化，将对应各聚合层级的表征所述数据变化的消息，发送至消息队列缓存中间件进行缓存，形成对应各聚合层级的消息队列。3.根据权利要求1所述的方法，其特征在于，根据所述消息队列以及所述聚合执行顺序，递归触发对应每个聚合层级的聚合任务，包括：按照所述聚合执行顺序，依次利用每个聚合层级各自对应的消息队列，执行对应每个聚合层级的聚合任务；其中，所述执行对应每个聚合层级的聚合任务的过程为：响应于前一聚合层级的聚合任务完成，根据前一聚合层级的聚合任务得到的所述聚合中间表，执行当前聚合层级对应的聚合任务，直至完成对应每个聚合层级的聚合任务，得到匹配所述聚合目标的聚合结果。4.根据权利要求3所述的方法，其特征在于，依次利用每个聚合层级各自对应的消息队列，执行对应每个聚合层级的聚合任务，包括：针对每个聚合层级，响应于监测到对应的消息队列，并行触发所述消息队列中每个消息对应的聚合任务，得到对应的所述聚合中间表；其中，所述消息队列中的消息与所述聚合任务之间对应关系为一一映射或多对一映射。5.根据权利要求4所述的方法，其特征在于，针对每个聚合层级，响应于监测到对应的消息队列，并行触发所述消息队列中每个消息对应的聚合任务，包括：针对每个聚合任务，根据目标规则从所述至少一个业务源表和/或由前一聚合层级的聚合任务得到的聚合中间表中查询数据，组合成属于当前聚合层级的数据模...

【专利技术属性】
技术研发人员：范志成，
申请(专利权)人：北京理房通支付科技有限公司，
类型：发明
国别省市：