聚合任务处理方法、装置、服务器及介质制造方法及图纸

技术编号:25689969 阅读:17 留言:0更新日期:2020-09-18 21:01
本说明书实施例公开一种聚合任务处理方法、装置、服务器及介质,在所述方法中,若检测到目标聚合任务下的目标指标的计算逻辑发生变化,获取历史存储的目标指标的目标数据,并基于与调整后的计算逻辑对应的目标转换配置对目标数据进行转换,得到转换结果,基于转换结果、调整后的计算逻辑以及目标聚合任务的流数据,执行目标聚合任务。上述方案中,通过对目标数据进行转换,使得按照原计算逻辑得到的目标数据能够用于计算逻辑修改后的聚合任务中,避免了聚合结果中的数据缺失,提高了聚合结果的准确性。

【技术实现步骤摘要】
聚合任务处理方法、装置、服务器及介质
本说明书实施例涉及计算机
,尤其涉及一种聚合任务处理方法、装置、服务器及介质。
技术介绍
随着科学技术的不断发展,流式计算得到了广泛应用,流式计算可以通过流式计算引擎来实现,通过流式计算引擎对流数据进行处理,执行复杂的计算逻辑,能够实时输出聚合任务下各个指标的聚合结果。
技术实现思路
本说明书实施例提供一种聚合任务处理方法、装置、服务器及介质。第一方面,本说明书实施例提供一种聚合任务处理方法,包括:若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标;确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。第二方面,本说明书实施例提供一种聚合任务处理装置,包括:获取模块,用于若检测到目标指标的计算逻辑由第一计算逻辑调整为本文档来自技高网...

【技术保护点】
1.一种聚合任务处理方法,所述方法包括:/n若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标,所述目标数据是基于所述第一计算逻辑计算得到的;/n确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;/n基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。/n

【技术特征摘要】
1.一种聚合任务处理方法,所述方法包括:
若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标,所述目标数据是基于所述第一计算逻辑计算得到的;
确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;
基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。


2.根据权利要求1所述的方法,在所述若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据之前,所述方法还包括:
确定所述目标聚合任务的N个聚合时间窗口,N为正整数;
针对每个聚合时间窗口,在该聚合时间窗口内按照预设时间间隔,依次采用所述第一计算逻辑对该聚合时间窗口对应的流数据进行聚合计算,得到该聚合时间窗口内的所述目标指标的多个中间数据;
将所述每个聚合时间窗口内的所述目标指标的多个中间数据进行存储。


3.根据权利要求2所述的方法,所述获取历史存储的所述目标指标的目标数据,包括:
确定由所述第一计算逻辑调整为所述第二计算逻辑的调整时刻;
在所述N个聚合时间窗口中确定出与所述调整时刻对应的目标聚合时间窗口;
在所述目标聚合时间窗口对应的所述目标指标的多个中间数据中,确定出所述目标数据。


4.根据权利要求3所述的方法,所述在所述目标聚合时间窗口对应的所述目标指标的多个中间数据中,确定出所述目标数据,包括:
基于与所述目标聚合时间窗口对应的每个中间数据的时间戳,将时间戳距离所述调整时刻最近的中间数据作为所述目标数据。


5.根据权利要求1所述的方法,所述若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据之前,所述方法还包括:
检测所述目标聚合任务是否重启;
若是,检测所述目标指标的计算逻辑是否由所述第一计算逻辑调整为所述第二计算逻辑。


6.根据权利要求1所述的方法,所述确定与所述第二计算逻辑对应的目标转换配置,包括:
基于计算逻辑与转换配置之间预设的对应关系,确定与所述第二计算逻辑对应的所述目标转换配置。


7.根据权利要求3所述的方法,所述基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务,包括:
确定所述目标聚合任务运行的当前时刻;
基于所述第二计算逻辑,对所述调整时刻到所述当前时刻之间的流数据进行聚合处理,得到处理结果;
基于所述转换结果以及所述处理结果,确定所述目标聚合任务在所述当前时刻的聚合结果。

<...

【专利技术属性】
技术研发人员:夏军
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1