【技术实现步骤摘要】
本专利技术涉及预计算规则、函数计算平台、数据清洗与聚合,具体而言,涉及一种基于函数计算的预计算任务执行方法及系统。
技术介绍
1、prometheus是一款开源的监控工具,提供数据采集,数据聚合清洗等相关功能。prometheus自带时序数据库用于存储监控数据,使得数据存储和查询相比其他监控工具存在一定便利性。
2、但是随着业务增长,监控数据采集量级跃升,使用prometheus实现大规模的数据采集成为当前一个难点问题。
3、现阶段较为成熟的解决方案是基于联邦集群任务划分的数据拆分和基于thanos组件进行数据采样汇聚。现有的该解决方案基于数据任务维度拆分实现,参见图1所示,根据采集应用不同或者地理位置进行划分,不同的区域数据由各自prometheus负责采集,最后再查询时由thanos进行数据的采样汇总。
4、但是,在原始数据模糊、需要进行大量数据清洗的业务情况下,prometheus记录规则的配置多,执行耗时长,基于原始数据需进行多重的预计算,对于单台prometheus的采集、预计算、查询压力大
...【技术保护点】
1.一种基于函数计算的预计算任务执行方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S1步骤的预计算任务的配置属性包括:
3.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S1步骤的所述下游写入地址的设置方法包括:
4.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S3步骤的周期性执行缓存任务并刷新数据的方法包括:
5.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S4步骤的周期性执行预计算
...【技术特征摘要】
1.一种基于函数计算的预计算任务执行方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s1步骤的预计算任务的配置属性包括:
3.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s1步骤的所述下游写入地址的设置方法包括:
4.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s3步骤的周期性执行缓存任务并刷新数据的方法包括:
5.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s4步骤的周期性执行预计算任务,在执行过程中如需从缓存数据中获取数据,则在任务执行结束后将数据写回配置的目标,并将这过程的执行日志记录,便于用户进行分析查看。
6.根据权利要求5所述的基于函数计算的预计算任务执行...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。