一种基于函数计算的预计算任务执行方法及系统技术方案

技术编号:41496460 阅读:22 留言:0更新日期:2024-05-30 14:40
本发明专利技术提供一种基于函数计算的预计算任务执行方法及系统,方法包括:配置Prometheus平台的预计算任务,从上游读取地址实时获取对应指标数据,执行用户自定义加工函数;将返回结果写入下游目标集群;加载预计算任务进入内存数据库,提供缓存的分配策略和更新策略,将缓存数据传入加工函数,周期性执行缓存任务并刷新数据;部署运行多个实例,周期性执行预计算任务。本发明专利技术剥离Prometheus预计算功能,统一管理配置预计算规则,减轻单台Prometheus压力;Prometheus只专注于数据采集和查询即可,加工后的指标数据通过一致性哈希算法回写,保证数据分散存储,支持横向数据扩展,为将来数据量级扩充做好准备。

【技术实现步骤摘要】

本专利技术涉及预计算规则、函数计算平台、数据清洗与聚合,具体而言,涉及一种基于函数计算的预计算任务执行方法及系统


技术介绍

1、prometheus是一款开源的监控工具,提供数据采集,数据聚合清洗等相关功能。prometheus自带时序数据库用于存储监控数据,使得数据存储和查询相比其他监控工具存在一定便利性。

2、但是随着业务增长,监控数据采集量级跃升,使用prometheus实现大规模的数据采集成为当前一个难点问题。

3、现阶段较为成熟的解决方案是基于联邦集群任务划分的数据拆分和基于thanos组件进行数据采样汇聚。现有的该解决方案基于数据任务维度拆分实现,参见图1所示,根据采集应用不同或者地理位置进行划分,不同的区域数据由各自prometheus负责采集,最后再查询时由thanos进行数据的采样汇总。

4、但是,在原始数据模糊、需要进行大量数据清洗的业务情况下,prometheus记录规则的配置多,执行耗时长,基于原始数据需进行多重的预计算,对于单台prometheus的采集、预计算、查询压力大。根据任务粒度进行拆本文档来自技高网...

【技术保护点】

1.一种基于函数计算的预计算任务执行方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S1步骤的预计算任务的配置属性包括:

3.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S1步骤的所述下游写入地址的设置方法包括:

4.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S3步骤的周期性执行缓存任务并刷新数据的方法包括:

5.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述S4步骤的周期性执行预计算任务,在执行过程中如...

【技术特征摘要】

1.一种基于函数计算的预计算任务执行方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s1步骤的预计算任务的配置属性包括:

3.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s1步骤的所述下游写入地址的设置方法包括:

4.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s3步骤的周期性执行缓存任务并刷新数据的方法包括:

5.根据权利要求1所述的基于函数计算的预计算任务执行方法,其特征在于,所述s4步骤的周期性执行预计算任务,在执行过程中如需从缓存数据中获取数据,则在任务执行结束后将数据写回配置的目标,并将这过程的执行日志记录,便于用户进行分析查看。

6.根据权利要求5所述的基于函数计算的预计算任务执行...

【专利技术属性】
技术研发人员:吴溢豪
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1