数据采集管理方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:41618785 阅读:13 留言:0更新日期:2024-06-13 02:21
本申请提供一种数据采集管理方法、装置、设备、存储介质及程序产品。该方法包括:通过获取非标准数据采集任务的配置信息;将所述非标准数据采集任务封装成预设结构的任务模型,将所述任务模型推送至消息通道中;对所述消息通道进行监听,将所述任务模型分配到对应的工作协程中;基于所述非标准数据采集任务的生命周期获取所述任务模型的结束时刻,在所述结束时刻停止该任务模型对应的工作协程,实现对非标准数据采集接口进行封装,对各数据采集接口进行不同生命周期的管理,自动轮询其采集作业,能够使非标准数据采集任务能够被统一纳管,避免核心逻辑的重复研发调试,进而降低数据监控系统的处理压力及运维研发成本。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据采集管理方法、装置、设备、存储介质及程序产品


技术介绍

1、由于云平台可以将企业所需的软硬件、资料都放到网络上,在任何时间、地点,使用不同的it设备互相连接,实现数据存取、运算等目的,其应用领域不断扩张,在这个过程中,用户的需求也在快速增长,对于云平台的性能也提出越来越高的要求。对于云平台来说,运维人员需要对云平台中主机运行进行实时的数据采集和监控,获取各类硬件及软件的指标,通过各种指标状态,判断主机及整个云平台的运行状态,而对于不同的用户来说,数据采集的需求也不同,根据数据采集的需求对云平台进行定制化设计能够提高云平台的灵活性,但研发和维护的成本高。

2、现有的云平台数据采集和监控系统普遍使用普罗米修斯(prometheus)进行主机的系统监控和报警,并通过一些开源工具作为主机指标的采集获取工具。但是在指标获取中,现有的开源工具不能覆盖所有指标,尤其是业务指标,因此,对于不同的用户和不同的需求,仍然需要开发不同的定制化数据采集系统,以获取各业务及自研系统中引入的自定义指标。在定制化数据采集系统时,还需要考本文档来自技高网...

【技术保护点】

1.一种数据采集管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述非标准数据采集任务封装成预设结构的任务模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述目标任务模型结构对所述非标准数据采集任务进行格式转换处理,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述任务模型分配到对应的工作协程中,包括:

5.根据权利要求4所述的方法,其特征在于,所述消息通道为分布式消息通道,所述消息通道包括多个分区,在所述对所述消息通道中的任务模型依次进行提取之前,还包括:

6.根据权利要...

【技术特征摘要】

1.一种数据采集管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述非标准数据采集任务封装成预设结构的任务模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述目标任务模型结构对所述非标准数据采集任务进行格式转换处理,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述任务模型分配到对应的工作协程中,包括:

5.根据权利要求4所述的方法,其特征在于,所述消息通道为分布式消息通道,所述消息通道包括多个分区,在所述对所述消息通道中的任务模型依次进行提取之前,还包括:

6.根据权利要求1所述...

【专利技术属性】
技术研发人员:李宝才杨潜亓洪涛于晓倩
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1