【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种数据采集管理方法、装置、设备、存储介质及程序产品。
技术介绍
1、由于云平台可以将企业所需的软硬件、资料都放到网络上,在任何时间、地点,使用不同的it设备互相连接,实现数据存取、运算等目的,其应用领域不断扩张,在这个过程中,用户的需求也在快速增长,对于云平台的性能也提出越来越高的要求。对于云平台来说,运维人员需要对云平台中主机运行进行实时的数据采集和监控,获取各类硬件及软件的指标,通过各种指标状态,判断主机及整个云平台的运行状态,而对于不同的用户来说,数据采集的需求也不同,根据数据采集的需求对云平台进行定制化设计能够提高云平台的灵活性,但研发和维护的成本高。
2、现有的云平台数据采集和监控系统普遍使用普罗米修斯(prometheus)进行主机的系统监控和报警,并通过一些开源工具作为主机指标的采集获取工具。但是在指标获取中,现有的开源工具不能覆盖所有指标,尤其是业务指标,因此,对于不同的用户和不同的需求,仍然需要开发不同的定制化数据采集系统,以获取各业务及自研系统中引入的自定义指标。在定制化数据
...【技术保护点】
1.一种数据采集管理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述非标准数据采集任务封装成预设结构的任务模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标任务模型结构对所述非标准数据采集任务进行格式转换处理,包括:
4.根据权利要求1所述的方法,其特征在于,所述将所述任务模型分配到对应的工作协程中,包括:
5.根据权利要求4所述的方法,其特征在于,所述消息通道为分布式消息通道,所述消息通道包括多个分区,在所述对所述消息通道中的任务模型依次进行提取之前,还包括:
...【技术特征摘要】
1.一种数据采集管理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述非标准数据采集任务封装成预设结构的任务模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标任务模型结构对所述非标准数据采集任务进行格式转换处理,包括:
4.根据权利要求1所述的方法,其特征在于,所述将所述任务模型分配到对应的工作协程中,包括:
5.根据权利要求4所述的方法,其特征在于,所述消息通道为分布式消息通道,所述消息通道包括多个分区,在所述对所述消息通道中的任务模型依次进行提取之前,还包括:
6.根据权利要求1所述...
【专利技术属性】
技术研发人员:李宝才,杨潜,亓洪涛,于晓倩,
申请(专利权)人:中国联合网络通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。