【技术实现步骤摘要】
一种云环境下的数据采集与控制方法及系统
[0001]本专利技术涉及云环境下的资源监控与数据采集领域,尤其涉及一种云环境下的数据采集与控制方法及系统。
技术介绍
[0002]从维基百科上了解到,云计算是一种能够将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户的计算模式,而用户是不需要知道如何管理那些支持云计算的基础设施。通过这种方式,可以将软硬件资源共享给其它用户,提高了资源的利用效率。
[0003]但随着云计算的发展,云环境变得越来越复杂,云环境下的单个资源产生的问题很可能会对其它部分产生影响,这就需要我们对云平台环境下的资源进行统一的管理和调度。面对多云环境的场景,云平台需要监控采集的资源异常多,所涉及的接口、协议也是异常的繁杂,在没有统一的管理的情况下,这不仅给代码开发带来大量重复的工作,还给后续的运维带来异常多的工作量。数据采集方法的好坏,直接涉及到云平台对云资源的调度能力。
[0004]现有的采集方式,就是针对每一种采集资源,都会有一套采集程序,而每一套采集程序其中可能会涉及多个采集程序,比如O ...
【技术保护点】
【技术特征摘要】
1.一种云环境下的数据采集与控制方法,其特征在于,Client端与Server端通过HTTP+JSON的方式进行数据交互;Server通过向Client端发送采集指令和配置信息的方式来拉取要采集的数据和配置修改,Client端向Server端发送注册信息和定期发送心跳,以达到对Client端的状态监控;Client端在接收到采集指令后,通过规则引擎解析并将其下发到具体的采集插件中,采集插件获取到采集指令后进行采集,并将采集到的初始数据返回给数据聚合插件,数据聚合插件根据规则将数据进行聚合获取复合指标,之后Client端将采集到的指标通过Server端的默认数据接收端口发送给Server端。2.根据权利要求1所述的方法,其特征在于,Client端在采集指令接收端和采集结果端都设计并实现了对应的缓冲队列;Client端接收指令是异步的方式,在接收到指令后,并不会等待采集插件完成采集,而是直接返回采集命令已接收的响应,等到所有采集结果全部采集完,才会将复合结果返回给Server端。3.一种云环境下的数据采集与控制系统,其特征在于,包括Client客户端和Server端;Server端用于接收Client端的注册和心跳、向Client发送采集指令、接收Client的采集数据、向数据库中灌入采集数据;Client端用于向Server端发送注册和心跳、采集数据;在数据传输方面,两者通过HTTP+JSON的方式进行指令下达和数据交互。4.根据权利要求3所述的系统,其特征在于,Client端分为缓冲层、解析层、控制层、采集层、数据聚合层;控制层是Client端对整个Client软件进行运行控制的层面,当出现错误的时候,让Client端捕捉错误、抛出错误、回归正常运行状态;缓冲层是Client端将接收到的采集指令进行缓冲,以面对大量业务突发情况;在解析层,Client端初步解析采集指令,并将指令分发到指定的采集插件中;采集层是采集插件进行具体的采集工作,获取初步的数据;数据聚合层是采集插件将初步采集数据进行规则运算,获取聚合指标。5.根据权利要求4所述的系统,其特征在于,所述Client端的工作内容如下:(1)Client首次启动的时候需要向Server端注册,表明在台机器上启动了Client端;(2)已注册的Client端需要间隔固定时间向Server端发送心跳信息,表明当前客户端还活着,可从Server端接收指令;(3)Client端从Server端接收采集指令,然后对JSON数据进行解析,下发指令到具体完成采集工作的采集插件;(4)Client端的指令接收与采集工作是异步的,在接收到采集指令后,并不会等待采集插件完成采集工作在响应,而是立即返回指令已接收的响应数据,待具体的采集插件采集完数据后,Client端会将数据发送到对应的Server端;(5)Client端可纳管的对象,从底层管理对象开始,向上包括空间资源、基础设施、虚拟化平台、Laas层、Paas层、Saas层的对象;(6)从OSI分层模型上...
【专利技术属性】
技术研发人员:张永跃,
申请(专利权)人:浪潮云信息技术股份公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。