基于大规模云计算平台的自适应资源监控系统及其方法技术方案

本发明专利技术涉及到云计算技术领域，尤其是一种基于大规模云计算平台的自适应资源监控系统及其方法。本发明专利技术通过搭建云环境，构建多集群系统；获取云环境下网络拓扑图，根据拓扑图实现对每个节点或者虚拟机的状态监控；定制监控参数配置模板，对每个节点或者虚拟机的资源使用情况进行监控。本发明专利技术使得监控系统能很好的适应云平台上的资源的动态添加和退出，监控收集的信息能很好的反应平台的负载信息。本发明专利技术可应用于云计算平台资源监控中。

【技术实现步骤摘要】

本专利技术涉及到云计算
，尤其是一种基于大規模云计算平台的自适应资源监控系统及其方法。
技术介绍
云计算自从2007正式提出，才引起了学术界的注意，而之前它就已经以商业应用模式为用户提供了云服务，学术界对云计算的研究相对滞后。云计算是分布式计 算(Distributed Computing)、并行计算(Parallel Computing)和网格计算(GridComputing)的继续发展。目前云计算主要有三种商业应用模式IaaS(Infrastructure asa Service :基础设施即服务)、PaaS和SaaS (Software as a Service :软件及服务)，它们的出现及云计算本身的按需服务、高可靠性、高可扩展性、通用性及廉价等特点，越来越多的用户和企业开始关注和使用云计算提供的服务，云计算作为下一代互联网模式的趋势得到了用户和商业界的承认。云计算环境下的集群节点是松散耦合的，要提供高质量的服务就必须要解决资源管理问题，而资源监控是资源管理的重要组成部分。在云计算环境下，各种资源都采用了虚拟化技术，资源的特性大多都被隐藏起来，但云计算应用系统还需要根据用户对资源的需求信息，如处理机的速度、内存空间大小、硬盘可用存储空间大小等，帮助用户找到合适的资源。若集群中的某个节点或者在某个节点上运行的虚拟机出现了问题，这就要求系统提供资源的状态信息，及时发现和解决故障，这些都完全依赖于资源监测技木。同吋，资源监测得到的数据可以用于资源发现与分配、任务调度和负载均衡。资源监测信息对用户所使用资源的计费也有重大的指导作用。
技术实现思路
本专利技术解决的技术问题之ー在于提供一种基于大規模云平台的自适应资源监控系统，可实时发现云平台动态资源的加入和退出，使云平台能更好的收集被监控节点的监控信息，并实时的反应云平台资源使用负载情況。本专利技术解决的技术问题之ニ在于提供一种基于大規模云平台的自适应资源监控方法，可实时发现云平台动态资源的加入和退出，使云平台能更好的收集被监控节点的监控信息，并实时的反应云平台资源使用负载情況。本专利技术解决上述技术问题之一的技术方案是所述的系统包括资源监控模块、资源监控分析模块、数据收集模块和数据存储模块；所述的资源监控模块，用于根据节点定制的监控模板的资源及其參数进行周期性地采样，并将数据发送给数据收集模块；所述的资源监控分析模块，用于根据资源监控模块的采样信息进行数据传送方式的决策；所述的数据收集模块，用于收集各种资源的采样数据，再根据一定的机制采用合适的推送方式发给数据存储模块；所述的数据存储模块，用于将接收到的数据按照预定的格式进行存储。所述的监控和分析的内容包括各种资源的实时采样值、判断是否超过预先设定的资源使用阈值。当采样的资源信息超过了设定的阈值，则由agent端在没接收到server端pull消息时自动push资源监控的信息给server端；反之，agent在接受到pull消息后再实施 传送数据的动作。所述的数据收集模块根据资源分析模块的决策信息来决定数据传送的方式，保证资源的实时采样能很好的反应节点的负载信息。所述的数据存储模块将请求写入数据库的数据排成两列update对列和flush对列；所有更新了数据的监控參数按FIFO的方式进入update队列，但都不具有写入磁盘的资格；只有当它更新超过了设定的时长时才能按照FIFO的方式出update队列进入flush队列；在flush队列中也是按照FIFO的方式写入磁盘的。flush队列写入磁盘的优先级高于update队列的优先级,只有从update队列进入flush队列的数据才能写入磁盘。数据存储模块在update队列中的參数在等待过程中有更新数据时可以更新到队列中；当系统急需某节点的某监控參数，如果它在队列update中时，可以直接提高它的优先级，出update队列进图flush队列中。本专利技术解决上述技术问题之ニ的技术方案是所述方法包括搭建云环境，构建多集群系统；获取云环境下网络拓扑图，根据拓扑图实现对每个节点或者虚拟机的状态监控；定制监控參数配置模板，对每个节点或者虚拟机的资源使用情况进行监控。如果节点是动态加入，在云平台控制器注册节点信息并发现节点状态为运行吋，向server端发送节点加入请求；server因请求事件主动ping节点的IP, ping通则更新云平台网络拓扑图，并为节点创建监控模板；反之，拒绝云平台控制器的请求；如果节点是动态退出，云平台控制器监控到节点状态，对节点在云平台的信息进行清理并注销节点，通知server端节点的退出信息，更新云平台网络拓扑图。在节点动态加入,如server拒绝云平台控制器的节点加入请求时，云平台控制器会继续请求，直至server端更新云平台网络拓扑结构图。server通过读取ARP表以及路由表的表项被动探测获取节点信息,并将新发现的节点IP添加至网络拓扑图中；或，server通过读取整个某个网段并将所有IP ping—次的主动探测获取ping通的节点，并添加至网络拓扑图中。在云平台上建立监控模板库，井向用户提供监控模板定制；对于具有不同用途的虚拟机提供标准的监控模板。server周期性地从各被监控虚拟机采用pull的方式获取监控数据，虚拟机则根据其资源性能与负载的变化决定将监控信息采用push方式发送给server。—般情况server周期性地从各节点或虚拟机pull数据，当节点或虚拟机负载超过一定的阈值时，节点或虚拟机主动将其资源和负载信息采用push方式发给server,而且server端pull数据的方式同时存在。本专利技术使得监控系统能很好的适应云平台上的资源的动态添加和退出，监控收集的信息能很好的反应平台的负载信息附图说明下面结合附图对本专利技术进一步说明图I为本专利技术自适应资源监控系统框图；图2为本专利技术云平台自适应资源监控的流程图； 图3为本专利技术自适应资源发现流程图；图4为本专利技术自适应节点资源监控的流程图。具体实施例方式如图I所示，本专利技术的资源监控系统包括GlOl资源监控模块、G102资源监控分析模块、G103数据收集模块和G104数据存储模块；资源监控模块用于根据节点定制的监控模板的资源及其參数进行周期性地采样，并将数据发送给数据收集模块。资源监控分析模块用于根据资源监控模块的采样信息进行数据传送方式的决策。数据收集模块用于收集各种资源的采样数据，再根据一定的机制采用合适的推送方式发给数据存储模块。数据存储模块用于将接收到的数据按照预定的格式进行存储。前述监控和分析的内容包括各种资源的实时采样值、判断是否超过预先设定的资源使用阈值。当采样的资源信息超过了设定的阈值，则由agent端在没接收到server端pull消息时自动push资源监控的信息给server端；反之，agent在接受到pull消息后再实施传送数据的动作。数据收集模块根据资源分析模块的决策信息来决定数据传送的方式，保证资源的实时采样能很好的反应节点的负载信息。数据存储模块将请求写入数据库的数据排成两列update对列和flush对列；所有更新了数据的监控參数按FIFO的方式进入update队列，但都不具有写入磁盘的资格；只有当它更新超过了设定的时长时才能按照FIFO的方式出update本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大規模云平台的自适应资源监控系统，其特征在于所述的系统包括资源监控模块、资源监控分析模块、数据收集模块和数据存储模块； 所述的资源监控模块，用于根据节点定制的监控模板的资源及其參数进行周期性地采样，并将数据发送给数据收集模块； 所述的资源监控分析模块，用于根据资源监控模块的采样信息进行数据传送方式的决策; 所述的数据收集模块，用于收集各种资源的采样数据，再根据一定的机制采用合适的推送方式发给数据存储模块； 所述的数据存储模块，用于将接收到的数据按照预定的格式进行存储。2.根据权利要求I所述的大規模云平台的自适应资源监控系统，其特征在于所述的监控和分析的内容包括各种资源的实时采样值、判断是否超过预先设定的资源使用阈值。3.根据权利要求2所述的大規模云平台的自适应资源监控系统，其特征在于当采样的资源信息超过了设定的阈值，则由agent端在没接收到server端pull消息时自动push资源监控的信息给server端；反之，agent在接受到pull消息后再实施传送数据的动作。4.根据权利要求1、2或3所述的大規模云平台的自适应资源监控系统，其特征在于所述的数据收集模块根据资源分析模块的决策信息来决定数据传送的方式，保证资源的实时采样能很好的反应节点的负载信息。5.根据权利要求1、2或3所述的大規模云平台的自适应资源监控系统，其特征在干所述的数据存储模块将请求写入数据库的数据排成两列update对列和flush对列；所有更新了数据的监控參数按FIFO的方式进入update队列，但都不具有写入磁盘的资格；只有当它更新超过了设定的时长时才能按照FIFO的方式出update队列进入flush队列；在flush队列中也是按照FIFO的方式写入磁盘的。6.根据权利要求4所述的大規模云平台的自适应资源监控系统，其特征在于所述的数据存储模块将请求写入数据库的数据排成两列update对列和flush对列；所有更新了数据的监控參数按FIFO的方式进入update队列，但都不具有写入磁盘的资格；只有当它更新超过了设定的时长时才能按照FIFO的方式出update队列进入flush队列；在flush队列中也是按照FIFO的方式写入磁盘的。7.根据权利要求5所述的大規模云平台的自适应资源监控系统，其特征在于flush队列写入磁盘的优先级高于update队列的优先级,只有从update队列进入flush队列的数据才能写入磁盘。8.根据权利要求6所述的大規模云平台的自适应资源监控系统，其特征在于flush队列写入磁盘的优先级高于update队列的优先级,只有从update队列进入flush队列的数据才能写入磁盘。9.根据权利要求7所述的大規模云平台的自适应资源监控系统，其特征在于数据存储模块在update队列中的參数在等待过程中有更新数据时可以更新到队列中；当系统急需某节点的某监控參数，如果它在队列update中时,可以...

【专利技术属性】
技术研发人员：陈红，岳强，季统凯，
申请(专利权)人：广东电子工业研究院有限公司，
类型：发明
国别省市：