一种基于开源云平台的一体化资源监控系统技术方案

本发明专利技术公开了一种基于开源云平台的一体化资源监控系统，包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。本发明专利技术对云平台的服务状态、健康状态，云平台的虚机、应用等资源信息，进行多维度、全方位的实时监控。

An integrated resource monitoring system based on open source cloud platform

The invention discloses an integrated resource monitoring system based on open source cloud platform, which includes data acquisition module and data display module. The data acquisition module adopts monitoring tools Zabbix, Telegraf and Influxdb. Zabbix realizes large-scale monitoring deployment and arbitrary monitoring items acquisition through various monitoring channels and functions. Telegrafli The data display module introduces Grafana open source monitoring software, uses existing plug-ins and secondary development plug-ins to access monitoring information of Zabbix, Influxdb and OpenStack platforms, and collects multi-dimensional monitoring information. Item, through the Grafana's rich dashboards and charts, to monitor data display. The invention provides multi-dimensional and omni-directional real-time monitoring of the service status, health status, virtual machine, application and other resource information of the cloud platform.

【技术实现步骤摘要】
一种基于开源云平台的一体化资源监控系统
本专利技术涉及一种资源监控系统，特别是一种基于开源云平台的一体化资源监控系统。
技术介绍
随着云计算的成熟，各种云平台尤其是开源云平台逐渐成为各机构的IT业务平台。作为IT基础结构，云平台承载着应用程序和数据，它的运行状态直接影响日常业务的进行，关系机构的正常运作。实时监控云平台的状态，及时发现平云台异常，保证云平台的正常运行，变得极为重要。对开源云平台的监控包括对云平台服务状态的监控，平台资源的监控，以及平台物理环境的监控。但针对开源云平台的监控方案通常是不全面的。例如，在OpenStack云平台中，OpenStack提供了Telemetry组件采集Opentack开源云平台的监控数据，获取资源的使用情况。Ceilometer可采集OpenStack平台内部发生的事件，包括镜像、网络等各个服务，也可以采集虚拟机的状态，如运行时间，CPU、内存、网络、磁盘使用状况等信息；Aodh则基于Ceilometer采集的数据提供告警机制。但Telemetry是针对OpenStack平台的虚拟资源监控，是为计费而产生的，而且对云平台物理环境的监控缺乏支持。Zabbix是一款提供分布式系统监控的多平台的企业级开源运维平台。支持Agent、IPMI、SNMP、JMX等多种数据采集方式；具有自动发现（Autoregistration）、LLD（Low-LevelDiscovery）等多种功能自动化、智能化部署监控系统。支持多条件告警，多种告警通知机制。但对其要是实现复杂环境、深层次监控需求，如开源云平台内部资源状况、监控资源特殊化展示，需要进行大量的二次定制开发，难度较大。Nagios同样是一款开源的企业级监控系统，用于监控IT基础架构和查看当前状态、历史日志和基本报告的开源软件工具。Nagios可分为核心和插件两个部分。核心部分只提供很少的监控功能，要搭建一个完善的平台监控运维系统，需在Nagios服务器安装相应的插件。但其插件易用性差，对性能、流量等指标的处理较弱；且其配置复杂，概念繁琐，开发成本较大。众多的开源监控软件提供的解决方案在部分层面解决监控问题，但不能从整体上、多方位提供开源云平台的一体化资源监控方案。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于开源云平台的一体化资源监控系统，对云平台的服务状态、健康状态，云平台的虚机、应用等资源信息，进行多维度、全方位的实时监控。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于开源云平台的一体化资源监控系统，其特征在于：包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。进一步地，所述多种监控途径包含Zabbix、Telegraf、OpenStackAPI；多种资源监控信息包含物理主机、OpenStack、ceph和虚机。进一步地，所述现有插件、二次开发插件包含开源插件ZabbixApp、InfluxdbDatasource，自研插件OpenstackApp。进一步地，还包含Skynet组件，将Ceilometer产生在Mongodb的监控数据，经过聚合存储到Zabbix，并在Grafana中进行展示，Skynet组件连通OpenStack与Zabbix，实现Ceilometer监控数据到Zabbix监控项的转化。进一步地，所述Skynet组件工作过程为，数据聚合：将Mongodb中Ceilometer存储的监控数据、Zabbix采集的部分数据，经过聚合形成新的Zabbix监控项，存储到数据库，供Grafana进行数据展示；Skynet采集数据来自于MongoDB、Zabbxi两个组件，其按照不同的轮询周期对MongoDB的数据进行采集，包括diskio、volume、cpu、memory虚机指标；同样按照不同的轮询周期通过ZabbixAPI进行数据的采集，包括hosts、alarm主机指标；Skynet将采集到的监控数据根据类别进行聚合，得到云平台的总体监控项，包含主机数量、CPU/内存使用、虚机数目、CPU/内存这些概览数据，组合成Openstack监控项，最后，通过socket向Zabbix的监听端口发送数据；对Zabbix进行初始化设置，包括Zabbix监控模板的加载，物理主机的自动发现规则设定。进一步地，所述数据采集模块包含四条采集途径，Zabbix-agent，主要采集开源云平台的物理主机资源情况，及云平台的服务运行状态；Skynet，主要采集Ceilometer存储在Mongob的监控数据，并经过聚合形成新的监控信息；Telegraf，主要采集开源云平台的存储信息，如物理主机的磁盘运行状态、Ceph分布式存储等；同时，二次开发形成的Grafana的插件OpentackAPP可直接通过openstack云平台各组件的api获取云平台的数据信息。进一步地，所述数据展示模块工作过程为，采集后的监控数据相应经过存储或直接进行监控数据的输出和展示，Zabbix-agent、SKynet采集的监控信息，经过ZabbixAPI存储在Mysql数据库中；Telegraf利用输出插件influxdb将采集的监控数据输出到时序数据库Influxdb中；Grafana的插件OpentackAPP直接获取数据进行展示；监控数据的输出和展示集中在Grafana，Grafana利用插件机制，加载ZabbixApp、InfluxdbDatasource、OpenstackApp插件，获取存储在Zabbix、Influxdb数据库和openstack云平台的数据。进一步地，还包含HAProxy，HAProxy为Grafana、Zabbix提供了负载均衡、高可用性，保证整个监控系统的高可靠性。本专利技术与现有技术相比，具有以下优点和效果：1、对开源云平台的平台服务、平台资源及物理环境，进行多维度、全方面的一体化资源监控。2、监控系统支持HA，多控属性，支持均衡负载，减轻单节点服务压力，保证监控质量。3、部署方式灵活便捷，支持独立于云平台的独立部署，或与云平台的融合部署；对于规模较小的云平台，支持单控部署。4、可扩展性强，Grafana的插件机制、Zabbix的监控功能、Telegraf的插件机制，及插件的二次开发，都可用于不同的开源云平台，满足不同的监控需求，提供高质量的，全方位的监控系统。附图说明图1是本专利技术的一种基于开源云平台的一体化资源监控系统的示意图。图2是本专利技术的一体化资源监控系统部署实施的的示意图。图3是本专利技术的一体化监控系统组件Skynet数据转换的示意图。具体实施方式下面结合附图并通过实施例对本专利技术作进一步的详细说明，以下实施例是对本专利技术的解释而本专利技术并不局限本文档来自技高网...

【技术保护点】
1.一种基于开源云平台的一体化资源监控系统，其特征在于：包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。

【技术特征摘要】
1.一种基于开源云平台的一体化资源监控系统，其特征在于：包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。2.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述多种监控途径包含Zabbix、Telegraf、OpenStackAPI；多种资源监控信息包含物理主机、OpenStack、ceph和虚机。3.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述现有插件、二次开发插件包含开源插件ZabbixApp、InfluxdbDatasource，自研插件OpenstackApp。4.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：还包含Skynet组件，将Ceilometer产生在Mongodb的监控数据，经过聚合存储到Zabbix，并在Grafana中进行展示，Skynet组件连通OpenStack与Zabbix，实现Ceilometer监控数据到Zabbix监控项的转化。5.按照权利要求4所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述Skynet组件工作过程为，数据聚合：将Mongodb中Ceilometer存储的监控数据、Zabbix采集的部分数据，经过聚合形成新的Zabbix监控项，存储到数据库，供Grafana进行数据展示；Skynet采集数据来自于MongoDB、Zabbxi两个组件，其按照不同的轮询周期对MongoDB的数据进行采集，包括diskio、volume、cpu、memory虚机指标；同样按照不...

【专利技术属性】
技术研发人员：连建永，李向军，陈超喆，马超，
申请(专利权)人：南京易捷思达软件科技有限公司，
类型：发明
国别省市：江苏,32