一种云监控系统监控分析数据的方法技术方案

本发明专利技术特别涉及一种云监控系统监控分析数据的方法。该云监控系统监控分析数据的方法，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic中；Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。该云监控系统监控分析数据的方法，使用Prometheus提供实时数据监控，使用Druid进行监控数据分析，两者融合对外提供服务，既保证了实时数据的动态展示，又融入了Druid的诸多优点，保障了数据分析快速、可变的需求。

【技术实现步骤摘要】
一种云监控系统监控分析数据的方法
本专利技术涉及数据监控与处理
，特别涉及一种云监控系统监控分析数据的方法。
技术介绍
在云计算时代的大背景下，云服务提供商对消费者提供处理、存储、网络以及基础计算资源。这些资源用户可以按需购买，与此同时这些资源的使用情况与业务的运行状态和健康度以及从各个角度分析各个资源的使用情况都成为了消费者关心的问题。传统的云监控都着重于向用户展示实时监控数据，如当前硬盘使用率、CPU空闲率、内存使用量等监控指标数据的实时展示，不能向用户提供针对某段时间内以某种时间粒度对各个监控指标进行切块展示分析数据。为了向用户提供有力的监控数据分析报表，本专利技术提出了一种云监控系统监控分析数据的方法。
技术实现思路
本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的云监控系统监控分析数据的方法。本专利技术是通过如下技术方案实现的：一种云监控系统监控分析数据的方法，其特征在于：使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；具体包括以下步骤：第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic(主题)中；第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。所述第一步中，云资源包括但不限于云主机、云数据库和云硬盘。所述第一步中，云资源的Exporter先将自身服务注册到Prometheus，然后定期采集相关指标数据，并对采集的数据进行清洗处理，将脏数据丢弃，最后清洗处理后的数据推送到Prometheus中。所述第二步中，Prometheus根据时间序列将数据以块为单位进行监控数据本地存储。所述第三步中，Druid以流摄取方式从kafka中读取监控指标数据。所述第三步中，Druid以分钟为时间粒度对监控指标数据进行预聚合，分别形成基于分钟粒度的监控指标数据总数count、监控指标数据求和sum、监控指标数据最大值max和min监控指标数据最小值四种聚合数据。所述第三步中，Druid将数据小时为一个段单位，以监控指标名称为分区标志进行数据落盘至挂载的Ceph存储文件系统中。所述第四步中，用户发出监控指标数据分析请求后，云监控系统根据收到的请求判断用户分析，如果以秒为时间粒度且时间跨度为1小时候则路由到Prometheus数据源，系统提供聚合分析；如果时间粒度大于等于1分钟，则路由到Druid中，由Druid提供聚合分析。本专利技术的有益效果是：该云监控系统监控分析数据的方法，使用Prometheus提供实时数据监控，使用Druid进行监控数据分析，两者融合对外提供服务，既保证了实时数据的动态展示，又融入了Druid的诸多优点，保障了数据分析快速、可变的需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图1为本专利技术云监控系统数据运行时序示意图。附图2为本专利技术云监控系统监控指标数据分析路由Druid时序示意图。附图3为本专利技术云监控系统监控指标数据分析路由Prometheus时序示意图。具体实施方式为了使本
的人员更好的理解本专利技术中的技术方案，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。云监控系统从一个封闭、专用、监看为主的安防子系统向客户IT信息系统的核心业务部分转换，借鉴IT系统分层架构，面向客户需求的云监控整体架构包括云终端、云平台和云业务的三层架构，其核心是以多媒体数据中心为主要组成部分的云平台。云监控的主要组成部分及特点如下：1、云平台a)云存储:高可靠存储虚拟化，跨平台、可集中或分布式部署、面向资源的管理、提升整体存储能力和资源利用率，能够面向多媒体存储特征进行设计，如数据安全性冗余和更加简单的多媒体储架构，从而在保证整体可靠性基础上降低存储成本，减少维护使用费用。b)云计算:分布式计算和自动化管理，能够跨平台、分布式集群化部署，提升整体计算分析和计算资源利用率，实现整体计算成本的降低；能够基于智能分析和数据挖掘数据提升数据的有效性，提高监控系统的实用价值，能够充分结合多媒体应用大信息量交互和频繁的信令调度进行优化设计，提高处理性能，并实现实现统一管理手段，从而减少维护使用成本。c)云交换:与网络的深度融合，便于高效、简洁、可靠的通过标准的IP网络获取、共享、传递各种视音频流、图片和消息事件等多媒体信息，实现端到端的多媒体信息高效交互传输，简化整体架构，提高系统可靠性。2、云业务跨时空一致体验，WEB2.0与工作流协同相结合；增值应用的易获得性和高开放接口，容易结合客户需求定制开发，符合客户安全管理与生产管理的融合趋势，成为客户业务、生产、管理的重要可视化手段。3、云终端以IP网络摄像机为代表，充分实现和网络、存储和计算资源的结合，支持端到端的多媒体信息存储和传输，支持多网络接口，同时可以作为云计算的分布式终端，提高整体系统性能和可靠性。该云监控系统监控分析数据的方法，使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；具体包括以下步骤：第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic(主题)中；第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。所述第一步中，云资源包括但不限于云主机、云数据库和云硬盘。消费者先在云平台上购买云计算资源，包括但不限于云主机、云数据库、云硬盘等云资源，然后开通云监控服务产品。所述第一步中，云资源的Exporter先将自身服务注册到Prometheus，然后定期采集相关指标数据，并对采集的数据进行清洗处理，将脏数据丢弃，最后清洗处理后的数据推送到Prometheus中。所述第二步中，Prometheus根本文档来自技高网...

【技术保护点】
1.一种云监控系统监控分析数据的方法，其特征在于：使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；/n具体包括以下步骤：/n第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；/n第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic中；/n第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；/n第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。/n

【技术特征摘要】
1.一种云监控系统监控分析数据的方法，其特征在于：使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；
具体包括以下步骤：
第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；
第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic中；
第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；
第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。


2.根据权利要求1所述的云监控系统监控分析数据的方法，其特征在于：所述第一步中，云资源包括但不限于云主机、云数据库和云硬盘。


3.根据权利要求1所述的云监控系统监控分析数据的方法，其特征在于：所述第一步中，云资源的Exporter先将自身服务注册到Prometheus，然后定期采集相关指标数据，并对采集的数据进行清洗处理，将脏数据丢弃，最后清洗处理后的数据推送到Prometheus中。


4.根据权利要求1或3所述的云监控系统监控分析数据的方法...

【专利技术属性】
技术研发人员：杨桂龙，孙思清，魏金雷，杨继伟，张建伟，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37