一种监控可视化方法及系统技术方案

本发明专利技术公开一种监控可视化方法，该方法的基础框架为python‑virtualenv、gnuplot、autoconf、automake，且包括：(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；(2)agent模块经过格式化后转发给transfer模块；(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。还有监控可视化系统。

【技术实现步骤摘要】

本专利技术涉及大数据处理和数据可视化的
，尤其涉及一种监控可视化方法，以及监控可视化系统。
技术介绍
Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案，能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。主要功能如下：1CPU负荷2内存使用3磁盘使用4网络状况5端口监视6日志监视Zabbix缺点：1、项目批量修改不方便；2、中文资料少服务支持有限；3、深度熟悉和进行二次开发较难；4、自定义报警配置繁琐；5、缺少数据汇总功能，报表需要二次开发。Nagios是一款开源的免费网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。主要功能如下：1、监控网络服务(SMTP、POP3、HTTP、NNTP、PING等)；2、监控主机资源(处理器负荷、磁盘利用率等)；3、简单地插件设计使得用户可以方便地扩展自己服务的检测方法；4、并行服务检查机制；5、具备定义网络分层结构的能力，用\parent\主机定义来表达网络主机间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态；6、当服务或主机问题产生与解决时将告警发送给联系人(通过EMail、短信、用户定义方式)；7、可以定义一些处理程序，使之能够在服务或者主机发生故障时起到预防作用；8、自动的日志滚动功能；9、可以支持并实现对主机的冗余监控；10、可选的WEB界面用于查看当前的网络状态、通知和故障历史、日志文件等；11、可以通过手机查看系统监控信息；12、可指定自定义的事件处理控制器；Nagios缺点：1、事件控制台功能弱，插件易用性差；2、对性能流量的处理不给力；3、无历史数据，难以追查故障原因；4、配置复杂。Open-falcon是小米最新发布的一个监控平台,国内有多家公司在用。Open-falcon缺点：1、不支持基础的服务监控插件；2、采用的rrd数据存储格式虽然能压缩数据，但这是以丢失历史数据为代价的；3、对用户自定义上推的历史回溯的数据根本就进不去rrd文件系统，导致绘制历史曲线失败；4、对实时数据仅仅支持写入opentsdb，仅能做离线分析使用，不能直接从中读出来绘制曲线图。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种监控可视化方法，其解决了open-falcon不能上推历史数据的难题，能够绘制历史曲线，能做实时分析使用，能直接从中读出来绘制曲线图，实现open-falcon对用户自定义的数据海量监控数据无损存取。本专利技术的技术方案是：这种监控可视化方法，该方法的基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括以下步骤：(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；(2)agent模块经过格式化后转发给transfer模块；(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。本专利技术通过app模块上推用户符合规范的格式化数据到falcon的agent模块，dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，从而解决了open-falcon不能上推历史数据的难题，能够绘制历史曲线，能做实时分析使用，能直接从中读出来绘制曲线图，实现open-falcon对用户自定义的数据海量监控数据无损存取。还提供了一种监控可视化系统，该系统基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括：app模块，其配置来上推用户符合规范的格式化数据到falcon的agent模块；agent模块，其配置来经过格式化后转发给transfer模块；transfer模块，其配置来经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；dashboad，其配置来通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。附图说明图1所示为根据本专利技术的监控可视化方法的流程图。图2所示为根据本专利技术的监控可视化系统的结构示意图。具体实施方式如图1所示，这种监控可视化方法，该方法的基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括以下步骤：(1)app模块上推用户符合规范的格式化数据到falcon的agent(代理)模块；(2)agent模块经过格式化后转发给transfer(转发)模块；(3)transfer模块经过处理后分发给judge(判定)模块、graph(图表)模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。本专利技术通过app模块上推用户符合规范的格式化数据到falcon的agent模块，dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，从而解决了open-falcon不能上推历史数据的难题，能够绘制历史曲线，能做实时分析使用，能直接从中读出来绘制曲线图，实现open-falcon对用户自定义的数据海量监控数据无损存取。另外，所述步骤(3)中opentsdb基于hbase系统，用于存储海量数据。另外，所述步骤(4)中元数据是绘图的参数，特定时间内的数据是数据的值。另外，接口之间传递参数和回传结果采用json格式。另外，data模块从opentsdb模块查询到数据后，转换成dashboard需要的格式。本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本专利技术的方法相对应的，本专利技术还同时包括一种监控可视化系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统，该系统基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括：app模块，其配置来上推用户符合规范的格式化数据到falcon的agent模块；agent模块，其配置来经过格式化后转发给transfer模块；trans本文档来自技高网...

【技术保护点】
一种监控可视化方法，其特征在于：该方法的基础框架为python‑virtualenv、gnuplot、autoconf、automake，且包括以下步骤：(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；(2)agent模块经过格式化后转发给transfer模块；(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。

【技术特征摘要】
1.一种监控可视化方法，其特征在于：该方法的基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括以下步骤：(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；(2)agent模块经过格式化后转发给transfer模块；(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。2.根据权利要求1所述的监控可视化方法，其特征在于：所述步骤(3)中opentsdb基于hbase系统，用于存储海量数据。3.根据权利要求2所述的监控可视化方法，其特征在于：所述步骤(4)中元数据是绘图的参数，特定时间内的数据是数据的值。4.根据权利要求3所述的监控可视化方法，其特征在于：接口之间传递参数和回传结果采用json格式。5.根据权利要求3所述的监控可视化方法，其特征在于：data模块从opentsdb模块查询到数据后，转换成dashboard需要的格式。6.一种监控...

【专利技术属性】
技术研发人员：冯森林，温宗臣，张翼，范卫卫，何良均，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：北京;11