一种基于Kafka和Zabbix的日志分析监控系统技术方案

技术编号:15794730 阅读:749 留言:0更新日期:2017-07-10 09:40
本发明专利技术公开了一种基于Kafka和Zabbix的日志分析监控系统,包括Kafka模块、Shell脚本模块和Zabbix模块,Kafka模块一端连接至WEB服务器,Kafka模块用于采集WEB服务器的访问日志;Kafka模块另一端连接至Shell脚本模块,Shell脚本模块连接至Zabbix模块,Shell脚本模块用于对网站访问流量进行分析与计算,将Shell脚本模块进行网站访问流量的分析与计算的结果汇总到Zabbix模块中;Zabbix模块包括图形展现界面模块,Zabbix模块用于对网站进行实时的PV和UV的监控和告警。本发明专利技术通过Kafka进行WEB访问日志的采集,通过Shell脚本进行网站访问流量的分析与计算,并将结果汇总到Zabbix中;利用Zabbix的图形展现界面进行监控可视化展示,实现了对网站实时PV和UV的监控和告警,降低了网站访问统计和监控的成本。

【技术实现步骤摘要】
一种基于Kafka和Zabbix的日志分析监控系统
本专利技术涉及一种网站监控系统,具体是一种基于Kafka和Zabbix的日志分析监控系统。
技术介绍
对网站流量的监控,目前主要有如下几种方式:一是采用嵌入云平台的统计JS脚本的方式,采用这类方法的如百度、谷歌等,二是通过一些日志分析工具进行流量监控,采用这类的方法主要有GoAccess、LogStat等,三是自主开发的访问统计监控系统。上述几种方案都有自己明显的不足。嵌入云平台的统计JS方式,不仅需要对网站前端代码进行修改,增加前端的处理逻辑;而且有些接口类的访问无法直接嵌入JS,使得此方案在使用范围上具有一定的局限性。第二种采用日志分析工具进行流量监控,无法进行实时地数据统计和监控,也不便于对多台服务器访问日志进行监控与统计。而自主开发的访问统计监控系统,开发工作量比较大,实施成本比较高,时间进度上也有一定的限制。
技术实现思路
本专利技术的目的在于提供一种基于Kafka和Zabbix的日志分析监控系统,以解决上述
技术介绍
中提出的问题。为实现上述目的,本专利技术提供如下技术方案:一种基于Kafka和Zabbix的日志分析监控系统,包括Kafka模块、Shell脚本模块和Zabbix模块,所述Kafka模块一端连接至WEB服务器,Kafka模块用于采集WEB服务器的访问日志;所述Kafka模块另一端连接至Shell脚本模块,Shell脚本模块连接至Zabbix模块,Shell脚本模块用于对网站访问流量进行分析与计算,将Shell脚本模块进行网站访问流量的分析与计算的结果汇总到Zabbix模块中;Zabbix模块包括图形展现界面模块,所述Zabbix模块用于对网站进行实时的PV和UV的监控和告警。与现有技术相比,本专利技术的有益效果是:本专利技术通过Kafka进行WEB访问日志的采集,通过Shell脚本进行网站访问流量的分析与计算,并将结果汇总到Zabbix中;利用Zabbix的图形展现界面进行监控可视化展示,实现了对网站实时PV和UV的监控和告警,降低了网站访问统计和监控的成本。附图说明图1为基于Kafka和Zabbix的日志分析监控系统的结构示意图。具体实施方式下面结合具体实施方式对本专利技术的技术方案作进一步详细地说明。请参阅图1,一种基于Kafka和Zabbix的日志分析监控系统,包括Kafka模块、Shell脚本模块和Zabbix模块,所述Kafka模块一端连接至WEB服务器,Kafka模块用于采集WEB服务器的访问日志;所述Kafka模块另一端连接至Shell脚本模块,Shell脚本模块连接至Zabbix模块,Shell脚本模块用于对网站访问流量进行分析与计算,将Shell脚本模块进行网站访问流量的分析与计算的结果汇总到Zabbix模块中;Zabbix模块包括图形展现界面模块,所述Zabbix模块用于对网站进行实时的PV和UV的监控和告警。本专利技术的工作原理是:本系统通过Kafka模块进行WEB访问日志的采集,通过Shell脚本模块进行网站访问流量的分析与计算,并将结果汇总到Zabbix模块中;利用Zabbix模块中的图形展现界面模块进行监控可视化展示,并实现对网站实时PV和UV的监控和告警。上面对本专利技术的较佳实施方式作了详细说明,但是本专利技术并不限于上述实施方式,在本领域的普通技术人员所具备的知识范围内,还可以在不脱离本专利技术宗旨的前提下作出各种变化。本文档来自技高网...
一种基于Kafka和Zabbix的日志分析监控系统

【技术保护点】
一种基于Kafka和Zabbix的日志分析监控系统,其特征在于,包括Kafka模块、Shell脚本模块和Zabbix模块,所述Kafka模块一端连接至WEB服务器,Kafka模块用于采集WEB服务器的访问日志;所述Kafka模块另一端连接至Shell脚本模块,Shell脚本模块连接至Zabbix模块,Shell脚本模块用于对网站访问流量进行分析与计算,将Shell脚本模块进行网站访问流量的分析与计算的结果汇总到Zabbix模块中;Zabbix模块包括图形展现界面模块,所述Zabbix模块用于对网站进行实时的PV和UV的监控和告警。

【技术特征摘要】
2016.12.08 CN 20161111983881.一种基于Kafka和Zabbix的日志分析监控系统,其特征在于,包括Kafka模块、Shell脚本模块和Zabbix模块,所述Kafka模块一端连接至WEB服务器,Kafka模块用于采集WEB服务器的访问日志;所...

【专利技术属性】
技术研发人员:冯方方
申请(专利权)人:环球智达科技北京有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1