一种基于web日志的网站可用性告警方法及其系统技术方案

本发明专利技术涉及网站可用性监测，旨在提供一种基于web日志的网站可用性告警方法及其系统。该种基于web日志的网站可用性告警方法包括步骤：建立可用性管理平台，设置告警字段及阈值；实时采集web服务器的访问日志，本地分析模块对访问日志进行解析并判定该地区该网站是否存在异常，分析模块将分析结果上传给可用性管理平台；可用性管理平台针对分析结果产生新告警，并提供数据统计报表。本发明专利技术通过收集网站的访问日志进行告警，有效地解决了原先线路不稳定造成的误报、漏报问题，同时克服了云端到客户服务器之间的稳定性问题。本发明专利技术的告警时间能够自定义，防止打扰休息。

A Web Log-based Web Availability Reporting Law and Its System

The invention relates to website usability monitoring, aiming at providing a website usability alarm method based on Web log and its system. This web log-based website usability alarm method includes the following steps: establishing a usability management platform, setting alarm fields and thresholds; collecting the access logs of web servers in real time, parsing the access logs by local analysis module and determining whether there are any abnormalities in the site, and uploading the analysis results to the usability management platform for the purpose of usability management platform; The results of analysis generate new alarms and provide statistical reports. The invention effectively solves the problems of false alarm and missed alarm caused by the instability of the original line by collecting the access log of the website, and overcomes the stability problem between the cloud end and the client server. The alarm time of the invention can be customized to prevent disturbance of rest.

【技术实现步骤摘要】
一种基于web日志的网站可用性告警方法及其系统
本专利技术是关于网站可用性监测领域，特别涉及一种基于web日志的网站可用性告警方法及其系统。
技术介绍
政府的电子政务网络是一个大规模异构的复杂业务专用网络，不仅支持了各部门的各类应用系统，而且承载了多种国家公共基础信息数据库，为社会各行业提供公共基础数据的支持。电子政务网作为政府机关的基础信息设施，直接关系到社会安全和稳定。网站可用性是电子政务网站访问的重要指标之一，表示在一段时间内，网站处于“正常状态”的机率。随着我国电子政务的建设发展，政府网站用户量的增加，政府网站可用性这一常见问题将逐渐成为政府网站日常管理工作重点之一。在现有技术中，由于对网站可用性监测告警的不够重视，目前的可用性监测技术较为简单。目前的技术，主要通过可用性监测线路侦测方式对网站进行监测。比如专利“一种网站可用性监控系统及方法(CN201710893911.5)”、专利“基于多线路监测的网站可用性告警方法、装置及电子设备(CN201710932123.2)”、专利“一种监测网站可用性的方法(CN201710763416.2)”等，大多是在描述如何通过线路监测。但是在在监测线路由于网络波动等原因的不稳定场景下，导致其错误率、误报率、漏报率都非常高；同时，这个告警的误报问题不解决，导致网站维护人员对告警信息的不重视，短信疲劳。目前，还没有很好的技术方案来满足人们对目前网站可用性告警的需求。
技术实现思路
本专利技术的主要目的在于克服现有技术中的不足，提供一种相对稳定、准确度高的网站可用性监测告警技术方案。为解决上述技术问题，本专利技术的解决方案是：提供一种基于web日志的网站可用性告警方法，具体包括下述步骤：(1)建立可用性管理平台，设置告警字段及阈值；(2)(通过syslog方式)实时采集web服务器的访问日志，并在本地利用分析模块对访问日志进行解析，将解析得到的字段与可用性告警管理平台的告警字段进行匹配，并利用告警阈值判定该地区该网站是否存在异常；分析模块将分析结果上传给可用性管理平台；所述分析模块在客户本地搭建，用于进行访问日志解析；(3)可用性管理平台针对分析模块上传的分析结果(即判定的异常)产生新告警，并通过告警服务器进行告警；(4)根据分析模块上传的分析结果，可用性管理平台提供数据统计报表。在本专利技术中，所述步骤(1)中，告警字段包括域名、访问区域、HTTP状态码和访问URL；其中，所述访问区域的告警阈值是指在该访问区域中无法访问的占比阈值(如当浙江区域无法访问占比多少进行告警)；所述HTTP状态码的告警阈值是指5XX类状态码的占比阈值；所述访问URL的告警阈值是指网站首页无法访问的占比阈值(如当首页无法访问占比多少进行告警)。在本专利技术中，所述步骤(1)中，可用性管理平台还设置有告警时间段、告警联系人和告警方式。在本专利技术中，所述步骤(2)中，分析模块进行网站异常判定的方法，具体如下：分析模块对访问日志进行解析，解析得到的字段包括：访问时间、网站域名、源IP地址、HTTP状态码和访问区域；分析模块调用可用性告警管理平台，并根据预设告警字段进行分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。在本专利技术中，所述步骤(3)中，告警方式具体为：根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；所述告警服务器是指用于根据可用性管理平台预设好的告警联系人、告警时间段及告警方式，对告警联系人在告警时间段内，按告警方式进行告警的服务器。在本专利技术中，所述步骤(3)中，告警服务器针对新告警，先匹配告警时间段：当不符合告警时间时，则将该告警存储在可用性管理平台的网站报告中，当符合告警时间后，再进行告警；当符合告警时间时，则将该告警按预设的告警方式，发送给告警联系人；所述告警方式包括短信、邮件。在本专利技术中，根据分析模块上传的分析结果，可用性管理平台提供数据统计报表：可用性管理平台通过分析字段提供数据统计报表，数据统计报表中包括告警统计、访问源异常地区排行统计、业务耗时趋势图和异常状态码走势曲线；且能在可用性管理平台将数据统计报表中的图表，导出为需要的格式。提供一种存储设备，其中存储有多条指令，所述指令适用于由处理器加载并执行：上述一种基于web日志的网站可用性告警方法。提供一种基于web日志的网站可用性告警系统，包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适用于由处理器加载并执行：上述一种基于web日志的网站可用性告警方法。本专利技术的核心技术思路是：通过syslog方式实时收集网站本身的访问日志，在客户本地进行日志解析，深入分析，并将分析后的数据进行汇总后，由管理系统预设的告警阈值判定网站可用性的异常情况，并可以根据不同的告警对象选择不同的告警策略。与现有技术相比，本专利技术的有益效果是：本专利技术通过收集网站的访问日志进行告警，有效地解决了原先线路不稳定造成的误报、漏报问题，同时克服了云端到客户服务器之间的稳定性问题。本专利技术的告警时间能够自定义，防止打扰休息。附图说明图1为本专利技术的工作流程图。具体实施方式首先需要说明的是，本专利技术是计算机技术在网站可用性监测
的一种应用。在本专利技术的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本专利技术的实现原理和专利技术目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本专利技术。凡本专利技术申请文件提及的均属此范畴，申请人不再一一列举。下面结合附图与具体实施方式对本专利技术作进一步详细描述：如图1所示的一种基于web日志的网站可用性告警方法，对比传统的网站可用性监测告警技术，主要目的在于克服线路稳定性的问题以及云端到客户服务器之间的稳定性。该种基于web日志的网站可用性告警方法具体包括下述步骤：(1)建立可用性管理平台，设置告警字段及阈值，并设置告警时间段、告警联系人和告警方式。所述告警字段及阈值包括：域名、访问区域和访问区域对应的阈值、HTTP状态码和5XX状态码比例、访问URL和URL对应的阈值。(2)通过syslog方式实时采集web服务器的访问日志，并实时发送到在客户本地搭建的分析模块，对访问日志进行解析，得到下述字段：访问时间、网站域名、源IP地址、HTTP状态码和访问区域。然后分析模块调用可用性告警管理平台，并根据预设告警字段进行多维度分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。比如设定分析某个域名在5分钟内的所有访问日志，通过计算网站的HTTP状态码：404、408、500、502、503、504、505，结合可用性管理平台设置的告警阈值：选取北京区域、访问量中5XX占比大于20％，即可判定该地区该网站存在异常。分析模块将分析结果上传给可用性管理平台。(3)根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果(即判定的异常)产生新告警，并通过告警服务器进行告警。告警服务器针对新告警，会先匹配告警时间段(告警时间段选择，0点至24点)：当不符合告警时间时，则将该告警存储在可用性管理平台的网本文档来自技高网...

【技术保护点】
1.一种基于web日志的网站可用性告警方法，其特征在于，具体包括下述步骤：(1)建立可用性管理平台，设置告警字段及阈值；(2)实时采集web服务器的访问日志，并在本地利用分析模块对访问日志进行解析，将解析得到的字段与可用性告警管理平台的告警字段进行匹配，并利用告警阈值判定该地区该网站是否存在异常；分析模块将分析结果上传给可用性管理平台；所述分析模块在客户本地搭建，用于进行访问日志解析；(3)可用性管理平台针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；(4)根据分析模块上传的分析结果，可用性管理平台提供数据统计报表。

【技术特征摘要】
1.一种基于web日志的网站可用性告警方法，其特征在于，具体包括下述步骤：(1)建立可用性管理平台，设置告警字段及阈值；(2)实时采集web服务器的访问日志，并在本地利用分析模块对访问日志进行解析，将解析得到的字段与可用性告警管理平台的告警字段进行匹配，并利用告警阈值判定该地区该网站是否存在异常；分析模块将分析结果上传给可用性管理平台；所述分析模块在客户本地搭建，用于进行访问日志解析；(3)可用性管理平台针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；(4)根据分析模块上传的分析结果，可用性管理平台提供数据统计报表。2.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(1)中，告警字段包括域名、访问区域、HTTP状态码和访问URL；其中，所述访问区域的告警阈值是指在该访问区域中无法访问的占比阈值；所述HTTP状态码的告警阈值是指5XX类状态码的占比阈值；所述访问URL的告警阈值是指网站首页无法访问的占比阈值。3.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(1)中，可用性管理平台还设置有告警时间段、告警联系人和告警方式。4.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(2)中，分析模块进行网站异常判定的方法，具体如下：分析模块对访问日志进行解析，解析得到的字段包括：访问时间、网站域名、源IP地址、HTTP状态码和访问区域；分析模块调用可用性告警管理平台，并根据预设告警字段进行分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地...

【专利技术属性】
技术研发人员：程磊，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江,33