一种反向代理日志分析方法技术

本发明专利技术特别涉及一种反向代理日志分析方法

【技术实现步骤摘要】
一种反向代理日志分析方法


[0001]本专利技术涉及通信
，特别涉及一种反向代理日志分析方法
。

技术介绍

[0002]随着电子商务
、
物联网和移动互联网的快速增长，现代信息技术已深入人民群众的日常生活
。
与此同时，各类网络攻击事件不断出现，攻击手段层出不穷，已成为威胁国家安全
、
商业安全
、
人民群众生命和财产安全的现代犯罪手段
。
根据
OWASP(OpenWebApplicationSecurityProject)
，开放式
Web
应用程序安全项目
)
组织公布的
Web
应用安全风险榜单，
SQL(StructuredQueryLanguage
，结构化查询语言
)
注入
、XSS(CrossSiteScripting
，跨站脚本攻击
)
攻击
、CSRF(Cross
‑
siterequestforgery
，跨站请求伪造
)
攻击
、Web
‑
Shell
攻击等针对或基于
Web
的攻击常年名列前茅
。
[0003]日志分析是网络安全领域重要的分析手段之一
。
日志是操作系统
、
应用软件等按照时间顺序对操作结果进行记录的结果，通常以文本文件形式存储形成日志文件
。Web
日志是
Web
服务器对用户请求和服务器响应记录进行记录的结果
。
日志文件除了用以分析和监控问题以达到取证作用之外，还能对系统的运行情况和安全状态进行常规检查，提前感知和预防恶意的攻击扫描等
。
[0004]现有的日志审计分析系统产品中，有的将日志传输到
SQL
数据库然后使用查询检索，有的通过
Hadoop
集群进行日志分析，有的则基于搜索引擎来进行日志分析，如
Splunk。Splunk
是一个日志分析商业产品，当用户需要处理海量数据时，其授权费用十分昂贵，因此更多企业寻求商业软件以外的替代方案
。
[0005]基于此，本专利技术提出了一种反向代理日志分析方法
。

技术实现思路

[0006]本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的反向代理日志分析方法
。
[0007]本专利技术是通过如下技术方案实现的：
[0008]一种反向代理日志分析方法，其特征在于：包括以下步骤：
[0009]步骤
S1、
采用轻量型日志采集器
Filebeat
和
ELK
架构方案，对反向代理服务器上的
Web
日志进行采集
、
处理
、
存储与分析；
[0010]步骤
S2、
通过开源数据收集引擎
Logstash
的
Attack
‑
Filter
入侵攻击分析插件，利用正则表达式和特征值对于入侵攻击行为进行检测；
[0011]步骤
S3、
将检测结果输入到搜索服务器
ElasticSearch
集群，通过图表进行分析，并自动生成攻击统计报表
。
[0012]采用
Nginx
服务器作为反向代理服务器；所述轻量型日志采集器
Filebeat
以代理的方式安装在服务器上，监视指定的日志文件或位置，收集
Web
日志，并将收集到的
Web
日志转发到目标服务器
。
[0013]所述步骤
S1
中，为了区分同一反向代理服务器上的不同
Web
日志，在
Filebeat
配置文件中添加
server_name
字段；通过
Python
脚本或
Shell
脚本，对
Nginx
站点配置文件进行遍历，提取
server_name
配置项与
access_log
配置项，生成
Filebeat
配置文件，并批量启动采集进程
。
[0014]所述步骤
S2
中，开源数据收集引擎
Logstash
整合
GrOK
插件
、GeoIP
插件与
Attack
‑
Filter
入侵攻击分析插件对日志数据进行解析和结构化处理，处理结果存储到搜索服务器
ElasticSearch
集群中供统计分析
。
[0015]所述
GrOK
插件通过
Nginx
日志解析模板对半结构化的日志数据进行解析，并形成结构化数据；所述
GeoIP
插件根据来自
Maxmind GeoLite2
数据库的数据将客户端
IP
转换为地理位置信息，用于攻击溯源分析和数据可视化；所述
Attack
‑
Filter
入侵攻击分析插件则根据关键字解析出
Web
攻击的分类
。
[0016]所述
Attack
‑
Filter
入侵攻击分析插件根据自定义的正则表达式对疑似攻击日志信息进行匹配，如果匹配成功，就标记为攻击请求，并附加上攻击请求的类别信息
。
[0017]所述步骤
S3
中，通过
Kibana
工具进行可视化图表展示，并通过使用
SpringBoot
框架开发的报表应用生成攻击统计报表
。
[0018]所述步骤
S3
中，定时将超过自定义阈值的攻击目标
、
类型以及来源
IP
信息发送给管理员
。
[0019]一种反向代理日志分析设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上所述的方法步骤
。
[0020]一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法步骤
。
[0021]本专利技术的有益效果是：该反向代理日志分析方法，能够准确
、
实时地对日志进行采集
、
处理和分析，帮助达到网络安全法关于日志存储的合规要求，并帮助网络管理员实现网络攻击分析
、
制定安全策略，是网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种反向代理日志分析方法，其特征在于：包括以下步骤：步骤
S1、
采用轻量型日志采集器
Filebeat
和
ELK
架构方案，对反向代理服务器上的
Web
日志进行采集
、
处理
、
存储与分析；步骤
S2、
通过开源数据收集引擎
Logstash
的
Attack
‑
Filter
入侵攻击分析插件，利用正则表达式和特征值对于入侵攻击行为进行检测；步骤
S3、
将检测结果输入到搜索服务器
ElasticSearch
集群，通过图表进行分析，并自动生成攻击统计报表
。2.
根据权利要求1所述的反向代理日志分析方法，其特征在于：采用
Nginx
服务器作为反向代理服务器；所述轻量型日志采集器
Filebeat
以代理的方式安装在服务器上，监视指定的日志文件或位置，收集
Web
日志，并将收集到的
Web
日志转发到目标服务器
。3.
根据权利要求2所述的反向代理日志分析方法，其特征在于：所述步骤
S1
中，为了区分同一反向代理服务器上的不同
Web
日志，在
Filebeat
配置文件中添加
server_name
字段；通过
Python
脚本或
Shell
脚本，对
Nginx
站点配置文件进行遍历，提取
server_name
配置项与
access_log
配置项，生成
Filebeat
配置文件，并批量启动采集进程
。4.
根据权利要求1所述的反向代理日志分析方法，其特征在于：所述步骤
S2
中，开源数据收集引擎
Logstash
整合
GrOK

【专利技术属性】
技术研发人员：陈华，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：