一种基于ELK的日志自动化分析系统技术方案

本发明专利技术涉及日志分析技术领域，且公开了该基于ELK的日志自动化分析系统，一种基于ELK的日志自动化分析系统，包括客户端服务器和服务端服务器，所述客户端服务器设置有客户端。该基于ELK的日志自动化分析系统，通过客户端对服务器操作日志的收集、服务器项目日志的收集和日志采集传输，日志收集时，根据服务器登录位置、用户和时间进行区分，后期带动时间等不同日志进行区分，增加客户端对日志区分增加便捷性；后期登录时，通过操作日志和项目日志的文件内容的标志的方法把筛选过的日志内容通过地址用户密码的方式传递给elasticsearch并定义好日志的索引，可避免登录错误，且快速带动需要使用日志的区分。动需要使用日志的区分。动需要使用日志的区分。

【技术实现步骤摘要】
一种基于ELK的日志自动化分析系统


[0001]本专利技术涉及日志分析
，具体为一种基于ELK的日志自动化分析系统。

技术介绍

[0002]对于开发来说，在项目开发中，都不可避免的使用到日志。没有日志虽然不会影响项目的正确运行，但是没有日志的项目可以说是不完整的。日志在调试，错误或者异常定位，数据分析中的作用是不言而喻的，在调试中，查看栈信息可以方便地知道当前程序的运行状态，输出的日志便于记录程序在之前的运行结果；在错误定位中，项目在运行一段时候后，可能由于数据问题，网络问题，内存问题等出现异常。这时日志可以帮助开发或者运维人员快速定位错误位置，提出解决方案；数据分析中，日志中蕴含了大量的用户数据，包括点击行为，兴趣偏好等，用户画像对于公司下一步的战略方向有一定指引作用，至此研发出一种基于ELK的日志自动化分析系统。
[0003]在现有的基于ELK的日志自动化分析系统中，对于运维来说，我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为，在安全领域，日志可以反应出很多的安全攻击行为，比如登录错误，异常访问。

技术实现思路

[0004]针对现有基于ELK的日志自动化分析系统的不足，本专利技术提供了一种基于ELK的日志自动化分析系统，具备通过客户端对服务器操作日志的收集可有效根据用户登录地址、时间等详细区分，同时带动日志形成通过对通过/etc/bashrc文件编写规则进行筛选，可有效区分日志内容，方便后期进行对日志进行观察，同时后期登录时，通过操作日志和项目日志的文件内容的标志的方法把筛选过的日志内容通过地址用户密码的方式传递给elasticsearch并定义好日志的索引，可避免登录错误的优点，解决了上述
技术介绍
中提出的问题。
[0005]本专利技术提供如下技术方案：一种基于ELK的日志自动化分析系统，包括客户端服务器和服务端服务器，所述客户端服务器设置有客户端，所述客户端包含有服务器操作日志的收集、服务器项目日志的收集和日志采集传输，所述服务端服务器设置有服务端，所述服务端包含有日志缓存与筛选和日志展示。
[0006]优选的，所述服务器操作日志的收集包含有定义操作日志的名称、定义一个操作命令变量和用户在服务器输入操作指令；操作日志文件的内容格式：服务器的本地ip地址、命令操作时间、登录ip地址、登录用户、操作用户、操作命令，所述定义一个操作命令变量并把定义时间格式给予赋值。
[0007]优选的，所述服务器项目日志的收集对项目日志的目录下的日志文件进行筛选写入，服务端项目日志主要是采用/etc/bashrc文件编写规则进行筛选。
[0008]优选的，所述日志采集传输采用filebeat工具调用filebeat.yml配置的规则内容，所述规则内容日志进行采集传输到服务端的redis上。
[0009]优选的，所述服务端；redis接收到的日志内容进行缓存存储，logstash进行日志的筛选输出，所述筛选采用自定义方式，配置内容主要三部分：
[0010]第一部分：寻找日志使用redis对内容输入部分的键值、数据类型找到日志部分；
[0011]第二部分：匹配日志与日志进行筛选匹配，所述操作日志和项目日志的文件内容的标志进行不同的正则表达式匹配并进行变量赋值；
[0012]第三部位：输出日志采用操作日志和项目日志的文件内容的标志的方法把筛选过的日志内容经过地址用户密码的方式传递给elasticsearch并定义好日志的索引。
[0013]优选的，所述日志展示输入kibana，所述kibana采用用户密码的方式连接elasticsearch。
[0014]优选的，所述客户端服务器：需要提前安装好filebeat，rmp命令安装filebeat的rmp包，所述filebeat是用于轻量级的日志采集工具，服务端服务器：需要提前安装好ELK和redis,tar包解压的方式直接安装并配置开机自启动。
[0015]优选的，所述ElK是elasticsearch，logstash，kibana，elasticsearch，所述elasticsearch，logstash，kibana，elasticsearch提供搜集、分析、存储数据三大功能；logstash具有搜集、分析、过滤日志的工具；kibana是用于搜索、分析和可视化存储在elasticsearch指标中的日志数据；redis具有缓存数据功能。
[0016]与现有基于ELK的日志自动化分析系统对比，本专利技术具备以下有益效果：
[0017]该基于ELK的日志自动化分析系统，通过客户端对服务器操作日志的收集、服务器项目日志的收集和日志采集传输，日志收集时，根据服务器登录位置、用户和时间进行区分，后期带动时间等不同日志进行区分，增加客户端对日志区分增加便捷性；后期登录时，通过操作日志和项目日志的文件内容的标志的方法把筛选过的日志内容通过地址用户密码的方式传递给elasticsearch并定义好日志的索引，可避免登录错误，且快速带动需要使用日志的区分。
附图说明
[0018]图1为本专利技术日志自动化分析流程示意图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]请参阅图1，一种基于ELK的日志自动化分析系统，包括客户端服务器和服务端服务器，客户端服务器是客户使用时记录设备整体，服务端服务器是服务端服务集中主体，客户端服务器设置有客户端，客户端是客户操作系统，客户端包含有服务器操作日志的收集，通过操作日志时对操作日志进行收集、服务器项目日志的收集，对操作项目每日汇报情况进行收集和日志采集传输，日志采集传输带动日志形成后进行传输，方便服务端进行汇总，服务端服务器设置有服务端，服务端对系统控制进行整体汇总，服务端包含有日志缓存与筛选和日志展示，日志缓存与筛选和日志展示对日志系统采集后，对采集效果进行筛选出
整体情况，并方便后期进行显示，方便对日志进行展示的作用。
[0021]其中，服务器操作日志的收集包含有定义操作日志的名称、定义一个操作命令变量和用户在服务器输入操作指令；操作日志文件的内容格式：服务器的本地ip地址、命令操作时间、登录ip地址、登录用户、操作用户、操作命令，定义一个操作命令变量并把定义时间格式给予赋值，通过定义操作日志的名称，判读日志文件是否存在创建并修改文件权限以及通过ifconfig命令抓取服务器本地ip地址作为变量赋值，即可方便对日志文件进行确定，同时定义一个操作命令变量，通过通过who、awk、sed三个命令的结合时候，抓取出登录服务器的用户、操作用户、登录ip以及收集用户输入命令的变量，追加赋值给操作命令变量，用户在服务器输入操作命令时，操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ELK的日志自动化分析系统，包括客户端服务器和服务端服务器，其特征在于：所述客户端服务器设置有客户端，所述客户端包含有服务器操作日志的收集、服务器项目日志的收集和日志采集传输，所述服务端服务器设置有服务端，所述服务端包含有日志缓存与筛选和日志展示。2.根据权利要求1所述的一种基于ELK的日志自动化分析系统，其特征在于：所述服务器操作日志的收集包含有定义操作日志的名称、定义一个操作命令变量和用户在服务器输入操作指令；操作日志文件的内容格式：服务器的本地ip地址、命令操作时间、登录ip地址、登录用户、操作用户、操作命令，所述定义一个操作命令变量并把定义时间格式给予赋值。3.根据权利要求1所述的一种基于ELK的日志自动化分析系统，其特征在于：所述服务器项目日志的收集对项目日志的目录下的日志文件进行筛选写入，服务端项目日志主要是采用/etc/bashrc文件编写规则进行筛选。4.根据权利要求1所述的一种基于ELK的日志自动化分析系统，其特征在于：所述日志采集传输采用filebeat工具调用filebeat.yml配置的规则内容，所述规则内容日志进行采集传输到服务端的redis上。5.根据权利要求1所述的一种基于ELK的日志自动化分析系统，其特征在于：所述服务端；redis接收到的日志内容进行缓存存储，logstash进行日志的筛选输出，所述筛选采用自定义方式，配置内容主要三部分：第一部分：寻找日志使用redis对内容输入部分的键值、数据类...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：广州优谷信息技术有限公司，
类型：发明
国别省市：