一种基于深度学习的日志信息过滤系统及其方法技术方案

本发明专利技术涉及计算机通信技术领域,特别是一种基于深度学习的日志信息过滤系统及其方法。本发明专利技术使用手机将日志信息智能化、自动化的处理日志信息，并且高效输出到维护人员。分布式的日志采集系统与智能分析结合；通过深度学习建立日志状态数学模型；智能分析与平台输出结合。本发明专利技术目的是在于建立一种高效准确的日志智能分析系统，同时结合日志收集系统作为其输入、结合告警系统作为其输出，实现智能化、自动化的基于日志的告警系统。

A Log Information Filtering System Based on Deep Learning and Its Method

The invention relates to the field of computer communication technology, in particular to a log information filtering system based on deep learning and its method. The invention intelligently and automatically processes log information by using mobile phones, and efficiently outputs log information to maintenance personnel. Distributed log acquisition system is combined with intelligent analysis; log state mathematical model is established through in-depth learning; intelligent analysis is combined with platform output. The purpose of the present invention is to establish an efficient and accurate intelligent log analysis system, and realize an intelligent and automatic log-based alarm system by combining the log collection system as its input and the alarm system as its output.

【技术实现步骤摘要】
一种基于深度学习的日志信息过滤系统及其方法
本专利技术涉及计算机通信
,特别是一种基于深度学习的日志信息过滤系统及其方法。
技术介绍
信息系统的规模随着时间、技术、需求等发展，产生大量的日志信息，如何有效地从海量的日志信息中，有效、准确、快速地提取出关键的日志信息，成为一个日志管理系统必然要解决的问题。目前主流的日志分析方法主要有：1、机器采集、人工分析，需要大量的人力劳动，从日志系统收集到的日志中检索、过滤出有效的日志信息。2、直接人工查看整理，如果系统出现异常或者在必要的时候，人工直接登录相关信息系统，查看出现问题的相关日志。现有日志系统实际使用中采集过程均实现自动化，但是无法从海量数据中迅速甄别出有效的信息，仍然需要人工实现，数据存储量大系统运行不稳定。
技术实现思路
本专利技术解决现有技术不足提供一种高效准确、智能化、自动化的基于深度学习的日志信息过滤系统及其方法。本专利技术解决其技术问题所采用的技术方案为：基于深度学习的日志信息过滤系统，日志输入层和日志输出层，还包括日志过滤层，日志输入层通过日志过滤层与日志输出层连接；日志输入层包括日志录入单元和日志提取单元，日志输出层包括QQ、微信、邮件或数据平台API，日志输出层通过手机或计算机运行；日志过滤层包括文本字段提取单元和文本字段筛选单元，日志过滤层提取日志信息文本字段，通过筛选文本字段过滤多余日志信息；筛选的日志信息通过日志输出层传输。对日志信息进行智能化管理，将日志输入层和日志输出层进行分层处理，同时可以进行多平台监控。所述日志提取单元采用ElasticStack系统自动导入日志信息；日志录入单元采用远程网络抓取系统SSH导入日志信息。实现了自动化和人工远程日志监控，通过移动设备端便可实现监控功能。所述文本字段提取单元和文本字段筛选单元进行文本自定义编辑，根据自定义编辑字段提取和筛选日志信息。通过自定义编辑字段内容和字段长度控制提取和筛选内容，监控更具操作性，减少后期人工介入频率，提高整体系统运行稳定性。所述文本字段提取单元的自定义编辑字段为磁盘使用率、磁盘使用率大于或磁盘使用率大于95%。监控磁盘使用信息防止无磁盘空间造成数据溢出或丢失。所述文本字段筛选单元的自定义编辑字段为is、are或what。将上述字段删除不仅不会影响语义表达，可以快速实现自动化筛选处理，预留出磁盘空间保证系统运行。有效防止系统宕机情况发生。基于深度学习的日志信息过滤系统的使用方法，包括如下步骤：A、日志信息输入日志信息通过日志录入单元或日志提取单元输入；B、日志信息过滤日志信息通过文本字段提取单元和文本字段筛选单元进行监控，文本字段提取单元提取日志信息中的文本字段进行监控；文本字段筛选单元的文本字段筛选多余日志信息；C、日志信息输出筛选后的日志信息通过日志输出层进行输出并存储。所述步骤A中日志信息通过日志录入单元或日志提取单元输入，输入进行日志时间同步。本专利技术使用手机或计算机将日志信息智能化、自动化的处理日志信息，并且高效输出到维护人员。分布式的日志采集系统与智能分析结合；通过深度学习建立日志状态数学模型；智能分析与平台输出结合。本专利技术目的是在于建立一种高效准确的日志智能分析系统，同时结合日志收集系统作为其输入、结合告警系统作为其输出，实现智能化、自动化的基于日志的告警系统。附图说明图1为系统结构示意图。具体实施方式基于深度学习的日志信息过滤系统，日志输入层和日志输出层，还包括日志过滤层，日志输入层通过日志过滤层与日志输出层连接；日志输入层包括日志录入单元和日志提取单元，日志输出层包括QQ、微信、邮件或数据平台API，日志输出层通过手机或计算机运行；日志过滤层包括文本字段提取单元和文本字段筛选单元，日志过滤层提取日志信息文本字段，通过筛选文本字段过滤多余日志信息；筛选的日志信息通过日志输出层传输。对日志信息进行智能化管理，将日志输入层和日志输出层进行分层处理，同时可以进行多平台监控。所述日志提取单元采用ElasticStack系统自动导入日志信息；日志录入单元采用远程网络抓取系统SSH导入日志信息。实现了自动化和人工远程日志监控，通过移动设备端便可实现监控功能。所述文本字段提取单元和文本字段筛选单元进行文本自定义编辑，根据自定义编辑字段提取和筛选日志信息。通过自定义编辑字段内容和字段长度控制提取和筛选内容，监控更具操作性，减少后期人工介入频率，提高整体系统运行稳定性。所述文本字段提取单元的自定义编辑字段为磁盘使用率、磁盘使用率大于或磁盘使用率大于95%。监控磁盘使用信息防止无磁盘空间造成数据溢出或丢失。所述文本字段筛选单元的自定义编辑字段为is、are或what。将上述字段删除不仅不会影响语义表达，可以快速实现自动化筛选处理，预留出磁盘空间保证系统运行。有效防止系统宕机情况发生。基于深度学习的日志信息过滤系统的使用方法，包括如下步骤：A、日志信息输入日志信息通过日志录入单元或日志提取单元输入；B、日志信息过滤日志信息通过文本字段提取单元和文本字段筛选单元进行监控，文本字段提取单元提取日志信息中的文本字段进行监控；文本字段筛选单元的文本字段筛选多余日志信息；C、日志信息输出筛选后的日志信息通过日志输出层进行输出并存储。所述步骤A中日志信息通过日志录入单元或日志提取单元输入，输入进行日志时间同步。使用时将所述文本字段提取单元的自定义编辑字段为磁盘使用率大于95%。所述文本字段筛选单元的自定义编辑字段为is、are或what。监控日志信息中出现磁盘使用率大于95%的字段时，迅速通过文本字段筛选单元去除is、are或what字段保证系统运行。所述文本字段提取单元和文本字段筛选单元进行文本自定义编辑，根据自定义编辑字段提取和筛选日志信息。本专利技术日志提取、深度学习、日志分析、消息输出等技术的结合，为了解决如何从海量的信息系统日志中过滤无效数据，提取出关键信息并且输出的的问题。现有的日志系统，主要是在日志采集方面做到了自动化，但是无法从海量数据中迅速甄别出有效的信息，仍然需要人工实现。建立一种高效准确的日志智能分析系统，同时结合日志收集系统作为其输入、结合告警系统作为其输出，实现智能化、自动化的基于日志的告警系统。本专利技术结合日志收集系统，通过深度学习方式，直接从日志中提取出有效数据，并进行告警。本系统适用于架构复杂，日志种类繁多的信息系统，提高其基于日志的监控效率。本文档来自技高网...

【技术保护点】
1.基于深度学习的日志信息过滤系统，日志输入层和日志输出层，其特征在于还包括日志过滤层，日志输入层通过日志过滤层与日志输出层连接；日志输入层包括日志录入单元和日志提取单元，日志输出层包括QQ、微信、邮件或数据平台API，日志输出层通过手机或计算机运行；日志过滤层包括文本字段提取单元和文本字段筛选单元，日志过滤层提取日志信息文本字段，通过筛选文本字段过滤多余日志信息；筛选的日志信息通过日志输出层传输。

【技术特征摘要】
1.基于深度学习的日志信息过滤系统，日志输入层和日志输出层，其特征在于还包括日志过滤层，日志输入层通过日志过滤层与日志输出层连接；日志输入层包括日志录入单元和日志提取单元，日志输出层包括QQ、微信、邮件或数据平台API，日志输出层通过手机或计算机运行；日志过滤层包括文本字段提取单元和文本字段筛选单元，日志过滤层提取日志信息文本字段，通过筛选文本字段过滤多余日志信息；筛选的日志信息通过日志输出层传输。2.根据权利要求1所述的基于深度学习的日志信息过滤系统，其特征在于所述日志提取单元采用ElasticStack系统自动导入日志信息；日志录入单元采用远程网络抓取系统SSH导入日志信息。3.根据权利要求1所述的基于深度学习的日志信息过滤系统，其特征在于所述文本字段提取单元和文本字段筛选单元进行文本自定义编辑，根据自定义编辑字段提取和筛选日志信息。4.根据权利要求3所述的基于深度学习的...

【专利技术属性】
技术研发人员：金博，陶晓龙，高志栋，张志涛，田毅，
申请(专利权)人：甘肃万维信息技术有限责任公司，
类型：发明
国别省市：甘肃,62