一种基于大数据的云平台日志管理系统技术方案

本发明专利技术属于大数据技术领域，公开了一种基于大数据的云平台日志管理系统，包括：日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘；日志预处理模块：用于通过审计策略进行日志事件的过滤和同类事件进行归并处理，并分别发送至实时检测模块和数据库系统；数据库系统：用于存储日志预处理模块发送的日志事件；实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示。本发明专利技术可以提高运维人员在运维管理过程中的工作效率及安全态势的感知能力。能力。能力。

【技术实现步骤摘要】
一种基于大数据的云平台日志管理系统


[0001]本专利技术属于大数据
，具体涉及一种基于大数据的云平台日志管理系统。

技术介绍

[0002]随着信息技术的不断发展，用户对新业务的需求以及对服务质量的要求也不断提升。由此带来了一项新的挑战，即新环境产生大量的以前不曾有过的日志，并带来相关的问题，如：日志文件分散存放，数量多，可直接查阅的日志文件保存周期短，极不便于运维；日志格式不一致，可阅读性过低；查询耗时费力，效率低下；相关日志的关联性低，无法清晰定位；大量的日志无法统计，无法准确的分析业务；而且由于相关法规、政策或商业上的要求，必须保留并能够查询、分析处理这些日志数据。
[0003]日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果管理数十上百台服务器，使用依次登录每台机器的传统方法查阅日志，是很繁琐和效率低下的。当务之急是使用集中化的日志管理，将所有服务器上的日志收集汇总。但是集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，现有技术中一般使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
[0004]基于关系型的传统数据库无法满足新形势下的要求，需要建立一种基于大数据的云平台日志管理系统，以提高日志管理效率。

技术实现思路

[0005]本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种基于大数据的云平台日志管理系统。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于大数据的云平台日志管理系统，包括：日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；数据库系统：用于存储日志预处理模块发送的日志事件；实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋
势。
[0007]所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。
[0008]所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。
[0009]所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型。
[0010]所述日志分析模块具体用于：根据已采集的历史告警信息和历史产生事件信息，生成关联历史同类告警的解决方案清单视图；通过采集的攻击日志数据，生成告警所在各安全设备近期告警攻击行为的趋势视图；通过采集应用日志和系统日志，生成告警时间附件的异常日志视图；最后通过结合采集的配置信息和告警信息，申城关联应用告警情况的关联告警视图。
[0011]所述日志分析模块包括：异常情报与威胁情报分析模块：用于通过对知识采集、处理和分析最终输出威胁情报；还用于基于外部开源的和第三方情报数据，增强威胁情报的准确度和时效性；以及用于利用大数据分析平台将本地历史数据、网络资产数据与情报数据按照多个维度进行关联分析，可快速感知威胁，通过平台安全规则的筛选和过滤最终形成漏斗效应，保证威胁告警的更加的精准和有效；漏洞管理全生命周期管理模块：用于提供内网环境的资产感知和稽查功能，通过扫描指定的 IP 地址范围，嗅探新增设备以及启动服务，还用于通过单一通用端口探测并转向多协议探测，发现更多网络服务类型和相关数据，经过周期性对比和核实，构建资产安全脆弱性分析系统，实现根据异构网络资产元数据和服务数据的图谱构建和自动化分析，并提供可视化呈现和安全评估报告；态势感知分析模块：用于通过对入侵、异常流量、僵木、蠕虫、系统安全、网站安全态势进行多维度日志采集和分析，形成多类型的安全态势分析图。
[0012]本专利技术与现有技术相比具有以下有益效果：本专利技术提供一种基于大数据的云平台日志管理系统，能够自动采集海量日志信息，采用数据挖掘技术对其进行处理，发现系统中存在的异常信息或行为，对日志对象按业务应用进行管理与分析，通过分布式多任务技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，建立科学的分析模型，将告警信息以邮件或者短信的形式发放自动计算分析，以缩短故障排查时间和业务中断时间。提供更为快速的处理分析和展现，适用于海量数据下的分析应用，帮助用户在关键业务系统及内部系统实现全面的智能关联分析，提高运维人员在运维管理过程中的工作效率及安全态势的感知能力，通过将日志中心作为上层应用，具备良好的扩展性和堆叠性，满足信息的交换和处理，避免信息系统烟囱式的发展。
附图说明
[0013]图1为本专利技术实施例提供的一种基于大数据的云平台日志管理系统的结构示意
图。
具体实施方式
[0014]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]如图1所示，本专利技术实施例提供了一种基于大数据的云平台日志管理系统，包括：日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；数据库系统：用于存储日志预处理模块发送的日志事件；实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。
[0016]具体地，本实施例中，所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。政本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的云平台日志管理系统，其特征在于，包括：日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；数据库系统：用于存储日志预处理模块发送的日志事件；实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。2.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。3.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。4.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析...

【专利技术属性】
技术研发人员：石永红，李鹏，崔伟，李志刚，李洪杰，苗建鹏，杨峰光，韩国栋，张晨祥，张航，
申请(专利权)人：山西云时代技术有限公司，
类型：发明
国别省市：