一种日志数据可视化分析系统及方法技术方案

一种日志数据可视化分析系统，包括，统一运维平台，将各所述线上服务器配置为Minion服务器，并对各所述Minion服务器的服务状态进行检测和配置变更；线上服务器，其根据所述统一运维平台的请求，将原始日志数据定时同步到所述日志集中服务器中；所述日志集中服务器，其暂时储存压缩文本形式的原始日志数据；hadoop集群，其对根据业务的特征制定相应的数据抽取、转换、载入与分析方案，将结构化的日志数据生成数据指标；统一展示平台，将数据指标以界面形式进行监测。本发明专利技术的系统及方法，基于Saltstack架构、Hadoop数据处理以及可视化呈现的低延迟、分布式应用服务日志分析，为运维自动化技术提升了工作效率。

Log data visualization analysis system and method

A log data visualization analysis system, including unified operation platform, will the online server configuration for the Minion server, and on each of the Minion server service status detection and configuration change; online server, the request according to the unified operation platform, the original log data synchronization to the log server in the log server; the temporary storage of compressed raw log data in the form of text; Hadoop cluster, the features of the development based on business data extraction, conversion and loading and the corresponding analysis program, the log structured data generated data; unified display platform, the data index in the form of interface. The system and method of the invention improve the working efficiency for the operation and maintenance automation technology based on the Saltstack framework, the Hadoop data processing and the visual low latency and distributed application service log analysis.

【技术实现步骤摘要】
一种日志数据可视化分析系统及方法
本专利技术涉及大数据处理
，尤其涉及一种日志数据可视化分析系统及方法。
技术介绍
随着互联网行业的迅猛发展，尤其是移动端应用的异军突起，新一轮的数据爆炸时代的大门已经开启，各类在线应用相互间的竞争日趋白热化，如何在保证信息安全的前提下对海量用户访问日志数据进行深入挖掘、分析从而提高用户体验，已经成为业界亟待解决的难题。应用服务日志由于数据量巨大，传统人工查看原始记录的方法已经无法满足业务需求，针对该类问题已有学者做了相关研究并取得了一定成果。一方面，系统级日志能够反应服务器的运行状况，另一方面，应用级日志更是为业务提供了发展规划的重要指标。然而，目前未见有将日志收集分析及展示的实用性整体方案。Hadoop是Apache软件基金会发起并开发维护的一个能够对海量数据进行分布式处理和计算的软件框架，其以一种可靠、高效、可伸缩的方式进行数据跨平台处理，相比传统的数据处理平台，具备高可靠性、高扩展性、高效性、高容错性与低成本等优点，使得其已经成为处理大量日志数据的首选。Saltstack是一种和以往不同的基础设施管理方法，它能够大幅提升大规模系统的高速通讯能力。Saltstack的拓扑结构为简单的server/client，其具备优良的可伸缩性。Saltstack的核心是一个远程执行引擎，它能够为多组系统创建高速、安全的双向通讯网络。基于这个通讯系统，Saltstack提供了一个快速、灵活并且容易使用的配置管理方法，称之为SaltStates，其可以用于管理与处理分布式系统中不同程序的安装、运行，即：若干用于提供应用的服务器都在后台运行一个Salt-Minion进程，另外还有一台服务器运行Salt-Master进程，其主要作用是向各应用服务器的Salt-Minion进程发送命令以实现生产环境中各项应用服务配置的变更与维护。
技术实现思路
为了解决现有技术存在的不足，本专利技术的目的在于提供一种日志数据可视化分析系统及方法，基于Saltstack架构、Hadoop数据处理以及可视化呈现的低延迟、分布式应用服务日志分析。为实现上述目的，本专利技术提供的日志数据可视化分析系统，包括，统一运维平台、线上服务器、日志集中服务器、hadoop集群，以及统一展示平台，其中，所述统一运维平台，其将各所述线上服务器配置为Minion服务器，并对各所述Minion服务器的服务状态进行检测和配置变更；所述线上服务器，其根据所述统一运维平台的请求，将原始日志数据定时同步到所述日志集中服务器中；所述日志集中服务器，其暂时储存压缩文本形式的原始日志数据；hadoop集群，其对根据业务的特征制定相应的数据抽取、转换、载入与分析方案，将结构化的日志数据生成数据指标；统一展示平台，将数据指标以界面形式进行监测。进一步地，所述统一运维平台进一步包括，Salt-Master服务器、运维图形用户界面及中间层，其中，所述Salt-Master服务器，其将所述线上服务器配置为Minion服务器，并对其服务状态进行检测和配置变更；所述运维图形用户界面，其以界面形式为运维人员提供系统监测；所述中间层作为所述运维图形用户界面与所述Salt-Master服务器之间交换数据的通道。进一步地，所述Salt-Master服务器向所述Minion服务器发送定时日志提取请求，将原始日志数据定时同步到日志集中服务器中。更进一步地，所述统一展示平台进一步包括，结果数据库、访客图形用户界面及数据访问层，其中，所述结果数据库，其用于存储日志数据指标；所述访客图形用户界面，其以界面形式为访客提供实时分布式系统监测；所述数据访问层作为所述访客图形用户界面与所述结果数据库之间交换数据的通道。为实现上述目的，本专利技术提供的日志数据可视化分析方法，包括以下步骤：1）对配置为Minion服务器的线上服务器的服务状态进行检测和配置变更，并将原始日志数据定时同步到日志集中服务器中；2）根据业务的特征对日志制定相应的数据抽取、转换、载入与分析方案；3）对结构化的有效数据进行计算生成数据指标；4）将数据指标以界面形式进行监测。进一步地，所述步骤1），是统一运维平台的Salt-Master服务器将所述线上服务器配置为Minion服务器，并对其进行检测和配置变更。进一步地，所述步骤2），是由hadoop集群根据业务的特征对日志制定相应的数据抽取、转换、载入与分析方案。进一步地，所述步骤3）是由hadoop集群对结构化的有效数据进行计算生成数据指标。进一步地，在所述步骤3）之前，还包括以下步骤：对日志数据进行抓取、转换、装载实现有效数据的结构化。更进一步地，在所述步骤4）之前，还包括以下步骤：将数据指标上传到统一展示平台的结果数据库中。本专利技术的日志数据可视化分析系统及方法，其优点主要体现在以下方面：首先，Saltstack可以快捷地部署在任意规模的服务器集群中，根据其后台所运行的不同服务及其特性进行并行、差异化的配置管理，同时通过Salt-Master服务器实现异地线上日志统一收集、存储的功能，通过运维自动化技术提升了工作效率。其次，Hadoop平台充分发挥了机器集群的优势，每一台Hadoop集群中的节点（DataNode）服务器只需要实施日志ETL与分析过程，就可以通过同步并行计算的方式，随着业务种类与访问量的增长，可以对集群添加服务器，实现成百上千台服务器的集群管理，具备高度可伸缩性，同时也有利于实现动态成本控制，从而提升资金利用效能。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，并与本专利技术的实施例一起，用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为根据本专利技术的日志数据可视化分析系统架构图；图2为根据本专利技术的日志数据可视化分析方法流程图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。专利技术的日志数据可视化分析系统，其工作原理为：利用Saltstack分布式系统对大规模线上应用服务器的配置与日志进行管理，通过对日志的抽取、转换与装载，依托Hadoop平台实现对日志文件的大数据分析，最后通过WEBGUI进行可视化呈现并为运维人员的操作提供相应参考依据。图1为根据本专利技术的日志数据可视化分析系统架构图，如图1所示，本专利技术的日志数据可视化分析系统，包括，统一运维平台10、线上服务器20、日志集中服务器30、hadoop集群40，以及统一展示平台50，其中，统一运维平台10，包括Salt-Master服务器11、运维图形用户界面12及中间层13，其中，Salt-Master服务器将各线上服务器20配置为Minion服务器，Salt-Master服务器对各Minion服务器的各项服务状态进行检测并发送指令对其进行配置变更与定时日志提取请求，各类原始日志数据会定时同步到日志集中服务器30中以压缩文本形式暂时储存（如bzip）；运维图形用户界面12，其以图表形式为运维人员提供实时分布式系统监测；中间层13作为运维图形用户界面12与Salt-Master服务器11之间交本文档来自技高网...

【技术保护点】
一种日志数据可视化分析系统，包括，统一运维平台、线上服务器、日志集中服务器、hadoop集群，以及统一展示平台，其特征在于，所述统一运维平台，其将各所述线上服务器配置为Minion服务器，并对各所述Minion服务器的服务状态进行检测和配置变更；所述线上服务器，其根据所述统一运维平台的请求，将原始日志数据定时同步到所述日志集中服务器中；所述日志集中服务器，其暂时储存压缩文本形式的原始日志数据；hadoop集群，其对根据业务的特征制定相应的数据抽取、转换、载入与分析方案，将结构化的日志数据生成数据指标；统一展示平台，将数据指标以界面形式进行监测。

【技术特征摘要】
1.一种日志数据可视化分析系统，包括，统一运维平台、线上服务器、日志集中服务器、hadoop集群，以及统一展示平台，其特征在于，所述统一运维平台，其将各所述线上服务器配置为Minion服务器，并对各所述Minion服务器的服务状态进行检测和配置变更；所述线上服务器，其根据所述统一运维平台的请求，将原始日志数据定时同步到所述日志集中服务器中；所述日志集中服务器，其暂时储存压缩文本形式的原始日志数据；hadoop集群，其对根据业务的特征制定相应的数据抽取、转换、载入与分析方案，将结构化的日志数据生成数据指标；统一展示平台，将数据指标以界面形式进行监测。2.根据权利要求1所述的日志数据可视化分析系统，其特征在于，所述统一运维平台进一步包括，Salt-Master服务器、运维图形用户界面及中间层，其中，所述Salt-Master服务器，其将所述线上服务器配置为Minion服务器，并对其服务状态进行检测和配置变更；所述运维图形用户界面，其以界面形式为运维人员提供系统监测；所述中间层作为所述运维图形用户界面与所述Salt-Master服务器之间交换数据的通道。3.根据权利要求2所述的日志数据可视化分析系统，其特征在于，所述Salt-Master服务器向所述Minion服务器发送定时日志提取请求，将原始日志数据定时同步到日志集中服务器中。4.根据权利要求1所述的日志数据可视化分析系统，其特征在于，所述统一展示平台进一步包括，结果数据库、访客图形用户界面及数据访...

【专利技术属性】
技术研发人员：赵亚明，张延礼，王毅，
申请(专利权)人：苏州蜗牛数字科技股份有限公司，
类型：发明
国别省市：江苏,32