处理线上服务器的log数据的装置及方法制造方法及图纸

本发明专利技术公开了一种处理线上服务器的log数据的装置，包括：获取模块，用于获取线上服务器的日志log数据；处理模块，用于对所述线上服务器的log数据进行处理，得到处理后的log数据；存储模块，用于将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引；呈现模块，用于通过外部接口将查询时间范围内的log数据从所述数据库中呈现。本发明专利技术同时公开了一种处理线上服务器的log数据的方法。能够通过将线上服务器的实时log数据同步至除线上服务器以外的其他设备，实现实时获取线上服务器的log数据的目的，进而提高了线上服务器的修复进度，提高了工作效率。

Apparatus and method for processing log data of online server

The invention discloses a device and a log data processing line, the server comprises an acquisition module for log log data acquisition server online; processing module for processing log data on the online server, log data processing; storage module, used for the treatment of log data storage in the database, and the establishment of time field index on the treated log data; presentation module, used by external interface to query log data within the scope of the present time from the database. The invention also discloses a method for processing the log data of the online server. The equipment of real-time log data line server is synchronized to the server in addition to online outside of the implementation of log data real-time online server to server and improve the repair progress line, improve work efficiency.

【技术实现步骤摘要】
处理线上服务器的log数据的装置及方法
本专利技术涉及互联网
，尤其涉及一种处理线上服务器的log数据的装置及方法。
技术介绍
服务器在运行的过程中会产生大量有用的日志(log)数据，这些log数据主要用来记录一些访问信息，以便在服务器出现状况时可以根据log数据来判断原因，帮助开发人员更好地定位并修复问题；或者，也可以通过对log数据的分析来了解用户的行为，从而根据用户的喜好为用户提供精准的个性化推荐。在日常的服务器开发工作中，由于服务器开发人员和运维工程师不能够实时地进行交流沟通，当线上服务器出问题之后，开发人员首先需要向运维工程师索要log数据，继而进行问题分析；这种方式对于开发人员不能够实时获取log数据，从而延长了修复线上服务器问题的进度，降低了工作效率。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种处理线上服务器的log数据的装置及方法，以实现实时获取线上服务器的log数据的目的，提高线上服务器的修复进度，进而提高工作效率。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术提供一种处理线上服务器的log数据的装置，所述装置包括：获取模块，用于获取线上服本文档来自技高网...

【技术保护点】
一种处理线上服务器的log数据的装置，其特征在于，所述装置包括：获取模块，用于获取线上服务器的日志log数据；处理模块，用于对所述线上服务器的log数据进行处理，得到处理后的log数据；存储模块，用于将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引；呈现模块，用于通过外部接口将查询时间范围内的log数据从所述数据库中呈现。

【技术特征摘要】
1.一种处理线上服务器的log数据的装置，其特征在于，所述装置包括：获取模块，用于获取线上服务器的日志log数据；处理模块，用于对所述线上服务器的log数据进行处理，得到处理后的log数据；存储模块，用于将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引；呈现模块，用于通过外部接口将查询时间范围内的log数据从所述数据库中呈现。2.根据权利要求1所述的装置，其特征在于，所述获取模块，具体用于通过活动消息队列activemq系统获取所述线上服务器的log数据，所述线上服务器的log数据是由所述线上服务器的文件系统监控机制inotify客户端监控所述线上服务器得到的。3.根据权利要求1所述的装置，其特征在于，所述处理模块，具体用于通过分布式实时计算系统storm系统将所述线上服务器的log数据进行过滤，将过滤后的所述线上服务器的log数据生成固定格式的log数据，将所述固定格式的log数据确定为所述处理后的log数据；所述固定格式为时间+log级别+log所属应用模块+log具体信息的格式。4.根据权利要求3所述的装置，其特征在于，所述装置还包括：合并模块，用于通过所述storm系统根据预设条件合并所述固定格式的log数据，得到合并后的固定格式的log数据；所述预设条件包括如下至少之一：预设时间间隔、log数据级别、log数据所属的应用；所述处理模块，还具体用于将所述合并后的固定格式的log数据确定为所述处理后的log数据。5.根据权利要求1所述的装置，其特征在于，所述存储模块，具体用于将所述处理后的log数据使用分布式文件系统HDFS存储到海杜普数据库Hbase数据库的log数据表格table_log中，并对所述处理后的log数据建立时间字段索引。6.一种处理线上服务器的log数据的方法，其特征在于，所述方法包括：获取线上服务器的日志lo...

【专利技术属性】
技术研发人员：牛兵奇，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东,44