日志处理方法及设备技术

本申请的目的是提供一种日志处理方法及设备，对于某一日志节点设备，配置所述日志节点设备为中间节点设备，获取预设范围的日志节点设备的日志，对所述日志进行预处理，并将预处理后的日志发送至上一层日志节点设备。与现有技术相比，本申请的方案对日志收集的方式进行改进，扩展成二层或者多层的方式逐级发送日志，并在逐级发送的过程中由中间节点设备对收到的日志进行预处理，缩减日志的数据量，由此避免由中心节点设备集中接收日志造成的网络拥堵问题，同时减轻中心节点设备在处理日志时的资源消耗，缩短处理时间，由此提高整个日志处理过程的处理效率。

Log processing method and equipment

The invention aims to provide a method and apparatus for log processing, a log node device, configure the log node equipment for intermediate node equipment, access log node equipment the preset range of the log, the log pretreatment, and send logs after pretreatment of the first layer of log node equipment. Compared with the prior art, the application program of the log collection way was improved and expanded into two or more layers of the progressive transmission of the log, and in the process of progressive transmission by the intermediate node equipment to receive log preprocessing, reduce log data, network congestion by the center node device receives the log to avoid the cause, while reducing resource center node equipment in processing log consumption, shorten processing time, thereby improving the efficiency of the log processing process.

【技术实现步骤摘要】
日志处理方法及设备
本申请涉及计算机领域，尤其涉及一种基于多节点设备分层的日志处理方法及设备。
技术介绍
随着互联网的普及和发展，人与人之间、人与物之间，或者物与物之间通过网络来进行信息交流逐渐频繁，相应的访问日志的数量呈指数级生成。因此对访问日志的研究越来越引起人们的关注。如何有效的快速地处理大量的日志成为一个挑战，这对于传统的数据库的存储模式和服务器的计算性能都是考验。日志又分为用户访问日志、系统日志、网络设备日志、主机日志等大量数据，一个访问上千万的中小型网站，一天所产生的日志的数据量十分巨大，这些日志散落在各个应用模块和不同网域中，在每天出报表、数据处理和统计过程中，需要把日志进行汇总，清洗并进行入库。传统的数据库系统进行日志处理时的原理如图1所示，一般多个日志节点设备200在定时任务启动后，会把日志进行打包并集中上报到中心节点设备100进行统一处理，中心节点设备100收到多个日志数据包后，进行解包，按照预设的业务规则对日志进行清洗，录入到相应的数据库中。但是随着日志节点设备的数量越来越多，日志文件的数据量越来越大，容易在传输日志时造成网络传输拥堵的问题，并且全部日志集中到中心节点设备后，需要对大量日志进行处理，导致计算时间过长的问题，由此导致日志处理的效率较低，无法满足对日志实时处理响应的需求。申请内容本申请的一个目的是提供一种日志处理方法及设备，用以解决现有技术中日志处理效率较低的问题。为实现上述目的，本申请提供了一种在中间节点设备端的日志处理方法，该方法包括：获取选举节点设备发送的配置信息，并根据所述配置信息配置日志节点设备为中间节点设备；获取预设范围的日志节点设备的日志，对所述日志进行预处理，并将预处理后的日志发送至对应的上一层日志节点设备。进一步地，本申请还提供了一种在选举节点设备端的日志处理方法，该方法包括：在预设范围的日志节点设备中选举对应的中间节点设备；将关于所述中间节点设备的配置信息发送至预设范围的日志节点设备。基于本申请的另一方面，还提供了一种中间节点设备，该设备包括：接收装置，用于获取选举节点设备发送的配置信息以及预设范围的日志节点设备的日志；配置装置，用于根据所述配置信息配置日志节点设备为中间节点设备；预处理装置，用于对所述日志进行预处理；发送装置，用于将预处理后的日志发送至对应的上一层日志节点设备。进一步地，本申请还提供了一种选举节点设备，该设备包括：选举处理装置，用于在预设范围的日志节点设备中选举对应的中间节点设备；发送装置，用于将关于所述中间节点设备的配置信息发送至预设范围的日志节点设备。本申请还提供了一种中间节点设备，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取选举节点设备发送的配置信息，并根据所述配置信息配置日志节点设备为中间节点设备；获取预设范围的日志节点设备的日志，对所述日志进行预处理，并将预处理后的日志发送至对应的上一层日志节点设备。本申请还提供了一种选举节点设备，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：在预设范围的日志节点设备中选举对应的中间节点设备；将关于所述中间节点设备的配置信息发送至预设范围的日志节点设备。与现有技术相比，本申请的技术方案对日志收集的方式进行改进，扩展成二层或者多层的方式逐级发送日志，并在在逐级发送的过程中由中间节点设备对收到的日志进行预处理，缩减日志的数据量，由此避免由中心节点设备集中接收日志造成的网络拥堵问题，同时减轻中心节点设备在处理日志时的资源消耗，缩短处理时间，由此提高整个日志处理过程的处理效率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为现有技术中数据库系统进行日志处理的原理示意图；图2为基于多节点分层的二层数据库系统进行日志处理的原理示意图；图3为基于多节点分层的三层数据库系统进行日志处理的原理示意图；图4为本申请实施例提供的一种中间节点设备的结构示意图；图5为本申请实施例提供的一种选举节点设备的结构示意图；图6为基于多节点分层的二层数据库系统进行日志处理流程图；图7为本申请实施例提供的一种在中间节点设备端的日志处理方法的流程图；图8为本申请实施例提供的一种在选举节点设备端的日志处理方法的流程图；图9为本申请实施例提供的一种在选举节点设备端进行选举的处理流程图；附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。图2为一种基于多节点设备分层的数据库系统在进行日志处理时的原理示意图，该系统采用二层的形式，包括多个日志节点设备和中心节点设备100，为简明起见，图中示出的各类元素的数量可能小于实际场景中相应元素的数量，但这种省略无疑地是以不会影响对本专利技术进行清楚、充分的公开为前提的。其中，所述日志节点设备D配置为中间节点设备，而日预设范围的其它日志节点设备A、B、C则未配置为中间节点设备。在日志处理过程中，预设范围内的其它未配置为中间节点设备的日志节点设备A、B、C，不直接向中心节点设备100发送日志，而是向作为中间节点设备的日志节点设备D发送日志。相应地，日志节点设备D接收预设范围的其它日志节点设备(即A、B和C)发送的日志后，对接收到的日志以及自身的日志进行预处理，缩减日志的数据量，然后将预处理后的日志发送至中心节点设备。进一步地，在中间节点设备的数量较多时，可以再进一步配置更上层的中间节点设备，使得系统在二层的形式上继续延伸出三层甚至更多层，例如可以定义普通的日志节点设备A、B、C为一级节点设备L1，而类似于日志节点设备D的中间节点设备为二级节点设备L2，那么当二级节点设备的数量超过N个时，可以在此基础上继续配置更高层中间节点设备作为三级节点设备L3，用以对二级节点设备的所有日志进行归集并预处理，逐级上报给中心节点设备，如图3所示。其中，每一层级的中间节点设备对日志进行预处理目的在于对日志进行初步清洗本文档来自技高网...

【技术保护点】
一种在中间节点设备端的日志处理方法，其中，该方法包括：获取选举节点设备发送的配置信息，并根据所述配置信息配置日志节点设备为中间节点设备；获取预设范围的日志节点设备的日志，对所述日志进行预处理，并将预处理后的日志发送至对应的上一层日志节点设备。

【技术特征摘要】
2016.03.07 CN 20161012714761.一种在中间节点设备端的日志处理方法，其中，该方法包括：获取选举节点设备发送的配置信息，并根据所述配置信息配置日志节点设备为中间节点设备；获取预设范围的日志节点设备的日志，对所述日志进行预处理，并将预处理后的日志发送至对应的上一层日志节点设备。2.根据权利要求1所述的方法，其中，所述上一层日志节点设备包括上一层的中间节点设备或中心节点设备。3.根据权利要求1所述的方法，其中，获取选举节点设备发送的配置信息，并根据所述配置信息配置日志节点设备为中间节点设备，包括：获取选举节点设备发送的关于同一网段内的最下层的中间节点设备的配置信息，并根据所述配置信息配置日志节点设备为该网段内最下层的中间节点设备；获取预设范围的日志节点设备的日志，对所述日志进行预处理，包括：获取同一网段的日志节点设备的日志，对所述日志进行预处理。4.根据权利要求1至3中任一项所述的方法，其中，对所述日志进行预处理，至少包括修改日志格式、压缩日志文件以及进行日志合并中的任意一项或多项。5.一种在选举节点设备端的日志处理方法，其中，该方法包括：在预设范围的日志节点设备中选举对应的中间节点设备；将关于所述中间节点设备的配置信息发送至预设范围的日志节点设备。6.根据权利要求5所述的方法，其中，在预设范围的日志节点设备中选举对应的中间节点设备，包括：将预设范围的日志节点设备中空闲资源最多的日志节点设备选举为对应的中间节点设备。7.根据权利要求6所述的方法，其中，将预设范围的日志节点设备中空闲资源最多的日志节点设备选举为对应的中间节点设备，包括：获取预设范围的日志节点设备的运行状态信息；根据所述运行状态信息以及所述运行状态信息对应的权重获取所述日志节点设备的资源绝对值；比较所述日志节点设备的资源绝对值，将资源绝对值最大的日志节点设备选举为对应的中间节点设备。8.根据权利要求5所述的方法，其中，在预设范围的日志节点设备中选举对应的中间节点设备，包括：在同一网段的日志节点设备中选举同一网段内的最下层的中间节点设备。9.一种中间节点设备，其中，该设备包括：接收装置，用于获取选举节点设备发送的配置信息以及预设范围的日志节点设备的日志；配置装置，用于根据所述配置信息配置日志节点设...

【专利技术属性】
技术研发人员：傅海雯，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY