一种日志信息的处理方法技术

本发明专利技术公开了一种日志信息的处理方法，客户端对采集到的新增的日志信息进行过滤，能够减少传输日志信息时无效日志信息所占用的传输带宽，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，日志服务器将告警日志信息及时发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，并将非告警日志信息分别存储到不同的存储位置中，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。

【技术实现步骤摘要】

本专利技术涉及数据处理技术，尤其是涉及一种日志信息的处理方法。
技术介绍
对于业务支撑网运营管理系统来说，随着支撑网络和业务的复杂性和多元性逐渐加强，业务监控的粒度也越来越细，由此产生的服务日志信息量越来越多，特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过100G，而且这些业务服务日志分布在几十台服务器上。同时，业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。目前，针对日志信息的采集方法主要有两种方式来实现：采集方法一：集中处理服务器（或称为服务器）上的处理程序通过Telnet采集（即远程控制命令采集）分布在各个日志服务器上的日志信息，或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上；集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。采集方法二：各个日志服务器（或称为客户端）对自身的日志数据进行净化处理，净化处理包括对日志信息的抽取、合并和保存等操作过程，并将净化处理后的日志数据上传到集中处理服务器，集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件，进行提炼处理。现有技术针对日志信息的存储和操作通过以下两种方式来解决：存储和操作方法一：当日志信息提炼完成后，根据需要的要素保持到磁盘关系型数据库，通过SQL语句进行统计分析、告警信息过滤采集，通过标准SQL提供对外的查询；存储和操作方法二：当日志信息提炼后，保存到文件中，提供相关的通用接口，通过对文件全量的扫描，提供对外的统计处理服务。从上述采集方法中可以看出，现有的日志信息采集方法存在以下缺陷：采集方法一存在显著日志处理性能瓶颈，集中处理服务器采集到的各个日志服务器上的日志信息中包括大量无效的日志信息，传输这些无效的日志信息占用了大量的网络传输带宽，极大地影响了日志信息的采集速度和采集周期；更重要的是，随着业务日志达到一定规模，无效的日志信息对集中服务器处理压力就变得更为显著，这样就造成集中处理服务器上的处理逻辑越来越复杂，处理日志信息、输出日志信息中的告警信息的及时性得不到保证；采集方法二虽然在日志服务器上先对日志进行净化，净化处理包括抽取、合并和保存等操作过程，这就使得净化处理延长了日志信息采集的周期，同样极大地影响了日志信息的采集速度；以及在后续集中服务器对日志信息的存储查询处理中，输出日志信息中的告警信息的及时性得不到保证。从上述存储查询方法中可以看出，现有的存储操作方法存在以下缺陷：存储和操作方法一：将提炼处理后的日志信息保存在磁盘关系型数据库（比如Oracle）中，通过SQL语句对其中的海量数据进行检索和查询，对于复杂的数据分析场景，往往需要对多张大表做笛卡尔集合后再关联查询，造成等待响应的时间过长，无法满足对日志信息中的告警信息及时输出的要求；存储和操作方法二：处理后的数据保存在文件中，通常文件根据时间段来组织的。故后续的分析处理，一般会对一个文件全量进行扫描处理，显然查询和分析处理的效率比较低，也无法满足对日志信息中的告警信息及时输出的要求。可见，现有的针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的查询和统计处理的处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
技术实现思路
本专利技术实施例提供一种海量日志信息的处理方法，包括：日志服务器接收来自日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。根据本专利技术实施例的技术方案，在本专利技术实施例提供的用于日志信息采集的海量日志信息的处理方法中，日志客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期；在本专利技术实施例提供的用于日志信息的存储的海量日志信息的处理方法中，日志服务器将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，并且关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率，从而能够解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明图1是本专利技术实施例提供的海量日志信息的处理方法的一工作流程图；具体实施方式以下结合附图对本专利技术的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1示出了本专利技术实施例提供的一种海量日志信息的处理方法的工作流程图，该方法应用于日志服务器对来自日志客户端的日志信息进行存储，该方法包括：步骤101、日志服务器接收来自日志客户端的日志信息；具体地，日志服务器接收来自日志客户端实时发送的日志信息；在接收到来自日志客户端的请求后，在日志服务器当前接收到的日志信息的数据量大于或等于预定的数据量阈值的情况下，向日志客户端返回等待响应；在日志服务器当前接收到的日志信息的数据量小于预定的数据量阈值的情况下，向日志客户端返回发送响应；进一步地，日志服务器还对接收到的日志信息建立索引表，该索引表中至少包括日志信息中的日志信息的标识、日志信息的生成时间、日志信息的结束时间和日志信息的类别，索引表用于为查询操作中查询条件提供索引，也即日志信息在索引表中的任何一个关键字都能作为查询操作中的查询条件；更进一步地，日志服务器还可以对包括有预定关键字或关键字值的日志信息建立索引表；步骤102、根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；预定的告警规则，具体包括：包括预本文档来自技高网...

【技术保护点】
一种海量日志信息的处理方法，其特征在于，包括：日志服务器接收来自日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。

【技术特征摘要】
1.一种海量日志信息的处理方法，其特征在于，包括：日志服务器接收来自日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。2.根据权利要求1所述的方法，其特征在于，日志服务器接收来自日志客户端的日志信息，具体包括：所述日志服务器接收来自所述日志客户端实时发送的日志信息；在接收到来自所述日志客户端的请求后，在所述日志服务器当前接收到的日志信息的数据量大于或等于预定的数据量阈值的情况下，向所述日志客户端返回等待响应；在所述日志服务器当前接收到的日志信息的数据量小于所述预定的数据量阈值的情况下，向所述日志客户端返回发送响应。...

【专利技术属性】
技术研发人员：黎健生，梁远鸿，
申请(专利权)人：柳州龙辉科技有限公司，
类型：发明
国别省市：广西;45