海量日志信息的处理方法、装置与系统制造方法及图纸
【技术实现步骤摘要】
本专利技术涉及数据处理技术的，尤其是涉及一种海量日志信息的处理方法、装置与系统。
技术介绍
对于业务支撑网运营管理系统来说，随着支撑网络和业务的复杂性和多元性逐渐加强，业务监控的粒度也越来越细，由此产生的服务日志信息量越来越多，特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过200G，而且这些业务服务日志分布在几十台服务器上。同时，业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。目前，针对日志信息的采集方法主要有两种方式来实现：采集方法一：集中处理服务器（或称为服务器）上的处理程序通过Telnet采集（即远程控制命令采集）分布在各个日志服务器上的日志信息，或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上；集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。采集方法二：各个日志服务器（或称为客户端）对自身的日志数据进行净化处理，净化处理包括对日志信息的抽取、合并和保存等操作过程，并将净化处理后的日志数据上传到集中处理服务器，集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件，进行提炼处理。现有技术针对日志信息的存储和操作通过以下两种方式来解决：存储和操作方法一：当日志信息提炼完成后，根据需要的要素保持到磁盘关系型数据库，通过SQL语句进行统...
【技术保护点】
一种海量日志信息的处理方法，其特征在于，包括：日志客户端采集所述日志客户端上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。
【技术特征摘要】
1.一种海量日志信息的处理方法，其特征在于，包括：
日志客户端采集所述日志客户端上新增的日志信息；
按照预定的过滤规则对采集到的日志信息中的数据进行过滤；
根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携
带与日志信息相对应的实时性等级的实时性标识；
根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信
息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发
送给所述日志服务器。
2.根据权利要求1所述的方法，其特征在于，日志客户端采集新增的日
志信息，具体包括：
通过爬虫程序采集所述日志客户端上新增的日志信息。
3.根据权利要求1所述的方法，其特征在于，按照预定的过滤规则对采
集到的日志信息进行过滤，具体包括：
按照所述过滤规则中包括的关键字或者关键字值，保留采集到的日志信息
中包含有所述关键字或者所述关键字值的日志信息作为过滤得到的日志信息；
其中，所述日志信息至少包括：日志标识、日志信息生成的开始时刻、结束时
刻和日志信息的类别。
4.根据权利要求1所述的方法，其特征在于，将实时性标识所代表的低
实时性的日志信息延后发送给所述日志服务器，具体包括：
向所述日志服务器发送请求，在接收到来自所述日志服务器的等待响应
后，等待预定的等待时间，在等待所述等待时间到时后，将实时性标识所代表
的低实时性的日志信息发送给所述日志服务器；在接收到来自所述日志服务器
的发送响应后，将实时性标识所代表的低实时性的日志信息发送给所述日志服
务器。
5.根据权利要求1所述的方法，其特征在于，实时性标识所代表的高实
\t时性的日志信息包括：采集日志信息时调用接口的时间长的日志信息构成的日
志信息；
实时性标识所代表的低实时性的日志信息包括：用于统计操作的日志信息
或用于非实时查询操作的数据。
6.一种海量日志信息的处理方法，其特征在于，包括：
日志服务器接收来自日志客户端的日志信息；
根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，
将告警日志信息发送给告警处理装置；
根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分
别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，
日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数
据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数
据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志
信息为非实时的查询操作提供数据基础。
7.根据权利要求6所述的方法，其特征在于，日志服务器接收来自日志
客户端的日志信息，具体包括：
所述日志服务器接收来自所述日志客户端实时发送的日志信息；
在接收到来自所述日志客户端的请求后，在所述日志服务器当前接收到的
日志信息的数据量大于或等于预定的数据量阈值的情况下，向所述日志客户端
返回等待响应；在所述日志服务器当前接收到的日志信息的数据量小于所述预
定的数据量阈值的情况下，向所述日志客户端返回发送响应。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
对接收到的日志信息建立索引表，该索引表中至少包括日志信息中的日志
信息的标识、日志信息的生成时间、日志信息的结束时间和日志信息的类别，
索引表用于为查询操作中查询条件提供索引。
9.根据权利要求6所述的方法，其特征在于，预定的告警规则，具体包
\t括：
包括预定的关键字值的日志信息为告警日志信息；或者，
日志信息中所包括的日志信息的结束时间和生成时间之间的时间长度值
大于或等于预定的时间长度值。
10.根据权利要求6所述的方法，其特征在于，根据非告警日志信息的类
别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述
日志服务器的内存数据库或者文件系统，具体包括：
在非告警日志信息的类别为统计日志信息的情况下，将该日志信息存储到
关系型数据库中；
在非告警日志信息的类别为非统计日志信息的情况下，在从接收到该日志
信息时间起的预定保存周期内，将该日志信息存储到所述日志服务器的内存数
据库中，在所述日志服务器的内存数据库中的日志信息保存超过所述预定保存
周期后，将保存超过所述预定保存周期的日志信息存储到所述文件系统中。
11.一种海量日志信息的处理方法，其特征在于，包括：
日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作
类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操
作；
根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信
息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系
统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库
中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志
信息；
根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息
执行与操作请求对应的操作。
12.根据权利要求11所述的方法，其特征在于，根据操作类别判断查询
请求所针对的日志信息的存储位置，具体包括：
当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的
存储位置为关系型数据库；
当操作请求的操作类型为实时查询操作时，确定操作请求所针对的日志信
息的存储位置为日志服务器的内存数据库；
当操作请求的操作类型为非实时查询操作时，确定操作请求所针对的日志
信息的存储位置为文件系统。
13.根据权利要求11所述的方法，其特征在于，所述方法还包括：
根据所述操作请求中对所针对的日志信息的索引关键字，在所述日志服务
器建立的索引表中查找到所针对的日志信息的标识；则，
根据确定的存储位置查找到操作请求所针对的日志信息，具体包括：
在所确定的存储位置中、根据所查找到的日志信息的标识查找到操作请求
所针对的日志信息。
14.根据权利要求11所述的方法，其特征在于，所述方法还包括：
以图形化的方式展示对日志信息信息进行操作的操作结果，并在日志信息
中包括异常信息的情况下，以图形化的方式展示该异常信息。
15.根据权利要求11所述的方法，其特征在于，所述方法还包括：
在统计操作结果大于或等于预定的告警阈值的情况下，将该日志信息发送
给告警处理装置。
16.一种海量日志信息的处理装置，其特征在于，包括：
采集模块，用于采集所述装置所在日志客户端上新增的日志信息；
过滤模块，用于按照预定的过滤规则对所述采集模块采集到的日志信息中
的数据进行过滤；
实时性处理模块，用于根据预定的日志信息和实时性等级的对应关系，在
所述过滤模块过滤后的日志信息中携带与日志信息相对应的实时性等级的实
时性标识；
发送模块，用于根据日志信息中的实时性标识，将所述实时性处理模块处
\t理得到的、实时性标识所代表的高实时性的日志信息实时发送给日志服务器，
将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。
17.根据权利要求16所述的装置，其特征在于，所述采集模块，具体用
于：
通过爬虫程序采集所述日志客户端上...
【专利技术属性】
技术研发人员：孙乐，孙一凯，邱晓波，王晓东，
申请(专利权)人：中国移动通信集团上海有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。