日志文件的查询和处理的方法及装置制造方法及图纸

本发明专利技术提供一种日志文件的查询和处理的方法及装置，涉及日志管理领域，为解决现有技术中在日志文件中查询记录比较慢的技术问题而发明专利技术。所述日志文件的查询方法包括，包括日志文件查询装置获取至少一个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。本发明专利技术能提高在日志文件中查询记录的速度。

【技术实现步骤摘要】

技术介绍
在通用用户数据平台(USPP, Universal Subscriber Profile Platform )双层 组网网管系统架构中，网元侧用于收集和存储受理日志，网元层管理系统 (EMS ， Element Management Systems )用于查询各网元的受理日志。由于用户多，受理日志的信息量巨大。目前网元侧(OMM)通过数据库 系统(例如，Oracle)来存储受理日志信息，Oracle数据库成本较高，无法存 储海量的受理日志信息，当数据库受理日志信息达到存储上限时，网元侧会把 数据库记录导出为文本文件， 一个文本文件大致存放300万条记录，文本文件 压缩后存储在网元侧。EMS从网元侧采集压缩后的日志文件。当对记录进行检索时，首先需要 解压，然后逐条解析每条记录，根据用户要求的查询条件找到匹配的记录。这 样的查询过程非常耗时，平均每个压缩日志文件的查询耗时50秒左右。
技术实现思路
本专利技术要解决的技术问题是提供一种提高查询速度的日志文件的查询和 处理的方法及装置。为解决上述技术问题，本专利技术的实施例提供技术方案如下 一方面，提供一种日志文件的查询方法，包括 日志文件查询装置获取至少一个类型的待查询索引值； 所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所 述待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录的 序号。其中，所述日志文件还包括所述记录在所述日志文件中的存储位置信息；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所 述待查询索引值对应的记录的步骤包括所述日志文件查询装置根据所述曰志 文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述日 志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取 所述待查询索$ I值对应的记录。其中，所述日志文件具体包括至少一个记录数据块、所述记录数据块的 序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块 包括至少一个记录；所述索引文件具体包括所述记录数据块的序号和所述记录数据块的序号 对应的至少 一个类型的索引值的范围；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录的序号的步骤具体为所述日志文件查询装置根据所述索引文 件，查找所述待查询索卩I值对应的至少一个记录数据块的序号；所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的步骤具体为所述日志文件查询装置根据所 述日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述曰志 文件中获取所述待查询索引值对应的记录的步骤具体为所述日志文件查询装 置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待 查询索引值对应的记录数据块；所述日志文件查询装置从获取的所述记录数据 块中，获取包含所述待查询索引值对应的记录。其中，所述记录数据块还包括所述记录的序号以及所述记录的存储位置 信息；所述索引文件还包括所述至少一个类型的索引值、所述索引值对应的记 录数据块的序号以及所述索引值对应的记录的序号；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录凄t据块的序号的步骤具体为所述日志文件查询装置根据所述索 1文件，查找所述待查询索？ 1值对应的至少 一个记录数据块的序号以及所述待 查询索引值对应的至少一个记录的序号；所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询 索引值对应的记录的步骤具体为所述日志文件查询装置根据获取的所述记录 数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息；所述 日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文 件中获取所述待查询索引值对应的记录。其中，所述索引文件具体包括至少一个索引值数据块、所述索引值数据 块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的 范围；所述索引值数据块包括至少一个索引值、所述索引值对应的记录的序号 以及所述索引值对应的记录数据块的序号；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序 号的步骤包括所述日志文件查询装置根据所述索引文件，查找包括所述待查询索？I值对 应的索引值数据块的存储位置信息；所述日志文件查询装置根据获取的所述索引值数据块的存储位置信息，获 取所述待查询索51值对应的索引值数据块；所述日志文件查询装置在获取到的所述索引值数据块中，查找所述待查询 索？ 1值对应的记录号以及所述待查询索弓I值对应的记录数据块的序号。其中，所述记录包含至少两个类型的索引值；所述索引文件包含所述至少两个类型的索引文件；所述待查询索引值为所述至少两个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包括所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所 述待查询索？ 1值对应的至少一个记录的序号，作为第一集合；所述日志文件查询装置根据第二类型的索引文件，查找第二类型的所述待 查询索引值对应的至少一个记录的序号，作为第二集合；所述日志文件查询装置获取所述第一集合和所迷第二集合的交集，作为查 找到的所述记录的序号。其中，所述记录在所述日志文件中的存储位置信息占用的字节长度固定， 所述记录的存储位置信息的存储地址标示所述记录的序号；所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的步骤包括所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的存储地址所述日志文件查询装置根据所述 记录的存储位置信息的存储地址，获取所述记录的存储位置信息。另一方面，提供一种对日志文件进行处理的方法，包括日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录；所述日志文件的生成装置获取所述记录的序号；所述日志文件的生成装置生成新的日志文件，所述新的日志文件包括所 述记录和所述记录的序号；所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索 引值；所述日志文件的生成装置获取所述索？I值对应的记录的序号； 所述日志文件的生成装置生成索引文件，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的记录的序号。其中，所述新的日志文件还包括所述记录在所述新的日志文件中的存储位置信息。其中，所述日志文件的生成装置获取所述记录的序号的步骤之前，还包括页 所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录lt据块包括第一预定数量的记录；所述日志文件的生成装置获取所述记录的序号的步骤具体为所述日志文 件的生成装置获取所述记录数据块的序号；所述日志文件的生成装置生成索引文件的步骤之前，还包括所述日志本文档来自技高网...

【技术保护点】
一种日志文件的查询方法，其特征在于，包括：　日志文件查询装置获取至少一个类型的待查询索引值；　所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述 索引值对应的至少一个记录的序号；　所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

【技术特征摘要】

【专利技术属性】
技术研发人员：吕燕，洪科，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]