一种检索错误日志的方法及装置、计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种检索错误日志的方法及装置、计算机可读存储介质。上述检索错误日志的方法包括：获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征；根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志；接收对候选错误日志的评分结果；按照评分结果，对日志模型进行迭代更新，得到错误日志模型；采用错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。

【技术实现步骤摘要】
一种检索错误日志的方法及装置、计算机可读存储介质
本专利技术涉及计算机
，尤其涉及一种检索错误日志的方法及装置、计算机可读存储介质。
技术介绍
现有技术中，常用的存储日志的方案是将短期的日志以文件的形式进行存储，或者是将日志文件存储于ElasticSearch等中间件上，历史日志将按照日期或者其他方式拆分成多个文件，将日志文件存储于磁盘上。当每天的日志文件大小超过百兆甚至更大的系统出现故障时，需要运维人员在日志文件或者是ElasticSearch等中间件去查找相关的错误日志，通过人工判断的方式找到目标错误日志，并且不同的系统中的错误日志的类型、长度及所在文件都不同，无法通过一个固定的模式找到所有的目标错误日志，使得查找错误日志的工作量大，查找效率低。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种检索错误日志的方法及装置、计算机可读存储介质，能够快速检索出目标错误日志，提高错误日志的检索效率。为达到上述目的，本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种检索错误日志的方法，包括：获取初始日志模型；所述初始日志模型中包括：日志抓取规则和错误特征；根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志；接收对所述候选错误日志的评分结果；按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型；采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。在上述方案中，所述按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型，包括：按照所述评分结果，获取更新错误特征和更新日志抓取规则；采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型。在上述方案中，根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志，包括：从所述历史日志文件中，获取每个历史日志的日志特征；将所述每个历史日志的日志特征，依次与所述错误特征进行对比，确定出与所述错误特征匹配的候选日志；按照所述日志抓取规则，从所述历史日志文件抓取出所述候选日志对应的日志位置信息；根据所述候选日志对应的日志特征和所述日志位置信息，得到所述候选错误日志。在上述方案中，在所述接收对所述候选错误日志的评分结果之后，所述方法还包括：当所述评分结果不满足第一错误日志阈值时，清除所述初始日志模型。在上述方案中，所述按照所述评分结果，获取更新错误特征和更新日志抓取规则，包括：当所述评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与所述评分结果对应的目标候选错误日志中的目标候选错误特征；基于所述目标候选错误特征，获取所述更新错误特征；当所述评分结果满足第一错误日志阈值，且不满足所述第二错误日志阈值时，按照预设搜索规则获取所述更新日志抓取规则。在上述方案中，所述采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型，包括：根据所述更新错误特征和所述更新日志抓取规则，持续对所述初始日志模型进行迭代，得到迭代日志模型，直至所述迭代日志模型搜索错误日志的准确率达到预设条件时，将所述迭代日志模型作为所述错误日志模型。在上述方案中，所述采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志，包括：调用所述错误日志模型，从日志目录下抓取所述目标日志文件；对所述目标日志文件进行检索，得到所述目标错误日志。在上述方案中，从历史日志文件中采集到候选错误日志之后，还包括：将所述候选错误日志存储于活跃区中；当所述候选错误日志在所述活跃区中的时间超过第一预设时间阈值时，和/或所述候选错误日志已经被使用时，将所述候选错误日志转移到中转区中；在第二预设时间阈值到达时，将所述中转区中的所述候选错误日志转移到磁盘中，清空所述中转区中的所述候选错误日志。在上述方案中，所述基于所述目标候选错误特征，获取所述更新错误特征，包括：对比所述目标候选错误特征与存储在活跃区中的所述候选错误日志的候选错误特征，得到与所述目标候选错误特征相同的相同错误特征；将所述目标候选错误特征和所述相同错误特征作为所述更新错误特征。第二方面，本专利技术实施例提供了一种检索错误日志的装置，包括：采集模块，用于获取初始日志模型；所述初始日志模型中包括：日志抓取规则和错误特征；根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志；采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志；分析模块，用于接收对所述候选错误日志的评分结果；学习模块，用于按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型。在上述方案中，所述分析模块，具体用于按照所述评分结果，获取更新错误特征和更新日志抓取规则；所述学习模块，具体用于采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型。在上述方案中，所述采集模块，具体用于从所述历史日志文件中，获取每个历史日志的日志特征；将所述每个历史日志的日志特征，依次与所述错误特征进行对比，确定出与所述错误特征匹配的候选日志；按照所述日志抓取规则，从所述历史日志文件抓取出所述候选日志对应的日志位置信息；根据所述候选日志对应的日志特征和所述日志位置信息，得到所述候选错误日志。在上述方案中，所述分析模块，还用于当所述评分结果不满足第一错误日志阈值时，清除所述初始日志模型。在上述方案中，所述分析模块，具体用于当所述评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与所述评分结果对应的目标候选错误日志中的目标候选错误特征；当所述评分结果满足第一错误日志阈值，且不满足所述第二错误日志阈值时，按照预设搜索规则获取所述更新日志抓取规则；所述学习模块，具体用于基于所述目标候选错误特征，获取所述更新错误特征。在上述方案中，所述学习模块，具体用于根据所述更新错误特征和所述更新日志抓取规则，持续对所述初始日志模型进行迭代，得到迭代日志模型，直至所述迭代日志模型搜索错误日志的准确率达到预设条件时，将所述迭代日志模型作为所述错误日志模型。在上述方案中，所述采集模块，具体用于调用所述错误日志模型，从日志目录下抓取所述目标日志文件；对所述目标日志文件进行检索，得到所述目标错误日志。在上述方案中，所述存储模块，还用于将所述候选错误日志存储于活跃区中；当所述候选错误日志在所述活跃区中的时间超过第一预设时间阈值时，和/或所述候选错误日志已经被使用时，将所述候选错误日志转移到中转区中；在第二预设时间阈值到达时，将所述中转区中的所述候选错误日志转移到磁盘中，清空所述中转区中的所述候选错误日志。第三方面，本专利技术实施例还提供了一种检索错误日志的装置，所述装置包括：存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的程序，当所述程序被执行时，通过所述处理器执行如上述所述的检索错误日志的方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，存储有检索错误日志的操作指令，用于引起处理器执行时，实现上述所述的检索错误日志的方法。本专利技术实施例提供了一种检测错误日志的方法、装置及计算机可读存储介质，通过获取初始日志模型；初始日志模型中包括本文档来自技高网...

【技术保护点】
1.一种检索错误日志的方法，其特征在于，包括：获取初始日志模型；所述初始日志模型中包括：日志抓取规则和错误特征；根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志；接收对所述候选错误日志的评分结果；按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型；采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。

【技术特征摘要】
1.一种检索错误日志的方法，其特征在于，包括：获取初始日志模型；所述初始日志模型中包括：日志抓取规则和错误特征；根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志；接收对所述候选错误日志的评分结果；按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型；采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。2.根据权利要求1所述的方法，其特征在于，所述按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型，包括：按照所述评分结果，获取更新错误特征和更新日志抓取规则；采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型。3.根据权利要求1所述的方法，其特征在于，所述根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志，包括：从所述历史日志文件中，获取每个历史日志的日志特征；将所述每个历史日志的日志特征，依次与所述错误特征进行对比，确定出与所述错误特征匹配的候选日志；按照所述日志抓取规则，从所述历史日志文件抓取出所述候选日志对应的日志位置信息；根据所述候选日志对应的日志特征和所述日志位置信息，得到所述候选错误日志。4.根据权利要求2所述的方法，其特征在于，所述接收对所述候选错误日志的评分结果之后，所述方法还包括：当所述评分结果不满足第一错误日志阈值时，清除所述初始日志模型。5.根据权利要求2所述的方法，其特征在于，所述按照所述评分结果，获取更新错误特征和更新日志抓取规则，包括：当所述评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与所述评分结果对应的目标候选错误日志中的目标候选错误特征；基于所述目标候选错误特征，获取所述更新错误特征；当所述评...

【专利技术属性】
技术研发人员：王言，饶明佺，顾明，张弛，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京,11