一种日志的监控方法及装置制造方法及图纸

本发明专利技术公开了一种日志的监控方法及装置，涉及数据处理技术领域，为解决现有的使用的日志数据为从多种途径获取的，从而导致的日志数据的准确性较低的问题。本发明专利技术的方法包括：获取原始日志数据；确定待监控关键词；统计所述待监控关键词在所述原始日志数据中对应的频率值；根据所述频率值判断所述待监控关键词是否存在异常；若是，则输出告警信息。本发明专利技术适合应用在对日志数据的监控。

【技术实现步骤摘要】
一种日志的监控方法及装置
本专利技术涉及数据处理
，尤其涉及一种日志的监控方法及装置。
技术介绍
随着网络技术的不断发展，网络在生活中的应用也越来越广泛。通常情况下，网络运行过程中会产生大量的日志数据，而通过对日志的监控可以检测到异常数据，并根据异常数据查找推测可能存在的故障，因此确保日志数据的准确性和有效性至关重要。然而，现有技术中通常是通过多种途径获取日志数据，由于用于采集日志的数据采集端较多，采集端的版本也很多，并且将采集到的这些数据直接汇总在数据处理端进行处理使用，因此无法保证使用的日志数据的准确性。
技术实现思路
鉴于上述问题，本专利技术提供一种日志的监控方法及装置，主要目的在于通过在原始日志数据中对待监控关键词进行监控，以提高日志数据的准确性。为解决上述技术问题，第一方面，本专利技术提供了一种日志的监控方法，该方法包括：获取原始日志数据；确定待监控关键词；统计所述待监控关键词在所述原始日志数据中对应的频率值；根据所述频率值判断所述待监控关键词是否存在异常；若是，则输出告警信息。可选的，所述方法还包括：获取多条历史日志数据；从所述历史日志数据中提取多个关键词，并统计每个所述关键词在各条所述历史日志数据中分别对应的频率值；当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时，提取所述关键词，得到有效关键词。可选的，所述方法还包括：计算所述各个有效关键词的平均频率值；根据所述各个有效关键词在各条所述历史日志数据中的频率值，提取与所述平均频率值相差最大的最大波动频率值；利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值，得到与所述各个有效关键词对应的波动范围；根据所述平均频率值和所述波动范围，计算与所述各个有效关键词分别对应的频率值范围。可选的，所述根据所述频率值判断所述待监控关键词是否存在异常包括：提取与所述待监控关键词对应的所述有效关键词；检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内；若是，则判断所述待监控关键词不存在异常；否则，判断所述待监控关键存在异常。可选的，所述方法还包括：按照预置时间间隔对所述有效关键词进行更新。第二方面，本专利技术还提供了一种日志的监控装置，该装置包括：获取单元，用于获取原始日志数据；确定单元，用于确定待监控关键词；统计单元，用于统计所述待监控关键词在所述原始日志数据中对应的频率值；判断单元，用于根据所述频率值判断所述待监控关键词是否存在异常；输出单元，用于若是，则输出告警信息。可选的，所述装置还包括：提取单元，所述获取单元，还用于获取多条历史日志数据；所述提取单元，还用于从所述历史日志数据中提取多个关键词；所述统计单元，还用于统计每个所述关键词在各条所述历史日志数据中分别对应的频率值；所述提取单元，还用于当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时，提取所述关键词，得到有效关键词。可选的，所述装置还包括：计算单元，所述计算单元，用于计算所述各个有效关键词的平均频率值；所述提取单元，还用于根据所述各个有效关键词在各条所述历史日志数据中的频率值，提取与所述平均频率值相差最大的最大波动频率值；所述计算单元，还用于利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值，得到与所述各个有效关键词对应的波动范围；所述计算单元，还用于根据所述平均频率值和所述波动范围，计算与所述各个有效关键词分别对应的频率值范围。可选的，所述判断单元包括：提取模块，用于提取与所述待监控关键词对应的所述有效关键词；检测模块，用于检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内；第一判断模块，用于若所述待监控关键词的频率值在所述有效关键词的频率值范围内，则判断所述待监控关键词不存在异常；第二判断模块，用于若所述待监控关键词的频率值不在所述有效关键词的频率值范围内，则判断所述待监控关键词存在异常。可选的，所述装置还包括：更新单元，用于按照预置时间间隔对所述有效关键词进行更新。为了实现上述目的，根据本专利技术的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的日志的监控方法。为了实现上述目的，根据本专利技术的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的日志的监控方法。借由上述技术方案，本专利技术提供的日志的监控方法及装置，对于现有技术中使用的日志数据为通过多种途径获取的，由于数据采集端数量和版本都比较复杂且未对日志数据进行监控，从而使得数据的准确性无法得到保障，本专利技术通过获取原始日志数据，并根据不同的需求确定待监控关键词之后，统计需要监控的各个关键词在原始日志数据中对应的频率值，并根据得到的统计结果判断待监控关键词是否存在异常，并在关键词频率值存在异常的情况下输出报警信息，因此相比于现有技术，本专利技术能够在原始日志数据中对关键词频率进行统计并根据统计结果判断关键词是否存在异常，以确保之后使用的日志数据中不存在异常数据，从而提高了日志数据的准确性；此外，根据本专利技术的方法对日志数据进行监控，通过对用于衡量关键词是否异常的有效关键词及时进行更新，可以确保数据的时效性，从而可以更进一步的提高日志数据的准确性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种日志的监控方法流程图；图2示出了本专利技术实施例提供的另一种日志的监控方法流程图；图3示出了本专利技术实施例提供的一种日志的监控装置的组成框图；图4示出了本专利技术实施例提供的另一种日志的监控装置的组成框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。为了提高日志数据的准确性，本专利技术实施例提供了一种日志的监控方法，如图1所示，该方法包括：101、获取原始日志数据。其中，所述原始日志数据为未经过任何处理措施的日志数据。具体地，可以通过服务器获取、后台接入、爬虫抓取等实施方式，本专利技术实施例对此不做具体限定。需要说明的是，对于本专利技术实施例的执行主体可以为配置在服务器中用于对日志进行监控的装置，当装置检测到有日志数据输入时，说明此刻需要对日志数据中的关键词进行监控，触发获取指令，进而实现对原始日志数据中关键词的监控。102、确定待监控关键词。其中，所述待监控关键词可以为单独的一个词，也可以为多个词语的组合，例如待监控关键词可以为“北京卫视”，也可以为“湖南卫视、快乐大本营”，对此本专利技术实施例不做具体限定。具体本文档来自技高网...

【技术保护点】
1.一种日志的监控方法，其特征在于，所述方法包括：获取原始日志数据；确定待监控关键词；统计所述待监控关键词在所述原始日志数据中对应的频率值；根据所述频率值判断所述待监控关键词是否存在异常；若是，则输出告警信息。

【技术特征摘要】
1.一种日志的监控方法，其特征在于，所述方法包括：获取原始日志数据；确定待监控关键词；统计所述待监控关键词在所述原始日志数据中对应的频率值；根据所述频率值判断所述待监控关键词是否存在异常；若是，则输出告警信息。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多条历史日志数据；从所述历史日志数据中提取多个关键词，并统计每个所述关键词在各条所述历史日志数据中分别对应的频率值；当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时，提取所述关键词，得到有效关键词。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：计算所述各个有效关键词的平均频率值；根据所述各个有效关键词在各条所述历史日志数据中的频率值，提取与所述平均频率值相差最大的最大波动频率值；利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值，得到与所述各个有效关键词对应的波动范围；根据所述平均频率值和所述波动范围，计算与所述各个有效关键词分别对应的频率值范围。4.根据权利要求3所述的方法，其特征在于，所述根据所述频率值判断所述待监控关键词是否存在异常包括：提取与所述待监控关键词对应的所述有效关键词；检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内；若是，则判断所述待监控关键词不存在异常；否则，判断所述待监控关键存在异常。5.根据权利要求2-4中任一项所述的方法，其特征在于，所述方法还包括：按照预置时间间隔对所述有效关键词进行更新。6.一种日志的监控装置，其特征在于，所述装置包括：获取单元，用于获取原始日...

【专利技术属性】
技术研发人员：焦张波，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11