产品日志的异常诊断方法和装置制造方法及图纸

本发明专利技术实施例公开了一种产品日志的异常诊断方法和装置。所述方法包括：获取对产品日志进行异常检验后的待异常诊断日志；提取所述待异常诊断日志中满足一致性规则的待定位日志；基于设定统计维度对所述待定位日志进行分维度统计，并根据统计结果定位所述待定位日志中的异常日志，以完成对产品日志的异常诊断。本发明专利技术优化了现有的产品日志诊断技术，满足了人们日益增长的高效化、便捷化的产品日志的异常诊断需求，极大的提高了异常诊断人员的工作效率，减少了人力成本的投入。

【技术实现步骤摘要】
产品日志的异常诊断方法和装置
本专利技术实施例涉及计算机技术，尤其涉及一种产品日志的异常诊断方法和装置。
技术介绍
随着互联网技术和信息处理技术的不断发展，越来越多的终端用户接入了互联 网，并在日常的工作、学习和生活中使用各种互联网产品。例如：百度搜索、百度音乐以及百 度地图等。当终端用户对上述互联网产品进行操作时，系统会产生对应的产品日志以记录 用户操作行为。其中，产品日志既能反映出产品各方面的运行情况，也有助于产品服务提供 商了解用户的上网行为，因此，其可为互联网产品提供技术上的运行保障和改进依据。 在现有的产品日志分析过程中，如果发现产品日志存在异常后，异常排查人员主 要依靠个人经验，通过人工分析、人工查找的方式来获取产品日志中的异常日志并据此完 成相应的异常诊断。但是，随着互联网产品功能的不断丰富，产品复杂性的不断提高，产品 出现异常的概率也在不断加大，在使用现有技术来完成异常诊断的过程中，需要排查人员 投入的时间和精力也会较多，测试效率低，测试步骤繁琐，人力成本投入较大，无法满足人 们日益增长的高效化、便捷化的产品日志的异常诊断需求。
技术实现思路
有鉴于此，本专利技术实施例提供一种产品日志的异常诊断方法和装置，以优化现有 的产品日志诊断技术，满足人们日益增长的高效化、便捷化的产品日志的异常诊断需求。 在第一方面，本专利技术实施例提供了一种产品日志的异常诊断方法，包括： 获取对产品日志进行异常检验后的待异常诊断日志； 提取所述待异常诊断日志中满足一致性规则的待定位日志； 基于设定统计维度对所述待定位日志进行分维度统计，并根据统计结果定位所述 待定位日志中的异常日志，以完成对产品日志的异常诊断。 在第二方面，本专利技术实施例提供了一种产品日志的异常诊断装置，包括： 待异常诊断日志获取单元，用于获取对产品日志进行异常检验后的待异常诊断日 志； 待定位日志提取单元，用于提取所述待异常诊断日志中满足一致性规则的待定位 日志； 异常日志定位单元，用于基于设定统计维度对所述待定位日志进行分维度统计， 并根据统计结果定位所述待定位日志中的异常日志，以完成对产品日志的异常诊断。 本专利技术实施例通过获取对产品日志信息进行异常检验后的待诊断异常诊断日志 数据；提取所述待诊断异常定位日志数据中满足一致性规则的待定位日志数据；基于设定 统计维度对所述待定位日志数据进行分维度统计，并根据统计结果定位所述待定位日志数 据中的异常日志数据，以完成对产品日志的异常诊断的技术手段，优化了现有的产品日志 诊断技术，满足了人们日益增长的高效化、便捷化的产品日志的异常诊断需求，极大的提高 了异常诊断人员的工作效率，减少了人力成本的投入。 【附图说明】 图1是本专利技术第一实施例的一种产品日志的异常诊断方法的流程图； 图2是本专利技术第二实施例的一种产品日志的异常诊断方法的流程图； 图3是本专利技术第三实施例的一种产品日志的异常诊断方法的流程图； 图4是本专利技术第四实施例的一种产品日志的异常诊断方法的流程图； 图5是本专利技术第五实施例的一种产品日志的异常诊断方法的流程图； 图6是本专利技术第六实施例的一种产品日志的异常诊断方法的流程图； 图7是本专利技术第七实施例的一种产品日志的异常诊断方法的流程图； 图8是本专利技术第八实施例的一种产品日志的异常诊断装置的结构图。 【具体实施方式】 为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术具体实 施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术， 而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关 的部分而非全部内容。 首先将本专利技术各实施例的应用场景及布局简述如下： 在本专利技术各实施例中，为了最终完成对产品日志的异常诊断，需要首先获取对产 品日志进行异常检验后的待异常诊断日志。异常检验一般是初步发现异常的操作，异常诊 断是在有异常的日志中进行异常定位和识别的诊断操作。 其中，对产品日志进行异常检验主要包括下述两种场景的异常检验： 1、差异化数据的异常检验：用于完成对来源于不同数据平台的产品日志之间的异 常检验。 在一个具体的应用场景中，一个互联网产品现有的日志统计平台为第一数据平 台，该数据平台中的数据来源为与该互联网产品对应的各个底层日志，第一数据平台通过 将底层日志进行一定的过滤处理后（例如，将爬虫日志、静态资源请求日志，以及底层日志 数据中的一段时间内PV(Page View，页面浏览量或点击量）或者UV(Unique Visitor，独立 访客）超过预设门限值后的日志过滤掉），作为产品日志进行存储；随着技术的不断进步， 产品运营商希望将各个底层日志进行更加标准化的管理，例如，通过数据仓库进行管理，可 以将各个底层日志通过ETL (Extract-Transform-Load，萃取-转置-加载）的数据仓库技 术处理后，作为产品日志存储于第二数据平台（数据仓库）中。为了验证第二数据平台中 存储的各个产品日志的准确性，可以通过对第一数据平台和第二数据平台中存储的产品日 志进行异常检验，完成对产品日志的异常诊断。 2、非差异化数据的异常检验：用于完成对来源于同一数据平台的不同时间区间的 产品日志之间的异常检验。 在一个具体的应用场景中，产品运营商可以通过同一数据平台中各个产品日志， 计算该互联网产品在不同时间区间的PV值或者UV值，进而可以对不同时间段的数据突发 异常进行异常检验，进而完成对产品日志的异常诊断。 在本文的第二实施例和第三实施例主要针对差异化数据的异常检验进行详细描 述；第四实施例一第七实施例主要针对非差异化数据的异常检验进行详细描述。 第一实施例 图1是本专利技术第一实施例的一种产品日志的异常诊断方法流程图，本实施例的方 法可以由产品日志的异常诊断装置来执行，该装置可通过硬件和/或软件的方式实现，一 般可集成于用于完成产品日志异常诊断的服务器中。本实施例的方法具体包括如下操作： 110、获取对产品日志进行异常检验后的待异常诊断日志。 在本实施例中，异常诊断服务器获取对产品日志进行异常检验后的待异常诊断日 〇 在本实施例中，待异常诊断日志具体为通过异常检验后存在异常，并需要进行后 续的异常诊断的产品日志。 其中，所述待异常诊断日志可以为来源于至少两个数据平台的至少两个日志数据 组，也可以为来源于同一目标数据平台的待异常诊断日志，对此并不进行限制。 在一个具体例子中，获取对产品日志进行异常检验后的待异常诊断日志可以具体 包括： 获取第一数据平台和第二数据平台在设定时间区间（例如， 2014. 8. 87:00:00-8:00:00)的产品日志，构成第一日志数据组和第二日志数据组； 计算与第一日志数据组和第二日志数据组分别对应的校验指标值（例如，PV值或 者UV值等）； 如果与第一日志数据组对应的校验指标值和与第二日志数据组对应的校验指标 值之间存在差异（例如，差异值大于预定阈值），确定第一日志数据组和第二日志数据组中 存在异常（需要进行后续的异常诊断），本文档来自技高网...

【技术保护点】
一种产品日志的异常诊断方法，其特征在于，包括：获取对产品日志进行异常检验后的待异常诊断日志；提取所述待异常诊断日志中满足一致性规则的待定位日志；基于设定统计维度对所述待定位日志进行分维度统计，并根据统计结果定位所述待定位日志中的异常日志，以完成对产品日志的异常诊断。

【技术特征摘要】
1. 一种产品日志的异常诊断方法，其特征在于，包括： 获取对产品日志进行异常检验后的待异常诊断日志； 提取所述待异常诊断日志中满足一致性规则的待定位日志； 基于设定统计维度对所述待定位日志进行分维度统计，并根据统计结果定位所述待定 位日志中的异常日志，以完成对产品日志的异常诊断。2. 根据权利要求1所述的方法，其特征在于，获取对产品日志进行异常检验后的待异 常诊断日志包括： 获取对产品日志进行异常检验后来源于至少两个数据平台的至少两个日志数据组，作 为待异常诊断日志。3. 根据权利要求2所述的方法，其特征在于，基于设定统计维度对所述待定位日志进 行分维度统计，并根据统计结果定位所述待定位日志中的异常日志具体包括： 使用至少一个设定统计维度对所述至少两个日志数据组进行分维度统计，以统计所述 日志数据组中，所述设定统计维度下与统计维度值对应的设定指标值； 针对同一统计维度值，如果至少两个日志数据组的设定指标值之间存在差异，获取与 该日志数据组对应的数据平台中与该统计维度值对应的产品日志作为异常日志。4. 根据权利要求2所述的方法，其特征在于，提取所述待异常诊断日志中满足一致性 规则的待定位日志包括： 获取与所述至少两个日志数据组对应的过滤规则； 如果与日志数据组对应的过滤规则相同，将基本过滤规则相同的日志数据组作为所述 待定位日志；否则，按照补充过滤规则从数据平台中重新获取日志数据组，并重新进行异常 检验： 如果重新进行异常检验的检验结果为异常消失，将过滤规则不一致作为产品日志的异 常诊断结果；否则，将重新获取的日志数据组，作为所述待定位日志。5. 根据权利要求4所述的方法，其特征在于，获取与所述至少两个日志数据组对应的 过滤规则具体包括： 在所述至少两个数据平台中，获取与所述至少两个日志数据组对应的过滤规则的结构 化查询语言SQL程序代码； 对获取的所述SQL程序代码进行代码解析，基于设定关键词搜索过滤条件语句； 将搜索到的过滤条件语句作为与所述至少两个日志数据组对应的过滤规则。6. 根据权利要求2所述的方法，其特征在于，提取所述待异常诊断日志中满足一致性 规则的待定位日志包括： 获取与所述至少两个日志数据组对应的数据源标识； 如果与日志数据组对应的数据源标识相同，将基本数据源标识相同的日志数据组作为 第一日志；否则，按照补充数据源标识重新从数据平台中获取日志数据组，并重新进行异常 检验： 如果重新进行异常检验的检验结果为异常消失，则将数据源标识不一致作为产品日志 的异常诊断结果；否则，将重新获取的日志数据组，作为所述第一日志； 提取所述第一日志中满足过滤规则一致性的待定位日志。7. 根据权利要求1所述的方法，其特征在于，获取对产品日志进行异常检验后的待异 常诊断日志包括： 获取对产品日志进行异常检验后来源于目标数据平台的待异常诊断日志。8. 根据权利要求7所述的方法，其特征在于，基于设定统计维度对所述待定位日志进 行分维度统计，并根据统计结果定位所述待定位日志中的异常日志具体包括： 使用至少一个设定统计维度，对所述待定位日志进行分维度统计，以统计所述设定统 计维度下与统计维度值对应的设定指标值； 将统计后的待定位日志按所述设定指标值从大到小的顺序进行排序，并按照排序结果 获取预定个数的统计维度值； 在目标日志数据平台中获取与所述预定个数的统计维度值对应的产品日志，作为异常 日志。9. 根据权利要求7所述的方法，其特征在于，基于设定统计维度对所述待定位日志进 行分维度统计，并根据统计结果定位所述待定位日志中的异常日志具体包括： 在参考数据平台的产品日志中，获取与待定位日志相对应的参考日志； 计算与所述参考日志和所述待定位日志分别对应的校验指标值； 如果与所述待定位日志和所述参考日志分别对应的校验指标值之间存在差异，使用至 少一个设定统计维度对所述待定位日志和所述参考日志进行分维度统计，以统计所述设定 统计维度下与统计维度值对应的设定指标值； 针对同一统计维度值，如果统计后的待定位日志和参考日志的设定指标值之间存在差 异，分别获取目标数据平台和参考数据平台中与所述统计维度值对应的产品日志，作为异 常日志。10. 根据权利要求7所述的方法，其特征在于，提取所述待异常诊断日志中满足一致性 规则的待定位日志包括： 如果在所述待异常诊断日志所确定的时间区间内，目标数据平台的过滤规则未被修 改，将来源于目标数据平台的待异常诊断日志作为所述待定位日志；否则，恢复过滤规则重 新从目标数据平台中获取产品日志，并重新进行异常检验； 如果重新进行异常检验的检验结果为异常消失，则...

【专利技术属性】
技术研发人员：杜鹏，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11