日志数据处理方法及装置制造方法及图纸

本申请实施例提供一种日志数据处理方法及装置，可用于金融领域，方法包括：采集应用程序产生的垃圾回收日志，对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线；根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量；根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布；本申请能够准确、快速得对垃圾回收日志进行定位采集和诊断分析。分析。分析。

【技术实现步骤摘要】
日志数据处理方法及装置


[0001]本申请涉及数据处理领域，也可用于金融领域，具体涉及一种日志数据处理方法及装置。

技术介绍

[0002]生产环境下Java应用程序常常会因为GC(Garbage Collect，JVM垃圾回收日志)导致时延，影响应用的联机处理时效，需要应用维护人员收集JVM的垃圾回收日志用于定位分析。当前每次都需要应用维护人员根据监控报警采集相应时段的垃圾回收日志，发往后台专家进行日志片段逐一分析，如果采集时段未能精准涵盖问题时段的GC日志，需要重新收集，重新分析，如此循环往复，非常耗时费力。

技术实现思路

[0003]针对现有技术中的问题，本申请提供一种日志数据处理方法及装置，能够准确、快速得对垃圾回收日志进行定位采集和诊断分析。
[0004]为了解决上述问题中的至少一个，本申请提供以下技术方案：
[0005]第一方面，本申请提供一种日志数据处理方法，包括：
[0006]采集应用程序产生的垃圾回收日志，对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线；
[0007]根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量；
[0008]根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布。
[0009]进一步地，所述对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线，包括：
[0010]对所述垃圾回收日志进行时延指标识别；
[0011]按照时间维度抽取各时点的时延指标数值，确定对应的时延指标移动平均线。
[0012]进一步地，所述根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量，包括：
[0013]将所述特征指标移动平均线与预设异常判定规则中相应的阈值线进行数值比对；
[0014]根据超出所述阈值线的特征指标数据生成一异常特征集合。
[0015]进一步地，在所述根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布之后，包括：
[0016]根据所述异常垃圾回收日志时延点分布确定时延异常的时间段；
[0017]在所述时延异常的时间段内执行流量切换或容器扩容操作。
[0018]进一步地，所述按照时间维度抽取各时点的时延指标数值，确定对应的时延指标移动平均线，包括：
[0019]根据时延指标识别得到的延时指标具体数值按照时间维度抽取各时点的时延指标数值，并绘制与所述时延指标数值对应的时延指标移动平均线。
[0020]进一步地，所述将所述特征指标移动平均线与预设异常判定规则中相应的阈值线进行数值比对，包括：
[0021]将所述特征指标移动平均线与预设专家经验特征库中的时延阈值进行数值比对。
[0022]第二方面，本申请提供一种日志数据处理装置，包括：
[0023]特征指标确定模块，用于采集应用程序产生的垃圾回收日志，对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线；
[0024]异常数据识别模块，用于根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量；
[0025]异常分布确定模块，用于根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布。
[0026]进一步地，所述特征指标确定模块包括：
[0027]指标识别单元，用于时验对所述垃圾回收日志进行时延指标识别；
[0028]移动平均线确定单元，用于按照时间维度抽取各时点的时延指标数值，确定对应的时延指标移动平均线。
[0029]进一步地，所述异常数据识别模块包括：
[0030]阈值比对单元，用于将所述特征指标移动平均线与预设异常判定规则中相应的阈值线进行数值比对；
[0031]异常确定单元，用于根据超出所述阈值线的特征指标数据生成一异常特征集合。
[0032]进一步地，还包括：
[0033]异常时间确定单元，用于根据所述异常垃圾回收日志时延点分布确定时延异常的时间段；
[0034]异常处理单元，用于在所述时延异常的时间段内执行流量切换或容器扩容操作。
[0035]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的日志数据处理方法的步骤。
[0036]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的日志数据处理方法的步骤。
[0037]第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的日志数据处理方法的步骤。
[0038]由上述技术方案可知，本申请提供一种日志数据处理方法及装置，通过采集应用程序产生的垃圾回收日志，对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线；根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量；根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布，由此能够准确、快速得对垃圾回收日志进行定位采集和诊断分析。
附图说明
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本申请实施例中的日志数据处理方法的流程示意图之一；
[0041]图2为本申请实施例中的日志数据处理方法的流程示意图之二；
[0042]图3为本申请实施例中的日志数据处理方法的流程示意图之三；
[0043]图4为本申请实施例中的日志数据处理方法的流程示意图之四；
[0044]图5为本申请实施例中的日志数据处理装置的结构图之一；
[0045]图6为本申请实施例中的日志数据处理装置的结构图之二；
[0046]图7为本申请实施例中的日志数据处理装置的结构图之三；
[0047]图8为本申请实施例中的日志数据处理装置的结构图之四；
[0048]图9为本申请实施例中的电子设备的结构示意图。
具体实施方式
[0049]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据处理方法，其特征在于，所述方法包括：采集应用程序产生的垃圾回收日志，对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线；根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量；根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布。2.根据权利要求1所述的日志数据处理方法，其特征在于，所述对所述垃圾回收日志进行特征指标识别，并按照时间维度抽取各时点的特征指标数值，确定对应的特征指标移动平均线，包括：对所述垃圾回收日志进行时延指标识别；按照时间维度抽取各时点的时延指标数值，确定对应的时延指标移动平均线。3.根据权利要求1所述的日志数据处理方法，其特征在于，所述根据所述特征指标移动平均线和预设异常判定规则对所述垃圾回收日志进行异常特征数据点识别，得到对应的异常特征点向量，包括：将所述特征指标移动平均线与预设异常判定规则中相应的阈值线进行数值比对；根据超出所述阈值线的特征指标数据生成一异常特征集合。4.根据权利要求1所述的日志数据处理方法，其特征在于，在所述根据设定时间维度和所述异常特征点向量确定单个容器内异常垃圾回收日志时延点分布之后，包括：根据所述异常垃圾回收日志时延点分布确定时延异常的时间段；在所述时延异常的时间段内执行流量切换或容器扩容操作。5.根据权利要求2所述的日志数据处理方法，其特征在于，所述按照时间维度抽取各时点的时延指标...

【专利技术属性】
技术研发人员：谢波，王辉，巫春梅，程春生，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：