一种基于大数据的日志处理方法技术

本申请提供了一种基于大数据的日志处理方法

【技术实现步骤摘要】
一种基于大数据的日志处理方法、装置及相关产品


[0001]本申请涉及大数据领域，特别是涉及一种基于大数据的日志处理方法
、
装置及相关产品
。

技术介绍

[0002]随着科技的不断发展，数据的数量也在不断地增长，为了适应时代的发展，大数据这个概念应运而生，大数据指的是在传统数据处理应用软件不足以处理过大或过于复杂的数据集
。
大数据一般以大数据平台为载体，大数据平台指的是可以应对海量的数据存储
、
海量的数据计算
、
数据实时计算以及数据的调用查看等场景的平台
。
在大数据平台中一般会存储海量的日志
。
[0003]当运维人员查看某些大数据平台上的日志时，在大数据平台的前端显示的日志一般会带有一连串的前缀或者带有一些运维人员难以理解的代码，运维人员对这些日志有很高的理解成本
。
[0004]为此，如何在大数据平台的前端显示更加便于运维人员理解的日志成为了本领域技术人员亟需解决的技术问题
。

技术实现思路

[0005]基于上述问题，本申请提供了一种基于大数据的日志处理方法
、
装置及相关产品以解决通过现有技术运维人员对调用的日志理解成本较高的问题，所述方法包括以下步骤：
[0006]在大数据平台中获取待处理日志；
[0007]使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类；
[0008]生成所述待处理日志类对应的日志模板，所述日志模板包括操作者
、
操作时间
、
操作内容和操作结果；
[0009]将所述待处理日志类中的待处理日志分别作为目标待处理日志，将目标待处理日志的操作者
、
操作时间
、
操作内容和操作结果分别作为所述日志模板的操作者
、
操作时间
、
操作内容和操作结果，得到目标结构化日志；
[0010]将所述目标结构化日志存储于所述大数据平台中
。
[0011]可选的，所述使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类包括：
[0012]使用聚类算法按照操作类型对待处理日志进行聚类，得到至少两个操作类型对应的日志类；
[0013]将至少两个操作类型对应的日志类按照预设的操作类型进行分类得到待处理日志类和舍弃日志类
。
[0014]可选的，所述预设的操作类型包括：
[0015]预设的保留日志类对应的操作类型和预设的舍弃日志类对应的操作类型；
[0016]所述预设的保留日志类对应的操作类型包括创建表的操作类型和查询表的操作类型，所述预设的舍弃日志类对应的操作类型包括按照程序自动生成日志的操作类型
。
[0017]可选的，所述使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类包括：
[0018]使用聚类算法按照日志的状态对待处理日志进行聚类，得到正常日志类和异常日志类；
[0019]将异常日志类作为待处理日志类，将正常日志类作为舍弃日志类
。
[0020]可选的，所述基于大数据的日志处理方法进一步包括：
[0021]响应于对日志的调用请求，判断所述日志是否存在对应的结构化日志；
[0022]若是，则使用所述结构化日志回复所述调用请求；
[0023]若否，则使用所述日志回复所述调用请求
。
[0024]本申请还提供了一种基于大数据的日志处理装置，所述装置包括以下模块：
[0025]获取模块，用于在大数据平台中获取待处理日志；
[0026]聚类模块，用于使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类；
[0027]日志模板生成模块，用于生成所述待处理日志类对应的日志模板，所述日志模板包括操作者
、
操作时间
、
操作内容和操作结果；
[0028]目标结构化日志生成模块，用于将所述待处理日志类中的待处理日志分别作为目标待处理日志，将目标待处理日志的操作者
、
操作时间
、
操作内容和操作结果分别作为所述日志模板的操作者
、
操作时间
、
操作内容和操作结果，得到目标结构化日志；
[0029]存储模块，用于将所述目标结构化日志存储于所述大数据平台中
。
[0030]可选的，所述聚类模块具体用于：
[0031]使用聚类算法按照操作类型对待处理日志进行聚类，得到至少两个操作类型对应的日志类；
[0032]将至少两个操作类型对应的日志类按照预设的操作类型进行分类得到待处理日志类和舍弃日志类
。
[0033]可选的，所述聚类模块具体用于：
[0034]使用聚类算法按照日志的状态对待处理日志进行聚类，得到正常日志类和异常日志类；
[0035]将异常日志类作为待处理日志类，将正常日志类作为舍弃日志类
。
[0036]可选的，所述装置进一步包括：
[0037]判断模块，用于响应于对日志的调用请求，判断所述日志是否存在对应的结构化日志；
[0038]若是，则使用所述结构化日志回复所述调用请求；
[0039]若否，则使用所述日志回复所述调用请求
。
[0040]本申请还提供了一种电子设备，所述电子设备包括处理器以及存储器：
[0041]所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；
[0042]所述处理器用于根据所述计算机程序中的指令执行上述基于大数据的日志处理方法的步骤
。
[0043]本申请还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被电子设备执行时实现上述基于大数据的日志处理方法的步骤
。
[0044]相较于现有技术，本申请具有以下有益效果：
[0045]本申请提供的方法在大数据平台中获取待处理日志；使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类，通过聚类将大数据平台中海量的日志进行聚类得到待处理日志类和舍弃日志类，舍弃日志类是不会被运维人员调用查看的日志聚类形成的，通过聚类初步筛除部分日志
。
生成所述待处理日志类对应的日志模板，所述日志模板包括操作者
、
操作时间
、
操作内容和操作结果；将所述待处理日志类中的待处理日志分别作为目标待处理日志，将目标待处理日志的操作者
、
操作时间
、
操作内容和操作结果分别作为所述日志模板的操作者
、
操作时间
、
操作内容和操作结果，得到目标结构化日志
。
本申请提供的方法生成了日志模板，将待处理日志类中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于大数据的日志处理方法，其特征在于，包括：在大数据平台中获取待处理日志；使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类；生成所述待处理日志类对应的日志模板，所述日志模板包括操作者
、
操作时间
、
操作内容和操作结果；将所述待处理日志类中的待处理日志分别作为目标待处理日志，将目标待处理日志的操作者
、
操作时间
、
操作内容和操作结果分别作为所述日志模板的操作者
、
操作时间
、
操作内容和操作结果，得到目标结构化日志；将所述目标结构化日志存储于所述大数据平台中
。2.
根据权利要求1所述的方法，其特征在于，所述使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类包括：使用聚类算法按照操作类型对待处理日志进行聚类，得到至少两个操作类型对应的日志类；将至少两个操作类型对应的日志类按照预设的操作类型进行分类得到待处理日志类和舍弃日志类
。3.
根据权利要求2所述的方法，其特征在于，所述预设的操作类型包括：预设的保留日志类对应的操作类型和预设的舍弃日志类对应的操作类型；所述预设的保留日志类对应的操作类型包括创建表的操作类型和查询表的操作类型，所述预设的舍弃日志类对应的操作类型包括按照程序自动生成日志的操作类型
。4.
根据权利要求1所述的方法，其特征在于，所述使用聚类算法对待处理日志进行聚类，得到待处理日志类和舍弃日志类包括：使用聚类算法按照日志的状态对待处理日志进行聚类，得到正常日志类和异常日志类；将异常日志类作为待处理日志类，将正常日志类作为舍弃日志类
。5.
根据权利要求1所述的方法，其特征在于，所述方法进一步包括：响应于对日志的调用请求，判断所述日志是否存在对应的结构化日志；若是，则使用所述结构化日志回复所述调...

【专利技术属性】
技术研发人员：王子琦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：