一种日志数据的处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例涉及大数据领域，公开了一种日志数据的处理方法、装置、设备及存储介质，该方法包括：获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对一个或多个结构化的日志数据进行分类，得到每个结构化的日志数据的分类结果；根据对每个结构化的日志数据的分类结果进行分析得到结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出差异化告警信息至客户端。这种方式有助于大幅提升计算机系统的可靠性，以及辅助完成多种信息的处理。本发明专利技术涉及区块链技术，如可将日志数据写入区块链中，以用于数据取证等场景。等场景。等场景。

【技术实现步骤摘要】
一种日志数据的处理方法、装置、设备及存储介质


[0001]本专利技术涉及大数据领域，尤其涉及一种日志数据的处理方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的蓬勃发展，计算机已经成为人们日常办公或交流必不可少的工具，随着计算机的大量普及，日志数据也得到了越来越广泛的应用。日志数据包括计算机系统、设备、软件等在某种刺激下作出反应而生成的消息。在实际情况中，日志数据的来源往往是多种多样的，例如，Unix操作系统会记录用户登录和注销的消息，防火墙会记录访问控制列表中通过和拒绝的消息。目前，主要是收集文本类日志数据并对其进行相关处理，然而，这些文本类日志数据无法进一步地进行实时分析、监控、告警、多维度查询等。

技术实现思路

[0003]本专利技术实施例提供了一种日志数据的处理方法、装置、设备及存储介质，可以通过对结构化的日志数据进行实时分析、分类、监控、多维度查询等，快速高效地确定出异常类日志数据，并对异常类日志数据进行差异化告警，有助于大幅提升计算机系统的可靠性，以及辅助完成多种信息的处理。
[0004]第一方面，本专利技术实施例提供了一种日志数据的处理方法，所述方法包括：
[0005]获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
[0006]对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
[0007]对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
[0008]当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
[0009]进一步地，所述获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据，包括：
[0010]利用指定拦截器拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；
[0011]将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；
[0012]其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。
[0013]进一步地，所述对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果，包括：
[0014]根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；
[0015]对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。
[0016]进一步地，所述结构化的日志数据的类别包括微服务类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：
[0017]获取一个或多个微服务类日志数据的生成日期；
[0018]根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；
[0019]根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。
[0020]进一步地，所述结构化的日志数据的类别包括异常类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：
[0021]获取一个或多个异常类日志数据的生成日期；
[0022]根据所述一个或多个异常类日志数据的生成日期，对所述一个或多个异常类日志数据进行分析，以确定所述一个或多个异常类日志数据出现的次数。
[0023]进一步地，所述根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理之前，还包括：
[0024]获取数据查询请求，所述数据查询请求中携带了用户标识、类别标识、指标性能数据中的一种或多种；
[0025]根据所述数据查询请求中携带的用户标识、类别标识、指标性能数据中的一种或多种，查询与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据；
[0026]所述根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理，包括：
[0027]对分析得到的结果数据中各个类别的结构化的日志数据以及查询得到的与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据进行聚合处理。
[0028]进一步地，所述当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，包括：
[0029]检测所述聚合处理后的结构化的日志数据中是否存在异常类日志数据；
[0030]当检测结果为所述聚合处理后的结构化的日志数据中存在异常类日志数据时，确定所述聚合处理后的结构化日志数据满足告警条件，并触发生成差异化告警信息。
[0031]第二方面，本专利技术实施例提供了一种日志数据的处理装置，包括：
[0032]获取单元，用于获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
[0033]分类单元，用于对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
[0034]处理单元，用于对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
[0035]告警单元，用于当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
[0036]第三方面，本专利技术实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持日志数据的处理装置执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
[0037]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
[0038]本专利技术实施例可以获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据的处理方法，其特征在于，所述方法包括：获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。2.根据权利要求1所述的方法，其特征在于，所述获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据，包括：利用指定拦截器拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。3.根据权利要求1所述的方法，其特征在于，所述对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果，包括：根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。4.根据权利要求3所述的方法，其特征在于，所述结构化的日志数据的类别包括微服务类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：获取一个或多个微服务类日志数据的生成日期；根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。5.根据权利要求3所述的方法，其特征在于，所述结构化的日志数据的类别包括异常类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：获取一个或多个异常类日志数据的生成日期；根据所述一个或多个...

【专利技术属性】
技术研发人员：王盛武，何强，翁永艺，包艳刚，李小庆，
申请(专利权)人：深圳平安智汇企业信息管理有限公司，
类型：发明
国别省市：