日志监控方法、电子设备及可读存储介质技术

本申请提供一种日志监控方法、电子设备及可读存储介质，该日志监控方法包括：获取微服务在预设时间段内且具有预定级别的日志，预定级别的日志包括异常堆栈信息和日志文本；从异常堆栈信息提取表示异常类别的信息；从日志文本提取文本摘要；以及基于表示异常类别的信息和文本摘要对所述日志进行监控。本申请的日志监控方法可通过统一的日志提取规则，得到统一格式的日志数据，当出现异常时，快速统计和分析异常情况。析异常情况。析异常情况。

【技术实现步骤摘要】
日志监控方法、电子设备及可读存储介质


[0001]本申请涉及计算机
，更具体地，涉及日志监控方法、电子设备及可读存储介质。

技术介绍

[0002]随着网络业务复杂度和全球化的高速发展，现有软件系统的部署方式和监控方式面临挑战，以微服务为代表的服务架构成为一种新趋势。
[0003]微服务的核心理念是细粒度模块划分、服务化接口封装、轻量级通信交互。微服务本身具有良好的扩展性，正逐渐成为构造互联网应用的主流架构。
[0004]应当理解，该
技术介绍
部分旨在部分地为理解该技术提供有用的背景，然而，这些内容并不一定属于在本申请的申请日之前本领域技术人员已知或理解的内容。

技术实现思路

[0005]本申请提供一种日志监控方法，包括：获取微服务在预设时间段内且具有预定级别的日志，所述预定级别的日志包括异常堆栈信息和日志文本；从所述异常堆栈信息提取表示异常类别的信息；从所述日志文本提取文本摘要；以及基于所述表示异常类别的信息和所述文本摘要对所述日志进行监控。
[0006]在本申请的一个实施方式中，所述预定级别包括error级别。
[0007]在本申请的一个实施方式中，所述方法还包括：确定所述微服务在预设时间段内接收的请求总数；以及基于所述表示异常类别的信息确定所述预设时间段内的异常请求次数。
[0008]在本申请的一个实施方式中，对所述日志进行监控包括：响应于确定出的所述异常请求次数与所述请求总数的比值大于预设阈值，发送告警提醒。
[0009]在本申请的一个实施方式中，从所述异常堆栈信息提取表示异常类别的信息包括：通过正则规则从所述异常堆栈信息中提取表示异常类别的信息；以及根据所述异常类别，去除所述日志中的重复日志。
[0010]在本申请的一个实施方式中，所述监控粒度包括服务名、接口地址、方法名、接口响应code码或接口响应时间的至少之一，基于所述表示异常类别的信息确定所述预设时间段内的异常请求次数还包括：从所述表示异常类别的信息中识别出所述异常类别对应的监控粒度；以及确定在所述预设时间段内与各个所述监控粒度对应的异常请求次数。
[0011]在本申请的一个实施方式中，从所述日志文本提取文本摘要包括：
[0012]去除所述日志文本的预设格式的字符；以及响应于所述日志文本包括汉字字符，提取所述日志文本的汉字字符。
[0013]在本申请的一个实施方式中，从所述日志文本提取文本摘要包括：
[0014]去除所述日志文本的预设格式的字符；以及响应于所述日志文本仅包括英文字符，截取所述英文字符。
[0015]在本申请的一个实施方式中，所述方法还包括：将所述表示异常类别的信息及其对应的同一请求的调用链路的日志作为核心日志存储。
[0016]在本申请的一个实施方式中，所述方法还包括：基于重要性权重确定所述核心日志的数据类型；以及根据所述数据类型确定所述核心日志的存储方式和存储位置中的至少之一。
[0017]在本申请的一个实施方式中，所述方法还包括：所述基于重要性权重确定所述核心日志的所述数据类型包括：根据所述核心日志的数据产生时间、日志级别和用户自定义日志中的至少一个，计算所述核心日志的重要性权重；以及基于所述重要性权重将所述核心日志确定为热数据、温数据或冷数据。
[0018]本申请的另一方面提供一种电子设备，包括：存储器，用于存储计算机指令；以及处理器，用于与所述存储器通信以执行所述计算机指令，从而实现上述任一项所述方法。
[0019]本申请的再一方面提供一种可读存储介质，所述可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法。
[0020]本申请的日志监控方法可通过统一的日志提取规则，得到统一格式的日志数据，当出现异常时，快速统计和分析异常情况。
附图说明
[0021]通过阅读参照以下附图所作的对非限制性实施方式的详细描述，本申请的其它特征、目的和优点将会变得更明显。其中：
[0022]图1为根据本申请实施方式的日志监控方法的流程图；
[0023]图2为根据本申请实施方式的日志监控方法中的监控数据标识示意图；
[0024]图3为根据本申请实施方式的日志监控装置的示意图；
[0025]图4为根据本申请实施方式的日志监控方法的电子设备框图。
具体实施方式
[0026]下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都属于本申请保护的范围。
[0027]需要说明的是，本申请所描述的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤的过程、方法、产品不必限于清楚地列出的那些步骤或产品的单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品固有的其它步骤或单元。
[0028]如前所述，微服务是一种广泛使用的服务架构，不同的微服务通常有不同的技术栈，技术栈包括数据库和数据模型。庞大复杂的系统运行中各微服务生成大量的日志。
[0029]研究人员发现，一方面，不同技术栈的微服务的日志输出的格式不同，收集后不便于统一处理、排查问题。一般只能通过用户、测试等员使用系统过程中发现问题并反馈，运
维或开发人员再通过日志定位问题。因此，发现微服务问题效率较低，速度较慢。
[0030]另一方面，数据库中存储了大量的微服务产生的日志，每天量级可达到T级，而数据库的存储空间有限。
[0031]本申请实施方式提出一种日志监控方法以应对上述至少一个问题，图1示出了根据本申请实施方式的日志监控方法200的流程图。如图1所示，日志监控方法200可包括：
[0032]S210：获取微服务在预设时间段内且具有预定级别的日志，预定级别的日志包括异常堆栈信息和日志文本；
[0033]S220：从异常堆栈信息提取表示异常类别(exception_type)的信息；
[0034]S230：从日志文本提取文本摘要；
[0035]S240：基于表示异常类别的信息和文本摘要对日志进行监控。需要说明的是，本申请实施方式列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际操作中，可以按照本申请实施方式的方法顺序执行或者并行执行。在一些实施方式中，日志监控方法200中示出的步骤不是详尽的，还可在所描述的方法之前、之后或之间执行其他的步骤，本申请对此不做限定。
[0036]下面结合图1
‑
图4详细描述本申请的日志监控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.日志监控方法，包括：获取微服务在预设时间段内且具有预定级别的日志，所述预定级别的日志包括异常堆栈信息和日志文本；从所述异常堆栈信息提取表示异常类别的信息；从所述日志文本提取文本摘要；以及基于所述表示异常类别的信息和所述文本摘要对所述日志进行监控。2.根据权利要求1所述的方法，其中，所述预定级别包括error级别。3.根据权利要求1所述的方法，对所述日志进行监控包括：确定所述微服务在预设时间段内接收的请求总数；以及基于所述表示异常类别的信息确定所述预设时间段内的异常请求次数。4.根据权利要求3所述的方法，其中，对所述日志进行监控包括：响应于确定出的所述异常请求次数与所述请求总数的比值大于预设阈值，发送告警提醒。5.根据权利要求3所述的方法，其中，所述监控粒度包括服务名、接口地址、方法名、接口响应code码或接口响应时间的至少之一，基于所述表示异常类别的信息确定所述预设时间段内的异常请求次数还包括：从所述表示异常类别的信息中识别出所述异常类别对应的监控粒度；以及确定在所述预设时间段内与各个所述监控粒度对应的异常请求次数。6.根据权利要求1所述的方法，从所述异常堆栈信息提取表示异常类别的信息包括：通过正则规则从所述异常堆栈信息中提取表示异常类别的信息；以及根据所述异常类别，去除所述日志中的重复日志。7.根据权利要求1所述方法，从所述日志文本提取文本摘要包...

【专利技术属性】
技术研发人员：曾奇缊，曲东野，
申请(专利权)人：沈阳精一智驾科技有限公司，
类型：发明
国别省市：