一种日志分析的方法、系统、设备及介质技术方案

本发明专利技术公开了一种日志分析的方法、系统、设备和存储介质，方法包括以下步骤：通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；响应于接收到的日志关联的执行结果不为通过，根据关键字读取日志中的异常信息，并判断异常信息中是否存在漏洞信息；响应于异常信息中不存在漏洞信息，从异常数据库中匹配异常信息对应的漏洞，并判断匹配时间是否超过第一阈值；响应于匹配时间超过第一阈值，判断异常信息与异常数据库中的基础异常信息的关联度是否均小于第二阈值；以及响应于异常信息与异常数据库中的基础异常信息的关联度均小于第二阈值，将异常信息作为新的类型写入异常数据库。

A log analysis method, system, equipment and media

【技术实现步骤摘要】
一种日志分析的方法、系统、设备及介质
本专利技术涉及日志分析领域，更具体地，特别是指一种日志分析的方法、系统、计算机设备及可读介质。
技术介绍
随着行业的发展，产品迭代越来越快，能不能及时得到测试验证支持是非常重要的。在自动化测试完成后，对于日志、脚本执行情况进行智能分析，可以帮助测试人员花费较少的时间就可以完成bug(漏洞)的定位和提交。目前测试管理系统并不支持智能分析，在自动化脚本执行完成后，需要人工对日志、执行情况进行分析和bug定位，花费时间多，在很大程度上依赖人工，覆盖率偏低，没有进行业务建模，不利于自动化测试工作效率的提升和后续发展。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种日志分析的方法、系统、计算机设备及计算机可读存储介质，通过从异常数据库中匹配异常信息对应的漏洞，并且当匹配不成功时通过关联度来确定异常信息的类别，能够快速定位漏洞，提高日志分析的效率。基于上述目的，本专利技术实施例的一方面提供了一种日志分析的方法，包括如下步骤：通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；响应于接收到的所述日志关联的执行结果不为通过，根据关键字读取所述日志中的异常信息，并判断所述异常信息中是否存在漏洞信息；响应于所述异常信息中不存在漏洞信息，从异常数据库中匹配所述异常信息对应的漏洞，并判断匹配时间是否超过第一阈值；响应于所述匹配时间超过第一阈值，判断所述异常信息与所述异常数据库中的基础异常信息的关联度是否均小于第二阈值；以及响应于所述异常信息与所述异常数据库中的基础异常信息的关联度均小于第二阈值，将所述异常信息作为新的类型写入所述异常数据库。在一些实施方式中，还包括：响应于所述异常信息与所述异常数据库中的基础异常信息的关联度不均小于第二阈值，基于最高的关联度确定所述异常信息所在的类别。在一些实施方式中，还包括：每隔预定时间按照类别将异常信息进行汇总，并按照异常信息的数量对各个类别从高到低进行排序。在一些实施方式中，还包括：响应于存在一个类别连续多个周期排在首位，进行告警。本专利技术实施例的另一方面，还提供了一种日志分析的系统，包括：接收模块，配置用于通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；读取模块，配置用于响应于接收到的所述日志关联的执行结果不为通过，根据关键字读取所述日志中的异常信息，并判断所述异常信息中是否存在漏洞信息；匹配模块，配置用于响应于所述异常信息中不存在漏洞信息，从异常数据库中匹配所述异常信息对应的漏洞，并判断匹配时间是否超过第一阈值；判断模块，配置用于响应于所述匹配时间超过第一阈值，判断所述异常信息与所述异常数据库中的基础异常信息的关联度是否均小于第二阈值；以及执行模块，配置用于响应于所述异常信息与所述异常数据库中的基础异常信息的关联度均小于第二阈值，将所述异常信息作为新的类型写入所述异常数据库。在一些实施方式中，还包括：确定模块，配置用于响应于所述异常信息与所述异常数据库中的基础异常信息的关联度不均小于第二阈值，基于最高的关联度确定所述异常信息所在的类别。在一些实施方式中，还包括：汇总模块，配置用于每隔预定时间按照类别将异常信息进行汇总，并按照异常信息的数量对各个类别从高到低进行排序。在一些实施方式中，还包括：告警模块，配置用于响应于存在一个类别连续多个周期排在首位，进行告警。本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。本专利技术具有以下有益技术效果：通过从异常数据库中匹配异常信息对应的漏洞，并且当匹配不成功时通过关联度来确定异常信息的类别，能够快速定位漏洞，提高日志分析的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术提供的日志分析的方法的实施例的示意图；图2为本专利技术提供的日志分析的计算机设备的实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种日志分析的方法的实施例。图1示出的是本专利技术提供的日志分析的方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：S1、通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；S2、响应于接收到的日志关联的执行结果不为通过，根据关键字读取日志中的异常信息，并判断异常信息中是否存在漏洞信息；S3、响应于异常信息中不存在漏洞信息，从异常数据库中匹配异常信息对应的漏洞，并判断匹配时间是否超过第一阈值；S4、响应于匹配时间超过第一阈值，判断异常信息与异常数据库中的基础异常信息的关联度是否均小于第二阈值；以及S5、响应于异常信息与异常数据库中的基础异常信息的关联度均小于第二阈值，将异常信息作为新的类型写入异常数据库。本专利技术实施例以java和python为开发语言，基于业务模型，按照预设规则，修改用例或者脚本中日志与任务指令的对应关系以及日志中错误信息的格式。自动化监控脚本执行是否完成，多线程分布式读取执行结束的自动化脚本输出的日志，针对原始日志通过正则匹配、机器学习和特征选择，自动完成bug定位，连通问题管理系统，自动完成bug提交。智能分析规则：只针对非PASS(通过)的用例脚本输出的日志进行分析；自动化监控脚本执行是否完成；读取分析日志输出的详细信息，根据预设的规则对执行非PASS的脚本进行正则匹配、特征选择、bug分类，汇总日志输出的bug。为下一节点自动提交问题做数据准备。针对非PASS的用例脚本进行日志分析，汇总输出的bug，生成问题项，自动提交bug到问题管理系统中，分配给脚本负责人。通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过。在AEP(一种执行任务脚本的服务)端设置自动化监控入口程序，监控所有执行中和执行结束的脚本，监控是否生成新的日志文件。当产生新的日志文件时，可以通过多线程并发接收日志，由于只针对非PASS的日志进行分析，所以需要判断接收到的日志关联的执行结果是否为通过。响应于接收到的日志关联的执行结果不为通过，根据关键字本文档来自技高网...

【技术保护点】
1.一种日志分析的方法，其特征在于，包括以下步骤：/n通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；/n响应于接收到的所述日志关联的执行结果不为通过，根据关键字读取所述日志中的异常信息，并判断所述异常信息中是否存在漏洞信息；/n响应于所述异常信息中不存在漏洞信息，从异常数据库中匹配所述异常信息对应的漏洞，并判断匹配时间是否超过第一阈值；/n响应于所述匹配时间超过第一阈值，判断所述异常信息与所述异常数据库中的基础异常信息的关联度是否均小于第二阈值；以及/n响应于所述异常信息与所述异常数据库中的基础异常信息的关联度均小于第二阈值，将所述异常信息作为新的类型写入所述异常数据库。/n

【技术特征摘要】
1.一种日志分析的方法，其特征在于，包括以下步骤：
通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；
响应于接收到的所述日志关联的执行结果不为通过，根据关键字读取所述日志中的异常信息，并判断所述异常信息中是否存在漏洞信息；
响应于所述异常信息中不存在漏洞信息，从异常数据库中匹配所述异常信息对应的漏洞，并判断匹配时间是否超过第一阈值；
响应于所述匹配时间超过第一阈值，判断所述异常信息与所述异常数据库中的基础异常信息的关联度是否均小于第二阈值；以及
响应于所述异常信息与所述异常数据库中的基础异常信息的关联度均小于第二阈值，将所述异常信息作为新的类型写入所述异常数据库。


2.根据权利要求1所述的方法，其特征在于，还包括：
响应于所述异常信息与所述异常数据库中的基础异常信息的关联度不均小于第二阈值，基于最高的关联度确定所述异常信息所在的类别。


3.根据权利要求1所述的方法，其特征在于，还包括：
每隔预定时间按照类别将异常信息进行汇总，并按照异常信息的数量对各个类别从高到低进行排序。


4.根据权利要求3所述的方法，其特征在于，还包括：
响应于存在一个类别连续多个周期排在首位，进行告警。


5.一种日志分析的系统，其特征在于，包括：
接收模块，配置用于通过多线程接收日志，并判断接收到的日志关联的执行结果是否为通过；
读取模块，配置用于响应于接收到的所述日志关联的执行结果不为通过，根据关键字读取所述日志中的异常信息，并判断所述异常信...

【专利技术属性】
技术研发人员：王丽，徐丹，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32