计算环境中增强的异常检测制造技术

异常服务从计算环境中的节点接收日志数据，其包括指示由节点产生的日志消息的信息序列。异常服务识别信息序列中代表日志消息的非异常块的主导模式。在识别出主导模式后，服务能够从日志数据中提取非异常块，以揭示不符合主导模式的异常块。然后，服务可以基于异常块生成异常向量，异常块能够被分发到节点以检测异常。异常。异常。

【技术实现步骤摘要】
【国外来华专利技术】计算环境中增强的异常检测

技术介绍

[0001]现代信息服务处理大量数据，并且在该处理中生成大量日志数据。日志数据由运行时的代码产生，以提供对服务的一个或多个组件的状态的记录。在故障排除或以其它方式维护服务时，日志数据可以是有用的。日志数据的示例包括日志语句和操作度量，两者都可以被分析，以预测异常状况或事件，诸如处理故障、服务器故障和计算机硬件故障。
[0002]可以通过分析语句或度量中与过去的异常相关的模式的大量日志数据来检测和预测异常。然后可以针对数据部署模式，使得数据中给定模式的存在触发减轻动作或警报。遗憾的是，这种模式提取需要大量的日志数据，这对于运输和处理来说都是非常昂贵的。
[0003]事实上，为了成功提取有用的模式，需要从边缘发送到中央服务器的日志数据的量可以容易地接近以相同方向发送的正常操作数据的量
‑
假设存在带宽这样做。此外，在合理的时间范围内查找模式所需的计算量可能超过首先分配给正常操作的计算量。迄今为止，这些限制阻碍了有效异常分析的开发和部署。

技术实现思路

[0004]本文公开了改进计算环境中的异常状况检测和预测的技术。在各种实施方式中，异常服务从计算环境中的边缘节点接收日志数据，其包括指示由节点产生的日志消息的信息序列。异常服务识别代表日志消息的非异常块的信息序列中的主导模式。在识别出主导模式后，服务能够从日志数据中提取非异常块以揭示不符合主导模式的异常块。然后，服务可以基于异常块生成异常向量，异常块可以被分发到边缘节点以检测异常。
[0005]在相同或其它实施方式中，计算环境中的一个或多个节点接收异常向量。当事件在计算环境中发生时产生日志消息，响应于此，节点生成对应的散列值序列。基于散列值序列产生序列向量，其可以与异常向量进行比较或以其它方式针对异常向量进行评估，以确定日志消息是否指示一个或多个异常事件的发生。
[0006]提供本概述是为了以简化的形式介绍一些概念，这些概念将在下面的技术公开中进一步描述。可以理解的是，本概述不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
[0007]参考以下附图可以更好地理解本公开的许多方面。虽然结合这些附图描述了若干实施方式，但是本公开不限于本文公开的实施方式。相反，其意图是涵盖所有替代方案、修改和等同物。
[0008]图1图示了实现中的操作体系架构。
[0009]图2图示了实现中的日志产生处理。
[0010]图3图示了实现中的异常块提取处理。
[0011]图4图示了实现中的异常检测处理。
[0012]图5图示了实现中的操作场景。
[0013]图6图示了实现中的日志产生场景。
[0014]图7图示了实现中的异常块提取场景。
[0015]图8进一步图示了异常块提取场景。
[0016]图9A
‑
9C图示了实现中的异常检测场景。
[0017]图10图示了适用于实现本文公开的增强异常检测技术的计算系统，包括附图中示出并在下面具体实施方式中讨论的任何体系架构、处理、操作场景和操作序列。
具体实施方式
[0018]本文公开的解决方案涉及计算环境中低概率行为(例如，异常行为)的基于块的检测和预测。异常服务从一个或多个计算环境中的边缘节点接收日志数据，其中边缘节点可以远离服务和/或相对于服务共同定位。日志数据包括指示由节点在运行时产生的日志消息的信息序列。
[0019]异常服务识别代表日志消息的非异常块的信息序列中的主导模式。服务从日志数据中提取或以其它方式忽略非异常块，以揭示不符合主导模式的异常(或低概率)块。然后，服务基于异常块生成异常向量，并将它们分发给节点。
[0020](一个或多个)计算环境中的一个或多个节点接收异常向量并使用它们来发现日志消息的流中的异常行为。给定节点基于与计算环境中的事件相关联的日志消息的序列生成散列值的序列。节点还基于散列值生成序列向量。序列向量包括例如通过位置与可能散列值集合对应的数字。
[0021]然后，节点执行序列向量与异常向量集合的比较，以确定散列值的至少一部分是否指示一个或多个异常事件的发生。如果是，那么可以采取一个或多个动作来减轻通过比较预测出的有问题或异常事件的风险。
[0022]返回去参考异常服务，服务可以通过在信息序列内找到潜在模式并对其进行评分来识别主导模式。然后可以基于评分来选择主导模式。在一些场景中，评分功能可以用于相对于在信息序列内出现较不频繁的潜在模式的不同子集提升在信息序列内频繁出现的潜在模式的子集。针对潜在模式中的每个潜在模式，评分功能基于当利用潜在模式的压缩表示进行编码时的信息序列的描述长度来确定潜在模式的相对优势。
[0023]在一些实施方式中，信息序列包括日志代码序列，并且每个日志代码可以是可能的散列值的符号表示。在这种情况下，日志数据还将包括将每个唯一日志代码映射到可能散列值集合中的不同散列值的码本或字典。
[0024]在各种实施方式中，每个异常向量包括一串数字，这些数字通过位置与可能日志代码集合对应。异常服务设置串中的每个数字的值，以指示由异常向量表示的异常块中的可能日志代码中的对应日志代码的存在或不存在。
[0025]再次参考客户端节点，给定节点通过为数字串的每个数字计算加权值来生成序列向量。节点通过将加权因子乘以二进制值来计算加权值，以获得加权值。二进制值指示散列值的序列是否包括与串中给定数字的位置对应的散列值，而加权因子指示日志消息与其它日志消息的相对重要性。
[0026]在一些实施方式中，节点通过将余弦相似度函数应用于序列向量与异常向量集合中的每个异常向量的内点积来执行序列向量与异常向量集合的比较。可以将结果进行比
较，以确定序列向量是否与异常向量中的一个或多个充分匹配，以指示计算环境的异常状态。
[0027]可以认识到的是，本文公开的异常检测技术允许更高效地并且以较少的操作开销检测偏离标准、正常或预期的事件。例如，由客户端节点发送到异常服务的日志代码比完整日志语句本身需要更少的带宽，而将异常向量分发到边缘允许在其源处检测到异常。
[0028]可以进一步认识到的是，还可以预测和/或检测低概率事件
‑
不仅仅是异常事件。在这样的实施方式中，服务从计算环境中的节点接收日志数据，其中日志数据包括指示由节点产生的日志消息的信息序列。服务在信息序列中识别代表日志消息的高概率块的主导模式，并基于主导模式从日志数据中提取高概率块，从而揭示不符合主导模式的低概率块。
[0029]然后，服务基于至少低概率块生成低概率向量，并将数据分发到节点以检测低概率事件。然后，节点可以针对新的日志消息流和其它此类数据来部署低概率向量(包括在数据中)。
[0030]转到附图，图1图示了实现中的操作环境100。操作体系架构100包括与计算环境101和计算环境111通信的异常服务110。计算环境101包括计算节点103和计本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算装置，包括：一个或多个计算机可读存储介质；与所述一个或多个计算机可读存储介质可操作地耦合的一个或多个处理器；以及用于检测异常的程序指令，所述程序指令在由所述一个或多个处理器执行时，指示所述计算装置至少：至少基于与计算环境中的事件相关联的日志消息序列生成散列值序列；基于散列值生成序列向量，其中所述序列向量包括通过位置与可能散列值集合对应的一串数字；以及执行所述序列向量与异常向量集合的比较，以确定散列值的至少一部分是否指示一个或多个异常事件的发生。2.如权利要求1所述的计算装置，其中，为了基于所述散列值序列生成所述序列向量，所述程序指令指示所述计算装置为所述一串数字中的每个数字计算加权值。3.如权利要求2所述的计算装置，其中，为了为所述一串数字中的每个数字计算加权值，所述程序指令指示所述计算装置将加权因子乘以二进制值以获得加权值。4.如权利要求3所述的计算装置，其中，所述二进制值指示所述散列值序列是否包括与给定数字在所述串中的位置对应的散列值。5.如权利要求4所述的计算装置，其中，所述加权因子指示所述日志消息对于检测所述一个或多个异常事件的相对重要性。6.如权利要求5所述的计算装置，其中，为了执行所述序列向量与所述异常向量集合的比较，所述程序指令指示所述计算装置将余弦相似度函数应用于所述序列向量与所述异常向量集合中的每个异常向量的内点积。7.一种用于检测异常的方法，包括：识别与计算环境中的事件相关联的日志消息序列；将散列函数应用于所述日志消息序列以产生散列值序列；基于散列值生成序列向量，其中所述序列向量包括通过位置与可能散列值集合对应的一串数字；以及执行所述序列向量与异常向量集合的比较，以确定散列值的至少一部分是否指示一个或多个异常事件的发生。8.如权利要求7所述的方法，其中，基于所述散列值序列生成所述序列向量包括为所述一串数字中的每个数字计算加权值。9.如权利要求8所述的方法，其中，为所述一串数字中的每个数字计算加权值包括将加权因子乘以二进制值以获得加权值。10.如权利要求9所述的方法，其中，所述二进制值指示所述散列值序列是否包括与给定数字在所述串中的位置对应的散列值。11.如权利要求10所述的方法，其中，所述加权因子指示所述日志消息对于检测所述一个或多个异常事件的相对重要性。12.如权利要求11所述的方法，其中，执行所述序列向量与所述异常向量集合的比较包括将余弦相似度函数应用于所述序列向量与所述异常向量集合中的每个异常向量的内点积。
13.一种计算装置，包括：一个或多个计算机可读存储介质；与所述一个或多个计算机可读存储介质可操作地耦合的一个或多个处理器；以及用于检测异常的程序指令，所述程序指令在由所述一个或多个处理器执行时，指示所述计算装置至少：识别与计算环境中的事件相关联的日志消息序列；生成与所述日志消息序列对应的压缩消息序列；基于所述压缩消息序列生成序列向量，其中所述序列向量包括通过位置与可能压缩消息集合对应的一串数字；以及执行所述序列向量与异常向量集合的比较，以确定所述日志消息序列的至少一部分是否指示一个或多个异常事件的发生。14.如权利要求13所述的计算装置，其中，所述压缩消息序列包括散列值序列，并且所述可能压缩消息集合包括可能散列值集合。15.如权利要求14所述的计算装置，其中，为了生成所述压缩消息序列，所述程序指令指示所述计算系统将散列函数应用于所述日志消息序列以产生所述散列值序列。16.如权利要求15所述的计算装置，其中，为了基于所述散列值序列生成所述序列向量，所述程序指令指示所述计算装置为所述一串数字中的每个数字计算加权值。17.如权利要求16所述的计算装置，其中，为了为所述一串数字中的每个数字计算加权值，所述程序指令指示所述计算装置将加权因子乘以二进制值以获得加权值。18.如权利要求17所述的计算装置，其中，所述二进制值指示所述散列值序列是否包括与给定数字在所述串中的位置对应的散列值。19.如权利要求18所述的计算装置，其中，所述加权因子指示所述日志消息对于检测所述一个或多个异常事件的相对重要性。20.如权利要求19所述的计算装置，其中，为了执行所述序列向量与所述异常向量集合的比较，所述程序指令指示所述计算装置将余弦相似度函数应用于所述序列向量与所述异常向量集合中的每个异常向量的内点积。21.一种用于识别计算环境中的异常的方法，所述方法包括：从计算环境中的多个节点接收日志数据，其中所述日志数据包括指示由所述多个节点产生的日志消息的信息序列；在所述信息序列中识别代表日志消息的非异常块的主导模式；基于主导模式从所述日志数据中提取非异常块，以揭示不符合主导模式的异常块；至少基于异常块生成异常向量；以及将异常数据分发到所述多个节点中的至少一个节点以检测异常，其中所述异常数据包括异常向量。22.如权利要求21所述的方法，其中，识别所述信息序列内的主导模式包括：识别所述信息序列内的潜在模式；以及至少基于应用于所述潜在模式中的一个或多个潜在模式的评分函数从所述潜在模式中选择主导模...

【专利技术属性】
技术研发人员：王发，R，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：