【技术实现步骤摘要】
【国外来华专利技术】
本文描述的实施例涉及一种用于检测和解释从环境中获得的数据中的异常的方法和设备。
技术介绍
1、信息技术(it)服务断供是罕见事件，但当它们发生时，它们往往使组织付出惨重成本。加特纳报告估计it断供的平均成本约为每分钟5000美元，其中三分之一的组织一小时损失超过100万美元。故障对云平台(或系统)的影响经常非常明显，因为断供通常同时影响私有云设置中的若干用户，或者更糟的是，同时影响公共云设置中的若干组织。
2、用于云环境的任何自动化故障检测解决方案的至关重要的组成部分是所谓的可解释异常检测(ad)系统，通过该系统，自动化系统监测来自云平台的关键性能度量，并识别云系统何时将处于异常状态。该系统通过使用从云平台的若干组件收集的若干度量来进行关于系统的这种状态的确定。一个关键要求是，除了可能通过仅考虑各个被监测的度量来识别的较简单的异常之外，异常检测系统还应该能够识别更复杂的异常，诸如同时涉及若干度量之间的复杂关系的那些异常。另一个关键要求可能是，除了识别已发生的异常之外，解决方案还应该给出关于为什么度量的特定样本被标记为异常的解释。
3、异常检测解决方案能被编组为一维解决方案和多维解决方案。一维解决方案尝试通过每次仅考虑单个度量来捕获异常。对于这样的解决方案，解释度量值或度量值集合为什么异常通常是简单的，并且直接源于所使用的异常检测解决方案。多维解决方案尝试通过同时考虑一个或多个度量来识别发生的异常。对于具有若干度量的系统(诸如云平台)，一个朴素的解决方案是同时使用若干并行的一维解决方案(即每个度量一个)。然
4、在文献中有用于异常检测的、缺乏可扩展性的若干多维解决方案。
5、例如，su,y.等人(2019，7月)“robustanomalydetection formultivariate timeseries through stochastic recurrent neural network”(在proc.acm sigkdd知识发现和数据挖掘国际会议(第2828-2837页)中)介绍了使用递归神经网络(rnn)和变分自动编码器(vae)对多变量时间序列数据集进行异常检测。所提出的方法由五个主要模块组成：(1)预处理，(2)模型训练，(3)阈值选择，(4)在线检测和(5)异常结果。在预处理模块中，通过数据标准化对数据集进行变换，并且然后通过滑动窗口将其分段成序列。接下来，正常训练多变量时间序列被发送到模型训练模块，以学习捕获多变量时间序列的正常模式的模型。在阈值选择步骤中，使用峰值超过阈值(pot)方法自动计算异常阈值。在步骤4中接收到在线数据后，使用异常结果步骤中步骤1和4的输出来检测异常。此外，对于vae适配rnn、长短期存储器(lstm)和门控递归单元(gru)以捕获时间序列数据集中传感器值的时间关系。然而，这种解决方案以及与它类似的其他解决方案未提供对检测到的异常的解释。
技术实现思路
1、根据一些实施例，提供有一种使用编码器-解码器机器学习模型来检测和解释从环境中获得的数据中的异常的方法，其中，所述环境的状态由多个特征来表示，并且其中，所述编码器-解码器机器学习模型用数据样本的第一集合来训练，并且所述数据样本的第一集合中的每个数据样本包括所述多个特征中的每个特征的值。该方法包括：确定多个特征中的每个特征的相应第一阈值，所述确定是基于在编码器-解码器机器学习模型的训练期间找到的每个特征的相应最大重构误差；获得异常数据样本；使用经训练的编码器-解码器机器学习模型来确定异常数据样本中每个特征的相应重构误差；以及确定异常数据样本中对异常数据样本异常有责任的一个或多个特征，所述确定是响应于与一个或多个特征相关联的重构误差大于或等于相应第一阈值。
2、根据一些实施例，提供有一种用于使用编码器-解码器机器学习模型来检测和解释从环境中获得的数据中的异常的设备，其中，所述环境的状态由多个特征来表示，并且其中，所述机器学习模型用数据样本的第一集合来训练，并且所述数据样本的第一集合中的每个数据样本包括所述多个特征中的每个特征的值。所述设备包括处理电路，所述处理电路配置成使所述设备执行如上所述的方法。
3、根据一些实施例，提供有一种包括指令的计算机程序，所述指令当在至少一个处理器上执行时，使所述至少一个处理器执行如上所述的方法。
4、根据一些实施例，提供有一种计算机程序产品，所述计算机程序产品包括其上存储有如上所述的计算机程序的非暂时性计算机可读介质。
本文档来自技高网...【技术保护点】
1.一种使用编码器-解码器机器学习模型来检测和解释从环境中获得的数据中的异常的方法，其中，所述环境的状态由多个特征来表示，并且其中，所述编码器-解码器机器学习模型用数据样本的第一集合来训练，并且所述数据样本的第一集合中的每个数据样本包括所述多个特征中的每个特征的值，所述方法包括：
2.如权利要求1所述的方法，其中，所述数据样本的第一集合被认为不包含异常。
3.如权利要求1所述的方法，进一步包括：用所述数据样本的第一集合训练所述编码器-解码器机器学习模型。
4.如权利要求1至3所述的方法，其中，所述多个特征中的每个特征的所述相应第一阈值等于所述相应特征的所述最大重构误差。
5.如权利要求1至3所述的方法，其中，所述多个特征中的每个特征的所述相应第一阈值大于所述相应特征的所述最大重构误差的第95百分位。
6.如权利要求1至3中任一项所述的方法，其中，响应于所述数据样本的第一集合包括(100-N)％异常而将所述多个特征中的每个特征的所述相应第一阈值设置为所述相应特征的所述最大重构误差的第N百分位，其中，N是数值。
8.如权利要求7所述的方法，其中，确定所述映射函数的步骤包括使用多元线性回归来确定包括噪声信号的特征的重构误差和两个变量之间的相关性，其中，所述两个变量包括所述已知噪声信号和所述有噪声的数据样本集合中的每个数据样本中的有噪声特征的数量。
9.如权利要求8所述的方法，进一步包括：
10.如权利要求1至9中任一项所述的方法，进一步包括：
11.如权利要求10所述的方法，其中，获得异常数据样本的步骤包括：
12.如权利要求11所述的方法，进一步包括：
13.如权利要求11或12所述的方法，进一步包括：
14.如权利要求11至13所述的方法，其中，获得异常数据样本的步骤包括：
15.如权利要求14所述的方法，进一步包括：
16.如权利要求14或15所述的方法，进一步包括：
17.如权利要求16所述的方法，进一步包括：
18.如权利要求16或17当从属于权利要求12时所述的方法，进一步包括：
19.如权利要求18所述的方法，其中，获得异常数据样本的步骤包括：
20.如权利要求1至19中任一项所述的方法，其中，所述数据样本的第一集合和所述异常样本已经被归一化。
21.如权利要求1至20中任一项所述的方法，其中，所述数据样本的第一集合是基于数据样本的原始集合的变化率来计算的。
22.如权利要求1至21中任一项所述的方法，其中，所述多个特征各自与所述环境的不同方面相关联。
23.如权利要求22所述的方法，其中，所述异常数据样本中对所述异常数据样本异常有责任的所述一个或多个特征与所述环境的、已造成所述异常数据样本异常的一个或多个相应方面相关联。
24.如权利要求1至23中任一项所述的方法，其中，所述环境包括云系统。
25.如权利要求24所述的方法，其中，所述多个特征包括以下项中的两项或更多项：由服务器进行的存储器利用、由服务器进行的处理能力利用以及归因于在服务器处的被监测过程之间发送数据的时间。
26.如权利要求1至23中任一项所述的方法，其中，所述环境包括无线电接入网络。
27.如权利要求26所述的方法，其中，所述多个特征包括以下项中的两项或更多项：
28.如权利要求1至28中任一项所述的方法，其中，所述编码器-解码器机器学习模型包括自动编码器。
29.一种用于使用编码器-解码器机器学习模型来检测和解释从环境中获得的数据中的异常的设备，其中，所述环境的状态由多个特征来表示，并且其中，所述机器学习模型用数据样本的第一集合来训练，并且所述数据样本的第一集合中的每个数据样本包括所述多个特征中的每个特征的值，所述设备包括处理电路，所述处理电路配置成使所述设备执行如权利要求1至28中任一项所述的方法。
30.一种包括指令的计算机程序，所述指令当在至少一个处理器上执行时，使所述至少一个处理器执行如权利要求1至28中任一项所述的方法。
31.一种计算机程序产品，包括其上存储有如权利要求30所述的计算机程序的非暂时性计算机可读介质。
...【技术特征摘要】
【国外来华专利技术】
1.一种使用编码器-解码器机器学习模型来检测和解释从环境中获得的数据中的异常的方法，其中，所述环境的状态由多个特征来表示，并且其中，所述编码器-解码器机器学习模型用数据样本的第一集合来训练，并且所述数据样本的第一集合中的每个数据样本包括所述多个特征中的每个特征的值，所述方法包括：
2.如权利要求1所述的方法，其中，所述数据样本的第一集合被认为不包含异常。
3.如权利要求1所述的方法，进一步包括：用所述数据样本的第一集合训练所述编码器-解码器机器学习模型。
4.如权利要求1至3所述的方法，其中，所述多个特征中的每个特征的所述相应第一阈值等于所述相应特征的所述最大重构误差。
5.如权利要求1至3所述的方法，其中，所述多个特征中的每个特征的所述相应第一阈值大于所述相应特征的所述最大重构误差的第95百分位。
6.如权利要求1至3中任一项所述的方法，其中，响应于所述数据样本的第一集合包括(100-n)％异常而将所述多个特征中的每个特征的所述相应第一阈值设置为所述相应特征的所述最大重构误差的第n百分位，其中，n是数值。
7.如权利要求1至6中任一项所述的方法，进一步包括：通过以下方式训练敏感度分析模型，其中，所述敏感度分析模型包括映射函数：
8.如权利要求7所述的方法，其中，确定所述映射函数的步骤包括使用多元线性回归来确定包括噪声信号的特征的重构误差和两个变量之间的相关性，其中，所述两个变量包括所述已知噪声信号和所述有噪声的数据样本集合中的每个数据样本中的有噪声特征的数量。
9.如权利要求8所述的方法，进一步包括：
10.如权利要求1至9中任一项所述的方法，进一步包括：
11.如权利要求10所述的方法，其中，获得异常数据样本的步骤包括：
12.如权利要求11所述的方法，进一步包括：
13.如权利要求11或12所述的方法，进一步包括：
14.如权利要求11至13所述的方法，其中，获得异常数据样本的步骤包括：
15.如权利要求14所述的方法，进一步包括：
16.如权利要求14或15所述的方法，进一步包括：
17.如权利要...
【专利技术属性】
技术研发人员：R·A·加勒赫塔基，F·乌希布，A·易卜拉欣扎德，R·格利托，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。