使用检测模型集合进行异常检测制造技术

描述了用于异常检测的技术。一种示例性方法包括：接收使用一个或多个检测器使用异常检测服务检测时间序列数据中的异常的请求；通过以下方式来配置所述异常检测服务：至少部分地基于以下中的一者或多者来生成用于所述异常检测服务的配置：所述请求、所述时间序列数据和元数据，其中所述配置标识所述一个或多个检测器中的至少一个特定检测器，以及使用所生成配置来配置所述异常检测服务；通过以下方式来使用所配置异常检测服务针对异常评估所述时间序列数据：使用所述一个或多个检测器中的所标识至少一个特定检测器观察潜在异常行为，以及生成异常指示。及生成异常指示。及生成异常指示。

【技术实现步骤摘要】
【国外来华专利技术】使用检测模型集合进行异常检测

技术介绍

[0001]异常检测是数据挖掘中的基础问题中的一个问题。市场中的一些系统基于诸如Holt
‑
Winters的预测模型来生成时间序列方面的异常。这些模型的输出是时间序列的未来值的概率分布。当时间序列输入与预测相比为低概率时，生成这些模型的异常。
附图说明
[0002]将参考附图描述根据本公开的各种实施方案，在附图中：
[0003]图1示出包括异常检测服务的提供商网络的实施方案。
[0004]图2示出根据一些实施方案的异常检测服务可检测的异常的示例。
[0005]图3示出根据一些实施方案的异常检测服务可检测的异常的示例。
[0006]图4示出诸如该异常检测服务的异常检测服务的实施方案。
[0007]图5是示出根据一些实施方案的用于异常检测的方法的操作的流程图。
[0008]图6示出根据一些实施方案的示例性提供商网络环境。
[0009]图7是根据一些实施方案的向客户提供存储服务和硬件虚拟化服务的示例性提供商网络的框图。
[0010]图8是示出可在一些实施方案中使用的示例性计算机系统的框图。
具体实施方式
[0011]本公开涉及用于异常检测服务的方法、设备、系统和非暂时性计算机可读存储介质。根据一些实施方案，异常检测服务使用模型集合来观察潜在异常行为。总的来说，潜在异常行为可能够解释为异常。利用域知识来选择要使用哪个或哪些模型来观察时间序列数据针对特定问题(例如，变点问题、阈值违反、缺失值等)的潜在异常行为。
[0012]图1示出包括异常检测服务的提供商网络的实施方案。异常检测服务110(A)或110(B)将指标的操作域知识并入模型的选择和模型的训练/使用中。在一些实施方案中，异常检测服务110(A)或110(B)从由数据源(诸如内部数据源114和外部数据源116)提供的时间序列数据生成可解释的异常。需注意，在一些实施方案中，如图所示，异常检测服务是指标服务112的一部分(异常检测服务110(A))，并且在一些实施方案中，异常检测服务在指标服务112的外部(异常检测服务110(B))。指标服务112可执行以下非异常检测功能中的一个或多个：收集和存储日志、收集可为默认或自定义的指标(包括时间序列数据)、聚合指标、生成警报、自动缩放资源等。
[0013]数据源114和116提供时间序列数据以由异常检测服务110(A)或110(B)针对潜在异常进行评估。需注意，异常并不一定意味着警报，因为并非所有请求者都想要针对每个异常的警报，而只是想要针对“重要”问题的警报。例如，不指示不健康系统的异常可能是感兴趣的，但不一定是需要对其采取行动的对象。因此，在一些实施方案中，捕获的异常是生成警报的异常的超集。
[0014]异常检测服务110(A)或110(B)包括或有权访问多个不同机器学习模型(集合)或
其他异常检测机制(例如，统计的)。这些模型/算法分析系统和应用程序的指标，确定正常基线，并且在最少用户干预的情况下显露异常。实现针对指标的异常检测可对指标过去数据造成应用程序机器学习算法或模型以创建指标预期值的模型。模型评估指标的趋势以及每小时、每天和每周模式两者。
[0015]基于要评估的指标(时间序列数据)，异常检测服务110(A)或110(B)被配置为使用最佳模型等。异常类型和警报类型因指标类型、应用程序类型等而有所不同。用类型对异常进行注释允许基于指标和/或用户反馈来灵活地挑选正确的异常类型。用户反馈和独特的指标要求用于调整使用什么模型(例如，基于数据集、异常等的注释)、重新训练模型、设置不同的报告阈值等。例如，用户反馈可用于：调整异常的重要性或异常的见解，调整将什么类型的异常用于创建指标的见解等。例如，如果用户反馈季节性异常对于某个指标无用，则那些异常静音。为了获得更好的反馈，异常类型用于生成向用户显示的解释。例如，如果异常是由于趋势变化引起的，则可向用户显示趋势如何改变的解释。
[0016]域知识用于对指标进行注释并且选择异常检测服务110(A)或110(B)使用哪些模型来创建异常和用于基于阈值的异常的规则。域知识也可用于确定何时对异常发出警报。
[0017]为了处理未知指标，异常检测服务110(A)或110(B)可以保守状态开始，使得仅高阈值违反生成警报并且基于元数据注释器的分析来选择其他检测器。例如，如果检测器配置生成器将时间序列分类为连续和平稳，则通常选择变点和缺失值检测器。基于用户反馈来调节警报。例如，对于自定义指标，用户可提供在指标的下端的阈值违反为不可报警的反馈，并且因此不生成针对这种事件的新警报。
[0018]提供商网络100(或“云”提供商网络)为用户提供利用各种类型的计算相关资源中的一者或多者的能力，所述计算相关资源诸如计算资源(例如，执行虚拟机(VM)实例和/或容器、执行批作业、执行代码而不预配服务器)、数据/存储资源(例如，对象存储、块级存储、数据档案存储、数据库和数据库表等)、网络相关资源(例如，配置虚拟网络(包括多组计算资源)、内容传递网络(CDN)、域名服务(DNS))、应用程序资源(例如，数据库、应用构建/部署服务)、访问策略或角色、身份策略或角色、机器图像、路由器及其他数据处理资源等。这些和其他计算资源可作为服务提供，所述服务诸如：可执行计算实例的硬件虚拟化服务、可存储数据对象的存储服务等。提供商网络100的用户(或“客户”)可利用与客户账户相关联的一个或多个用户账户，但是可根据使用的情境稍微可互换地使用这些项。用户可经由一个或多个接口(诸如通过使用应用程序编程接口(API)调用)、经由作为网站或应用程序实现的控制台等跨一个或多个中间网络106(例如，互联网)与提供商网络100交互。API是指客户端和服务器之间的接口和/或通信协议，使得如果客户端以预定义格式发出请求，则客户端应以特定格式接收响应或发起定义的动作。在云提供商网络背景中，API通过允许客户从云提供商网络获得数据或在云提供商网络内引起动作来为客户提供访问云基础设施的网关，从而使得能够开发与托管在云提供商网络中的资源和服务交互的应用程序。API还可使得云提供商网络的不同服务能够彼此交换数据。一个或多个接口可以是提供商网络100的控制平面的一部分或充当控制平面的前端，所述控制平面包括支持和实现可更直接地提供给客户的服务的“后端”服务。
[0019]例如，云提供商网络(或仅“云”)通常是指可访问的虚拟化计算资源(诸如计算、存储和联网资源、应用程序以及服务)的大池。云可提供对可配置计算资源共享池的方便、按
需网络访问，所述计算资源可响应于客户命令而以编程方式预配和发布。可动态地预配和重新配置这些资源以调节到可变负载。因此，云计算可被视为通过公共可访问网络(例如，互联网、蜂窝通信网络)作为服务交付的应用程序以及提供那些服务的云提供商数据中心中的硬件和软件。
[0020]云提供商网络可形成为多个区，其中区是云提供商将数据中心聚集在其中的地理区域。每个区包括经由专用高速本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，其包括：接收使用一个或多个检测器使用异常检测服务检测时间序列数据中的异常的请求；通过以下方式来配置所述异常检测服务：至少部分地基于以下项中的一者或多者来生成用于所述异常检测服务的配置：所述请求、所述时间序列数据和元数据，其中所述配置标识所述一个或多个检测器中的至少一个特定检测器，以及使用所生成配置来配置所述异常检测服务；通过以下方式来使用所配置异常检测服务针对异常评估所述时间序列数据：摄取所述时间序列数据，使用所述一个或多个检测器中的所标识至少一个特定检测器观察潜在异常行为，以及生成异常指示；以及向用户提供所述异常指示。2.如权利要求1所述的计算机实现的方法，其中所述时间序列数据从提供商网络的指标服务摄取。3.如权利要求1
‑
2中任一项所述的计算机实现的方法，其中要检测的异常的类型是基于阈值的异常、缺失数据异常和变点异常中的一者。4.如权利要求1
‑
3中任一项所述的计算机实现的方法，其中所述一个或多个检测器中的所标识至少一个特定检测器是机器学习模型、基于规则的检测器或基于统计的检测器中的一者。5.如权利要求1
‑
4中任一项所述的计算机实现的方法，其还包括：将所观察的潜在异常行为与其他所观察的潜在异常行为聚合，以及仅在聚合量所观察的潜在异常行为超过阈值时才生成异常指示。6.如权利要求1
‑
5中任一项所述的计算机实现的方法，其还包括：对所述异常进行注释以提供有关生成所述异常的原因的见解。7.如权利要求1
‑
6中任一项所述的计算机实现的方法，其还包括：针对所述异常发出警报。8.如权利要求1
‑
7中任一项所述的计算机实现的方法，其中所述请求包括以下项中的一者或多者：要评估的时间序列数据源的指示、放置所检测异常的位置、允许什么用户提供反馈的指示、初始配置、要检测的异常的类型的指示、何时向用户呈现异常的指示、谁要接收异常指示的指示或异常存在的指示、包括指标的命名空间、评估周期的指示、要在评估期间使用的统计数据或百分位数、要报警的数据点以及缺失数据的处理的指示。9.如权利要求1
‑
8中任一项所述的计算机实现的方法，其还包括：通过以下方式来配置所述异常检测服务：确定要评估的时间序列指标，基于以下项中的一者或多者来生...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：亚马逊技术股份有限公司，
类型：发明
国别省市：