异常检测的动态配置制造技术

所公开的实施例生成多个异常检测器配置，并且将由这些异常检测器生成的结果与参考结果集合进行比较。参考结果集合由经训练的模型来生成。由异常检测器所生成的每个结果与结果集合之间的相关性被比较，以选择异常检测器配置，该异常检测器配置提供与经训练的模型的结果最相似的结果。然后，在一些实施例中，定义被选择的配置的数据被传送到产品设施。产品设施实例化经定义的异常检测器，并且使用实例化的检测器对本地事件进行分析。在一些其它实施例中，经定义的异常检测器由选择异常检测器的同一系统来实例化，因此在这些实施例中，异常检测器配置未被从一个系统传输到另一个系统。测器配置未被从一个系统传输到另一个系统。测器配置未被从一个系统传输到另一个系统。

【技术实现步骤摘要】
【国外来华专利技术】异常检测的动态配置

技术介绍

[0001]异常检测技术具有许多优点。特别地，异常检测可以从未标记的数据中标识新的或唯一的事件。相反地，机器学习中的监督式分类擅长于检测已知的事件的再次发生，但是依赖于那些事件的标记的示例来学习模型。例如，在安全领域中，异常检测可以标识陌生的程序行为并且展示此前未见的恶意软件类型，而监督式分类器则更适合检测已知的恶意软件类型。
[0002]尽管异常检测具有其优点，但是异常检测在实践中可能难以使用。首先，尽管存在一系列异常检测算法，但是它们可以由超参数来调整，以制定由特定检测器所采用的“新的”的定义。预测异常检测器的哪种特定的配置将产生有用的结果可能是有挑战性的。其次，更根本地，“新的”不同于“有用的”。回到安全示例，有许多合法程序表现出罕见的但是非恶意的行为。这两个问题都会导致难以处理的障碍，即标识异常检测算法和参数的组合的障碍，该异常检测算法和参数检测针对手头的任务提供有用的观察的“新的”事件。因此，需要改进的异常检测的方法。
附图说明
[0003]在附图中，相同的数字符号在不同视图中可以描述相似组件，附图不是必须按比例绘制。具有不同字母后缀的相同数字符号可以表示相似组件的不同实例。附图通过示例而非限制的方式总体上图示了本文档中所讨论的各种实施例。
[0004]图1是在所公开的实施例中的至少一个实施例中被实现的异常检测器定义系统的概观图。
[0005]图2A至2C是在所公开的实施例中的一个或多个实施例中图示数据流的数据流图。
[0006]图3示出了在所公开的实施例中的一个或多个实施例中被实现的示例数据结构。
[0007]图4示出了在所公开的实施例中的至少一个实施例中的异常检测器中存在的示例数据流。
[0008]图5是在所公开的实施例中的一个或多个实施例中被实现的示例消息部分。
[0009]图6示出了可以在所公开的实施例中的一个或多个实施例中被实现的示例消息部分。
[0010]图7是用于定义异常检测器的过程的流程图。
[0011]图8是用于定义异常检测器的过程的流程图。
[0012]图9是用于应用异常检测器配置的过程的流程图。
[0013]图10图示了在所公开的实施例中的一个或多个实施例中被实现的示例机器的框图。
具体实施方式
[0014]下面的描述和附图充分地说明了具体实施例，以使本领域的技术人员能够实践它们。其它实施例可以结合结构的、逻辑的、电气的、过程、和其它变化。一些实施例的部分和
特征可以被包括在其它实施例的部分和特征中，或者被其它实施例的部分和特征代替。在权利要求中所阐述的实施例涵盖这些权利要求的所有可用的等同物。
[0015]所公开的实施例描述了在异常检测器性能方面提供持续的改进的环境。如下面进一步所讨论的，异常检测器创建集线器生成多个异常检测器配置，并且实例化这些异常检测器。由异常检测器中的每个异常检测器来对测试数据集进行分析，其中每个异常检测器排序事件和/或分类事件。在一些实施例中，事件被排序以指示相对的异常等级或每个事件的相关度(relevance)。因此，在一些实施例中，排序第一的事件是相对于测试数据中所包括其他事件最异常的事件。事件还经由经训练的分类器而被排序。使用带注释的训练的数据来训练分类器，带注释的训练的数据可以已经经由人类输入和/或人类与机器输入的组合而被注释。
[0016]在一些实施例中，事件的排序还传达被排序的事件是多个事件类型中的每个事件类型的概率。在一些实施例中，该排序包括针对每个事件的多个概率。多个概率中的每个概率传达事件是多个事件类型中的一个事件类型的概率。
[0017]由经训练的分类器所生成排序和/或分类被认为是参考排序或参考分类。然后将参考排序与由实例化的检测器中的每个检测器生成的排序/分类进行比较。该比较可以包括生成相关性(correlation)的指示，该相关性是参考排序/分类与由实例化异常检测器生成的排序/分类之间的相关性。具有与参考排序/分类最高的相关性的异常检测器可以被选择以用于分发到一个或多个产品设施。
[0018]在异常检测器配置被选择之后，定义配置的数据被分发到产品设施。例如，在某些方面，异常检测器创建集线器由软件供应商维护。在软件厂商选择异常检测器配置之后，软件厂商将定义配置的数据分发到在客户地点处的产品设施。然后，产品设施中的每个产品设施能够在客户地点处的本地环境中实例化所选择的检测器。然后，实例化的检测器对本地客户环境内所生成的数据进行操作。
[0019]在一些所公开的实施例中，产品设施还用于将训练数据提供回异常检测器创建集线器。该附加训练数据被用于评估异常检测器配置中的附加变型。在一些实施例中，附加训练数据被注释，以进一步训练上述的经训练的模型，从而生成第二参考排序或第二参考分类。然后对照第二参考排序或第二参考分类，异常检测器配置中的附加变型被评估。如上所述，导致与改进的第二参考排序或第二参考分类最相关的配置被选择，并且定义相同配置的数据被再次分发到产品设施。该循环可以在特定产品和/或异常检测器应用的寿命期间重复。
[0020]图1是在所公开的实施例中的至少一个实施例中被实现的异常检测器定义系统100的概观图。系统100包括异常检测器创建集线器102。异常检测器创建集线器102与四个产品设施104a
‑
104d进行通信。产品设施104a
‑
104d表示针对产品的设施地点或部署地点。产品设施利用异常检测器来检测在相应的产品设施(例如，104a
‑
104d中的任何)的本地环境内发生的异常行为。
[0021]创建集线器102被示出，创建集线器102将异常检测器定义数据106a
‑
106d分别分发到产品设施104a
‑
104d中的每个产品设施。异常检测器定义数据106a
‑
106d可以定义异常检测算法以及用于该算法的一个或多个超参数值。产品设施104a
‑
104d将经定义的异常检测器部署到它们相应的产品。产品设施104a
‑
104d还收集定义一个或多个计算机系统事件
的事件数据。在各种实施例中，计算机系统事件标识进程创建事件、在网络上传输的分组、文件操作(诸如文件创建、删除、修改、注册表编辑)、登录/注销事件、或其它类型的事件。这些事件中的每个事件还标识与该事件相关联的一个或多个参数。例如，在一些实施例中，进程创建事件标识与在进程被创建时被实例化的可执行代码相关联的文件名。至少在一些实施例中，“createprocess()”函数的输入参数也被定义为事件的一部分。
[0022]然后，产品设施104
‑
104d将相应的事件数据的至少一部分(在图1中被示出为训练数据108a
‑
108d)传输给异常检测器创建集线器102。异常检测器创建集线器102可以利用训练数据108a
‑
108d来改进异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：硬件处理电路系统；一个或多个硬件存储器，所述一个或多个硬件存储器存储指令，所述指令在被执行时配置所述硬件处理电路以执行操作，所述操作包括：经由经训练的模型，对多个计算系统事件进行分析；基于所述分析，确定所述多个计算系统事件的第一排序；由多个异常检测器中的每个异常检测器，对所述多个计算系统事件进行分析；基于由所述多个异常检测器中的每个异常检测器进行的所述分析，确定所述多个计算系统事件的对应的多个第二排序；确定多个相关性，所述相关性中的每个相关性为所述第一排序与所述第二排序中的相应的第二排序之间的相关性；基于所述多个相关性，选择所述多个异常检测器中的一个异常检测器；以及将定义所述多个异常检测器中的被选择的所述异常检测器的数据传输到产品设施。2.根据权利要求1所述的系统，其中所述多个异常检测器中的至少两个异常检测器利用不同的异常检测算法，或者利用具有用于超参数的不同的值的等同的异常检测算法。3.根据权利要求1所述的系统，其中所述多个相关性的所述确定使用斯皮尔曼的ρ、肯达尔的τ、组合的斯皮尔曼和肯达尔、秩双列、平均秩双列来确定所述相关性。4.根据权利要求1所述的系统，其中所述多个异常检测器包括单分类支持向量机(SVM)算法、K均值聚类算法、或局部离群因子算法中的一种或多种算法。5.根据权利要求4所述的系统，其中所述多个异常检测器中的至少两个异常检测器利用具有不同的局部性(K)值的局部离群因子算法。6.根据权利要求4所述的系统，其中所述多个异常检测器中的至少两个异常检测器利用具有不同的内核的单分类SVM，所述不同的内核选自(径向基函数(rbf)、线性、多项式、或S形)。7.根据权利要求4所述的系统，其中所述多个异常检测器中的至少两个异常检测器利用具有不同的nu值的单分类SVM。8.根据权利要求4所述的系统，其中所述多个异常检测器中的至少两个异常检测器利用具有不同的局部性(K)值的K均值聚类。9.根据权利要求1所述的系统，其中所述相关性基于所述排序中的每个排序的最高排序的部分而被确定。10.根据权利要求1所述的系统，所述操作还包括经由离群保留归一化，来调整所述第二排序。11.根据权利要求1所述的系统，所述操作还包括：经由中间多个计算机系统事件的基于聚类的特征变换，生成所述多个计算系统事件；以及通过投影到在所述中间多个计算机系统事件内变化的最频繁的...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：