分布式模式发现制造技术

本文公开的示例实施例涉及分布式模式发现。能够合并一个或多个局部频繁模式树。该合并能够基于与该一个或多个局部频繁模式树关联的活动或事务。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
安全信息和事件管理(SIEM)技术提供由网络硬件和应用程序生成的安全警报的实时分析。SIEM技术能够检测对计算网络的潜在威胁。这些潜在威胁能够根据安全事件的分析来确定。【附图说明】下面的【具体实施方式】参照附图，其中:图1至图3是根据各示例的用于分布式模式发现的计算系统的框图；图4是根据一个示例的局部设备的框图；图5是根据一个示例的分层设备的框图；以及图6至图8是根据各示例的用于分布式模式发现的方法的流程图。【具体实施方式】模式发现(pattern discovery)是基于数据挖掘的先占式方法，以解决由安全信息和事件管理(SIEM)系统面临的许多挑战。随着大安全数据的增长和由职业信息攻击者使用的协作技术的推进，SIEM系统正在面临各种挑战，如零日漏洞探索、慢攻击、从一个系统至另一系统扩散的长期渗透以及信息撤出。进一步，黑客们正在向他们的武器库中加入以前没有见过的新武器。先占式方法能够用来检测系统异常，不是通过匹配已知签名，而是通过对安全信息进行相关和发现系统中未知跟踪模式。SIEM中的模式发现是确定这些漏洞的强大方法。关联挖掘算法可以用于系统中的数据，以检测模式，模式在一个示例中可以是不同事务之间频繁共同发生的事件。可以通过跟踪系统来开发这些模式，并且一旦这些模式被确定为恶意的，那么这些模式可以用于实时系统监视和分析。在特定示例中，网络的安全信息/事件管理可以包括从网络和网络设备收集反映网络活动和/或网络设备操作的数据，并且分析该数据以提高安全性。网络设备的示例可以包括防火墙、入侵检测系统、服务器、工作站、个人计算机等。可以分析该数据以检测模式，模式可以表示网络或网络设备上的攻击或异常。检测到的模式可以用于例如定位该数据中的那些模式。例如，那些模式可以表示以下活动:蠕虫或另一种计算机病毒正在试图访问该网络中的计算机并安装恶意软件。从网络和网络设备收集的数据用于事件。事件可以是能够被监控和被分析的任何活动。为事件捕获的数据被称为事件数据。可以执行对所捕获的事件数据的分析，以确定该事件与威胁关联还是与某一其它情况关联。与事件关联的活动的示例可以包括登录、注销、通过网络发送数据、发送电子邮件、访问应用程序、读取或写入数据、端口扫描、安装软件等。可以从由网络设备生成的消息、日志文件条目或从其它源收集事件数据。安全系统还可以生成事件数据，如相关事件和审计事件。在一些实例中，每秒钟可以生成一千个事件。这可以达到每天I亿个事件或每月30亿个事件。在一些示例中，还可以通过建立已经脱机学到的系统正常模式的基线(baseline)来实现异常检测。当任何异常发生时，该系统能够检测新模式并告警系统管理。SIEM的单个节点上的模式发现可能受系统资源(例如存储器、数据库(DB)的1带宽、等)限制，从而其可能不能处理在目前企业安全系统中常见的大数据。因此，本文公开的各实施例涉及SIEM中的分布式模式发现。本文描述的方法允许并行处理SIEM上的模式发现。例如，可以对大数据安全信息管理域实现批处理模式解决方案。分布式模式发现引擎能够以多级分布式的方式探查大量数据来捕获模式。局部节点可以生成局部模式树。局部模式树可以被发送至合并节点，合并节点可以将局部模式树合并为全局模式树。全局模式树可以被回传至局部节点，在特定示例中，可以使用全局模式树和/或局部模式树执行安全功能。此外，在一些示例中，模式树可以包括关于潜在模式的信息。该信息可以包括实际的潜在模式和/或指向这些潜在模式。进一步，局部模式树可以包括潜在模式的支持度信息和/或长度信息，或与潜在模式的支持度信息和/或长度信息关联。该分布式方法可以将数据划分到不同局部节点内，以避免数据密集的1瓶颈。进一步，这些分布式方法并行处理事务构建和局部频繁模式树(local frequent patterntree)生成，以避免计算密集的瓶颈。利用这些方法，局部节点首先检查事件要件并且将相关事件的组识别为事务(transact1n)。然后，确定频繁项集。在特定示例中，频繁项集是在不同事务之间频繁一起发生的相关事件的组。因此，在事务中可以包括一个或多个安全事件。这些频繁项集中的一些频繁项集(可以定制这些频繁项集，以例如满足由消费者指定的标准)是对恶意攻击的跟踪并且可以用作用于进一步分析的签名。这可以是关联项集挖掘的情况，该情况可以正式地表述如下:令I = {&1, a2，a3，…，am}为一项集，并且事务数据库DB是I的子集的集合，该集合由DB = IT1J2,T3，…，TJ表示，其中TiQ彡i彡η)被称为事务。由supp(A)表示的潜在模式A的支持度是在DB中包含A的事务的数量，并且由Iength(A)表示的潜在模式A的长度是A中项的数量。在一个示例中，当且仅当supp (A)彡ξ丨并且Iength(A)彡ξ 2时，A被认为是频繁模式(frequentpattern)，其中ξ i是模式支持度的预定阈值，ξ 2是模式长度的预定阈值。项的示例可以包括用于模式发现的域(field)和参数。模式长度可以被认为是活动的数量。根据示例，为模式发现选择域和参数。事件数据中的事件可以具有多个属性。可以根据与事件数据中的事件的属性关联的域来存储该事件数据。例如，域是描述事件数据中事件的属性。域的示例包括事件日期/时间、事件名称、事件类别、事件ID、源地址、源MAC地址、目的地址、目的MAC地址、用户ID、用户权限、设备客户字符串等。事件数据可以被存储在由域组成的表格中。在一些情况下，可以使用反映不同事件属性的数百个域来存储事件数据。为进行模式发现，选择这些域中的一些域。例如，所选择的域可以包括来自该表格的域的集合。该集合中的域的数量可以包括来自该表格的域中的一个或多个域。为该集合选择的域可以根据各种统计进行选择，并且可以被存储在模式发现配置文件(profile)中。模式发现配置文件是用于发现事件数据中的模式的任何数据。模式发现配置文件可以包括用于模式发现的域的集合、参数和其它信息。除了包括域以外，参数可以用于模式发现。在用于模式发现的模式发现配置文件中可以包括参数。参数可以指定为检测模式而将模式发现配置文件中的域与事件数据进行匹配的条件。参数还可以用于调整检测到的模式的数量。参数的一个示例是模式长度，模式长度是活动的数量。模式长度参数可以表示对被认为是模式的活动执行的不同活动的最小数量。参数的另一示例是重复性参数，该重复性参数可以表示为使不同活动被认为是模式而将不同活动重复的最少次数。在一个示例中，重复性与两个域关联。例如，可以将重复性表示为该活动在源域和目标域之间重复的源域和目标域的不同组合。源IP地址和目标IP地址的不同组合的最小数量是重复性参数的示例。可以调整这些参数，直至识别出预定数量的匹配模式。在特定示例中，模式是像事务这样的多个不同活动的序列。频繁模式可以被检测为满足诸如支持度和长度之类的特定参数的潜在模式。在模式的示例中，活动的该序列包括扫描端口、识别开放端口、向该端口发送具有特定净荷的分组、登录计算机系统以及在该计算机系统上的特定位置存储程序。还识别重复的模式。例如，如果重复多个不同活动，那么其可以被认为是重复模式。模式还可以在两个计算机系统之间。因此，该本文档来自技高网...

【技术保护点】
一种用于分布式模式发现的系统，包括：节点，包括处理器和存储器，所述节点用于：从多个子节点接收多个局部频繁模式树，其中各个局部频繁模式树基于多个事务；将所述多个局部频繁模式树合并到所述多个子节点的全局模式树内；将该全局模式树发送至所述多个子节点。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：阿努拉克·辛格拉，赵志鹏，高飞，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：美国;US