分布式事件处理制造技术

一种分布式事件处理方法包括提供多个连接器。每个所提供的连接器被配置成从所分配的数据源获取事件数据，将所获取得事件数据划分成簇，并且将每个簇分割成块。该方法也包括从多个连接器收集所述块，并且将所述块存储至能够被查询的数据文件。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】一种分布式事件处理方法包括提供多个连接器。每个所提供的连接器被配置成从所分配的数据源获取事件数据，将所获取得事件数据划分成簇，并且将每个簇分割成块。该方法也包括从多个连接器收集所述块，并且将所述块存储至能够被查询的数据文件。【专利说明】分布式事件处理
技术介绍
事件管理系统通过收集来自多个源的数据并将所收集的数据集中地存储来操作以使得所收集的数据可以被分析以用于一个或多个特定目的。在一些情况下，该数据能包括数百万或者甚至数十亿记录。例如，安全信息/事件管理系统运行以I)从网络和联网设备收集反映网络活动和/或设备的操作的数据；以及2)分析该数据以增强安全性。该数据能够被分析以识别网络或联网设备上的攻击并且确定哪个用户或机器是有责任的。如果该攻击是正在进行的，则可执行对策以阻碍该攻击或减轻该攻击所造成的损害。被收集的数据通常起源于由联网设备所生成的日志文件中的条目或消息(诸如事件、警报或警告)。示例性网络设备包括防火墙、入侵检测系统和服务器。【专利附图】【附图说明】图1描述了其中可以实现各种实施例的环境。图2描述了根据示例的系统。图3描述了根据示例的存储器和处理器的框图。图4是描述被采取以实现示例的步骤的流程图。图5是根据示例的通信序列图。【具体实施方式】引言:事件管理系统收集、处理和存储来自各种源的事件记录。此类处理能包括规范化、划分、索引和压缩。对于给定系统的记录可以从多个设备收集并且数以十亿计。集中处理从多个源收集的记录可能消耗显著的通信带宽和处理器资源。下面描述的各种实施例操作将处理功能分布在被称作连接器(connector)的多个代理之间以降低任何给定处理器上的需求。另外，当处理记录时，所述连接器可增加压缩级别，从而降低当递送所述记录以供集中存储时所消耗的通信带宽。在示例性实现方式中，提供了多个连接器。每个连接器被配置成从所分配的数据源获取事件数据并且将所获取的事件数据划分成簇。每个簇可以包括被分段成事件字段的列的事件数据的行。所述连接器负责将分区分割成块(chunk)。此类块可以被压缩。块是分区的被选择的部分。在示例中，块包括给定簇列的字段。所述块收集自多个连接器并被存储至能被查询的数据文件。值得注意的是来自各个连接器的块可以在被存储之前被合并或者以其他方式被结合。通过存储表示分区的列的块，该数据文件被读优化。在示例中，每个连接器组装针对每个块的元数据。该元数据可被包括在每个块中或者以其他方式被链接到每个块。当所述块被收集、合并和存储时，该元数据被用于维护对于数据文件的索引。在对于每个块的元数据识别该块的情况下，所得到的索引允许访问并且响应于查询而从数据文件返回单独的块。图1描述了其中可实现各种实施例的环境10。环境10被示出为包括事件管理设备12、数据存储装置14、网络数据源16以及客户端设备18。事件管理设备12通常表示任何计算设备或计算设备的组合，其被配置成收集和存储由网络数据源16所生成的事件数据。事件管理设备12将事件数据存储在数据存储装置14中并且负责通过返回满足给定查询的被存储数据的被选择部分而对来自客户端设备18的查询进行响应。每个网络数据源16通常表示设备或在设备上运行的应用，其被配置成提供事件数据。事件数据是描述事件的数据并且可以在由给定数据源16所生成的日志或消息中捕获。作为示例，入侵检测系统(IDS)、入侵防御系统(IPS)、脆弱性评估工具、防火墙、反病毒工具、反垃圾邮件工具和加密工具可以生成描述由数据源16所执行的活动的日志。例如，可以由在日志文件或系统日志服务器中的条目、警报、警告、网络数据包、电子邮件或通知页面来提供事件数据。在图1的示例中，数据源16被描述为入侵检测设备、服务器和防火墙。更一般地，数据源16是网络节点，其可以是网络设备或软件应用。作为示例，其他类型的数据源能包括入侵防御系统、脆弱性评估工具、反病毒工具、反垃圾邮件工具、加密工具、应用审计日志和物理安全日志。链路20通常表示电缆、无线、光纤或者经由电信链路、红外链路、射频链路或者提供电子通信的任何其他连接器或系统的远程连接中的一个或多个。链路20可以至少部分包括内网、互联网、或两者的组合。链路20也可包括中间代理、路由器、交换机、负载均衡器坐坐寸寸ο下面的描述被分成几个部分。第一，标记为“组件”，描述了用于实现各种实施例的各种物理和逻辑组件的示例。第二部分，标记为“操作”，描述了实现各种实施例而采取的步骤。组件:图2-3描述了用于实现各种实施例的物理和逻辑组件的示例。图2描述了分布式事件处理系统22。在图2的示例中，系统22包括连接器24和存储管理器26。图2也描述了与连接器24通信的数据源16并且将数据文件28和索引30描述为对存储管理器26可访问的。每个连接器24通常表示硬件和编程的任何组合，其被配置成从数据源16中所分配的一个获取事件数据、将所获取的事件数据划分成簇并且将每个簇分割成块。虽然示出三个连接器24，系统22可以包括任何数量的连接器24。将给定连接器24分配至一个或多个给定数据源16反映该特定连接器24被配置成处理从所述一个或多个数据源16收集的格式的事件数据。给定连接器24可被实现为其被分配的数据源16的集成组件。连接器24可通过单独的网络设备(诸如应用服务器)来实现。然而其他连接器24可以被集成于存储管理器26。如上面讨论的，事件数据能采用多个形式，诸如在日志文件或系统日志服务器中的条目、警报、警告、网络数据包、电子邮件或通知页面。给定的连接器24可通过主动地从其被分配的数据源16检索事件数据来获取事件数据，或者它可被动地接收事件数据。对于给定连接器24，该事件数据能随着时间在事件批量(batch)中获取。所获取的事件数据被划分成簇。在示例中，给定的事件数据簇可以对应于批量。在其他示例中，簇可包含多个批量或者可以是从所分配的数据源16接收的事件数据的批量的部分。如果需要的话，该事件数据可被连接器24规范化为预定义的模式(schema)以使得被表示在事件数据中的每个事件对应于具有出现在该行的字段中的事件的各种属性的行。因此，事件数据簇然后能被表示为具有出现在相同列中的给定类型的属性的表格。换言之，每个簇包括被分段成事件字段的列的事件数据的行。每个事件字段包含表示该事件的属性的数据。对于每个这样的簇，对应的连接器24将该簇分割成块，其中每个块表示在该簇中的事件字段的列。每个连接器24可获取、生成或以其他方式维护对于每个事件数据的元数据。特别地，此类元数据可被包括在每个块中或以其他方式被链接至每个块。例如，元数据能识别其关联的块以及包含在该块中的与事件属性相关的信息。此类信息可涉及属性类型和特定属性值以及更广泛地涉及块从其中被分割的事件的特性。此类更广泛的信息可识别在对应的数据源16处生成事件的时间，以及在对应的连接器24处接收事件的时间。对于给定的块，其关联的元数据可识别时间窗，相对于所述时间窗其对应的事件在源16处被生成或在连接器24处被接收。存储管理器26通常表示硬件和编程的任何组合，其被配置成从连接器24收集块并且将所收集的块存储至一个或者多个数据文件28。所述块可被存储为或者被合并的或者以其他方式被结合的并然后被存储。除了收集所述块之外，存储管理器本文档来自技高网...

【技术保护点】
一种分布式事件处理方法，包括：提供多个连接器，每个连接器被配置成从所分配的数据源获取事件数据，将所获取的事件数据划分成簇，并且将每个簇分割成块，从多个连接器收集所述块；以及将所述块存储至能够被查询的数据文件中。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：Y·周，W·黄，M·S·维斯顿，H·阿贵拉马西雅斯，D·E·维塞，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：美国;US