用于异常检测的网络行为数据收集和分析制造技术

在一个实施例中，一种方法包括：在运行于网络设备处的分析模块处接收从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，以从发送到网络组件和从网络组件发送的分组中获得网络流量数据，并且从网络中的多个角度监视网络内的网络流；在分析模块处处理网络流量数据，其中网络流量数据包括进程信息、用户信息和主机信息；并且基于对网络行为的动态建模在分析模块处标识网络流量数据内的异常。本文还公开了装置和逻辑。

【技术实现步骤摘要】
【国外来华专利技术】用于异常检测的网络行为数据收集和分析相关申请声明本申请要求于2015年6月4日提交的名称为“通过网络行为的普遍视角的异常检测(ANOMALYDETECTIONWITHPERVASIVEVIEWOFNETWORKBEHAVIOR)”的美国临时申请No.62/171,044的优先权(代理人案号CISCP1283+)。该临时申请的内容通过引用整体合并于此。
本公开一般涉及通信网络，并且更具体地，涉及异常检测。
技术介绍
大数据被定义为体积如此之大速度如此之高、以至于使用传统的关系数据库工具无法进行经济的处理和分析的数据。通常情况下，机器生成的数据与其它数据源相结合，对企业及其(IT)信息技术组织都构成挑战。随着组织中的数据爆炸性增长，大部分新数据都是非结构化的，企业及其IT组织面临着一系列与可伸缩性、复杂性和安全性有关的特殊问题。异常检测用于标识不符合预期模式或数据的行为的项目、事件或流量。例如，异常检测系统可以学习正常活动，并对与正常行为相背离的行为采取行动。传统的网络异常检测通常发生在高层级上，而不是基于当大数据实现时的网络流量的综合视角，因此导致了一些限制。附图说明图1示出了其中可以实现本文描述的实施例的网络的示例。图2描绘了用于实现本文描述的实施例的网络设备的示例。图3示出了根据一个实施例的、用于异常检测的网络行为收集和分析系统。图4示出了根据一个实施例的图3的系统的细节。图5是图示根据一个实施例的、利用网络的普遍视角的异常检测的概述的流程图。图6示出了根据一个实施例的用于异常检测的处理流程。贯穿附图的多个视图，相应的附图标记表示相应的部件。具体实施方式概述在一个实施例中，一种方法通常包括：在运行于网络设备处的分析模块处接收从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，以从发送到网络组件和从网络组件发送的分组获得网络流量数据，并且从网络中的多个角度监视网络内的网络流；在分析模块处处理网络流量数据，其中网络流量数据包括进程信息、用户信息和主机信息；并且基于对网络行为的动态建模在分析模块处标识网络流量数据内的异常。在另一实施例中，装置通常包括接口，该接收从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，以从发送到网络组件和从网络组件发送的分组获得网络流量数据，并且从网络中的多个角度监视网络内的网络流；以及用于处理来自分组的网络流量数据的处理器，其中网络流量数据包括进程信息、用户信息和主机信息，并且基于对网络行为的动态建模在网络设备处标识网络流量数据内的异常。在又一实施例中，逻辑被编码在一种或多种非暂态计算机可读介质上以供执行，并且当被执行时，该逻辑可操作来：处理从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，来从发送到网络组件和从网络组件发送的分组获得网络流量数据，并且从网络中的多个角度监视网络内的网络流，并且基于对网络行为的动态建模来标识网络流量内的异常，其中网络流量数据包括进程信息、用户信息和主机信息。示例的实施例以下描述被呈现以使本领域普通技术人员能够制造和使用实施例。具体实施例和应用的描述仅作为示例被提供，并且各种修改对于本领域技术人员将是显而易见的。本文描述的一般原理可以在不背离实施例的范围的情况下应用于其它应用。因此，实施例不限于所示出的那些，而是将被赋予与本文所描述的原理和特征一致的最宽范围。为清楚起见，没有详细描述涉及实施例的
中已知的技术材料的细节。传统的异常检测发生在高层级上，并且不检查所有的流量。限制包括黑名单而不是白名单的方案、有限的规模(不普及)、没有动态性(反应性防病毒签名和手动设计的逻辑)以及单一的观点。用于检测网络中的恶意行为的常规技术通常从网络中的单个有利位置收集数据，并使用特定(静态)规则或签名来标识当时的可疑行为。由于传统的安全系统是基于特定的规则和签名，因此这些方法不是一般化的，不能标识新颖的但类似的恶意活动。而且，随着越来越多的领域产生看似无休止的数据量，机器学习技术对数据进行分类和理解是至关重要的。本文描述的实施例针对将机器学习异常检测技术应用于大规模普遍网络行为元数据。例如，可以使用异常检测系统来标识潜在地指示恶意行为的可疑网络活动。例如，标识的异常可用于包括网络取证、决策制定和执行的下游目的。本文描述的实施例(也称为TetrationAnalytics)提供了大数据分析平台，其监视所有事物(或几乎所有事物)同时提供普遍的安全性。一个或多个实施例可以提供应用依赖性映射、应用策略定义、策略模拟、非侵入式检测、分布式拒绝服务检测、数据中心广泛可视性和取证、或其任何组合。如下面详细描述的，使用多个有利位置在整个网络(例如数据中心)收集网络数据。这使用来自每个(或几乎每个)数据分组的元数据提供了网络行为的普遍视角。一个或多个实施例可以从每个(或几乎每个)主机、进程、和用户角度提供可视性。网络元数据被结合到中央大数据分析平台中以供分析。由于有关网络行为的信息是从多个角度捕获的，因此可以将各种数据源关联起来，为数据分析提供强大的信息来源。关于随时间收集并存储在中央位置的网络行为的全面和普遍的信息使得使用机器学习算法来检测可疑活动成为可能。可以使用建模正常或典型网络行为的多种方案，并且不符合该预期行为的活动可能被标记为可疑并且可能受到调查。机器学习允许基于网络行为的动态建模来标识网络流量内的异常。现在参考附图，并且首先参考图1，示出了其中可以实现本文描述的实施例的简化网络。这些实施例在包括多个网络设备的数据通信网络的上下文中操作。网络可以包括经由任何数量的节点(该节点辅助网络内数据的传递)(例如，路由器、交换机、网关、控制器、边缘设备、接入设备、汇聚设备、核心节点、中间节点或其它网络设备)进行通信的任何数量的网络设备。节点可以通过一个或多个网络(例如，局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟专用网络(VPN)、虚拟局域网(VLAN)、无线网络，企业网络，企业网络，互联网、内联网、无线接入网络、公共交换网络或任何其它网络)进行通信。网络流量也可在主校园和远程分支或任何其它网络之间传播。在图1的示例中，结构10包括多个脊节点12a、12b以及叶节点14a、14b、14c、14d。叶节点14a、14b、14c可以连接到一个或多个端点(主机)16a、16b、16c、16d(例如，托管虚拟机(VM)18的服务器)。叶节点14a、14b、14c、14d分别经由链路20连接到多个脊节点12a、12b。在图1所示的示例中，每个叶节点14a、14b、14c、14d连接到每个脊节点12a、12b，并被配置为路由主机16a、16b、16c、16d和其它网络元件之间的通信。叶节点14a、14b、14c、14d和主机16a、16b、16c、16d可以经由任何数量的节点或网络进行通信。如图1的示例所示，一个或多个服务器16b、16c可以经由网络28(例如，层2(L2)网络)进行通信。在图1所示的示例中，边界叶节点14d与位于外部网络24(例如，互联网/WAN(广域网))中的边缘设备22(例如，路由器)进行通信。边界叶14d可用于将任何类型的外部网络设备、服务(例如防火墙31)或网络(例如，层3(L3本文档来自技高网...

【技术保护点】
一种方法，包括：在运行在网络设备处的分析模块处接收从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，以从发送到所述网络组件和从所述网络组件发送的分组中获得所述网络流量数据，并且从所述网络中的多个角度监视所述网络内的网络流；在所述分析模块处处理所述网络流量数据，所述网络流量数据包括进程信息、用户信息和主机信息；以及基于对网络行为的动态建模，在所述分析模块处标识所述网络流量数据内的异常。

【技术特征摘要】
【国外来华专利技术】2015.06.04 US 62/171,044;2016.04.05 US 15/090,9301.一种方法，包括：在运行在网络设备处的分析模块处接收从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，以从发送到所述网络组件和从所述网络组件发送的分组中获得所述网络流量数据，并且从所述网络中的多个角度监视所述网络内的网络流；在所述分析模块处处理所述网络流量数据，所述网络流量数据包括进程信息、用户信息和主机信息；以及基于对网络行为的动态建模，在所述分析模块处标识所述网络流量数据内的异常。2.如权利要求1所述的方法，其中，处理所述网络流量数据包括：将所述网络行为从所述网络中的多个角度进行关联。3.如权利要求1所述的方法，其中，所述网络设备包括用于检查大数据的处理器，该大数据包括具有不同类型数据的大的数据的集合。4.如权利要求1所述的方法，其中，所述网络流量数据包括来自经过所述多个传感器中的一个传感器的每个分组的元数据。5.如权利要求1所述的方法，其中，标识所述异常包括：在包括多个特征的多维数据中标识所述异常。6.如权利要求1所述的方法，其中，基于网络行为的动态模型来标识所述异常包括：利用机器学习算法来检测可疑活动。7.如权利要求6所述的方法，还包括从蜜罐接收数据以供在机器学习中的使用。8.如权利要求1所述的方法，还包括生成应用依赖性映射用于标识所述异常。9.如权利要求1所述的方法，其中，标识所述异常包括：计算非参数多变量密度估计。10.一种装置，包括：接口，用于接收从分布在整个网络中并安装在网络组件中的多个传感器收集的网络流量数据，以从发送到所述网络组件和从所述网络组件发送的分组获得所述...

【专利技术属性】
技术研发人员：纳温德拉·亚达夫，艾伦·沙伊布，拉奇塔·阿卡斯迪，
申请(专利权)人：思科技术公司，
类型：发明
国别省市：美国,US