网络安全分析系统技术方案

本公开的各实施例总体上涉及网络安全分析系统。具体地，该网络安全分析系统通过实现网络数据的多视角分析来以低的误报率执行异常检测。分析系统采用一种新的用于使用例如话题建模和时间序列算法来定义网络基线的方法。分析系统实现自然语言处理技术以检查网络内容和时间序列数据，从而建立和维护基线网络状态模型的定义，新的活动与其相比较以标识异常。

Network security analysis system

The various embodiments of the present disclosure are generally concerned with the network security analysis system. Specifically, the network security analysis system performs abnormal detection with low false alarm rate by realizing multi view analysis of network data. The analysis system uses a new method for using topic modeling and time series algorithms to define network baselines. The analysis system implements Natural Language Processing technology to check network content and time series data, so as to establish and maintain the definition of baseline network state model. Compared with new activities, it identifies anomalies.

【技术实现步骤摘要】
网络安全分析系统优先权声明本申请要求于2016年7月29日提交的名称为“NetworkSecurityAnalysisSystem”的案卷编号为15718-84的美国临时申请序列号62/368,650的优先权。本申请还要求于2017年3月13日提交的名称为“NetworkSecurityAnalysisSystem”的案卷编号为15718-178的美国申请序列号15/457,340的优先权。
本申请涉及安全系统，包括用于计算机网络的安全系统。本申请还涉及安全系统中的威胁分析、标识、审查和解决。
技术介绍
计算机系统可用的处理能力、存储器容量、可用磁盘空间以及其他资源近年来呈指数级增长。计算机系统的因特网络几乎部署在世界各地几乎每个可想到的应用中，并且执行从平凡到任务至关重要的各种各样的任务。这些系统的安全性的改善将加强对这些系统的保护，使其不会受到损害，不论损害是有意的还是无意的。附图说明图1示出了与提交网络数据用于分析的企业位置通信的网络安全分析系统；图2示出了与企业位置通信的网络安全分析系统的另一视图；图3示出了网络安全分析系统的示例实现；图4示出了系统可以实现的滑动窗口机器学习的示例；图5至图15示出了警报和分析图形用户界面的示例；以及图16示出了系统如何使用加权因子来计算得分差异的示例。具体实施方式网络安全分析系统(“系统”)实现了高速和高数据量分析框架，该框架摄取和分析各种网络数据，诸如NetFlow数据、DNS数据、以及安全信息和事件管理(SIEM)数据。系统检测、分类和报告异常活动。系统实现自然语言处理(NLP)技术，该技术检查网络内容和时间序列分析以建立和维护基线(例如，“正常”或标称)网络状态模型。系统对网络活动的多维视角进行其分析。图1至图3提供了用于系统中的技术解决方案的以下讨论的示例上下文。也就是说，图1至图3是很多可能的不同的实现和实现上下文中的具体示例。在这方面，技术解决方案在其应用方面不限于下面讨论的任何附图中所示的架构和系统，而是适用于很多其他系统实现、架构、用户界面和连接性。图1示出了通过网络108连接的地理分布式企业系统102、104和106的示例100。网络108可以包括通过例如任何预定的和可能的动态因特网协议(IP)地址范围定义的私有网络和公共网络。企业系统102-106包括托管和执行任何数目的任何类型的应用的单个物理和虚拟机。这些机器通常通过特定企业的企业网络被连接在一起。当企业涉及网络安全性时，企业可以订阅并且接收由网络安全分析系统110提供的网络安全分析。在其他实现中，网络安全分析系统110在企业本身内实现，而不是被实现作为外部服务。系统110对企业执行复杂的技术安全分析。作为概述，系统110包括实现摄取电路112、流分析引擎114和批量分析引擎116的系统电路。系统电路还创建、训练和维护基线网络模型118。基线网络模型118是所选择的企业网络的有目的地构建的特征，并且表示在所选择的企业网络上设置的标称或“正常”活动。例如，基线网络模型可以由系统110使用来为规定的一组输入条件生成投影网络活动。系统110随着时间更新基线网络模型，以确保它们演进并且继续与企业网络的标称活动简档相匹配。例如，标称活动简档可以表示通过随着时间监测网络活动而确定的经验生成的活动简档。因此，基线网络模型118提供参考点，系统110可以对照该参考点来比较正在进行的网络活动以确定企业内的网络异常。系统电路还包括界面生成电路120。界面生成电路120渲染系统界面并且将其递送给任何端点，诸如网络门户、智能电话应用、或专有企业审查和控制系统。系统界面的示例包括报告图形用户界面(GUI)122、警报GUI124和分析GUI126的网络度量。系统110可以以各种各样的方式来渲染和递送系统界面。作为一个示例，系统界面可以通过将网络(例如，web浏览器)、移动或其他类型的界面130传送到连接的计算机或智能手机客户端的应用服务器128而可用。作为另一示例，系统界面可以通过企业内的安全位置的仪表板界面系统132而可用，该仪表板界面系统渲染安全仪表板，包括度量、警报、分析界面或其他界面元件。图2示出了企业系统102-106和系统110的另一视图200。在该示例中，企业系统通过数据界面204向系统110递送网络数据202，例如通过安全套接层(SSL)，经由虚拟专用网络(VPN)、HTTP，或者通过其他连接。网络数据202可以包括在企业网络上表征或报告的各种各样的数据。网络数据202的几个示例包括Netflow数据(例如，分组和连接数据)、事件日志、系统日志、应用日志、数据库日志、威胁软件数据、操作智能、机器数据(包括网络客户和用户的活动和行为的记录)、以及交易、应用程、服务器、网络和网络上的移动设备的活动和行为记录。作为附加示例，网络数据202可以包括关于机器配置、web访问日志、操作系统事件、消息队列、改变事件、诊断命令输出、事务记录(诸如，呼叫详细记录)、和传感器数据的数据。很多网络数据202以符合自然语言语义的文本形式来表达。如将在下面更详细地描述的，系统110对网络数据202执行NLP处理技术以从网络数据202导出网络安全洞察。在系统110内，摄取电路112接受来自企业系统的连接，并且接收网络数据202用于分析。作为一个示例，摄取电路112可以包括通信界面206，例如以太网端口或WiFi界面。摄取电路112包括被适配用于与企业系统进行通信的接收器，诸如SSL接收器208和VPN接收器210。流分析引擎114可以例如实现Spark流处理和开放网络洞察(ONI)流处理。批量分析引擎116可以实现例如运行基于Spark的潜在Dirichlet分配(LDA)处理的Cloudera(TM)批量分析平台，用于分析网络数据202。系统110还可以实现数据格式化、搜索、分析和可视化处理器212，诸如Elasticsearch(TM)处理器。图3示出了系统110的示例实现300。系统架构可以广泛地变化，并且可以基于例如用于卷数据工作负载的实时分析和快速处理的IntelXeon处理器E7-8800/4800v3产品平台。示例实现300包括通信界面302、系统电路304和输入/输出(I/O)接口306。示例实现300还包括显示电路308，显示电路308在本地生成机器界面310或用于远程显示，例如在本地或远程机器上运行的网络浏览器中。机器界面310和I/O接口306可以包括GUI、触敏显示器、语音或面部识别输入、按钮、开关、扬声器和其他用户界面元件。通信界面302可以包括无线传输器和接收器(“收发器”)312、和由收发器312的传输和接收电路使用的任何天线31。收发器312和天线314可以支持WiFi网络通信，例如，在任何版本的IEEE802.11下，例如802.11n或802.11ac。通信界面302还可以包括物理收发器316。物理收发器316提供用于各种通信协议中的任一种的物理层界面，诸如任何类型的以太网、电缆数据服务接口规范(DOCSIS)、数字用户线(DSL)、同步光网络(SONET)、或其他协议。系统电路304可以包括硬件、软件、固件或其他电路的任何组合。系统电路304可以例如利用一个或多个片上本文档来自技高网...

【技术保护点】
一种方法，包括：在网络安全系统中：建立用于企业网络的基线网络模型，所述基线网络模型包括用于所述企业网络的期望的正常操作简档；使所述基线网络模型随着时间演进以捕获所述企业网络的所述期望的正常操作简档的变化；使用数据摄取电路从所述企业网络接收网络数据；对所述网络数据执行自然语言处理器以与所述基线网络模型比较地来标识所述企业网络内的网络异常；生成包括关于所述网络异常的警报的机器界面；以及向操作者系统传送所述机器界面用于审查。

【技术特征摘要】
2016.07.29 US 62/368,650;2017.03.13 US 15/457,3401.一种方法，包括：在网络安全系统中：建立用于企业网络的基线网络模型，所述基线网络模型包括用于所述企业网络的期望的正常操作简档；使所述基线网络模型随着时间演进以捕获所述企业网络的所述期望的正常操作简档的变化；使用数据摄取电路从所述企业网络接收网络数据；对所述网络数据执行自然语言处理器以与所述基线网络模型比较地来标识所述企业网络内的网络异常；生成包括关于所述网络异常的警报的机器界面；以及向操作者系统传送所述机器界面用于审查。2.根据权利要求1所述的方法，其中：执行所述自然语言处理器包括定义所述企业网络内的网络活动的网络表征文档的语料库。3.根据权利要求1所述的方法，还包括：接收表征所述企业网络内的网络活动的网络数据流记录。4.根据权利要求3所述的方法，还包括：创建包括所述网络数据流记录的文档；以及对所述文档执行所述自然语言处理器以标识所述网络异常。5.根据权利要求4所述的方法，其中：所述网络数据流记录包括由源因特网协议地址和目的地因特网协议地址定义的网络事件。6.根据权利要求1所述的方法，其中：使所述基线网络模型随着时间演进包括分析网络活动的交叠的移动窗口。7.根据权利要求6所述的方法，还包括：将来自所述移动窗口的分析的结果聚合到所述基线网络模型中以捕获所述企业网络的所述期望的正常操作简档的所述变化。8.根据权利要求1所述的方法，其中：生成机器界面包括：生成所述企业网络的可视化作为网络图表和伴随的警报细节面板。9.根据权利要求1所述的方法，其中：生成机器界面包括：生成所述企业网络的可视化作为网络图表，所述网络图表包括：内部端点可视化；以及不同于所述内部端点可视化的外部端点可视化。10.根据权利要求9所述的方法，其中：所述内部端点可视化包括在所述企业网络内的端点；所述外部端点可视化包括在所述企业网络外部的端点；并且所述方法还包括：通过取决于网络业务是否异常而改变的在视觉上不同的连接器来将所述内部端点可视化中的内部端点与所述外部端点可视化中的端点连接。11.一...

【专利技术属性】
技术研发人员：E·马夸特，V·K·德赛，P·J·乔伊斯，B·怀特曼，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰,IE