本发明专利技术描述用于处理网络元数据的改进的方法及系统。可由做出关于网络元数据的特性及关于网络元数据向由所述网络元数据携带的信息的消费者的呈现的基于策略的决定的动态实例化可执行软件模块处理网络元数据。所述网络元数据可按类型分类且一类型内的各子类可按唯一指纹值映射到定义。所述指纹值可用以将网络元数据子类与相关策略及转换规则匹配。对于例如NetFlow v9的基于模板的网络元数据，本发明专利技术的实施例可连续监视网络流量的未知模板，捕获模板定义且向管理员通知定制策略及转化规则不存在的模板。转化模块可有效将已选的类型及/或子类的网络元数据转化成替代元数据格式。
【技术实现步骤摘要】
【国外来华专利技术】
一般来说，本专利技术涉及网络监视及事件管理。更特定来说，其涉及通过网络监视活动获得的网络元数据的处理及所述元数据的随后处理，此可有效导致以及时方式向元数据的消费方报告有用信息。
技术介绍
网络监视为企业及服务提供商通常使用的关键信息技术(IT)功能，其涉及监视在内部网络上发生的活动以找到与性能、行为不当主机、可疑用户活动等等相关的问题。由于由多种网络装置提供的信息使网络监视成为可能。所述信息通常已被称为网络元数据，即，描述网络上的活动的一类信息，其对通过网络传输的剩余信息起补充及互补作用。系统日志为通常用于网络监视的一种类型的网络元数据。系统日志为用于记录程序消息的标准且为原本不能够通信的装置提供了向管理员通知问题或性能的手段。系统日志通常用于计算机系统管理及安全审核以及广义信息性、分析及调试消息。其由跨越多种平台的多种装置(如打印机及路由器)及接收器支持。因此，系统日志可用以将来自许多不同类型的系统的日志数据集成到中央存储库中。近来，被各种供应商称为NetFlow、jFlow、sFlow等等的另一类型的网络元数据已被引入作为标准网络流量的一部分(下文通常称为“NetFlow”)。NetFlow是已成为流量监视的工业标准的用于收集IP流量信息的网络协议。可由(例如)路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址转换(NAT)实体及许多其它装置的多种网络装置产生NetFlow。然而，直到最近，NetFlow网络元数据仅被用于事后网络监督目的，例如网络拓扑发现、定位网络吞吐量瓶颈、服务水平协定(SLA)有效性检查等等。NetFlow元数据的此类有限使用可通常归因于由网络装置产生的信息的高容量及高递送速率、信息源的多样性及将额外信息流集成到现有事件分析器中的整体复杂性。更特定来说，在实时设定中NetFlow元数据产生方通常已产生比消费方能够分析及使用的信息更多的信息。举例来说，连接到网络上的大型交换机或路由器的单个介质可能每秒产生400，000条NetFlow记录。现今的系统日志收集器、系统日志分析器、安全信息管理(SM)系统、安全事件管理(SEM)系统、安全信息及事件管理(SIEM)系统等等(下文统称为“SIEM系统”)要么不能够接收及分析NetFlow，要么限于处理NetFlow数据包中所含有的基本信息，要么以比通常产生NetFlow数据包的速率低很多的速率处理此类数据包。可靠的网络监视协议(例如，NetFlow v9 (RFC 3954)及IPFIX (RFC 5101及相关的IETF RFC))的出现显著扩大了在网络安全及智能网络管理领域中使用网络元数据的机会。同时，由于上文所识别的约束，现今的SIEM系统对网络监视信息的利用一般不超出仅报告所观测到的字节及数据包计数的范围。
技术实现思路
网络管理者及网络安全专业人员不断地面对且力图解决业界中通常被称为“大数据”的问题。由所述大数据问题产生的一些难点包括不能够分析及存储通常以不同格式及结构存在的大量机器产生的数据。通常经历的问题可总结如下:1.要实时分析太多数据以及时洞察网络条件。2.数据以不同格式从网络上的不同装置类型到达，使来自不同装置类型的数据的相关变得困难且缓慢；以及3.要存储太多数据(举例来说，用于后期分析及/或用于符合数据保持要求)。本专利技术通过提供实时分析大量元数据、在单一监视系统中将大量元数据转化成允许与其它数据便捷地相关的通用格式及通过实时数据减少技术(例如，数据包有效性检查、筛选、聚合及重复数据删除)使传入数据的量的大幅减小的能力来提供能够解决与大数据相关联的全部上文识别的问题的系统及方法。本专利技术的实施例能够核对网络元数据的传入数据包的有效性且丢弃格式错误或不适当消息。实施例还能够实时检查且筛选网络元数据的传入数据包以识别它们的信息内容及段的相关方面，或投送传入网络元数据的不同流以用于本专利技术的处理引擎内的差异化处理。此类差异化处理中包含了通过基于能够由网络管理者配置并在传入消息的早期检查期间确定的标准丢弃特定消息或选定的消息流来减小输出元数据流量的机会。此使网络管理者能够持续不断地或响应于特定网络条件临时地使网络分析集中。例如，网络管理者可选择集中精力于系统内仅由网络上的边缘装置产生的网络元数据以调查可能的入侵事件。本专利技术的实施例进一步能够进一步聚合包含于网络元数据的传入数据包中的信息内容，且使用捕获相同信息但产生比原始元数据流小很多的下游显示、分析及存储要求的一个或少很多的其它数据包取代大量相关数据包。本专利技术的实施例进一步能够对由网络装置产生的正常元数据流的内容进行重复数据删除。因为传入流量通常在网络内通过一系列网络装置投送到其目的装置，且因为各网络装置通常对于横穿其的每一流产生网络元数据，所以产生促成业界中的大数据问题的显著量的冗余元数据。本专利技术涉及能够接收呈多种数据格式的任意结构的数据(举例来说，网络或机器产生的元数据)、有效处理所述网络元数据，且以多种数据格式转发所接收到的网络元数据及/或从原始网络元数据派生出的网络元数据的系统及方法。可由多种网络装置(例如，路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址转换(NAT)实体及许多其它装置)产生网络元数据。以包含(但不限于)NetFlow及其变体(举例来说，jFlow, cflowd、sFlow、IPFIX)、SNMP, SMTP、系统日志等等的许多格式产生所述网络元数据信息。本文所描述的方法及系统能够以包含(但不限于)NetFlow及其版本(jFlow、cflowd、sFlow、IPFIX)、SNMP, SMTP、系统日志、OpenFlow等等的许多格式输出网络元数据信息。另夕卜，本专利技术的实施例能够以足以允许提供实时或近实时网络服务的速率输出选定类型的网络元数据信息。结果，所述系统能够在具有网络元数据的N(N多I)个产生方及原始或派生网络元数据的M(M多I)个消费方的部署中提供有意义的服务。可了解，本专利技术的特定实施例与RFC 5982中所反映的IPFIX中介器的定义相符。本专利技术的实施例提供用于识别接收到的网络元数据的性质、特性及/或类型(“类”)且将接收到的信息组织成类别或类的方法及系统。当与NetFlow v9及基于模板且可具有广泛多样的内容及用途的类似消息相关联使用时，此可特别有用。当被归类或分类后，可进一步根据零、一或多个类特定处理规则或根据默认处理规则(“策略”)处理每一个别类成员实例。本专利技术的此方面使得能够细粒度处理无限多种网络元数据类型。通过在操作的早期阶段识别传入的网络元数据的类，实施例能够有效组织网络元数据的处理，且在适当的环境中，通过筛选、合并及/或消除系统管理员不感兴趣的网络元数据部分来减少所需要的处理量，借此有助于系统的实时或近实时操作且潜在减少网络元数据收集器处的存储要求。举例来说，当特定量的网络流量横穿网络中的多个装置时，可从每一所横穿装置产生含有冗余信息的网络元数据。取决于SIEM系统内定义的监视的焦点或区域，可希望从被转发到SIEM系统的元数据流筛选、聚合、合并或消除含有冗余信息的元数据记录。可引入从针对所述SIEM系统的网络元数据的某些类移除冗余而同时对于本文档来自技高网...
【技术保护点】
一种改进的软件定义网络管理方法，所述网络包含网络控制器且使用一或多种网络协议传输网络流量，所述网络包含装置，至少一些所述装置通过入口接口接收网络流量且通过出口接口传输网络流量，所述方法包括以下步骤：在数据处理系统中以至少一种数据格式从多个源接收网络元数据；当所述网络元数据在所述网络上在产生所述网络元数据的网络装置与能够存储所述网络元数据的装置之间转移时处理所述网络元数据以从其提取有用信息；以及作为所述元数据处理步骤的结果，确定与操作于所述网络上的应用程序相关的信息；以及使用所述应用程序信息以使所述网络控制器能够执行对所述软件定义网络的更有效管理。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：伊戈尔·巴拉比纳，亚历山大·韦莱德尼特斯基，
申请(专利权)人：网络流逻辑公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。