用于处理网络元数据的流式传输方法和系统技术方案

本发明专利技术描述一种用于处理网络元数据的方法和系统。可以通过动态地实例化的可执行软件模块来处理网络元数据，所述动态地实例化的可执行软件模块关于网络元数据的特性和关于网络元数据向网络元数据所承载的信息的消耗方的呈现作出基于策略的决策。可以对所述网络元数据进行类型分类，并且可以通过唯一指纹值将类型内的每一子类映射到一个定义。可以使用所述指纹值根据相关策略和变换规则匹配所述网络元数据子类。对于例如NetFlow v9等基于模板的网络元数据，本发明专利技术的一实施例可以不断地监控网络业务以发现未知的模板、捕获模板定义，并且告知管理员不存在定制策略和转换规则的模板。转换模块可以高效地将所选类型和/或子类的网络元数据转换成替代的元数据格式。

【技术实现步骤摘要】
【国外来华专利技术】用于处理网络元数据的流式传输方法和系统
总的来说本专利技术涉及网络监控和事件管理。更确切地说，本专利技术涉及处理通过网络监控活动和随后对元数据的处理而获得的网络元数据，这可以高效地使得有用信息用及时的方式被报告给元数据的消耗方。
技术介绍
网络监控是企业和服务提供者经常使用的一种至关重要的信息技术(IT)功能，其涉及监视在内部网络上发生的活动以便发现与性能有关的问题、有不当操作的主机、可疑的用户活动等。由于多个网络装置提供的信息，所以可以进行网络监控。所述信息总地来说被称作网络元数据，即，描述网络上的活动的与经由网络发射的其余信息补充和互补的一类信息。Syslog是常用于网络监控的一种类型的网络元数据。Syslog是用于记录程序消息的一种标准，并且提供原本将不能够传送用以通知管理员问题或性能的手段的装置。Syslog通常用于计算机系统管理和安全审核以及一般化的信息、分析和调试消息。多种多样的装置(比如打印机和路由器)和接收器跨越多个平台支持syslog。因为这一点，syslog可以用于将来自许多不同类型的系统的日志数据集成到中心储存库中。最近，另一种类型的网络元数据(被多个供应商称为NetFlow、jFlow、sFlow等)也被作为标准网络业务的一部分引入(下文总地来说被称作“NetFlow”)。NetFlow是用于收集IP业务信息的已成为业务监控的业界标准的一种网络协议。NetFlow可以通过例如路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址翻译(NAT)实体和许多其它装置等多种网络装置产生。但是，直至近年来，NetFlow网络元数据一直被专门用于事后网络监管目的，例如网络拓扑发现、定位网络吞吐量瓶颈、服务水平协议(SLA)验证等。NetFlow元数据的此有限使用总地来说可以归因于网络装置产生的信息的大量和高传递速率、信息源的多样性和将额外信息流集成到现有事件分析器中的整体复杂度。更具体来说，NetFlow元数据产生方产生的信息通常比在实时设置中消耗方可以分析和使用的信息多。举例来说，网络上的单个中等到大型交换机可能每秒产生400,000份NetFlow记录。现今的syslog收集器、syslog分析器、安全信息管理(SIM)系统、安全事件管理(SEM)系统、安全信息和事件管理(SIEM)系统等(下文统称为“SIEM系统”)或者不能接收和分析NetFlow、或者限于处理NetFlow包中容纳的基本信息，或者对NetFlow包的处理速率比此类包的通常产生速率低许多。例如NetFlowv9(RFC3954)和IPFIX(RFC5101和相关IETFRFC)等稳固网络监控协议的出现大幅度地扩展了在网络安全和智能网络管理领域使用网络元数据的机会。同时，由于上文所指出的约束，所以现今的系统除了简单地报告观察到的字节和包计数之外总地来说不能够利用网络监控信息。
技术实现思路
网络管理方和网络安全专业人员不断地面对和对抗业界通常称为“大数据”的问题。大数据问题产生的一些问题包含无法分析和存储大量的通常以不同格式和结构存在的机器产生的数据。通常经历的问题可以概括如下：1.要实时分析以获得对网络条件的及时洞察的数据太多。2.数据从网络上的不同装置类型以不同格式到达，从而使得来自不同装置类型的数据的相关困难并且缓慢；以及3.要存储的数据太多(例如，为了稍后分析和/或为了遵守数据保存要求)。本专利技术提供了一种能够解决与大数据相关联的所有以上所识别的问题的系统和方法，方法是通过提供以下能力：实时分析大量元数据，将大量元数据转换成允许与单个监控系统内的其它数据容易地相关的常用格式，和通过例如包验证、过滤、集合和去除重复等实时数据减少技术显著减少传入数据量。本专利技术的实施例能够检查网络元数据传入包的有效性，并且丢弃残缺的或不当的消息。实施例还能够实时地检查和过滤网络元数据传入包，以便识别其信息内容和片段的相关方面，或路由传入网络元数据的不同流以便在本专利技术的处理引擎内进行不同处理。此不同处理中包含着减少输出元数据业务的概率，方法是通过基于可以由网络管理方配置并且在及早检查传入消息的过程中所确定的准则来丢弃特定消息或所选消息流。这使得网络管理方能够使网络分析在进行中的基础上聚焦网络分析或响应于特定网络条件暂时聚焦网络分析。作为一实例，网络管理方可以选择将注意力集中于仅仅网络上的边缘装置产生的系统内的网络元数据以便研究可能的入侵事件。本专利技术的实施例进一步能够集合网络元数据传入包中含有的信息内容，并且将大数量的相关包替换成捕获相同信息但比原始元数据流产生小得多的下游显示、分析和存储要求的一个或小得多的数目的其它包。本专利技术的实施例进一步能够将网络装置产生的正常元数据流的内容去除重复。因为传入业务通常在网络内穿过一序列的网络装置路由到其目的地装置，并且因为每一网络装置通常为穿越它的每一流产生网络元数据，所以会产生大量冗余元数据，这会促成业界中的大数据问题。本专利技术涉及一种能够接收任意结构化数据(例如，网络或机器产生的元数据，采用多种数据格式(下文中的网络元数据)、高效地处理网络元数据和转发接收到的网络元数据和/或从原始网络元数据导出的多种数据格式的网络元数据的系统和方法。网络元数据可以通过例如路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址翻译(NAT)实体和许多其它装置等多种网络装置产生。网络元数据信息用多种格式产生，包含但不限于NetFlow和其变化形式，(例如，jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、syslog等。本文所述的方法和系统能够用多种格式输出网络元数据信息，包含但不限于NetFlow和其版本，(jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、syslog、OpenFlow等。此外，本专利技术的实施例能够用足以允许提供实时或近实时网络服务的速率输出所选类型的网络元数据信息。因此，所述系统能够在具有N(N≥1)个网络元数据产生方和M(M≥1)个原始或衍生网络元数据消耗方的部署中提供有意义的服务。可以理解，本专利技术的特定实施例符合RFC5982中反映的IPFIX调介装置的定义。本专利技术的实施例提供一种用于识别接收到的网络元数据的性质、特性和/或类型(“类”)并且将接收到的信息组织成类别或类的方法和系统。这在用于与NetFlowv9和基于模板的类似消息关联时可能特别有用，并且可以具有多种不同的内容和目的。一旦被归类或分类，就可以进一步根据零、一个或多个类特定处理规则或根据默认处理规则(“策略”)来处理每一单独的类成员例子。本专利技术的这个方面使得能够对无限种类的网络元数据类型进行精细粒度的处理。通过在操作的早期阶段识别传入网络元数据的类，实施例能够高效地组织对网络元数据的处理，并且在适当情况下，通过过滤、合并和/或排除系统管理员兴趣有限的网络元数据部分来减少必需的处理量，由此促成系统的实时或近实时操作，并且潜在地减少网络元数据收集器处的存储要求。举例来说，随着网络业务的特定主体穿越网络中的多个装置，可以从每一穿越装置产生含有冗余信息的网络元数据。依据SIEM系统内定义的监控焦点或区域，可能需要从被转发到SIEM系统的元数据流本文档来自技高网...

【技术保护点】
一种处理在使用一个或多个网络协议发射网络业务的网络上产生的网络元数据的方法，所述网络包含一些装置，所述装置中的至少一些通过入接口接收网络业务，并且通过出接口发射网络业务，所述方法包括以下步骤：以至少一种数据格式从数据处理系统中的多个源接收网络元数据；确定所述网络元数据的类型或特性；处理所述网络元数据以从其提取有用信息；以及至少部分响应于所述确定步骤的结果，将所述网络元数据的至少一部分转换成在所述数据处理系统中用于其它系统元数据的一个或多个不同数据格式。

【技术特征摘要】
【国外来华专利技术】2011.11.07 US 61/556,817;2012.09.11 US 61/699,823;1.一种处理在使用一个或多个网络协议发射网络业务的网络上产生的网络元数据的方法，所述网络包含一些装置，所述装置中的至少一些通过入接口接收网络业务，并且通过出接口发射网络业务，所述方法包括以下步骤：以至少一种数据格式从数据处理系统中的多个源接收网络元数据；确定所述网络元数据的类型或特性；处理所述网络元数据以从中提取有用信息；至少部分响应于所述确定步骤的结果，将所述网络元数据的至少一部分转换成在所述数据处理系统中用于其它系统元数据的一个或多个不同数据格式；其中在所述网络元数据在所述网络上在产生了所述网络元数据的网络装置与能够存储所述网络元数据的装置之间移行时执行所述处理步骤；以及其中通过应用管理网络元数据处理的至少一种策略来实现所述处理步骤，其中出于将流导出器所报告的流信息去除重复的目的应用所述至少一种策略，以及其中所述至少一种策略包含以下步骤：接收含有通信端点的IP地址和提供了所述流记录的装置的IP地址的流记录；指出接收到所述记录的时间；在存储器中维持关于通信端点的IP地址、流报告装置的IP地址和最后观察到的通信的时间的信息；所述信息是所述流报告装置所利用的至少一些通信路径的频率的指示符；基于所述存储器信息选择报告所述流的其它流报告装置当中具有最高使用频率的流报告装置，并且将所述最高频率流报告装置指定为关于所述网络端点之间的通信的权威信息源；在一个以上流报告装置具有在所述存储器信息中反映的相同最高使用频率的情况下，...

【专利技术属性】
技术研发人员：威廉·G·弗里德曼，亚历山大·韦莱德尼特斯基，
申请(专利权)人：网络流逻辑公司，
类型：发明
国别省市：美国;US