用于在线自动识别网络流量模型的方法和系统技术方案

一种用于在线自动识别网络流量模型的方法(100)包括：从通信网络接收(101)输入业务流(102)；通过对所述输入业务流(102)应用基于自学习的分类和即时分类来处理(103)所述输入业务流(Pac)，其中，基于自学习的分类通过基于一组预定义特征来计算所述输入业务流(102)的统计模型并通过将所述统计模型存储在用于存储多个基于自学习的分类的结果的数据库中来在在线模式下执行；即时分类基于使用包括用于识别所述输入业务流(102)的一组预定规则的知识库和基于应用存储在所述数据库中的统计模型的至少一个子集来处理所述输入业务流(102)；基于即时分类和/或基于自学习的分类的结果识别(105)所述输入业务流(102)中的网络流量模型(104)。

Method and system for on-line automatic identification of network traffic models

A method for online automatic identification of network traffic models (100) includes: receiving (101) input traffic flow (102) from a communication network (101); using the input service stream (102) to apply a self-learning based classification and an instant classification to process (103) the input traffic flow (Pac), in which a self-learning based classification is based on a group of prepositions. A definition feature that calculates a statistical model of the input business flow (102) and executes in an online mode by storing the statistical model in a database for storing the results of a number of self-learning based classifications; an instant classification is based on the use of a set of knowledge bases that include a set of predetermined rules for identifying the input traffic flow (102). At least one subset based on the statistical model stored in the database based on the application is processed by the input traffic flow (102); the network traffic model (104) in the input traffic flow (102) is identified based on the results of instant classification and / or based on the results of a self-learning classification (105).

【技术实现步骤摘要】
【国外来华专利技术】用于在线自动识别网络流量模型的方法和系统
本专利技术涉及用于在线自动识别网络流量模型的方法和系统。特别地，本专利技术涉及基于统计自学习原理在线自动识别网络流量的方法和系统。
技术介绍
网络流量识别是将网络流量与产生该流量的应用或一组应用相关联的问题。这个问题是网络管理领域最重要的问题之一。网络运营商必须提供明确的服务质量(Quality-of-Service，简称QoS)等级。该等级由服务等级协议描述。QoS指标值的下降可能是导致网络提供商出现财务损失的原因。网络流量的分类对QoS值有很大的影响。过去几年里使用互联网和IP网络的应用的数量和种类急剧增加。这些应用的类型集合包括以下内容：实时应用，例如语音和视频流；企业应用，例如LotusNotes，数据库事务；批量数据传输，例如FTP和P2P文件下载；交互式网络应用，例如telnet，即时消息和网络游戏。识别网络流量对网络资源的高效和最优分配起着重要作用。网络管理的另一个问题是与使用电信网络资源相关的欺诈或犯罪行为的数量和种类增加了。当今，网络管理涉及技能娴熟专业人员的长期工作，他们熟悉计算机网络受控部分中软件和硬件使用的特征。用于流量分析的现代技术基于这些高素质分析师手动处理数据的结果。电信网络基础设施的发展伴随着数据传输速度的增长，大大提高了网络状态的动态性。这两种类型的增长加上使用网络资源的应用数量越来越多，使得在网络监控期间手动处理数据的使用效率越来越低。当今电信网络的管理高度依赖于用于自动分析网络事件的工具的有效性。分析的自动化程度目前是电信领域的关键技术问题之一。各种类别/类型的网络流量可以被区分，例如，音频(例如，VoIP流量)、视频(例如，视频会议流量)和文件传输流量等等。网络流量自动分析领域的大多数难题如下：在实时模式下对网络业务流进行分类；自动分类网络流量以识别出生成待分析的包流的应用；自动识别新的应用和数据传输协议以及自动构建这些应用和协议的模型；开发能够解决开放系统互连(OpenSystemsInterconnection，简称OSI)模型不同等级的业务流识别问题的通用工具；开发能够同时作为QoS方案和网络安全方案的组成部分的通用网络管理工具。电信网络管理领域研发(研究和开发)活动最重要的方向之一是建立一个应用人工智能原理的平台。用于分析网络流量的现有方法的典型技术问题和缺点如下：数据处理存在按时间分开的几个不同阶段：机器学习阶段和数据流分类阶段。这一特征使得专家有必要使用手动数据处理。手动数据处理提高了结果的准确性，但会降低分析工具使用的整体效率。用于处理数据流的方法缺乏适应性：流量分类系统缺乏适应性导致无法识别未知类型的应用和协议，以及无法检测到新类型的网络攻击。最后，这一特征导致无法完全自动化数据流分析过程并且数据流处理的自动化程度不足。网络状态不断生成的动态需要新类型的分析工具。这些工具必须能够在在线模式下识别新类型的网络流量，收集有关此流量的信息，并且将来使用这些信息。缺乏普遍性，即用于流量分析的数值方法可能通常只适用于某个明确的OSI模型等级。这一特征导致这种方法的应用领域非常狭窄。
技术实现思路
本专利技术的目的是提供一种用于网络流量分析，特别是用于无线和有线网络中数据流分析处理的自动化的高效技术。该目的是通过独立权利要求的特征来实现的。根据从属权利要求、说明书以及附图，进一步的实现形式是显而易见的。本专利技术提供了解决无线和有线网络中数据流分析处理自动化问题的技术。本专利技术在可扩展和通用工具的开发上有一定作用，这些工具可用于主机级分析和网络级分析。重新配置的能力使得使用类似的网络分析工具解决非常不同的实际问题成为可能。同样的工具，例如，既可用于检测网络资源的欺诈使用，也可用于识别刻画某些特定软件使用网络资源的行为模式。实施本专利技术将提高负责网络管理人员所使用工具的自动化程度。本专利技术提供了基于自适应数据处理技术来实现网络流量的自动分析的技术。此分析的主要目的是为客户提供可能的最高服务质量等级。本专利技术的基本思想是在流量分析中使用流自适应数据处理和知识自适应数据处理。知识自适应数据处理是通过应用一种新的机器自学习技术来实现的，该技术旨在基于一组预定义特征来计算所分析的业务流的统计模型。这组预定义特征是业务流的统计特性，例如包长度、包到达时间间隔等，其中，基于统计特性计算统计模型，并且可以由专家初步定义。在在线模式下进行自学习过程。本专利技术提供的流量识别技术包括使用数据流处理的单个工作流内的网络流量的基于签名的分类和基于统计的分类。所提供的数值方法的计算架构基于使用两种不同的流量分类技术：即时分类和基于自学习结果的分类。这两种技术可以依次应用于分析包流。即时分类可以包括快速处理所分析的包流的两个阶段。第一阶段是基于知识库的使用，其中包括用于识别所分析的流的一组规则。第二阶段是基于应用自学习结果数据库的一些子集。该数据库包括由在线学习过程产生的一组统计模型。本专利技术中提供的方法和系统提高了网络分析工具的效率。效率的提高可以在实施自学习技术的基础上通过在线自动识别网络流量模型来定义。为详细描述本专利技术，将使用以下术语、缩写和符号：QoS：服务质量OSI：开放系统互连第一方面，本专利技术涉及一种用于在线自动识别网络流量模型的方法，包括：从通信网络接收输入业务流；通过对所述输入业务流应用基于自学习的分类和即时分类来处理所述输入业务流，其中，基于自学习的分类通过基于一组预定义特征来计算所述输入业务流的统计模型并通过将所述统计模型存储在用于存储多个基于自学习的分类的结果的数据库中来在在线模式下执行；即时分类基于使用包括用于识别所述输入业务流(Pac)的一组预定规则的知识库和基于应用存储在所述数据库中的统计模型的至少一个子集来处理所述输入业务流；基于即时分类和/或基于自学习的分类的结果来识别所述输入业务流中的网络流量模型。通过对所述输入业务流应用基于自学习的分类和即时分类，该方法为网络流量分析，特别是为无线和有线网络中数据流分析处理的自动化，提供了一种高效的技术。该方法的实施显著提高了网络流量分析应用中的自动化程度。一组网络监控工具能够自动提取网络资源使用模型。这个提取过程可以在所分析的电信网络的不同层次上实现。数据流的自动多参数分析可以作为实时并行处理模式下执行的过程来实现。用于电信网络的自动控制和管理的自适应方法可以通过应用这种方法来实现。该方法的实施进一步允许创建可扩展的网络监控工具。同一套工具可同时用于主机级分析和网络级分析。该方法的实施实现了大体上是新的一组软件和硬件工具，特别是用于监控有线和无线网络的流量的大体上是新的工具类别。该方法可以应用于自组织网络。根据第一方面，在所述方法的第一种可能的实现形式中，所述数据库用于存储以下数据：计算出的所述输入业务流的统计模型、未识别的统计模型的统计参数以及未识别的输入业务流。优选地，所述数据库存储用于基于自学习的分类的数据。这提供了如下优点，即这些结果可以在该方法的后续处理步骤中重复使用。识别输入流量时，首先应用所述知识库中的一组规则。如果基于这些规则无法识别所述输入流量，则计算该流量的统计模型，并且尝试基于存储在所述数据库中的流量模型来识别所获得的模型。如果尝试失败，则无法识别流量，并且用于定义此未识本文档来自技高网...

【技术保护点】
一种用于在线自动识别网络流量模型的方法(100)，其特征在于，包括：从通信网络接收(101)输入业务流(102)；通过对所述输入业务流(102)应用基于自学习的分类和即时分类来处理(103)所述输入业务流(102)，其中基于自学习的分类通过基于一组预定义特征来计算所述输入业务流(102)的统计模型并通过将所述统计模型存储在用于存储多个基于自学习的分类的结果的数据库中来在在线模式下执行；即时分类基于使用包括用于识别所述输入业务流(102)的一组预定规则的知识库和基于应用存储在所述数据库中的统计模型的至少一个子集来处理所述输入业务流(102)；基于即时分类和/或基于自学习的分类的结果来识别(105)所述输入业务流(102)中的网络流量模型(104)。

【技术特征摘要】
【国外来华专利技术】1.一种用于在线自动识别网络流量模型的方法(100)，其特征在于，包括：从通信网络接收(101)输入业务流(102)；通过对所述输入业务流(102)应用基于自学习的分类和即时分类来处理(103)所述输入业务流(102)，其中基于自学习的分类通过基于一组预定义特征来计算所述输入业务流(102)的统计模型并通过将所述统计模型存储在用于存储多个基于自学习的分类的结果的数据库中来在在线模式下执行；即时分类基于使用包括用于识别所述输入业务流(102)的一组预定规则的知识库和基于应用存储在所述数据库中的统计模型的至少一个子集来处理所述输入业务流(102)；基于即时分类和/或基于自学习的分类的结果来识别(105)所述输入业务流(102)中的网络流量模型(104)。2.根据权利要求1所述的方法(100)，其特征在于，所述数据库用于存储以下数据：计算出的所述输入业务流(102)的统计模型；未识别的统计模型的统计参数；未识别的输入业务流(102)。3.根据权利要求1或2所述的方法(100)，其特征在于，识别(105)所述网络流量模型(104)为所述输入业务流(102)提供信息策略的类别的识别。4.根据权利要求3所述的方法(100)，其特征在于，信息策略的类别基于网络流量模型识别来识别，并且至少包括：第一策略类别，如果通过所述知识库识别流量统计模型；第二策略类别，如果通过多个基于自学习的分类的结果来识别流量统计模型；第三策略类别，如果流量统计模型未被识别。5.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述基于自学习的分类和即时分类依次应用于所述输入业务流(102)的即时分类。6.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述输入业务流(102)包括数据包流，尤其是IP包。7.根据权利要求6所述的方法(100)，其特征在于，包括：在处理所述输入业务流(102)之前对所述输入业务流(102)进行过滤，其中，过滤基于以下过滤标准中的至少一个：预定的IP源地址；预定的IP目的地址；预定的IP源端口号；预定的IP目的端口号；和/或预定的数据传输协议。8.根据权利要求6或7所述的方法(100)，其特征在于，基于接收...

【专利技术属性】
技术研发人员：亚历山大·阿列克谢耶维奇·谢罗夫，瓦莱丽·尼古拉耶维奇·格鲁科夫，张洪波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44