一种高可靠性的细粒度SDN流量监控架构制造技术

一种高可靠性的细粒度SDN流量监控架构，通过引入独立于特定业务和控制器的监控处理机制，将控制器的转发与监控相分离，监控处理器采用了三层架构，上下两层分别对应控制器和交换机侧，中间层对下层交换机侧收集的流监控数据进行处理，产生流特征集合；上层由控制器命令解析器和流特征选择器组成；根据控制器下发的选择命令决定选定的流特征，流特征选择器根据选定的流特征对中间层提供的流特征集合进行机器学习和数据挖掘，产生的统计量作为控制器的决策信息，为转发提供精确并有预测性的全网数据；本架构具有可靠性强、灵活性好以及监测精度高等优势，采用应用程序接口与控制器和交换机进行通信，具有较强的可扩展性，方便进行移植和维护。

【技术实现步骤摘要】
一种高可靠性的细粒度SDN流量监控架构
本专利技术涉及计算机网络监控架构的
，特别涉及一种高可靠性的细粒度SDN流量监控架构，将软件定义网络下的流量监控架构进行了创新和扩展，与如今深度学习技术相结合。
技术介绍
现代的数据中心网络运转在大规模的数据交换计算之上，承载着海量业务如虚拟云计算、大数据应用、数据中心服务以及多媒体传输等，传统网络还依赖于网络管理员来处理网络瞬变问题已经不够及时例如网络拥塞是随着网络负载动态的变化，同时传统网络很难获取全网信息，这就难以为动态的进行网络流量调度提供高效和可靠性保证。因此针对传统网络的诸多弊端，下一代网络NGN(NextGenerationNetwork)技术应运而生，其中软件定义网络SDN(SoftwareDefinedNetwork)作为一种比较有代表性的技术受到了业界的广泛关注。SDN网络解耦了控制平面和数据平面使其具有高效和灵活的网络管理能力。这种网络架构提供了一种集中化的控制通过下发流表允许路由器和交换机以其线路的速率处理网络流量而不引入比较明显的额外开销(根据实现的具体架构一定程度上也会引入额外开销)；同时控制器可以通过控制通道实时的管控网络。SDN技术适用于当下广泛多样的网络类型，因此在众多研究机构和工业公司的推广下发展的越来越快。SDN网络最突出的特性就是全网控制，要实现高效和准确的网络控制必须以高效和准确获取全网信息为前提，因此SDN的网络监控技术是决定SDN网络架构整体性能的第一步。现如今的SND网络流量监控技术主要有以下几点缺陷：(1)由于高频率的流统计量队列会在控制器引入监控开销。(2)流量监控与转发使用相同的流表而产生了非灵活性的问题，同时用于监控目的的包特征与用于转发目的的包特征不总是相同或者是重叠的。(3)由于目前硬件交换机的有限容量使得流条目数目非常的有限进而引入了可靠性问题，当流表数量过大时容易造成路由器流表拥塞。
技术实现思路
为了克服上述现有技术的缺陷，本专利技术的目的在于提供一种高可靠性的细粒度SDN流量监控架构，通过独有的控制与转发相分离的特点，提高了全网的管控能力，在提高了转发效率的同时又提升了故障恢复及预测和负载均衡等能力。为了达到上述目的，本专利技术的技术方案为：一种高可靠性的细粒度SDN流量监控架构，将SDN网络的监控与转发功能相分离，流量监控架构包括三层：控制器侧、流信息处理层和交换机侧；最上层是控制器侧，包含了控制器命令解析器和流特征选择器，负责根据控制器对监控流信息的需求对流特征集合进行学习和挖掘，提取出控制器所需的流统计信息，为其转发决策提供数据来源；流信息处理层负责对流量的初始信息进行过滤，提取出所需的统计量进而生成流特征集合，为上层控制器侧的流特征选择提供数据源；最下层为交换机侧，由本地控制应用和监控数据库组成，负责根据控制器的监控要求过滤和存储监控流的流条目；流量监控架构包含两种开放的应用程序接口：监控处理器的控制器侧和SDN控制器之间的数据交换和指令下发接口以及监控处理器的交换机侧与交换机之间的数据交换和参数设置接口。所述的控制器侧由控制器命令解析器和流特征选择器组成，实现了对控制器下发命令的解析和流特征的选取，在本架构中控制器对监控处理器下发命令主要有两类：一类是控制器根据其监控需求对交换机侧的某条流进行是否采样的判断命令，经控制器命令解析器解析后会送达交换机侧的本地控制应用，用于控制流过滤和流采样；另一类是控制器根据其监控需求对控制器侧的流选择器进行流特征提取的选择命令，直接控制控制器侧的流特征选择器进行流特征的机器学习和数据挖掘；流特征选择器提取出的选定流特征统计量直接通过监控处理器与控制器的数据交换接口进行传递。所述的流特征选择器的原理是深度学习，通过训练集和测试集的自学习过程产生流特征当前的统计量和预测量，进而对流进行分类：流特征选择器根据中、下层产生的流通特征集合按照控制器的要求进行流特征的筛选，进而通过深度学习的算法对按照选定的流特征对流进行分类，将分类后的流量信息传递给控制器为其转发提供决策。流特征选择器包括三个模块：(1)流特征格式化器：其作用是将流集合内的统计信息按照特征选择算法形成训练集和测试集；(2)特征选择器：根据控制器要求选择相应的流特征集合，中间的流信息处理层所产生的流特征集合是所有流统计量的集合，特征选择器按照控制器给定的特征在此集合中选择出相应特征的子集；(3)流分类器：分类器通过特征选择器产生的训练集进行分类算法的训练，之后用测试集进行验证对监控的数据流进行分类，最后将分类后的结果传回控制器，使控制器根据分类结果进行下一步的流调度。所述的流信息处理层由流特征过滤器、统计量生成器以及流特征集合三个模块组成，流特征过滤器的功能主要是将监控数据库的流条目进行过滤，剔除无效监控条目，控制器规定流经某个交换机的某个端口的流都进行监控，由于网络环境的复杂性引起的扰动可能形成无效的数据包被误认为是有效流被监控，因此通过多种的有效性检查使得过滤后的监控数据都是可靠的，之后经由统计量生成器将流统计量提取分类后形成流特征集合，供上层控制器侧进行下一步的流分类。所述的交换机侧由监控处理器的本地控制应用(localcontrolapplication)和监控数据库两部分组成，本地控制应用的作用主要是根据SDN控制器的监控要求对路由器的流监控进行参数设置和过滤，其中通过布隆过滤器(Bloomfilter)过滤掉不需要监控的流数据包(是否进行流监控由控制器的监控需求决定)，由此减少监控的流数目并增强了流监控的灵活性和准确性；监控数据库负责存储匹配控制器监控需求的流信息和包统计值，监控数据库数据表由三部分内容组成：监控匹配域、包计数值和哈希值(HashCode)，监控数据库的流统计量会周期性的发送至流信息处理层进行流信息的处理。所述的交换机侧，其监控进程的工作流步骤如下：当交换机的流到达监控处理器交换机侧的本地控制应用后，首先会检查相应的流条目是否存在于布隆过滤器中，如果存在，证明该流是不需要进行监控的，因此之后到来的数据包都会被本地控制应用跳过；如果不存在于布隆过滤器中，则证明该流是已经受监控的流或者是新达到的流，需要再进行判断；此时会在监控数据库的监控表中再次进行查找，如果查找到了流条目证明该条流正在受监控，此时更新该流计数器的值，如果在监控表中没有查找到相应的流条目，本地控制应用根据控制器的监控规则决定是否对该条流进行采样；如果不进行采样，则在布隆过滤器中添加此流条目，这条流之后的数据直接过滤，如果进行采样则在监控表添加该流。所述的监控处理器的控制器侧和SDN控制器之间的数据交换和指令下发接口，定义如下：(1)controllerCommondMessage(Controllermessage)：该接口用于SDN控制器对监控处理器下发命令，该接口封装了多条控制器命令，将会由监控处理器控制器侧的命令解析器对控制器命令进行解析，如权利要求3中所述SDN控制器的命令分为对流选择器的流特征设置和对交换机侧的流监控设置，解析器将控制器命令解析后会分别传送至流特征选择器和交换机侧的本地应用控制。(2)flowFeatureStatistic(flowID,classification)：该接口用本文档来自技高网...

【技术保护点】
一种高可靠性的细粒度SDN流量监控架构，其特征在于，将SDN网络的监控与转发功能相分离，流量监控架构包括三层：控制器侧、流信息处理层和交换机侧；最上层是控制器侧，包含了控制器命令解析器和流特征选择器，负责根据控制器对监控流信息的需求对流特征集合进行学习和挖掘，提取出控制器所需的流统计信息，为其转发决策提供数据来源；流信息处理层负责对流量的初始信息进行过滤，提取出所需的统计量进而生成流特征集合，为上层控制器侧的流特征选择提供数据源；最下层为交换机侧，由本地控制应用和监控数据库组成，负责根据控制器的监控要求过滤和存储监控流的流条目；流量监控架构包含两种开放的应用程序接口：监控处理器的控制器侧和SDN控制器之间的数据交换和指令下发接口以及监控处理器的交换机侧与交换机之间的数据交换和参数设置接口。

【技术特征摘要】
1.一种高可靠性的细粒度SDN流量监控架构，其特征在于，将SDN网络的监控与转发功能相分离，流量监控架构包括三层：控制器侧、流信息处理层和交换机侧；最上层是控制器侧，包含了控制器命令解析器和流特征选择器，负责根据控制器对监控流信息的需求对流特征集合进行学习和挖掘，提取出控制器所需的流统计信息，为其转发决策提供数据来源；流信息处理层负责对流量的初始信息进行过滤，提取出所需的统计量进而生成流特征集合，为上层控制器侧的流特征选择提供数据源；最下层为交换机侧，由本地控制应用和监控数据库组成，负责根据控制器的监控要求过滤和存储监控流的流条目；流量监控架构包含两种开放的应用程序接口：监控处理器的控制器侧和SDN控制器之间的数据交换和指令下发接口以及监控处理器的交换机侧与交换机之间的数据交换和参数设置接口。2.根据权利要求1所述的一种高可靠性的细粒度SDN流量监控架构，其特征在于，所述的控制器侧由控制器命令解析器和流特征选择器组成，实现了对控制器下发命令的解析和流特征的选取，在本架构中控制器对监控处理器下发命令主要有两类：一类是控制器根据其监控需求对交换机侧的某条流进行是否采样的判断命令，经控制器命令解析器解析后会送达交换机侧的本地控制应用，用于控制流过滤和流采样；另一类是控制器根据其监控需求对控制器侧的流选择器进行流特征提取的选择命令，直接控制控制器侧的流特征选择器进行流特征的机器学习和数据挖掘；流特征选择器提取出的选定流特征统计量直接通过监控处理器与控制器的数据交换接口进行传递。3.根据权利要求2所述的一种高可靠性的细粒度SDN流量监控架构，其特征在于，所述的流特征选择器的原理是深度学习，通过训练集和测试集的自学习过程产生流特征当前的统计量和预测量，进而对流进行分类：流特征选择器根据中、下层产生的流通特征集合按照控制器的要求进行流特征的筛选，进而通过深度学习的算法对按照选定的流特征对流进行分类，将分类后的流量信息传递给控制器为其转发提供决策。流特征选择器包括三个模块：(1)流特征格式化器：其作用是将流集合内的统计信息按照特征选择算法形成训练集和测试集；(2)特征选择器：根据控制器要求选择相应的流特征集合，中间的流信息处理层所产生的流特征集合是所有流统计量的集合，特征选择器按照控制器给定的特征在此集合中选择出相应特征的子集；(3)流分类器：分类器通过特征选择器产生的训练集进行分类算法的训练，之后用测试集进行验证对监控的数据流进行分类，最后将分类后的结果传回控制器，使控制器根据分类结果进行下一步的流调度。4.根据权利要求1所述的一种高可靠性的细粒度SDN流量监控架构，其特征在于，所述的流信息处理层由流特征过滤器、统计量生成器以及流特征集合三个模块组成，流特征过滤器的功能主要是将监控数据库的流条目进行过滤，剔除无效监控条目，控制器规定流经某个交换机的某个端口的流都进行监控，由于网络环境的复杂性引起的扰动可能形成无效的数据包被误认为是有效流被监控，因此通过多种的有效性检查使得过滤后的监控数据都是可靠的，之后经由统计量生成器将流统计量提取分类后形成流特征集合，供上层控制器侧进行下一步的流分类。5.根据权利要求1所述的一种高可靠性的细粒度SDN流量监控架构，其特征在于，所述的交换机侧由...

【专利技术属性】
技术研发人员：曲桦，赵季红，赵东旭，李岩松，李方成，赵建龙，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61