面向Top-Down网络测量系统的并行测量任务的优化方法及系统技术方案

本发明专利技术提供了一种面向Top

【技术实现步骤摘要】
面向Top-Down网络测量系统的并行测量任务的优化方法及系统


[0001]本专利技术属于计算机网络测量
，具体涉及一种面向Top-Down网络测量系统的并行测量任务的优化方法及系统。

技术介绍

[0002]流量工程、网络安全等诸多网络管理任务需要对网络流量的统计信息进行分析，因此依赖于网络测量提供实时和准确的网络流量统计信息收集。
[0003]现有的网络测量系统可以分成两大类：
[0004]一类是Bottom-Up的网络测量系统，这一类网络测量系统根据每个网络设备上可支持的测量功能(如端口镜像)配置测量规则采集数据，上层的测量分析任务只能依据测量规则可提供的数据进行分析处理，以获得想要的信息。其不足在于，由于测量规则的配置与上层测量任务的需求分离，数据平面采集到的数据不仅可能包含大量无效的数据，还可能存在数据遗漏，这种情况会导致上层测量任务的数据处理代价大、准确性降低，例如用户想要针对SYN泛洪攻击进行测量，而网络设备只支持sFlow采样，这样sFlow会采集到大量非SYN的、无用的数据包，增加测量任务的分析难度，并且采样过程中将错过大部分SYN数据包、导致测量结果精度很低。
[0005]另一类是Top-Down网络测量系统，这类测量系统直接以上层测量任务的意图为输入，通过一系列编译和优化，将测量意图翻译成底层数据平面设备可执行的测量规则，控制数据平面按照这些测量规则收集数据，进而为上层的测量任务精准地提供数据。Top-Down网络测量系统架构如
[0006]图1所示，测量任务的意图通过一个声明式接口表达为查询，再通过编译模块编译为可执行的规则并分布式部署到网络设备上。测量系统中的查询(Query)是指由系统预定义的基本处理流程构成的处理流程序列，例如某些Top-Down网络测量系统中，就以Filter、Map等数据流操作作为基本处理流程，此时查询即表现为数据流操作序列。
[0007]两类测量系统相比而言，Top-Down网络测量系统可有效避免Bottom-Up网络测量系统存在的采集信息大而不全、造成的测量开支高、适用场景有限的问题。
[0008]现有技术的Top-Down网络测量系统也存在问题。Top-Down网络测量系统根据用户测量任务按需采集，当存在多个并行测量任务时，针对每个测量任务都会独立地进行数据采集。这些任务虽然由不同用户发起，但有可能是相同的任务，这样会造成重复测量。另外，对于不同的测量任务，其采集数据的处理过程可能有部分是相同的，也会造成重复测量。因此，在一个大型网络中，对来自不同用户(如网络管理员、应用开发者、终端用户)和不同分析应用(如攻击检测、攻防效能评估、网络性能分析等)的数量众多的不同测量需求，为每个测量需求独立地进行数据采集会导致测量开支随测量任务数量线性增长，影响测量系统的扩展性。

技术实现思路

[0009]为解决上述现有技术中存在的问题，提供一种面向Top-Down网络测量系统的并行测量任务的优化方法，包括：
[0010]步骤1，将每个测量任务表达为一个查询，每个所述查询由一个或者多个基本处理流程构成，并且包括用于指定所述查询的待测量数据的源属性；
[0011]步骤2，基于所述查询的源属性，提取多个所述查询中的公共处理流程，所述公共处理流程至少包括一个基本处理流程；
[0012]步骤3，通过复用所述公共处理流程，对每个所述查询进行优化形成新的查询；
[0013]步骤4，将所述新的查询编译生成用于部署到网络设备的规则或代码。
[0014]优选的，所述步骤2包括：
[0015]步骤22，当两个查询的源相同，并且两者的基本处理流程序列存在公共前缀，则将包含基本处理流程序列的公共前缀提取为一个单独的查询。
[0016]优选的，所述步骤2还包括：
[0017]步骤21，当两个查询的源相同，并且存在相同的基本处理流程时，在不影响查询功能的前提下，将相同的基本处理流程移动为公共前缀。
[0018]优选的，所述步骤3包括：修改每个所述查询的处理流程，以分别利用所述公共处理流程的输出为源进行串接，形成对应于所述测量任务的新的查询。
[0019]优选的，所述步骤4包括：
[0020]步骤41，对于每个待编译的当前查询，当所述当前查询的源是另一个查询的输出，则首先对源查询进行编译，然后对当前查询进行编译。
[0021]优选的，所述步骤4包括：
[0022]步骤42，生成用于检查当前查询的源查询的代码，以用于当源查询已完成时执行当前查询的代码。
[0023]优选的，所述步骤4包括：
[0024]步骤43，将构成当前查询的每个基本处理流程，编译为网络设备可执行的规则。
[0025]根据本专利技术的另一个方面，提供一种面向Top-Down网络测量系统的并行测量任务的优化系统，包括：声明式接口，优化模块，编译模块；
[0026]其中，所述声明式接口用于将每个测量任务表达为一个查询，每个所述查询由一个或者多个基本处理流程构成，并且包括用于指定所述查询的待测量数据的源属性；
[0027]所述优化模块与所述声明式接口相连接，基于所述查询的源属性，提取多个所述查询中的公共处理流程，所述公共处理流程至少包括一个基本处理流程，通过复用所述公共处理流程，对每个所述查询进行优化形成新的查询；
[0028]所述编译模块与所述优化模块相连接，用于编译所述新的查询，生成用于部署到网络设备的规则或代码。
[0029]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述任一项方法的步骤。
[0030]本专利技术还提供一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一项方法的步骤。
[0031]本专利技术具有如下特点和有益效果：通过对Top-Down的测量系统进行扩展，使得系统能够对用户通过声明式接口输入的查询进行优化，在设备上执行时会通过复用中间结果以减少不必要的计算，从而较好地解决大量并行测量任务情形下Top-Down网络测量系统面临的扩展性问题。
附图说明
[0032]图1示出了现有技术的Top-Down网络测量系统的架构。
[0033]图2示出了现有技术的Top-Down网络测量系统中通过声明式接口表达的查询示例。
[0034]图3示出了现有技术的Top-Down网络测量系统查询的输入和输出示例。
[0035]图4示出了现有技术的Top-Down网络测量系统的不同测量意图在同一时间窗口内有重复处理流程的示例。
[0036]图5示出了根据本专利技术一个实施例的扩展之后的声明式接口对于测量意图的表达的示例。
[0037]图6示出了根据本专利技术一个实施例的基于交换基本操作流程顺序的查询优化前的流程的示例。
[0038]图7示出了根据本专利技术一个实施例的交换基本操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向Top-Down网络测量系统的并行测量任务的优化方法，包括：步骤1，将每个测量任务表达为一个查询，每个所述查询由一个或者多个基本处理流程构成，并且包括用于指定所述查询的待测量数据的源属性；步骤2，基于所述查询的源属性，提取多个所述查询中的公共处理流程，所述公共处理流程至少包括一个基本处理流程；步骤3，通过复用所述公共处理流程，对每个所述查询进行优化形成新的查询；步骤4，将所述新的查询编译生成用于部署到网络设备的规则或代码。2.根据权利要求2所述的方法，所述步骤2包括：步骤22，当两个查询的源相同，并且两者的基本处理流程序列存在公共前缀，则将包含基本处理流程序列的公共前缀提取为一个单独的查询。3.根据权利要求2所述的方法，所述步骤2还包括：步骤21，当两个查询的源相同，并且存在相同的基本处理流程时，在不影响查询功能的前提下，将相同的基本处理流程移动为公共前缀。4.根据权利要求1所述的方法，所述步骤3包括：修改每个所述查询的处理流程，以分别利用所述公共处理流程的输出为源进行串接，形成对应于所述测量任务的新的查询。5.根据权利要求1所述的方法，所述步骤4包括：步骤41，对于每个待编译的当前查询，当所述当前查询的源是另一个查询的输出，则首先对源查询进行编译，然后对当前查询进行编...

【专利技术属性】
技术研发人员：李文斌，于金萍，毕经平，黄建辉，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：