一种基于时序先验和稀疏表示的IP网络流量估计方法技术

本发明专利技术公开了一种基于时序先验和稀疏表示的IP网络流量估计方法，首先采集网络中所有源

【技术实现步骤摘要】
一种基于时序先验和稀疏表示的IP网络流量估计方法


[0001]本专利技术涉及一种网络流量估计方法，尤其涉及一种基于时序先验和稀疏表示的IP网络流量估计方法。

技术介绍

[0002]流量矩阵(Traffic Matrix,TM)是常用的全网络级流量数据，记录被测量网络所有源
‑
目的(Origin
‑
Destination,OD)节点对间传输的流量值，被广泛应用于流量工程、全网络异常检测等应用问题中。但是，由于流量矩阵需要捕获网络流量的全局状态信息，直接测量全部的流量矩阵数据的代价太高，实际应用中几乎是不可行、不切实际的。通过间接观测的方式对流量矩阵进行估计可以减少直接测量的代价和开销，这已经成为一个热门的研究领域。
[0003]针对流量矩阵估计应经有了很多行之有效的方法，但是由于没有利用到流量矩阵固有的时空相关特性，导致估计的准确性不够

技术实现思路

[0004]专利技术目的：针对上述现有技术的缺陷，本专利技术提供一种基于时序先验和稀疏表示的IP网络流量估计方法，提高流量矩阵估计的准确性。
[0005]技术方案：本专利技术的基于时序先验和稀疏表示的IP网络流量估计方法，其特征在于，所述方法包括如下步骤：
[0006]S1、采集网络中所有源
‑
目的节点对间传输的流量值构建不完整的流量矩阵；
[0007]S2、利用稀疏表示理论和正则化技术针对不完整的流量矩阵中存在的时空相关性建立流量矩阵估计模型；
[0008]S3、通过交替方向乘子法将原始的流量矩阵估计问题转换为若干易于求解的子问题；
[0009]S4、迭代优化子问题的全局最优解来找到原始问题的局部最优解，估计出完整的流量矩阵。
[0010]步骤S1中不完整的流量矩阵按如下步骤构造：
[0011]设一天的时间间隔数为T，OD对总数为N，则流量矩阵可表示为
[0012][0013]其中m
ij
代表在第i个时间间隔上第j个OD对的流量值，“*”代表已知流量值，“？”代表缺失的流量值，流量矩阵中，一列表示一个样本，是一个OD对在一天内所有时间间隔上的流量值，一行表示一个时间间隔上所有OD对的流量值。
[0014]步骤S2中包括如下步骤：
[0015]首先，针对不完整流量矩阵存在的空间相关性建立基于稀疏表示理论的流量估计
模型，其表达式如下：
[0016][0017]其中，为已知不完整的流量矩阵，为需要求解的完整流量矩阵，为需要求解的稀疏表示系数矩阵，Ω集合表示流量矩阵中已知的流量值元素下标集合，λ1为可调参数。P
Ω
(
·
)是投影算子，表示当元素下标(i,j)∈Ω时，得到对应位置采样元素：
[0018][0019]因为流量矩阵中元素值非负，所以有X≥0，并且为避免平凡解，约束稀疏表示矩阵W的对角线元素都为0，即diag(W)＝0；
[0020]针对不完整流量矩阵中存在的时序相关性，结合基于稀疏表示理论的流量估计模型建立基于时序先验和稀疏表示的流量估计模型，其表达式如下：
[0021][0022]其中，λ2为可调参数，是Toeplitz(0,1,
‑
1)矩阵。
[0023]步骤S3中，子问题包括迭代过程中的流量矩阵X，稀疏表示系数矩阵W以及代表不完整流量矩阵M和完整流量矩阵X在集合Ω之外的误差的误差变量C，
[0024]步骤S4包括如下具体步骤：
[0025]S41、为求解方便引入误差变量C，将流量估计模型改写为如下形式：
[0026][0027]s.t.X≥0,diag(W)＝0，M＝X+C，P
Ω
(C)＝0
[0028]S42、将约束项放入目标函数中，定义指示函数g(X)和f(C)，使优化问题转换成等价的罚函数形式，其中，指示函数的表达式如下：
[0029][0030]罚函数的表达式如下：
[0031][0032]S43、根据罚函数，得到需要求解的X，W，C，β表达式如下：
[0033][0034]其中，ρ是固定参数，优选的取值为1.1或1.2，β是罚函数的参数，β
k
，β
k
‑1分别是第k次迭代和第k
‑
1次迭代中的β值，β
max
是代表β的最大值的固定参数，优选的取值为106，F是F
范数；对上式进行交替优化求解，达到预设的最大迭代次数时的流量矩阵X即为估计后的完整流量矩阵，最大迭代次数为50以内的常数，具体数值根据实验效果确定。
[0035]稀疏表示矩阵W的求解过程中，对每列进行分别求解，将每一列的求解过程看做LASSO问题，设W
i
表示W的第i列，X
i
表示X的第i列，X
‑
i
表示从X中去掉第i列得到的矩阵，为满足约束diag(W)＝0，求解W
i
时，X的第i列不参与计算，W
i
的表达式如下：
[0036][0037]有益效果：与现有技术相比，本专利技术具有如下显著优点：有效地弥补了使用传统的KNN等估计算法带来的估计不准确的缺陷，在高维的情况下更能体现其优势，考虑相邻网络结点的时序相关性的同时利用流量矩阵的空间相关性，得到的流量矩阵更加准确，为流量估计方法的优化提供了理论支持。
附图说明
[0038]图1为本专利技术的模型结构示意图；
[0039]图2为本专利技术的方法流程图。
具体实施方式
[0040]下面结合附图对本专利技术的技术方案作进一步说明。
[0041]如图1所示，本专利技术的基于时序先验和稀疏表示的IP网络流量估计方法的基本思想是采集网络中t个时刻上的流量值，根据已知流量值构建不完整的流量矩阵，基于时序相关性和空间相关性构建时序先验和稀疏表示模型，通过交替方向乘子法求解该模型，估计出完整的流量矩阵。本专利技术的具体步骤如下：
[0042]步骤1)、构建不完整的流量矩阵M：
[0043]采集网络中所有源
‑
目的(Origin
‑
Destination,OD)节点对间传输的流量值得到不完整的流量矩阵M。在流量矩阵M中，一列表示一个样本，是一个OD对在一天内所有时间间隔的流量值。一行表示一个时间间隔所有OD对的流量值，设一天的时间间隔数为T，OD对总数为N，则流量矩阵可表示为
[0044][0045]其中m
ij
代表在第i个时间间隔上第j个OD对的流量值，“*”代表已知流量值，“？”代表缺失的流量值。由于用户的通信行为影响，流量矩阵中相邻结点的流量值是有关系的，即空间相关，并且流量矩阵中有大量的缺失值，是个稀疏矩阵。
[0046]步骤2)、建立基于稀疏表示理论的流量估计模型：
[0047]在稀疏的流量矩阵中，每个样本可以表示为其他样本的线性组合，并且距本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序先验和稀疏表示的IP网络流量估计方法，其特征在于，所述方法包括如下步骤：S1、采集网络中所有源
‑
目的节点对间传输的流量值构建不完整的流量矩阵；S2、利用稀疏表示理论和正则化技术针对不完整的流量矩阵中存在的时空相关性建立流量矩阵估计模型；S3、通过交替方向乘子法将原始的流量矩阵估计问题转换为若干易于求解的子问题；S4、迭代优化子问题的全局最优解来找到原始问题的局部最优解，估计出完整的流量矩阵。2.根据权利要求1所述的基于时序先验和稀疏表示的IP网络流量估计方法，其特征在于，所述步骤S1中不完整的流量矩阵按如下步骤构造：设一天的时间间隔数为T，OD对总数为N，则流量矩阵可表示为设一天的时间间隔数为T，OD对总数为N，则流量矩阵可表示为其中m
ij
代表在第i个时间间隔上第j个OD对的流量值，“*”代表已知流量值，“？”代表缺失的流量值，流量矩阵中，一列表示一个样本，是一个OD对在一天内所有时间间隔上的流量值，一行表示一个时间间隔上所有OD对的流量值。3.根据权利要求1所述的基于时序先验和稀疏表示的IP网络流量估计方法，其特征在于，所述步骤S2中包括如下步骤：首先，建立基于稀疏表示理论的流量估计模型，其表达式如下：其中，为已知不完整的流量矩阵，为需要求解的完整流量矩阵，为需要求解的稀疏表示系数矩阵，Ω集合表示流量矩阵中已知的流量值元素下标集合，λ1为可调参数；P
Ω
(
·
)是投影算子，表示当元素下标(i，j)∈Ω时，得到对应位置采样元素：因为流量矩阵中元素值非负，所以有X≥0，并且为避免平凡解，约束稀疏表示矩阵W的对角线元素都为0，即diag(W)＝0；建立基于时序先验和稀疏表示的流量估计模型，其表达式如下：其中，λ2为可调参数，是Toeplitz(0，...

【专利技术属性】
技术研发人员：王传栋，张永，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：