【技术实现步骤摘要】
一种基于离散化张量填充的top-k大象流预测方法及系统
本专利技术涉及数据交互
,具体是一种基于离散化张量填充的top-k大象流预测方法及系统。
技术介绍
大象流在网络流量中占据非常重要的位置,对网络状况分析尤为重要。对前k个最大流预测,也称为top-k大象流预测,是一个基本的网络管理功能。很多管理应用能够从top-k大象流的有效标识中获益,包括通过拥塞控制来动态调度大象流、网络容量规划、异常检测和转发表条目的缓存等。目前国内外有许多top-k大象流预测的研究,大致可以分为两类:第一,一些文献研究试图使用少量的内存来测量每个数据流的基数,比如统计包的个数或字节数。以基于概要数据结构的算法为例,它依赖于概要数据结构(例如CM概要数据结构[5])来测量网络流的大小,同时使用最小堆来跟踪top-k网络流。对于每个传入的数据包,它在概要数据结构中记录并更新此包所属流fi的大小ni。如果ni大于最下堆中的流大小,而fi不在堆中,则用流fi替换堆中的最小流。如果fi在最小堆中,它将使用ni更新fi的流大小。第二,还有一些研究尝试利用部分获得的网络流数据,首先恢复丢失的数据,然后在对恢复的数据并进行排序后,最后返回前k个最大的流。例如:基于一维属性信息(纯空间或纯时间属性)的数据恢复算法[1]-[3]、基于二维属性信息(时空属性)的矩阵填充算法[4]-[6]、基于三维或更多维属性信息的张量填充算法[7]、[8]尝试将流量数据建模为一个三维张量,然后通过张量填充算法填充缺失数据。[1]A.Lakhina,K.Papagiannaki,M.Crovella,C.Dio ...
【技术保护点】
1.一种基于离散化张量填充的top‑k大象流预测方法,其特征在于,包括以下步骤:从已知流量数据中获取含有缺失流量数据的张量;将所述张量分解为三个离散的二值因子矩阵形成实值因子矩阵;其中三个因子矩阵的构成元素分别为张量源节点、时间和目标节点三个维度方向的二值因子向量;用所有所述二值因子向量表示实值张量数据,所述实值张量数据包括所述已知流量数据和缺失流量数据;用三个维度方向的二值因子向量的内积表示每个时刻缺失流量数据,通过基于位运算的高效数据预测方法计算汉明距离以代替内积;基于二值码分割的top‑k预测加速方法计算汉明距离,并根据汉明距离判断两二值因子向量是否相似以确定所述二值因子向量对应的实值张量数据是否top‑k大象流;检索所有实值张量数据,并返回前k个最大的实值张量数据,获得top‑k大象流。
【技术特征摘要】
1.一种基于离散化张量填充的top-k大象流预测方法,其特征在于,包括以下步骤:从已知流量数据中获取含有缺失流量数据的张量;将所述张量分解为三个离散的二值因子矩阵形成实值因子矩阵;其中三个因子矩阵的构成元素分别为张量源节点、时间和目标节点三个维度方向的二值因子向量;用所有所述二值因子向量表示实值张量数据,所述实值张量数据包括所述已知流量数据和缺失流量数据;用三个维度方向的二值因子向量的内积表示每个时刻缺失流量数据,通过基于位运算的高效数据预测方法计算汉明距离以代替内积;基于二值码分割的top-k预测加速方法计算汉明距离,并根据汉明距离判断两二值因子向量是否相似以确定所述二值因子向量对应的实值张量数据是否top-k大象流;检索所有实值张量数据,并返回前k个最大的实值张量数据,获得top-k大象流。2.如权利要求1所述的基于离散化张量填充的top-k大象流预测方法,其特征在于,所述将所述张量分解为三个二值因子矩阵的步骤,包括:根据秩为R的张量的部分已知数据及恢复数据构建以下目标函数:其中A,B,C为张量分解后得到的三个二值因子矩阵,值为1或-1;ai,bj,ck分别为因子矩阵A,B,C的行向量,a(i),b(j),c(k)分别为因子矩阵A,B,C的列向量;xijk为张量的第i个源节点到第j个目标节点在第k个时刻的流量数据,在i,j,k∈Ω时表示获取的已知数据;在时,表示待填充流量数据;I*J*K表示张量的大小,其中包括I个源节点,J个目标节点,K个时刻;通过迭代求解上述目标函数获得实值张量数据,以实现对缺失流量数据的填充。3.如权利要求2所述的基于离散化张量填充的top-k大象流预测方法,其特征在于,所述通过迭代求解上述目标函数获得实值张量数据的步骤包括:分别固定其中两个二值因子矩阵,对另外一个二值因子矩阵中每个二值因子向量进行逐位更新;重复上述步骤,交替获得三个二值因子矩阵的所有二值因子向量。4.如权利要求3所述的基于离散化张量填充的top-k大象流预测方法,其特征在于,所述分别固定其中两个二值因子矩阵,对另外一个二值因子矩阵中每个二值因子向量进行逐位更新的步骤包括:固定B和C,根据对式(1)展开的式(2)更新A:式(2)中的目标函数对ai求和,逐位更新每个ai来更新A:5.如权利要求3所述的基于离散化张量填充的top-k大象流预测方法,其特征在于,所述对另外一个二值因子矩阵中每个二值因子向量进行逐位更新的步骤包括:每次位数迭代更新过程中均固定除更新位数之外的余位,只更新该位数。6.如权利要求5所述的基于离散化张量填充的to...
【专利技术属性】
技术研发人员:田家政,谢鲲,文吉刚,曾彬,周新峰,袁小坊,
申请(专利权)人:湖南友道信息技术有限公司,
类型:发明
国别省市:湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。