一种基于扩散模型的缺失网络流量矩阵填充方法和系统技术方案

为了克服上述现有技术中扩散模型无法应用于求解存在大量缺失的网络流量矩阵填充问题的缺陷，本发明专利技术提出了一种基于扩散模型的缺失网络流量矩阵填充方法，在填充缺失网络流量矩阵时，通过计算梯度矫正含噪流量矩阵的条件分布，解决了结合扩散模型的生成过程实现网络流量矩阵填充的问题，并通过替换已知部分含噪流量再次更新含噪流量矩阵已知部分的边缘分布。本发明专利技术全面考虑了在无法获得完整网络流量矩阵数据集的场景下，结合扩散模型实现网络流量矩阵填充，可以有效解决现有方法存在填充假设强、且填充后生成源点对质量较差等诸多问题。

【技术实现步骤摘要】

本专利技术涉及网络工程和机器学习，尤其是一种基于扩散模型的缺失网络流量矩阵填充方法和系统。

技术介绍

1、流量矩阵（traffic matrix，简称tm）用于表示所有可能的网络节点之间的流量需求大小，网络节点之间的流量往往被称为源点对（od-pairs）流量。 它对于分布式系统管理是至关重要的输入，可以在路由选择，网络资源规划，网络调试，甚至是网络异常检测和网络安全等各个方面提供大量帮助。但是，随着现代网络规模的不断增大，直接采集所有源点对之间的流量大小已经不切实际。

2、鉴于在网络众多领域中的重要性，如何从测量到的od-pairs获得完整的网络流量矩阵，即流量矩阵填充得到了广泛关注与研究。矩阵填充的一种广泛采用的方法是低秩矩阵填充，涵盖了范数最小化，奇异值阈值化和交替最小化等技术，经典的有roughan等人提出的稀疏正则化矩阵分解（srmf）。这些方法都假设整个流量矩阵具有低秩特性。同时，一些研究发现了流量矩阵中时常往往具有明显的时空特征。基于空间属性，zhou等人通过谱聚类将tm分为多个簇，然后识别具有相似行为的子矩阵，以估计缺失流量数据本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，扩散模型的训练过程包括以下步骤：

3.如权利要求2所述的基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，噪声预测网络包括顺序连接的N个下采样模块、中间过渡模块和N个上采样模块；还包括位置编码模块和多层感知机，位置编码模块的输出连接多层感知机的输入，多层感知机的输出分别嵌入各下采样模块、中间过渡模块和各上采样模块的输入；N个下采样模块由第一下采样模块至第N下采样模块顺序连接，N个上采样模块由第一上采样模块至第N上采...

【技术特征摘要】

1.一种基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，扩散模型的训练过程包括以下步骤：

3.如权利要求2所述的基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，噪声预测网络包括顺序连接的n个下采样模块、中间过渡模块和n个上采样模块；还包括位置编码模块和多层感知机，位置编码模块的输出连接多层感知机的输入，多层感知机的输出分别嵌入各下采样模块、中间过渡模块和各上采样模块的输入；n个下采样模块由第一下采样模块至第n下采样模块顺序连接，n个上采样模块由第一上采样模块至第n上采样模块顺序连接；第一下采样模块的输入即为噪声预测网络的输入，第n上采样模块的输出即为噪声预测网络的输出，位置编码模块用于接入扩散步t；第i上采样模块的输入还连接第n+1-i下采样模块的输出。

4.如权利要求3所述的基于扩散模型的缺失网络流量矩阵填充方法，其特征在于，下采样模块由两个残差模块和下采样层组成；下采样模块中，两个残差模块的输入连接下采样模块的输入，两个残差模块的输出连接下采样层的输入，下采样层的输出即为下采样模块的输出 ；

5.如...

【专利技术属性】
技术研发人员：乔焰，袁新宇，魏振春，李敏悦，王俊杰，赵培，胡荣耀，江凯文，于晓宁，王世成，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：