【技术实现步骤摘要】
本专利技术涉及网络数据监测领域，具体涉及一种网络监测数据补全方法及设备。
技术介绍
1、网络监测是管理和维护现代计算机网络的一个重要过程，需要对网络各实体之间的流量分布进行持续的测量和分析。这一过程对于异常检测、故障排除和网络优化等任务是不可或缺的，这凸显了对全网进行监测的必要性。然而，由于设备的连接中断、故障以及大量的测量开销等因素，全网监测数据的完整性往往难以得到保障。
2、现有的监测数据补全的方法主要可分为传统方法和基于神经网络的方法。传统的方法通常是基于矩阵补全、张量补全技术对监测数据中缺失的元素进行补全。这些方法将监测矩阵或张量分解为多个低秩因子矩阵，基于观测数据训练这些因子矩阵，并使用这些训练因子矩阵对未观测数据进行估计。基于神经网络的方法一部分是对传统方法的拓展，利用嵌入矩阵来代替传统矩阵或张量补全算法中的因子矩阵；另一部分是对数据的时间、空间等特征进行挖掘进而对缺失数据进行补全。
3、传统的补全方法虽然有较为坚实的理论基础，但是对缺失值进行估计的能力有限，因为它们只捕获网络监测数据中的线性信息，从而忽略了非线性方面。而在传统方法的基础上通过引入神经网络技术获得嵌入矩阵或张量的方法虽然在补全性能上有所提高，但是受到模型设计的限制，没有充分利用神经网络的强大能力。而其他的利用神经网络对数据时间、空间等特征进行挖掘从而对缺失数据进行补全的方法没有有效利用网络相关特征，导致对网络数据补全的准确度有限。此外，现有补全方法通常只能适用于离线或者在线的单一补全场景，缺乏补全场景的灵活性。
>技术实现思路
1、本申请通过提供一种网络监测数据补全方法及设备，以解决现有网络监测数据补全方法存在的上述问题中的至少一个。
2、为达到上述目的，本申请采用如下技术方案。
3、一方面，提供一种网络监测数据补全方法，该方法包括如下步骤：
4、将子序列、二分图序列、二值掩码以及网络流量数据集的网络拓扑信息输入到网络监测数据补全模型中，训练网络监测数据补全模型，得到训练好的网络监测数据补全模型；其中，
5、所述网络监测数据补全模型被配置为根据网络流量数据集的网络拓扑信息获取二分图序列中每个节点的拓扑特征，根据子序列、二值掩码和拓扑特征获取二分图序列中每个节点在每个时刻下的动态特征，对二分图序列中每个节点进行编码得到每个节点的静态特征，根据二分图序列中每个节点的动态特征和静态特征对网络流量数据集中的不可见部分进行估计；
6、所述网络监测数据补全模型的训练集和测试集通过如下方法获取：在网络流量数据集的o-d矩阵上随机生成二值掩码，将二值掩码中两个数值对应的网络流量数据集分别划分为训练集和测试集，其中训练集为可见部分，测试集为不可见部分；
7、所述二分图序列通过将训练集从时间维度上划分为子序列，再对子序列建模得到。
8、在一些实施例中，根据子序列、二值掩码和拓扑特征获取二分图序列中每个节点在每个时刻下的动态特征包括如下步骤：
9、将节点在前一时刻的隐状态输入到第一多层感知神经网络中，得到第一预估结果；
10、将节点在前一时刻的隐状态、第一预估结果、二值掩码和拓扑特征进行特征融合后输入到第一图卷积层，得到节点在当前时刻下的动态特征。
11、在一些实施例中，得到节点在当前时刻下的动态特征之后，还包括：
12、将节点在当前时刻下的动态特征输入到第二多层感知神经网络中，得到第二预估结果；
13、将第二预估结果与二值掩码和拓扑特征进行特征拼接，拼接后的特征与节点在前一时刻的隐状态一起输入到重置门和更新门；所述重置门包括源节点重置门和目的节点重置门，所述更新门包括源节点更新门和目的节点更新门；
14、将重置门的输出、节点在前一时刻的隐状态以及拼接后的特征一起输入到第二图卷积层；
15、将第二图卷积层的输出、节点在前一时刻的隐状态以及更新门的输出输入到隐状态更新层，得到将节点在当前时刻下的隐状态。
16、在一些实施例中，根据二分图序列中每个节点的动态特征和静态特征对网络流量数据集中的不可见部分进行估计包括：
17、将二分图序列中每个节点的动态特征和静态特征进行特征拼接后，输入到第三多层感知神经网络中，得到对网络流量数据集中的不可见部分的估计结果。
18、在一些实施例中，在线场景下，所述动态特征包括正向动态特征；离线场景下，所述动态特征包括正向动态特征和反向动态特征。正向动态特征指的是将数据按照正向时间顺序进行动态特征提取，反向动态特征指的是将数据按照反向的时间顺序进行动态特征提取。
19、又一方面，提供一种计算机设备，包括存储器、处理器和存储在存储器中可供处理器运行的程序指令，其中所述处理器执行所述程序指令以实现上述网络监测数据补全方法的步骤。
20、本申请至少具有如下技术效果或优点：
21、1、通过神经网络捕获数据之间的非线性关联，从而提高数据补全的准确性。
22、2、充分考虑网络数据相关特征，从而实现对网络数据进行具有针对性地补全，进一步提高数据补全的准确性。
23、3、通过更新数据在每个时刻下的隐状态，并综合利用所提取的特征对二分图上未观测边进行预测，进一步提高数据补全的准确性。
24、4、通过提出在线模式，使用由已收集数据训练的、固定参数后的模型对新到来数据进行补全，保证一定精度下快速地进行缺失数据的补全。
本文档来自技高网...【技术保护点】
1.一种网络监测数据补全方法，该方法包括如下步骤：
2.根据权利要求1所述的网络监测数据补全方法，其特征在于，根据子序列、二值掩码和拓扑特征获取二分图序列中每个节点在每个时刻下的动态特征包括如下步骤：
3.根据权利要求2所述的网络监测数据补全方法，其特征在于，得到节点在当前时刻下的动态特征之后，还包括：
4.根据权利要求1-3任一项所述的网络监测数据补全方法，其特征在于，根据二分图序列中每个节点的动态特征和静态特征对网络流量数据集中的不可见部分进行估计包括：
5.根据权利要求1-3任一项所述的网络监测数据补全方法，其特征在于：在线场景下，所述动态特征包括正向动态特征；离线场景下，所述动态特征包括正向动态特征和反向动态特征。
6.一种计算机设备，包括存储器、处理器和存储在存储器中可供处理器运行的程序指令，其中所述处理器执行所述程序指令以实现如权利要求1-5任一项所述的步骤。
【技术特征摘要】
1.一种网络监测数据补全方法，该方法包括如下步骤：
2.根据权利要求1所述的网络监测数据补全方法，其特征在于，根据子序列、二值掩码和拓扑特征获取二分图序列中每个节点在每个时刻下的动态特征包括如下步骤：
3.根据权利要求2所述的网络监测数据补全方法，其特征在于，得到节点在当前时刻下的动态特征之后，还包括：
4.根据权利要求1-3任一项所述的网络监测数据补全方法，其特征在于，根据二分图序...
【专利技术属性】
技术研发人员：谢鲲，林其雪，李晓灿，文吉刚，张大方，彭绍亮，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。