基于联邦生成对抗网络的流量数据增强方法与装置制造方法及图纸

本发明专利技术公开了一种基于联邦生成对抗网络的流量数据增强方法与装置，离线保存每个基站历史采集的无线帧监测数据，通过计算每个采集的无线帧的资源占用率，得到各区域各基站的历史流量数据，对数据进行区域分簇收集，设置逻辑处理中心，并在逻辑处理中心进行缺损流量数据补全生成对抗网络预设，同步分簇网络与逻辑处理中心保持一致，采用联邦平均策略，调度各个分簇的网络进行聚合训练，将聚合训练后的联邦生成对抗网络在簇内进行同步保存；调取待增强缺失流量数据，基于联邦生成对抗网络，待待增强缺失流量数据中缺失的部分替换为联邦生成对抗网络输出的流量值，通过批量生成筛选的方式，得到最适合当前缺失流量数据分布的增强填充流量数据。填充流量数据。填充流量数据。

【技术实现步骤摘要】
基于联邦生成对抗网络的流量数据增强方法与装置


[0001]本专利技术涉及无线通信
，具体而言涉及一种基于联邦学习与生成对抗网络结合的多区域协同无线流量数据填充增强的方法及装置。

技术介绍

[0002]无线流量数据是当前网络设计和流量工程任务的重要组成部分，包括容量规划、负载平衡、路径设置、网络供应、异常检测和故障恢复等。在5G通信系统中，基站也可以基于SDN/NFV(软件定义网络/网络功能虚拟化)技术来学习流量数据变化，动态适应流量负载，确保整体服务质量和网络性能。而且近年来，随着流媒体和云服务的广泛部署，无线流量在时间上的变化将更加剧烈，精确采集的流量数据也是当前挑战之一。许多流量工程任务(如异常检测、流量预测)需要完整的流量信息，针对流量数据缺失的准确填充增强，成为无线流量采集的一个关键问题。
[0003]数据填充增强技术旨在通过分析隐藏在数据集中的特征、规则、关系等来恢复数据集中缺失的值，使得填充增强后的数据能够提升其在后续环节的使用性能。具体到流量数据上，其拥有时间稳定性、空间相关性和周期性等特征，当流量数据出现缺失之后，流量工程任务会出现特征难以捕获的问题。以流量预测为例，如果忽略流量数据缺失的影响，预测得到的流量信息就容易产生误差，且无法有效适应当前流量变化趋势，对于动态调整网络结构，适应流量负载的任务效果也较差。对真实流量数据的分析表明，用户设备的网络接入行为在每天的同一时间会有相似行为，在时间上展开也就是流量数据的周期性特征，为了更准确进行的缺失流量数据填充增强，我们可以利用这些特征同时考虑不同日期的流量，进行特征学习，对缺失点的流量值进行推断。
[0004]对于流量数据缺失率较小的情况，通常采用简单的流量值缺省以及简单的插值填充方式(如线性插值，三次样条插值等)对流量数据进行处理，此时数据缺失对于流量预测的影响就比较小。但面对大缺失率的流量数据样本，样本信息过少，直接省略数据或简单插值容易出现流量预测误差过大的情况。在数据填充生成领域，生成对抗网络凭借能够学习历史数据，进行隐式建模，学习流量数据分布的特性，在各类时间序列填充算法上有着较为优秀的性能。尽管生成对抗网络方法在各类生成填充实验中，有良好的性能，但其训练环节依赖完整数据。在实际情况中，训练集拥有缺失是问题固有的一部分，获取完整数据集并不符合实际。此外，在无线通信系统中，流量数据采集存放于分散各地的基站中，使用整个区域内的所有基站流量数据进行训练，获取全局流量信息，需要消耗大量通信资源进行数据传递。因此，本方法的基本任务和主要难点在于，利用有限且分散的历史缺失流量数据以及流量数据的内部时间相关性，对各地的流量数据进行补全增强，从而在不过度占用通信资源的情况下，提高流量预测的准确度。

技术实现思路

[0005]本专利技术针对现有技术中的不足，提供了一种基于联邦学习与生成对抗网络结合的
多区域协同无线流量数据填充增强方法和装置。在获取流量数据有一定缺失，且数据较为分散的情况下，能够有效对缺失流量数据进行填充增强，从而提高流量数据在流量预测环节的精度。
[0006]为达成上述目的，本专利技术采用以下技术方案：
[0007]一种基于联邦生成对抗网络的流量数据增强方法，包括以下几个步骤：
[0008]S101：离线保存每个基站历史采集的各时间点和频点的无线帧监测数据，通过计算每个采集的无线帧的资源占用率，得到各区域各基站的历史流量数据，每组训练数据由基站当前时间点和频点下的物理资源块占用情况组成，经过预处理后，历史流量数据展现为频率、时间作为变量到资源占用率与用户的一种映射关系；
[0009]S102：基于各区域各基站获取的训练用历史流量数据，进行区域分簇收集，将区域数据集中至区域簇头中；基于收集到的历史流量数据，设置逻辑处理中心，并在逻辑处理中心进行缺损流量数据补全生成对抗网络预设，同步分簇的缺损流量数据补全生成对抗网络与逻辑处理中心保持一致；
[0010]S103：通过逻辑处理中心调度各个分簇簇头，采用联邦平均策略，调度各个分簇的缺损流量数据补全生成对抗网络进行聚合训练，将聚合训练后的联邦生成对抗网络进行同步保存；
[0011]S104：基于步骤S103中的联邦生成对抗网络，分簇将簇内所有基站待补全的流量数据中缺失的部分替换为联邦生成对抗网络输出的流量值，通过批量生成筛选的方式，得到最适合当前缺失流量数据分布的增强填充流量数据。
[0012]其中：步骤S101包括以下子步骤：
[0013]S11，各个基站中的控制服务器以固定的时间间隔向流量采集设备发送流量采集请求，固定的时间间隔为时隙，流量采集设备收到流量采集请求后，采集当前时间点与频段范围内各频点的无线帧，设置为物理资源块，实时传回存储设备；
[0014]S12，对步骤S11采集的物理资源块进行各频点各时间点的预处理计算，通过读取物理资源块内每个符号对应的用户信息与物理资源块内的符号占用情况，计算当前频点与时间点的物理资源块占用率以及对应用户，依次计算得到历史流量数据；
[0015]S13，对步骤S12获得的历史流量数据进行进一步的筛选提取处理，对于流量采集过程中出现的缺失数据标记为0，生成历史缺失流量数据。
[0016]步骤S102包括以下子步骤：
[0017]S21，将区域内的所有基站以分簇进行划分，每个分簇设置一个簇头，簇头用于收集分簇内所有基站的历史缺失流量数据，并保存在簇头本地；
[0018]S22，对步骤S21中得到的分簇内历史缺失流量数据进行批处理用于输入后续步骤；
[0019]S23，对步骤S22中的分簇内历史缺失流量数据进行归一化处理，对得到的历史缺失流量数据进行固定时隙固定频点的标准化处理，保证每一条历史缺失流量数据由确定的频点和时刻映射而来，生成标准化历史缺失流量数据，保存在簇头本地；
[0020]S24，根据步骤S23中得到的标准化历史缺失流量数据，在逻辑处理中心构造一个缺损流量数据补全生成对抗网络，缺损流量数据补全生成对抗网络由生成器网络和鉴别器网络构成，生成器网络的输出与标准化历史缺失流量数据的维度一致，鉴别器网络的输入
与标准化历史缺失流量数据维度一致；
[0021]S25，将步骤S24中逻辑处理中心设置的缺损流量数据补全生成对抗网络复制传输至各个分簇，在每个分簇构建与逻辑处理中心结构一致的缺损流量数据补全生成对抗网络，保证区域内所有缺损流量数据补全生成对抗网络结构具备一致性。
[0022]步骤S103包括以下步骤：
[0023]S31，对步骤S23中标准化历史缺失流量数据进行预处理，生成相应的掩码数据，缺损数据位置标记为0，有数据位置标记为1，对数据缺失点进行随机变量填充，将标准化历史缺失流量数据作为条件信息与随机潜变量进行融合，生成分簇训练历史缺失流量数据；
[0024]S32，将步骤S31中的分簇训练历史缺失流量数据输入各分簇已建立的缺损流量数据补全生成对抗网络中进行训练，缺损流量数据补全生成对抗网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦生成对抗网络的流量数据增强方法，包括以下几个步骤：S101：离线保存每个基站历史采集的各时间点和频点的无线帧监测数据，通过计算每个采集的无线帧的资源占用率，得到各区域各基站的历史流量数据，每组训练数据由基站当前时间点和频点下的物理资源块占用情况组成，经过预处理后，所述的历史流量数据展现为频率、时间作为变量到资源占用率与用户的一种映射关系；S102：基于各区域各基站获取的训练用历史流量数据，进行区域分簇收集，将区域数据集中至区域簇头中；基于收集到的历史流量数据，设置逻辑处理中心，并在逻辑处理中心进行缺损流量数据补全生成对抗网络预设，同步分簇的缺损流量数据补全生成对抗网络与逻辑处理中心保持一致；S103：通过逻辑处理中心调度各个分簇簇头，采用联邦平均策略，调度各个分簇的缺损流量数据补全生成对抗网络进行聚合训练，将聚合训练后的联邦生成对抗网络进行同步保存；S104：基于步骤S103中的联邦生成对抗网络，分簇将簇内所有基站待补全的流量数据中缺失的部分替换为联邦生成对抗网络输出的流量值，通过批量生成筛选的方式，得到最适合当前缺失流量数据分布的增强填充流量数据。2.根据权利要求1所述的一种基于联邦生成对抗网络的流量数据增强方法，其特征在于，所述的步骤S101包括以下步骤：S11，各个基站中的控制服务器以固定的时间间隔向流量采集设备发送流量采集请求，所述的固定的时间间隔为时隙，流量采集设备收到流量采集请求后，采集当前时间点与频段范围内各频点的无线帧，设置为物理资源块，实时传回存储设备；S12，对步骤S11采集的物理资源块进行各频点各时间点的预处理计算，通过读取物理资源块内每个符号对应的用户信息与物理资源块内的符号占用情况，计算当前频点与时间点的物理资源块占用率以及对应用户，依次计算得到历史流量数据；S13，对步骤S12获得的历史流量数据进行进一步的筛选提取处理，对于流量采集过程中出现的缺失数据标记为0，生成历史缺失流量数据。3.根据权利要求1所述的一种基于联邦生成对抗网络的流量数据增强方法，其特征在于，所述的步骤S102包括以下步骤：S21，将区域内的所有基站以分簇进行划分，每个分簇设置一个簇头，所述的簇头用于收集分簇内所有基站的历史缺失流量数据，并保存在簇头本地；S22，对步骤S21中得到的分簇内历史缺失流量数据进行批处理用于输入后续步骤；S23，对步骤S22中的分簇内历史缺失流量数据进行归一化处理，对得到的历史缺失流量数据进行固定时隙固定频点的标准化处理，保证每一条历史缺失流量数据由确定的频点和时刻映射而来，生成标准化历史缺失流量数据，保存在簇头本地；S24，根据步骤S23中得到的标准化历史缺失流量数据，在逻辑处理中心构造一个缺损流量数据补全生成对抗网络，所述的缺损流量数据补全生成对抗网络由生成器网络和鉴别器网络构成，生成器网络的输出与标准化历史缺失流量数据的维度一致，鉴别器网络的输入与标准化历史缺失流量数据维度一致；S25，将步骤S24中逻辑处理中心设置的缺损流量数据补全生成对抗网络复制传输至各个分簇，在每个分簇构建与逻辑处理中心结构一致的缺损流量数据补全生成对抗网络，保
证区域内所有缺损流量数据补全生成对抗网络结构具备一致性。4.根据权利要求1所述的一种基于联邦生成对抗网络的流量数据增强方法，其特征在于，所述的步骤S103包括以下步骤：S31，对步骤S23中标准化历史缺失流量数据进行预处理，生成相应的掩码数据，缺损数据位置标记为0，有数据位置标记为1，对数据缺失点进行随机变量填充，将标准化历史缺失流量数据作为条件信息与随机潜变量进行融合，生成分簇训练历史缺失流量数据；S32，将步骤S31中的分簇训练历史缺失流量数据输入各分簇已建立的缺损流量数据补全生成对抗网络中进行训练，缺损流量数据补全生成对抗网络的每一轮训练结束之后，训练模型参数均保存在簇头本地；所述的流量数据补全条件生成对抗网络采用信息提示矩阵，为鉴别器网络提供部分数据点是由生成器网络得到或是真实数据的信息，所述的鉴别器网络输出的内容是对每个数据点进行真实或伪造的判别，除随机变量以及真实和伪造数据输入生成器网络与鉴别器网络外，还有其他的已知条件信息作为输入数据；S33，对步骤S32中缺损流量数据补全生成对抗网络每一轮训练得到的模型参数进行聚合，将簇头本地的模型参数传输至逻辑处理中心，逻辑处理中心收到模型参数之后，采用联邦平均的策略对收集到的模型参数进行处理，最后将处理好的联邦模型参数同步给每一个分簇簇头进行下一步训练；S34，根据逻辑处理中心每一轮训练的联邦模型参数相对误差进行缺损流量数据补全生成对抗网络的收敛判别，若未达到收敛，继续执行联邦平均策略的聚合调度；若达到收敛，则停止继续调度模型参数，并终止分簇的缺损流量数据补全生成对抗网络训练，设置聚合后的缺损流量数据补全生成对抗网络为联邦生成对抗网络，将联邦生成对抗网络同步至各分簇。5.根据权利要求1所述的一种基于联邦生成对抗网络的流量数据增强方法，其特征在于，所述的步骤S104包括以下步骤：S41，对于存储于各基站中需要进行流量数据填充的待增强缺失流量数据进行调用，对单条待增强缺失流量数据，进行一定次数的复制；S42，对步骤S41中的复制后的待增强缺失流量数据，进行流量缺失点的随机变量填充，将待增强缺失流量数据作为条件信息与随机潜变量进行融合，生成待增强随机填充流量数据；S43，把步骤S42中得到的待增强随机填充流量数据输入步骤S34中联邦生成对抗网络，生成完整的待增强随机填充流量数据，替换待增强缺失流量数据中流量缺失点的部分，实现流量数据的填充增强，生成增强随机填充流量数据；S44，对于步骤S43得到的增强随机填充流量数据，基于鉴别器网络的判别准确度和生成数据与原始数据的相对误差，筛选出最适合当前流量数据分布的增强填充流量数据。6.使用如权利要求1
‑
5任一所述的基于联邦生成对抗网络的流量数据增强方法的装置，包括离线数据采集模块、分簇数据处理模块、联邦学习控制模块和流量数据增强模块，所述的离线数据采集模块：离线保存每个基站历史采集的各时间点和频点的无线帧监测数据，通过计算每个采集的无线帧的资源占用率，得到各区域各基站的历史流量数据，每组训练数据由基站当前时间点和频点下的物理资源块占用情况组成，经过预处理后，所述的历史流量数据展现为频率、时间作为变量到资源占用率与用户的一种映射关系，离线数
据采集模块与分簇数据处理模块信号连接；所述的分簇数据处理模块：基于各区域各基站获取的训练用历史流量数据，进行区域分簇收集，将区域数据集中至区域簇头中；基于收集到的历史流量数据，设置逻辑处理中心，并在逻辑处理中心进行缺损流量数据补全生成对抗网络预设，同步分簇的缺损流量数据补全生成对抗网络与逻辑处理中心保持一致，分簇数据处理模块与联邦学习控制模块信号连接；所述的联邦学习控制模块：通过逻辑处理中心调度各...

【专利技术属性】
技术研发人员：黄洋，陆逸炜，后裕琦，吴启晖，崔皓禹，朱秋明，陈小敏，赵玉龙，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：