一种预测模型训练方法、流量预测方法、装置及存储介质制造方法及图纸

技术编号:32922881 阅读:11 留言:0更新日期:2022-04-07 12:14
本申请的实施例揭示了一种预测模型训练方法、流量预测方法、装置及存储介质,预测模型训练方法包括:获取历史流量数据,并对历史流量数据进行数据转换,得到初始流量时间序列数据;对初始流量时间序列数据进行异常检测,以检测初始流量时间序列数据中的异常数据;对检测到的异常数据进行修复,得到目标流量时间序列数据;根据目标流量时间序列数据对初始神经网络模型进行训练,得到用于流量预测的目标神经网络模型,初始神经网络模型中包括长短期记忆网络LSTM,通过对流量时间序列进行异常检测以及异常修复,为后续的精准流量预测减少了冗余信息,提高预测精度。提高预测精度。提高预测精度。

【技术实现步骤摘要】
一种预测模型训练方法、流量预测方法、装置及存储介质


[0001]本申请涉及一种流量预测技术,提供一种预测模型训练方法、流量预测方法、预测模型训练装置、流量预测装置及计算机可读存储介质。

技术介绍

[0002]随着网络规模的急剧扩大,网络结构越来越复杂,网络出现拥塞的可能性也越来越大,对流量的分析和控制已变得十分重要。流量工程对于大规模网络容量规划、网络设备设计、网络资源管理及用户行为调节等都有积极意义。通过对网络流量的测量与预测,可以了解网络之间的流量情况及趋势,从而更有效地进行网络优化,更好地进行路由设计和负载均衡的设计;同时可以控制网络拥塞,从而降低因网络拥塞带来的信息丢失和延迟,充分利用网络资源,提高服务质量。
[0003]相关技术在预测流量时,常采用的方式为:基于统计的传统预测模型,如:平均数预测、最小均方误差预测、自回归滑动平均(Autoregressive moving average model,ARMA)模型预测等;而基于统计的传统模型已解决不了复杂的非线性时序模型,不能满足现代网络流量存在的突变性和多依赖性等非线性要求,且一般只适用于具有显著长期变动趋势的预测。

技术实现思路

[0004]本申请的目的在于提供一种预测模型训练方法、流量预测方法、预测模型训练装置、流量预测装置及计算机可读存储介质,通过对流量时间序列进行异常检测以及异常修复,为后续的精准流量预测减少了冗余信息,提高预测精度。
[0005]本申请提出一种预测模型训练方法,包括:获取历史流量数据,并对所述历史流量数据进行数据转换,得到初始流量时间序列数据;对所述初始流量时间序列数据进行异常检测,以检测所述初始流量时间序列数据中的异常数据;对检测到的异常数据进行修复,得到目标流量时间序列数据;根据所述目标流量时间序列数据对初始神经网络模型进行训练,得到用于流量预测的目标神经网络模型,所述初始神经网络模型中包括LSTM(Long short

term memory,长短期记忆网络)。
[0006]进一步地,所述对所述初始流量时间序列数据进行异常检测,以检测所述初始流量时间序列数据中的异常数据包括:将所述初始流量时间序列数据分解为趋势分量、周期分量和余项分量;根据所述初始流量时间序列数据的中位数、所述周期分量和所述初始流量时间序列数据得到新余项分量;确定所述新余项分量与所述新余项分量的中位数偏离最远的残差,作为检验统计量;计算所述初始流量时间序列数据中的临界值,根据所述检验统计量和临界值判断所述初始流量时间序列数据中是否存在为异常数据。
[0007]进一步地,所述对检测到的异常数据进行修复,得到目标流量时间序列包括:对检测到的异常数据进行空值处理得到缺失值;根据非异常数据对所述缺失值进行插补;根据所述周期分量、所述中位数和缺失值插补后的时间序列数据余项分量、得到所述目标流量
时间序列。
[0008]进一步地,所述根据非异常数据对所述缺失值进行插补包括:选取K个与所述缺失值距离最近的非异常数据,其中,K为大于或等于2的正整数;计算K个非异常数据的平均值,并以所述平均值对所述缺失值进行插补。
[0009]进一步地,所述初始神经网络模型包括三层LSTM层,以及连接在所述LSTM层后的全连接层;所述根据所述目标流量时间序列数据对初始神经网络模型进行训练,得到用于流量预测的目标神经网络模型,包括:对所述目标流量时间序列进行归一化处理,并将归一化处理后得到的结果划分为训练集和测试集;将所述训练集输入所述初始神经网络模型进行训练,得到所述初始流量预测模型;根据所述测试集对所述初始流量预测模型进行评估,以得到用于流量预测的目标神经网络模型。
[0010]本申请还提出一种流量预测方法,包括获取根据如上所述的预测模型训练方法训练得到的用于流量预测的目标神经网络模型;根据所述目标神经网络模型对预测日期的流量进行预测得到预测结果。
[0011]进一步地,在所述根据所述目标神经网络模型对预测日期的流量进行预测得到预测结果之后,所述方法还包括:对所述预测结果进行整合,得到以预设时间为单位的流量预测矩阵;对所述流量预测矩阵进行分析,并根据分析结果对网络规划进行优化。
[0012]本申请还提出一种预测模型训练装置,包括:数据获取模块,被配置为获取历史流量数据,并对所述历史流量数据进行数据转换,得到初始流量时间序列数据;检测模块,被配置为对所述初始流量时间序列数据进行异常检测,以检测所述初始流量时间序列数据中的异常数据;修复模块,被配置为对检测到的异常数据进行修复,得到目标流量时间序列数据;训练模块,被配置为根据所述目标流量时间序列数据对初始神经网络模型进行训练,得到用于流量预测的目标神经网络模型,所述初始神经网络模型中包括长短期记忆网络LSTM。
[0013]本申请还提出一种流量预测装置,包括:模型获取模块,被配置为获取用于流量预测的目标神经网络模型;预测模块,被配置为根据所述目标神经网络模型对预测日期的流量进行预测得到预测结果。
[0014]本申请还提出一种计算机可读存储介质,其上存储有计算机可读指令,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如上所述的预测模型训练方法或使计算机执行如上所述的流量预测方法。
[0015]与现有技术相比,本申请具有如下有益效果:
[0016]本申请提供的技术方案中,获取历史流量数据,并对所述历史流量数据进行数据转换,得到各初始流量时间序列数据;对所述各初始流量时间序列数据进行异常检测,以检测所述各初始流量时间序列数据中的异常数据;对检测到的异常数据进行修复,得到目标流量时间序列数据;根据所述目标流量时间序列数据对长短期记忆网络LSTM进行训练,得到流量预测模型;即本申请提供的技术方案考虑了流量时间序列的特点,对流量时间序列进行异常检测以及异常修复,为后续的精准流量预测减少了冗余信息,提高预测精度,且通过LSTM网络可以学习之间的潜在相关性,互为约束条件,提高了预测精度,不仅对流量预测具有明显的优势,而且拥有一定的泛化能力。
附图说明
[0017]图1是本申请涉及的一种实施环境的示意图;
[0018]图2是本申请一示例性实施例示出的一种预测模型训练方法的流程图;
[0019]图3是图2所示的预测模型训练方法中的步骤S120在一示例中的流程图;
[0020]图4是图2所示的预测模型训练方法中的步骤S130在一示例中的流程图;
[0021]图5是图2所示的预测模型训练方法中的步骤S140在一示例中的流程图;
[0022]图6是本申请的一示例性实施例示出的一种流量预测方法的流程图;
[0023]图7是本申请一示例性实施例示出的包含模型训练阶段和预测阶段的流程图;
[0024]图8是本申请一示例性实施例示出的一种预测模型训练装置的结构示意图;
[0025]图9是本申请一示例性实施例示出的一种流量预测装置的结构示意图;...

【技术保护点】

【技术特征摘要】
1.一种预测模型训练方法,其特征在于,包括:获取历史流量数据,并对所述历史流量数据进行数据转换,得到初始流量时间序列数据;对所述初始流量时间序列数据进行异常检测,以检测所述初始流量时间序列数据中的异常数据;对检测到的异常数据进行修复,得到目标流量时间序列数据;根据所述目标流量时间序列数据对初始神经网络模型进行训练,得到用于流量预测的目标神经网络模型,所述初始神经网络模型中包括长短期记忆网络LSTM。2.根据权利要求1所述的方法,其特征在于,所述对所述初始流量时间序列数据进行异常检测,以检测所述初始流量时间序列数据中的异常数据包括:将所述初始流量时间序列数据分解为趋势分量、周期分量和余项分量;根据所述初始流量时间序列数据的中位数、所述周期分量和所述初始流量时间序列数据得到新余项分量;确定所述新余项分量与所述新余项分量的中位数偏离最远的残差,作为检验统计量;计算所述初始流量时间序列数据中的临界值,根据所述检验统计量和临界值判断所述初始流量时间序列数据中是否存在为异常数据。3.根据权利要求2所述的方法,其特征在于,所述对检测到的异常数据进行修复,得到目标流量时间序列包括:对检测到的异常数据进行空值处理得到缺失值;根据非异常数据对所述缺失值进行插补;根据所述周期分量、所述中位数和缺失值插补后的时间序列数据余项分量、得到所述目标流量时间序列。4.根据权利要求3所述的方法,其特征在于,所述根据非异常数据对所述缺失值进行插补包括:选取K个与所述缺失值距离最近的非异常数据,其中,K为大于或等于2的正整数;计算K个非异常数据的平均值,并以所述平均值对所述缺失值进行插补。5.根据权利要求1

4任一项所述的方法,其特征在于,所述初始神经网络模型包括三层LSTM层,以及连接在所述LSTM层后的全连接层;所述根据所述目标流量时间序列数据对初始神经网络模型进行训练,得到用于流量预测的目标神经网络模型,包括:对所述目标流量时间序列进行归一化处理,并将归一化处理后得到的结果划...

【专利技术属性】
技术研发人员:邓丽洁朱永庆唐宏阮科
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1