【技术实现步骤摘要】
本专利技术属于智慧网络，具体涉及了一种基于5g智能网络流量识别及预测优化的方法。
技术介绍
1、网络流量识别：是指对网络中存在的各种数据流量加以识别、分类，以便后续的分析和应用。
2、模型评测：对于一个数据集而言，通常需要该数据集的一部分用于模型训练，称为训练集(training set)，另一部分用于模型评估，称为测试集(test set)。因此，就需要一种划分数据集的方案。划分训练集和测试集的一个重要原则是：测试集要与训练集互斥。也就是说，一条数据样本要么在训练集中，要么在测试集中，不能同时出现在训练集和测试集中。最常用的模型评估方法主要有三种，分别是留出法(hold-out)、交叉验证(crossvalidation)和自助法(bootstrap)。
3、网络运营：就是通过互联网从事传播、推广、销售等业务的一个统称。网络运营的主要意思就是：如何把一个公司产品的东西通过互联网推广出去，让更多的人喜欢到自己的产品，从而主动联系到该公司，达到一个成交的转化。
4、电信网络流量识别是指对网络中存在的各种数据流量加以识别、分类，以便后续的分析和应用。传统的电信网络流量识别主要依赖于工程师的专业经验，通过观测流量报文的字段标识，以及流量的其他外在特征进行识别。但对于一些人工无法观测相关特征的业务流量，如加密流量、欺诈流量及精细化业务流量等，还未出现有效的手段进行识别。
技术实现思路
1、本专利技术的目的在于提出一种基于5g智能网络流量识别及预测优化的方
2、为了实现上述目的，本专利技术采用的技术方案如下：
3、一种基于5g智能网络流量识别及预测优化的方法，包括网络流量识别和智能流量预测与路径调优；其中：
4、所述网络流量识别包括以下步骤：
5、(1)数据准备；
6、获取基站网络业务流量的海量原始数据，并对其进行数据清洗、标记；
7、(2)特征提取；
8、通过分析电信网络众多管道层特征，进行多维特征融合分析，并根据细化特征从海量原始数据中提取出管道层与特征模型相接近的有用信息；
9、所述有用信息指的是元素具备相关特征值的数据信息，目的是可能减少神经网络模型无效训练，用于测试验证步骤中。
10、(3)模型设计；
11、对提取的特征数据进行识别分类，定义业务流量管道特征识别的六大分类模型，通过大量的训练进行针对性的设计和参数优化(即，根据业务管道流量的特征进行模型设计和算法参数调优。)，形成符合需求的神经网络模型；
12、(4)测试验证；
13、针对训练好的神经网络模型进行规模测试，并根据测试效果指导模型的调优，直至达到最优的结果；
14、所述智能流量预测与路径调优包括以下步骤：
15、(一)从历史数据中获取现网历史数据按地域、业务分组最近10次、100次、1000次的数据集合；同时，对历史数据进行加权平均获得流量预测初始阈值并对网络流量特征进行识别，用于后续流量类型计算及路径选择优化；
16、(二)分别对高于和低于流量预测初始阈值的数据集合的次数进行计数，高于流量预测初始阈值，异常次数加1，低于流量预测初始阈值，正常次数加1；进而分别获得最近10次、100次、1000次三个不同时段周期的网络流量预测值；如果短期、中期及长期预测值概率区间幅度趋于一致在10％浮动内，则更新流量预测初始阈值，反之不更新。
17、训练神经网络需要海量有标记的数据作为支撑，有效的数据采集和标记方法能够在短时间内获取更多有价值的数据，因此，须对海量数据进行数据清洗、数据标记，以便学习训练。
18、针对电信网络众多管道层特征，通过对流量特征、会话特征、时空特征、隐蔽通信特征等多维特征融合分析提取，根据不同的业务场景，分别构建多维流量的智能监测模型，同时具备针对性的标注加密和未加密流量进行区别，如何选取尽可能少的特征作为神经网络的输入，同时获取最优的识别效果是特征提取的主要目的。
19、本专利技术的网络流量识别中，引入人工智能技术，基于业务流量特征可以有效识别业务应用中指定的加密/非加密业务，如互联网http加密业务、非法vpn业务、app内细分业务等，优化网系运算。具体实现为针对某业务历史流量日志中的细分业务流是进行数据清洗、数执家等。形成训练效据，然后基于标注后的流量特征，利用深度学习的神经网络训练相关模型，并应用于现网流量识别。
20、作为本专利技术进一步说明，在步骤(1)中，所述数据清洗、标记是指将海量的原始数据生成数据矩阵，并且标记其中每一行表示一个数据点，每一列表示一个特征。
21、作为本专利技术进一步说明，在步骤(2)中，所述电信网络众多管道层特征包括流量特征、会话特征、时空特征、隐蔽通信特征。
22、通过分析电信网络众多管道层对流量特征、会话特征、时空特征、隐蔽通信特征等多维特征融合分析提取，根据不同的业务场景，分别构建多维流量的智能监测模型，同时具备针对性的标注加密和未加密流量进行区别；并根据细化特征从海量的原始数据中提取出管道层较为突出的有用的信息。并利用统计指标特征来挖掘词汇。本专利基于统计指标的领域短语挖掘方法采用无监督学习。将无监督学习挖掘出的领域短语进行指标特征的统计。
23、具体描述：
24、评估一个词对于一段内容的重要性。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。它由两部分组成：tf和idf。
25、词频-逆文本频率(term frequency-inverse document frequency，tf-idf)
26、词频(term frequency，tf)表示一个给定词语t在一篇给定文本d中出现的频率。tf越高，则词语t对文本d来说越重要；tf越低，则词语t对文本d来说越不重要。对于在某一文本d里的词语t来说，t的词频可表示为：
27、
28、其中n是词语t在文本d中的出现次数，分母则是在文本d中所有词语的出现次数之和。
29、逆文件频率(inverse document frequency，idf)的主要思想是：如果包含词语t的文本越少，则idf越大，说明词语t在整个文本集层面上具有很好的类别区分能力。某一特定词语的idf,可以由总文本数除以包含该词语的文本数，再将得到的商取对数得到：
30、
31、其中d1是语料库中所有文本总数，分母是包含词语t的所有文本数。有了idf的定义，就可以计算某一个词的tf-idf值：
32、tf-idf＝tf×idf
33、大多数情况下文本共有词汇越多越有可能是重复问题，tf-idf更是代表了单词在文本中的重要程度，可以帮助排除“is”这种无意义共有单词的影响。
34、作为本专利技术进一步说明，在步骤(3)中，所述识别分类采用本文档来自技高网...
【技术保护点】
1.一种基于5G智能网络流量识别及预测优化的方法，包括网络流量识别和智能流量预测与路径调优；其特征在于：
2.根据权利要求1所述的基于5G智能网络流量识别及预测优化的方法，其特征在于：在步骤（1）中，所述数据清洗、标记是指将海量的原始数据生成数据矩阵，并且标记其中每一行表示一个数据点，每一列表示一个特征。
3.根据权利要求2所述的基于5G智能网络流量识别及预测优化的方法，其特征在于：在步骤（2）中，所述电信网络众多管道层特征包括流量特征、会话特征、时空特征、隐蔽通信特征。
4.根据权利要求3所述的基于5G智能网络流量识别及预测优化的方法，其特征在于：在步骤（3）中，所述识别分类采用的方法包括基于负载随机性检测的方法、基于有效负载的分类方法、基于数据包分布的分类方法、基于机器学习的分类方法、基于主机行为的分类方法、多种策略相结合的混合方法。
5.根据权利要求4所述的基于5G智能网络流量识别及预测优化的方法，其特征在于：所述智能流量预测包括算法探索阶段和现网应用阶段；所述算法探索阶段主要是利用各地网络历史数据，根据网络流量识别模型对数据
6.根据权利要求5所述的基于5G智能网络流量识别及预测优化的方法，其特征在于：所述路径优化是指根据网络状况，动态优化路由策略，提高传输效率，同时动态调度资源，提高网络使用效率；路径优化能力的建立需要对流量、性能、拓扑、路由的网络状态数据进行采集和实时监控，结合业务、负载、冗余策略规则及流量预测结果，共同作为路径优化算法模型的输入，将模型推理结果用于现网执行，并且对执行效果进行反馈，从而不断迭代优化算法模型。
...【技术特征摘要】
1.一种基于5g智能网络流量识别及预测优化的方法，包括网络流量识别和智能流量预测与路径调优；其特征在于：
2.根据权利要求1所述的基于5g智能网络流量识别及预测优化的方法，其特征在于：在步骤（1）中，所述数据清洗、标记是指将海量的原始数据生成数据矩阵，并且标记其中每一行表示一个数据点，每一列表示一个特征。
3.根据权利要求2所述的基于5g智能网络流量识别及预测优化的方法，其特征在于：在步骤（2）中，所述电信网络众多管道层特征包括流量特征、会话特征、时空特征、隐蔽通信特征。
4.根据权利要求3所述的基于5g智能网络流量识别及预测优化的方法，其特征在于：在步骤（3）中，所述识别分类采用的方法包括基于负载随机性检测的方法、基于有效负载的分类方法、基于数据包分布的分类方法、基于机器学习的分类方法、基于主机行为的分类方法、多种策略相结合的混合方法。
5.根据权利要求4所述的基于5g智能网络流量识别及预测优化的方法，其特征在于：所述智能流...
【专利技术属性】
技术研发人员：梁德成，莫静锋，谢昕颖，陈艺强，
申请(专利权)人：广西壮族自治区公众信息产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。