【技术实现步骤摘要】
本专利技术属于网络状态预测领域，尤其针对网络带宽的实时预测。具体涉及一种基于改进transformer编码方式的网络带宽预测方法。
技术介绍
0、技术背景
1、近年来，用户在移动设备上花费的时间越来越多，消费的内容也越来越丰富。随着5g技术的兴起，虚拟现实和增强现实等新媒体引用也逐渐引入移动设备，移动流量规模可预见的将在未来不断增长。为用户提供更加高质量的服务具有重大意义。移动端可用的带宽最终是由跨协议栈自适应确定。对于许多涉及到用户交互或多媒体内容的移动应用程序，例如游戏、视频会议和视频通话等，准确的实时估计可用带宽可以提高用户的使用体验。目前带宽预测技术主要分为两类：基于公式的(fb)和基于历史的(hb)。
2、fb预测依赖于数学模型，该数学模型将带宽表示为底层网络路径的特性(例如，rtt，丢失率)的函数。fb预测的主要优点是它不需要任何先前的带宽历史数据，通过网络参数就可以进行预测。然而，根据以往的数据发现，fb方法进行预测的时候会导致较大的预测误差。主要愿意是带宽预测的模型需要知道tcp流期间的路径特征，而fb预测在tcp流开始之前测量相应的先验特征。如果tcp流的特征发生显著变化，则预测误差可能大到令人无法接受。
3、hb方法使用的是标准时间序列预测技术。基于来自相同路径上的先前带宽的历史数据来预测未来的带宽数据。有学者通提出通过支持向量机(svr)模型，以基于测量分组丢失率、分组延迟和待传输文件的大小来预测带宽，效果虽由于fb方法，误差依然较大。有学者开发了基于带宽预测的隐马尔可夫
4、以上基于fb的预测方式多大具有较大误差，而基于hb的传统方法虽然准确率有所上升，但是相对于深度学习的方法如transformer，依然有不小的差距。
技术实现思路
1、本专利技术主要考虑随着5g时代的发展，虚拟现实和增强现实技术越来越多的进入普通大众的生活中。人们对网络流量的使用需求也随之快速增长。提高实时带宽的预测准确性，对用于指导带宽的准确分配和提高视频质量具有重要意义。本专利技术提供一种基于改进transformer的网络带宽实时预测方法。
2、本专利技术针对传统transformer模型的缺陷提出了以下改进方法：传统的递归结构模型，如lstm，由于其固有的递归性质，倾向于更加关注靠近预测点的时间序列数据。然而，实际情况往往并非如此简单。以预测第六秒的数据为例，前五秒的信息可能并不均匀重要，因为在时间序列中发生的某些突发事件可能会显著影响预测结果。举例而言，如果在第三秒发生了带宽骤降，后续几秒很可能受到这一事件的影响而呈现下降趋势。因此，我们需要一种模型，能够在考虑时间关系的同时，更灵活地调整各时间点信息的权重，以更准确地捕捉数据之间的相关性。
3、为了解决这一问题，本专利技术引入了多头注意力机制，这是一种深度学习中的创新性技术。多头注意力机制允许模型同时关注输入序列的不同部分，并计算它们之间的相关性。具体而言，我们可以通过使用多个并行的注意力头，每个头都专注于捕获不同时间段之间的关联性。通过这种方式，模型可以更灵活地分配重要性，使得在发生关键事件的时间点上的信息获得更高的权重。
4、这一引入多头注意力机制的创新性方法，不仅能够更准确地建模时间序列数据之间的复杂关系，同时也使得模型更具适应性，能够更好地适应突发事件对预测结果的影响。这为时间序列预测问题提供了一种更为先进和灵活的建模方式，有望在实际应用中取得更好的性能。
5、同时，在传统的transformer结构中，通常采用encoder-decoder结构，其中encoder负责捕捉输入序列特征之间的相关性，而decoder则通过解码生成最终的输出结果。然而，对于带宽预测这类问题，与特征之间的相关性相比，我们更关注特征与目标之间的相关性。因此，为了突出这一重点，本专利技术进行了结构改进，引入了生成式编码结构。
6、具体而言，我们直接将未来的输出结果纳入输入序列{x1，x2，x3，x4，x5，x6}中，其中x6的初始值设置为0。这一创新的核心在于，通过生成式编码结构，我们可以直接计算目标与之前时间点带宽的相关性，而不仅仅是依赖特征之间的关联性。这样的设计更符合带宽预测问题的需求，因为我们更关心如何准确地捕捉特征与目标之间的复杂动态关系。
7、进一步结合前文提到的多头注意力机制，我们的模型不仅能够灵活地分配特征之间的权重，还能直接处理未来目标的相关性，使得模型更为全面而精准地建模时间序列数据。这种融合了生成式编码结构和多头注意力机制的创新模型，为时间序列预测问题带来了更为先进的解决方案，具备更高的学术和实际应用价值。
8、一种基于改进transformer的网络带宽实时预测方法，具体实施步骤如下：
9、步骤1：准备数据，数据集为根据用户自身需求所采集得到，所述的数据集包括n个场景的带宽信息数据。
10、步骤2：数据处理，使用箱型图方法对数据处理，剔除负数和异常值。
11、步骤3：建立基于改进transformer的带宽预测模型：
12、所述的基于改进transformer的带宽预测模型，引入了多头注意力机制，通过使用多个并行的注意力头，每个头都专注于捕获不同时间段之间的关联性。同时，对传统的transformer结构进行改进，引入了生成式编码结构。
13、步骤4、基于训练好的带宽预测模型实现网络带宽实时预测。
14、获取待预测场景当前的带宽数据作为训练好的最优模型的输入，获得网络带宽预测值，实时的带宽数据预测。
15、进一步的，所述的步骤3具体方法如下：
16、3-1、基于数据处理后的数据集实现输入序列的构建：
17、用xt表示时间点t处的观测值。对于带宽预测的场景，构建一个包含多个特征的输入序列x＝{x1，x2，x3，x4，x5，x6}，其中x1-x5为带宽数据集的历史数据，x6是目标值，使用前五个(x1-x5)带宽数据预测第六个数据的带宽信息(x6)。x6的初始值设置为0。
18、3-2、目标与历史信息的相关性计算：
19、引入多头注意力机制，首先计算目标x6与历史信息x1，x2，x3，x4，x5之间的相关性。为此，通过过线性变换计算查询q、键k和值v的值：
20、q＝wq·x6
21、k＝wk·[x1，x2，x3，x4，x5]
22、v＝wv·[x1，x2，x3，x4，x5]
23、其中，wq、wk、wv是学习得到的权重矩阵。然后，通过点积注意力机制计算注意力权重a：
24、
25、通过注意力权重对值v进行加权求和，其中d为注意力的头数，得到与目标x6相关性的表示：
26、pre6＝a·v<本文档来自技高网...
【技术保护点】
1.一种基于改进Transformer的网络带宽实时预测方法，其特征在于，具体实施步骤如下：
2.根据权利要求1所述的一种基于改进Transformer的网络带宽实时预测方法，其特征在于，所述的步骤3具体方法如下：
【技术特征摘要】
1.一种基于改进transformer的网络带宽实时预测方法，其特征在于，具体实施步骤如下：
2.根据...
【专利技术属性】
技术研发人员：李小东，颜成钢，王帅，李宗鹏，张继勇，高宇涵，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。