【技术实现步骤摘要】
本专利技术属于信息工程领域，具体涉及一种面向差异化qos保障的链路汇聚节点缓存方法。
技术介绍
1、缓存设计是指在不同网络性能边界的要求下设计缓存容量的最大/最小值。作为通信网络节点的关键网络设备，以太网交换机或者路由器的性能直接影响网络的整体性能，进而影响用户的通信体验。缓存设计技术广泛应用于基于存储转发的交换设备中，如路由器、交换机。存储转发机制中，在输出端口流量控制情况下或者接收的数据帧未能及时调度到发送端口情况下，数据帧就需要存储下来。因此，缓存容量直接影响丢包率和时延，如果缓存容量太大，队列的丢包率可以满足要求，但时延不能得到保障；反之，如果缓存容量太小，数据包时延可以满足要求，但丢包率可能得不到保障。目前的缓存设计方法主要包括两大类：非自适应缓存设计和动态自适应缓存设计。
2、其中，非自适应缓存设计主要包括经验法则、极小缓冲区规则、基于丢包率的缓冲区规则以及基于排队论的缓存设计规则。具体来说，经验法则将节点的缓冲区大小设置为略大于网络的带宽-延迟乘积(bandwidth-delay product，bdp)，即b=rtt*c。该法则的主要依据是最大化网络接口带宽利用率。极小缓冲区规则（tiny buffer rule）是将缓冲区大小设置为，其中 w表示平均tcp窗口大小。该方法通过牺牲部分链路利用率（约为10~15%）来降低缓存大小，但前提是核心瓶颈链路的聚合流量服从泊松分布。基于丢包率的缓存法则根据丢包率的变化来设计缓冲区大小，此方法的目标是在充分利用瓶颈带宽的同时确保丢包率
3、当前大部分缓存设计方法都建立在严格假设的数学模型之上，但是由于网络流量特征的时变性与复杂性，很难找到一个精确的数学模型描述网络的行为特征，为此动态自适应缓存设计应运而生。现有技术中一种动态自适应的缓存设计算法adt（adaptive drop-tail），该算法实时测量链路的利用率水平，根据当前利用率水平与目标利用率的关系动态改变可用缓存阈值，在保证高利用率的同时最小化排队延迟。adt通过对可用缓存空间的变化反馈到源端以改变流量的到达特征，这种方法成立的关键在于流量的到达是弹性的。然而，队列参数的调整可能引起队列振荡或其他不稳定性现象。现有技术中的一种动态自适应缓存设计策略，该策略根据传入事件的传输时间不断对缓存大小进行更新修正，从而为每个传入事件争取了适当的重新排序时间，缓解乱序传输问题。仿真结果表明，较于静态缓存设计，动态缓存设计方法能够降低传输时延，同时能够处理更多的乱序数据，此外其动态特性能够应对网络环境的突变。针对5g场景下由静态缓存耗尽而导致的低时延业务逗留时间过大的问题，现有技术中5g-bdp算法，仿真验证表明，所提出的算法在保持链路利用率最大化(0.99947-0.99949)的同时将时延降低至最小(9.12ms-9.43ms)。
4、综上所述，非自适应缓存设计方法能够有效降低硬件成本，自适应缓存设计方法对于网络状态的适应能力更强。然而，随着网络规模的扩大和网络业务的个性化发展趋势，如何实现网络业务的差异化服务是一个值得关注的问题。
技术实现思路
1、本专利技术针对当前无论是非自适应缓存设计方法还是动态自适应缓存设计方法，都未曾考虑网络业务的差异化服务问题，提供了一种面向差异化qos保障的链路汇聚节点方法，将网络业务划分为时延敏感业务、带宽敏感业务、可靠性敏感业务，并基于dqn（deep q-learning network，深度强化学习实现3种业务类型下链路汇聚节点缓存的动态调整，利用实现对路由器等网络流量汇聚节点缓存的动态调整，以增强汇聚节点对于网络业务的差异化服务能力。
2、为解决以上技术问题，本专利技术提供如下技术方案：一种面向差异化qos保障的链路汇聚节点缓存方法，包括如下步骤：
3、s1、针对网络业务进行差异化业务分类，分类为三种类型业务：时延敏感业务、带宽敏感业务和可靠性敏感业务；
4、s2、构建dqn缓存动态调整策略：针对三种类型业务分别将汇聚节点缓存中的当前队列长度、出队速率、排队时延三个状态作为dqn缓存动态调整的依据，得到对应的动态调整结果：动态增加或者减少缓存空间。
5、s3、构建dqn缓存动态调整策略的智能体，该智能体包括主q网络和目标q网络；
6、将汇聚节点的缓存空间作为dqn智能体的环境，并将缓存空间中的当前队列长度、出队速率、当前排队时延作为状态空间用于dqn智能体的训练，定义dqn智能体的动作空间为：增大缓存容量和减小缓存容量；基于差异化业务分类，将奖励函数分为时延奖励、吞吐量奖励、丢包率奖励，并加权求和得到总奖励；采用策略选择当前状态下奖励函数最大化的动作；
7、利用dqn缓存动态调整策略训练智能体：主q网络用于评估当前策略，目标q网络通过提供一个稳定的目标q值稳定训练过程，并且在训练过程中采用经验回放机制，使用目标q网络计算下一状态下所有动作的q值，选择最大q值计算目标q值，使用主q网络计算当前状态下动作的q值，计算当前状态下动作的q值与目标q值之间的损失，然后不断更新主q网络，直到达到预设训练次数，得到面向差异化qos保障的链路汇聚节点缓存模型；
8、s4、以不同类型的网络业务为输入，利用面向差异化qos保障的链路汇聚节点缓存模型，输出相应网络业务的缓存策略。
9、进一步地，前述的步骤s2包括以下子步骤：
10、s201、对汇聚节点缓存容量 b进行初始化；
11、s202、根据当前队列长度、出队速率、排队时延状态执行动作0或动作1；
12、s203、若执行动作0，则在当前缓存空间的基础上增加1个数据包容量，为了避免缓存容量过大，当增加至缓存容量上限 u时，停止继续增加缓存空间；
13、s204、若执行动作1，则在当前缓存空间的基础上减小1个数据包容量，为了避免缓存容量为0，当减小至缓存容量下限 l时，停止继续减小缓存空间；
14、s205、判断当前汇聚节点缓存中是否存在队列，是则返回执行步骤s202，否则结束动态调整。
15、进一步地，前述的dqn缓存动态调整策略的智能体中，主q网络和目标q网络结构相同；主q网络、以及目标q网络均包括输入层、隐藏层、全连接层、以及输出层：
16、所述输入层：用于接收输入状态数据，输入层包括3个输入单元，分别对应汇聚节点缓存区内的当前队列长度、出队速率、排队时延3个状态；
17、所述隐藏层：用于对输入的状态数据进行非线性变换和特征提取，并将输入的状态数据映射到更高维度本文档来自技高网...
【技术保护点】
1.一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，步骤S2包括以下子步骤：
3.根据权利要求1所述的一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，DQN缓存动态调整策略的智能体中，主Q网络和目标Q网络结构相同；主Q网络、以及目标Q网络均包括输入层、隐藏层、全连接层、以及输出层：
4.根据权利要求1所述的一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，步骤S3中，时延奖励、吞吐量奖励、丢包率奖励、总奖励具体为：
5.根据权利要求1所述的一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，
6.根据权利要求1所述的一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，
7.根据权利要求6所述的一种面向差异化QoS保障的链路汇聚节点缓存方法，其特征在于，步骤S3中，计算当前状态下动作的Q值与目标Q值之间的损失，如下式，然后通过反向传播算法和梯度下降法更新主Q网络的
...【技术特征摘要】
1.一种面向差异化qos保障的链路汇聚节点缓存方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种面向差异化qos保障的链路汇聚节点缓存方法，其特征在于，步骤s2包括以下子步骤：
3.根据权利要求1所述的一种面向差异化qos保障的链路汇聚节点缓存方法，其特征在于，dqn缓存动态调整策略的智能体中，主q网络和目标q网络结构相同；主q网络、以及目标q网络均包括输入层、隐藏层、全连接层、以及输出层：
4.根据权利要求1所述的一种面向差异化qos保障的链路汇聚节点缓...
【专利技术属性】
技术研发人员：潘成胜，王英植，石怀峰，陆煌杰，秦立尚，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。