自适应内容缓存方法技术

本发明专利技术公开了自适应内容缓存方法，步骤为：1)请求处理器提取所述内容访问请求信息的特征参数，并写入本地缓存服务器的原始特征数据库；2)预测下一时间窗口的内容流行度，并写入流行度数据库；3)本地缓存服务器的缓存访问接口根据请求处理器提取的特征参数检查本地缓存服务器是否缓存了请求内容，若请求内容存在，则由本地缓存服务器传输请求内容给用户端；若请求内容不存在，则从上游服务器获取请求内容，并传输至用户端；本发明专利技术能够在真实网络环境和用户访问情况下，充分挖掘和利用内容请求的特征，动态地调整缓存策略以提高缓存效率。率。率。

Adaptive content caching method

【技术实现步骤摘要】
自适应内容缓存方法


[0001]本专利技术涉及内容分发网络
，具体是自适应内容缓存方法。

技术介绍

[0002]传统企业的互联化，商务与交易的电子化，移动互联网以及视频、游戏业务的极速增长，推进了内容分发服务的广泛部署。内容分发网络(Content Delivery Network，CDN)通过将缓存服务器部署到网络边缘离用户更近的方式缓解网络拥塞、提高服务响应速度、改善用户体验，解决了内容的“集中与分散”这个两难选择，对构建良好的互联网价值链具有重要作用。其中，内容缓存试图以某种方式学习内容请求的分布来保证内容在缓存服务器上的高效可用性。内容缓存通常是由用户请求驱动的。当用户请求的内容在缓存服务器不存在时，缓存服务器从源或者其他缓存服务器实时地获取内容。已有的较为经典的内容缓存方法有：最近最少使用(Least Recently Used,LRU)、最近最不常使用(Least Frequently Used,LFU)、先进先出(First In First Out,FIFO)、自适应缓存替换(Adaptive Replacement Cache,ARC)等。LRU算法将最近访问的内容存放到靠近缓存顶部，当缓存满时，将从缓存底部开始移除最久不被访问的内容。LFU算法使用一个计数器来记录内容被访问的频率，当缓存满时，最低访问数的内容将首先被移除。FIFO算法的核心原则是如果一个内容最先进入到缓存中，则应该最早被移除。ARC算法通过区分仅出现过一次“最近”和至少两次“最近”的内容，并自适应地在两者之间划分缓存空间。<br/>[0003]然而，现有的内容缓存方法仅依靠时间、频次等比较单一的内容请求特征，缺乏更加充分的特征挖掘和应用。另外，在真实网络环境中，内容流行度、用户访问行为、服务器服务偏好是在不断动态变化甚至相互影响的，基于独立参考模型(Independent Reference Model，IRM)所提出的缓存方法在实际应用中的性能与理论值还存在着差距。

技术实现思路

[0004]本专利技术的目的是解决现有技术中存在的问题。
[0005]为实现本专利技术目的而采用的技术方案是这样的，自适应内容缓存方法，主要包括以下步骤：
[0006]1)用户端向请求处理器发送内容访问请求信息。
[0007]2)请求处理器提取所述内容访问请求信息的特征参数，并写入本地缓存服务器的原始特征数据库。
[0008]所述内容访问请求信息的特征参数包括语义特征和上下文特征。
[0009]3)请求处理器的学习处理模块定期从原始特征数据库中导入数据，并对请求处理器中存储的深度神经网络进行训练。请求处理器利用训练后的深度神经网络预测下一时间窗口的内容流行度，并写入流行度数据库。
[0010]进一步，深度神经网络预测下一时间窗口内容流行度的主要步骤如下：
[0011]3.1)获取时间窗口t对应的特征x
t
和上一时间窗口t-1对应的隐藏状态h
t-1
。
[0012]3.2)建立L层的深度神经网络的预测函数，即：
[0013][0014]式中，f
(l)
(x)为第l层深度神经网络的回归函数。α
(l)
＞0为第l层深度神经网络回归函数的权重。L为深度神经网络总层数；
[0015]其中，第l层深度神经网络的回归函数如下所示：
[0016]f
(l)
(x)＝Θ
(l)
h
t(l)
。
ꢀꢀꢀ
(2)
[0017]式中，Θ
(l)
是学习f
(l)
(x)的参数。
[0018]深度神经网络的复位门r
t
、更新门z
t
、隐藏状态h
t
和候选隐藏状态分别如下所示：
[0019][0020][0021][0022][0023]式中，{W,U,b}是GRU单元参数。σ(
·
)是sigmoid激活函数。
⊙
表示按单元的乘法。W表示权重，b表示偏置；分别表示上一时刻隐藏层到复位门r、更新门z和候选隐藏状态的连接矩阵；t表示时刻；
[0024]3.3)计算误差函数即：
[0025][0026]式中，y
t
是时间窗口t观测到的下一时间窗口的内容真实流行度。x
t
为时间窗口t的内容流行度。
[0027]3.4)基于最小化平均相对平方误差，利用在线梯度下降算法更新深度神经网络权重和深度神经网络的GRU单元参数
[0028]GRU单元参数利用反向传播算法计算得到；
[0029]反向传播算法如下所示：
[0030][0031]式中，η为学习率。
[0032]深度神经网络权重更新如下：
[0033][0034][0035][0036]式中，β∈(0,1)是折扣因子，κ是平滑噪音数据的门限值参数。ζ为权重更新参数；
[0037]其中，时间窗口t+1时归一化因子Z
t+1
如下所示：
[0038][0039]3.5)利用更新深度神经网络的GRU单元参数和深度神经网络权重后的深度神经网络对下一时间窗口的内容流行度进行预测。
[0040]4)本地缓存服务器的缓存访问接口根据请求处理器提取的特征参数检查本地缓存服务器是否缓存了请求内容，若请求内容存在，则由本地缓存服务器传输请求内容给用户端。若请求内容不存在，则转入步骤5。
[0041]5)所述本地缓存服务器从上游服务器获取请求内容，并传输至用户端。本地缓存服务器的决策接口根据流行度数据库移除本地缓存服务器中已经存在的流行度最低的内容。
[0042]进一步，移除本地缓存服务器中已经存在的流行度最低的内容的方法为：移除内容优先级队列Q顶部元素。所述内容优先级队列Q存储在本地缓存服务器中。内容优先级队列Q中元素为以流行度升序排列的请求内容。
[0043]值得说明的是，本专利技术通过使用深度神经网络学习内容流行度的动态演化模式以最大化本地缓存服务器的请求命中率。同时，本专利技术能够在尽可能减少计算资源消耗的情况下保证模型的预测能力。
[0044]本专利技术的技术效果是毋庸置疑的。本专利技术利用深度神经网络来表示动态请求和缓存空间不断变化的特征，并将该表征集成到深度强化学习的框架中，以在线自适应地帮助缓存服务器做出内容缓存决策。本专利技术能够在真实网络环境和用户访问情况下，充分挖掘和利用内容请求的特征，动态地调整缓存策略以提高缓存效率。本专利技术能够有效地学习内容请求和缓存空间的动态特征，并据此做出内容缓存决策以最大限度地提高缓存效率。
附图说明
[0045]图1为缓存服务器的模块和操作示意图；
[0046]图2为基于LSTM-DQN的自适应内容缓存模型示意图。
具体实施方式
[0047]下面结合实施例对本专利技术作进一步说明，但不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.自适应内容缓存方法，其特征在于，主要包括以下步骤：1)用户端向请求处理器发送所述内容访问请求信息；2)请求处理器提取所述内容访问请求信息的特征参数，并写入本地缓存服务器的原始特征数据库。3)请求处理器的学习处理模块定期从原始特征数据库中导入数据，并对请求处理器中存储的深度神经网络进行训练；请求处理器利用训练后的深度神经网络预测下一时间窗口的内容流行度，并写入流行度数据库；4)本地缓存服务器的缓存访问接口根据请求处理器提取的特征参数检查本地缓存服务器是否缓存了请求内容，若请求内容存在，则由本地缓存服务器传输请求内容给用户端；若请求内容不存在，则转入步骤5；5)所述本地缓存服务器从上游服务器获取请求内容，并传输至用户端；本地缓存服务器的决策接口根据流行度数据库移除本地缓存服务器中已经存在的流行度最低的内容。2.根据权利要求1或2所述的自适应内容缓存方法，其特征在于，所述内容访问请求信息的特征参数包括语义特征和上下文特征。3.根据权利要求1所述的自适应内容缓存方法，其特征在于，深度神经网络预测下一时间窗口内容流行度的主要步骤如下：1)获取时间窗口t对应的特征x
t
和上一时间窗口t-1对应的隐藏状态h
t-1
；2)建立L层的深度神经网络的预测函数，即：式中，f
(l)
(x)为第l层深度神经网络的回归函数；α
(l)
＞0为第l层深度神经网络回归函数的权重；L为深度神经网络总层数；其中，第l层深度神经网络的回归函数如下所示：f
(l)
(x)＝Θ
(l)
h
t(l)
；
ꢀꢀꢀꢀꢀꢀꢀ

【专利技术属性】
技术研发人员：范琪琳，李秀华，付智瀚，陈勇，王悦阳，唐永川，王森，毛玉星，李剑，
申请(专利权)人：重庆大学，
类型：发明
国别省市：