一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法技术

本发明专利技术公开了一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，包括以下步骤：S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略。本发明专利技术通过在边缘协作缓存系统统中采用差异化服务策略满足了在互联网场景中不同用户的不同服务等级的需求，通过负载均衡策略降低用户请求的排队延迟，提高了节点响应请求延迟的稳定性，提升了用户体验。

【技术实现步骤摘要】
一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法
本专利技术涉及边缘协作缓存
，更具体地，涉及一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法。
技术介绍
在大数据时代，随着互联网数据的爆炸式增长，IDC预测，到2020年将超过500亿设备连入互联网，并且互联网数据也将达到44ZB，其中70％的数据需要在边缘设备中进行处理。此外，大量的互联网用户频繁地向云请求/获取内容，这给网络服务提供商SP的服务器带来了巨大的负载压力。在此大数据背景的网络数据传输高峰期，由于云服务器承受了巨大的负载压力，传统的云计算技术难以满足QoS和QoE。大量的研究表明，边缘缓存将云数据中心的文件或服务等内容下沉至网络边缘，能有效地降低云数据中心服务器负载压力，降低服务提供商运营成本，增加服务提供商收益，提升用户体验。然而，互联网内容暴增、用户偏好多样且多变、互联网对差异化服务的需求，影响了边缘缓存内容放置和替换策略的有效性。在此现实应用场景下，为了优化服务提供商收益和用户体验，边缘服务器应缓存哪些内容，边缘服务器如何进行协作缓存，是一个关键问题。现有技术中，申请号为CN201910277048.X的专利技术专利公开了一种基于机器学习的移动网络边缘协作缓存模型构造方法，其通过Zipf模型生成用户对内容的请求分布，并进一步地使用机器学习的方法，根据用户请求建立网络训练模型，使用该模型将用户请求自适应地选择至本地基站或协作基站或云以得到快速响应；另外，本地基站或协作基站将根据该网络训练模型进行缓存替换，以提高本地基站或协作基站的缓存命中率，以降低用户请求响应时间。但该专利技术存在以下缺点，首先，专利[1]采用机器学习的方法训练网络模型，而生成网络模型需要耗费一定的时间；其次，在训练完网络训练模型后，网络训练模型也需要进行多次迭代以达到收敛，这也需要耗费一定的时间；再次，互联网场景中，用户偏好(用户对内容的爱好)多样且多变，使得Zipf分布模型不一定适用于互联网场景下用户的请求分布，即该专利中的用Zipf定律生成的用户请求的模型未必有效；再者，未考虑不同的用户请求应具有不同的服务等级需求，即差异化服务需求，即高服务等级的用户请求应得到相对更快的响应，即其请求的内容应有更大的概率放置在离用户端更近的(协作)基站中；另外，该专利只是单纯地对基站进行查询是否缓存命中，进而选中基站对用户请求进行服务，而未考虑基站的负载均衡，这可能使得原本负载繁重的基站的负载加剧，使得用户请求在这些基站中进行排队处理的时间增长，增加了用户请求的排队延迟，增大了用户平均访问延迟，降低了用户体验。
技术实现思路
本专利技术为克服上述现有技术中基于互联网在线请求服务及多节点协作边缘缓存场景，针对用户差异化服务需求和边缘服务器负载不均衡带来的请求排队延迟导致用户请求的平均访问延迟大，用户体验不佳问题，提供一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法。本专利技术的首要目的是为解决上述技术问题，本专利技术的技术方案如下：一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，包括以下步骤：S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略。本方案中，所述负载均衡策略用于选择缓存的边缘节点，所述差异化服务策略用于确定替换或放置的文件槽。本方案中，所述定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作共包括有四种响应，同时响应中参数定义如下：将用户请求记为：r:＝(f,s,p)，请求的服务记为f，边缘节点/服务器记为s，请求的优先级记为p。；本方案中，所述四种响应具体为：用户发出请求r:＝(f,s,p)，若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f，那么我们称用户请求r本地命中，记本地命中请求访问延迟为tl；用户发出请求r:＝(f,s,p)，若本地边缘节点s未命中，而邻居节点s'已有部署服务f，那么本地节点将请求r转发(relay)至s'，那么我们称用户请求r转发命中，记转发命中请求访问延迟为tr；用户发出请求r:＝(f,s,p)，若在边缘节点均不命中，本地节点s则将请求r旁路(bypass)到云数据中心，那么我们称用户请求r节点未命中，记请求访问延迟为tb；若用户请求r:＝(f,s,p)在本地节点s或邻居节点s'未命中一次或多次，那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中，记该动作为fetch，时间开销/延迟为tf。本方案中，定义的缓存参数包括有：用户请求的平均阻塞率ppending，如公式(1)所示其中，npending表示阻塞的请求数量，nrequest表示请求的数量；节点中发生的请求排队总延迟Tqueueing如公式(2)所示：其中，tavgQ为平均排队延迟，其通常设为100毫秒(ms)；缓存命中率hr，如公式(3)所示：其中hlocal表示本地节点缓存命中次数，hrelay表示邻居节点缓存命中次数，nrequest表示请求的数量；平均访问延迟tavg，定义如公式(4)所示：其中，表示本地节点将用户请求旁路(bypass)至云进行服务的比例，其中旁路次数为nbypass，表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例，其中nfetch为配置安装服务的次数，表示用户请求在节点中需要排队处理的比例，也叫平均阻塞率ppending，其中nqueueing表示在节点中进行排队的用户请求数量；tl表示用户请求在本地节点的访问延迟，tr表示用户请求在邻居节点得到响应的访问延迟，tb表示用户请求在云得到响应的访问延迟，tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间；边缘节点负载方差va来观察节点的负载均衡情况，其定义如公式(5)所示，其表征节点响应请求延迟的稳定性：其中AVG(hc)表示求出所有的节点负载计数的平均数的函数；用户请求的服务等级定义如公式(6)所示：ulevel＝frequence*priority(6)其中，ulevel表示用户请求的服务等级，frequence表示用户请求的频率，priority表示用户请求的优先级；用户请求r:＝(f,s,p)在缓存系统(如图1所示)中得到响应时，依据其服务等级和得到的响应动作，将其用户效益urequest定义如公式(7)所示：本方案中，参数初始化，执行边缘协作缓存流程具体为：S201-1：初始化所有的边缘节点中的参数，所述参数包括：S1(f),S2(r),hc(si)＝0,U＝0，其中其中η是可取得的最小整数，S1(f)和S2(r)分别为记录f和r的请求队列，初始化为空，节点服务负载计数hc(si)本文档来自技高网...

【技术保护点】
1.一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，包括以下步骤：/nS1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；/nS2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略。/n

【技术特征摘要】
1.一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，包括以下步骤：
S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；
S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略。


2.根据权利要求1所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，所述负载均衡策略用于选择缓存的边缘节点，所述差异化服务策略用于确定替换或放置的文件槽。


3.根据权利要求1所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，所述定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作共包括有四种响应，同时响应中参数定义如下：将用户请求记为：r:＝(f,s,p)，请求的服务记为f，边缘节点/服务器记为s，请求的优先级记为p。；


4.根据权利要求3所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，所述四种响应具体为：
用户发出请求r:＝(f,s,p)，若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f，那么我们称用户请求r本地命中，记本地命中请求访问延迟为tl；
用户发出请求r:＝(f,s,p)，若本地边缘节点s未命中，而邻居节点s'已有部署服务f，那么本地节点将请求r转发(relay)至s'，那么我们称用户请求r转发命中，记转发命中请求访问延迟为tr；
用户发出请求r:＝(f,s,p)，若在边缘节点均不命中，本地节点s则将请求r旁路(bypass)到云数据中心，那么我们称用户请求r节点未命中，记请求访问延迟为tb；
若用户请求r:＝(f,s,p)在本地节点s或邻居节点s'未命中一次或多次，那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中，记该动作为fetch，时间开销/延迟为tf。


5.根据权利要求4所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，定义的缓存参数包括有：
用户请求的平均阻塞率ppending，如公式(1)所示



其中，npending表示阻塞的请求数量，nrequest表示请求的数量；
节点中发生的请求排队总延迟Tqueueing如公式(2)所示：



其中，tavgQ为平均排队延迟，其通常设为100毫秒(ms)；
缓存命中率hr，如公式(3)所示：



其中hlocal表示本地节点缓存命中次数，hrelay表示邻居节点缓存命中次数，nrequest表示请求的数量；
平均访问延迟tavg，定义如公式(4)所示：



其中，表示本地节点将用户请求旁路(bypass)至云进行服务的比例，其中旁路次数为nbypass，表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例，其中nfetch为配置安装服务的次数，表示用户请求在节点中需要排队处理的比例，也叫平均阻塞率ppending，其中nqueueing表示在节点中进行排队的用户请求数量；tl表示用户请求在本地节点的访问延迟，tr表示用户请求在邻居节点得到响应的访问延迟，tb表示用户请求在云得到响应的访问延迟，tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间；边缘节点负载方差va来观察节点的负载均衡情况，其定义如公式(5)所示，其表征节点响应请求延迟的稳定性：



其中AVG(hc)表示求出所有的节点负载计数的平均数的函数；
用户请求的服务等级定义如公式(6)所示：
ulevel＝frequence*priority(6)
其中，ulevel表示用户请求的服务等级，frequence表示用户请求的频率，priority表示用户请求的优先级；
用户请求r:＝(f,s,p)在缓存系统(如图1所示)中得到响应时，依据其服务等级和得到的响应动作，将其用户效益urequest定义如公式(7)所示：





6.根据权利要求5所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，参数初始化，执行边缘协作缓存流程具体为：
S201-1：初始化所有的边缘节点中的参数，所述参数包括：S1(f),S2(r),hc(si)＝0,U＝0，其中其中η是可取得的最小整数，S1(f)和S2(r)分别为记录f和r的请求队列，初始化为空，节点服务负载计数hc(si)初始化为0，其中i＝1,...,m，m表示边缘缓存系统中的边缘节点个数，用户效益总和为U＝0；
S201-2：用户终端发出的请求r:＝(f,s,p)指向边缘节点s以期望获取内...

【专利技术属性】
技术研发人员：刘芳，张振源，蔡振华，苏屹宏，黄志杰，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44