使用两层强化学习模型的边缘集群的过载保护制造技术

一种用于边缘节点集群中的网络节点的过载保护机制使用两层强化学习模型；一个在边缘节点级，一个在集群级。节点级强化学习模型优化了服务/应用的路由策略，以确定接收客户端请求的边缘节点是否应该处理服务/应用的流量。集群级强化学习模型优化了应用的策略，该策略确定在接收客户端请求的边缘节点进行重定向或代理的情况下，应该考虑哪个相邻边缘节点来处理给定应用的客户端请求。点来处理给定应用的客户端请求。点来处理给定应用的客户端请求。

【技术实现步骤摘要】
【国外来华专利技术】使用两层强化学习模型的边缘集群的过载保护


[0001]本公开一般涉及边缘计算，更具体地涉及边缘节点集群中的网络节点的过载保护。

技术介绍

[0002]为了改善使用任务关键型服务和应用的客户体验，云提供商正在转向分布式部署，称为边缘计算或边缘部署，其中服务/应用的计算和数据存储资源被移动到靠近运营商网络的边缘。提供服务/应用的边缘节点可以部署在集群中，称为不同位置的边缘集群或边缘节点集群。集群内的边缘节点可以实现为虚拟化环境中的容器或虚拟机。边缘节点集群为任务关键型服务和应用提供高可用性。如果一个边缘节点发生故障，则由该故障边缘节点服务的客户端设备可以由同一集群中的剩余边缘节点中的一个服务，而不会中断服务。此外，可以基于应用的流量需求，在每个位置按需扩展(例如，部署或移除)服务/应用。
[0003]为了提供地理冗余，可以在不同的地理位置复制一个集群，以便在断电影响整个位置时提供服务连续性。例如，在地震、飓风或其他灾难的情况下，由受灾难影响的位置处的边缘节点集群服务的客户端设备可以由不同地理位置处的另一集群中的边缘节点服务，而不会中断服务。
[0004]在边缘集群部署中遇到的一个问题是在短时间内大量客户端请求使边缘节点过载。有两种可能发生过载的常见情况。一种过载情况与现场事件有关，诸如体育赛事或音乐会，其中大量的人聚集在同一个地方。在此类事件期间，边缘节点可能同时接收大量对服务或应用的客户端请求。第二种情况是当边缘节点同时接收对不同应用的大量请求时。在这两种情况下，几乎同时大量涌入的客户端请求会导致边缘节点出现故障。
[0005]边缘节点的故障减少了集群中由集群提供的服务或应用的可用资源。服务或应用的容量损失对于平台运营商以及使用该服务或应用的终端用户来说都是一个问题。从运营商的角度来看，边缘节点的故障使得更加难以满足服务质量要求。从终端用户的角度来看，边缘节点的故障可能意味着服务不再对所有终端用户可用，长的等待时间和差的用户体验。在边缘节点或集群提供多个服务/应用的情况下，由于对一个服务/应用的客户端请求而导致的一个边缘节点的故障会影响边缘节点或集群提供的其他服务/应用。

技术实现思路

[0006]本专利技术涉及用于边缘节点集群中的网络节点的过载保护的方法和装置。本文描述的过载保护技术使用两层强化学习模型来提供主动过载保护；一个在边缘节点级，一个在集群级。节点级强化学习模型优化了服务/应用的路由策略，以确定接收客户端请求的边缘节点是否应该处理服务/应用的流量。集群级强化学习模型优化了应用的策略，该策略确定在接收客户端请求的边缘节点进行重定向或代理的情况下，应该考虑哪个相邻边缘节点来处理给定应用的客户端请求。接收新客户端请求的边缘节点应用节点级路由策略来确定是自己处理客户端请求，还是重定向或代理客户端请求。如果边缘节点确定重定向或代理客
户端请求，则边缘节点应用集群级重定向或代理策略来选择集群中的另一个边缘节点来处理客户端请求。
[0007]本公开的第一方面包括由过载保护的边缘节点集群中的网络节点使用用于过载保护的两层强化学习模型实现的方法。在一个实施例中，该方法包括从客户端设备接收对网络节点提供的应用或服务的客户端请求。该方法还包括基于网络节点的节点级路由策略来确定重定向或代理该请求。该方法还包括基于适用于集群中的网络节点的集群级重定向策略或集群级代理策略，在边缘集群中选择目标网络节点来处理客户端请求。
[0008]本公开的第二方面包括边缘节点集群中的网络节点，该网络节点被配置成使用两层强化学习模型来进行过载保护。在一个实施例中，网络节点被配置成从客户端设备接收对网络节点提供的应用或服务的客户端请求。网络节点还被配置成基于网络节点的节点级路由策略来确定重定向或代理请求。网络节点还被配置成基于适用于集群中的网络节点的集群级重定向策略或集群级代理策略，在边缘集群中选择目标网络节点来处理客户端请求。
[0009]本公开的第三方面包括边缘节点集群中的网络节点，该网络节点被配置成使用两层强化学习模型来进行过载保护。该网络节点包括通过通信网络与客户端设备通信的通信电路和处理电路。在一个实施例中，处理电路被配置成从客户端设备接收对网络节点提供的应用或服务的客户端请求。处理电路还被配置成基于网络节点的节点级路由策略来确定重定向或代理请求。处理电路还被配置成基于适用于集群中的网络节点的集群级重定向策略或集群级代理策略，在边缘集群中选择目标网络节点来处理客户端请求。
[0010]本公开的第四方面包括计算机程序，该计算机程序包括可执行指令，当由边缘节点集群中的网络节点中的处理电路执行指令时，使网络节点执行根据第一方面的方法。
[0011]本公开的第五方面包括包含根据第四方面的计算机程序的载体，其中该载体是电子信号、光信号、无线电信号或计算机可读存储介质中的一个。
[0012]本公开的第六方面包括非暂时性计算机可读存储介质，其包括可执行指令，当由边缘节点集群中的网络节点中的处理电路执行指令时，使网络节点执行根据第一方面的方法。
附图说明
[0013]图1示出了不同位置的边缘节点集群的示例性部署。
[0014]图2A示意性地示出了边缘节点集群中的网络节点的过载。
[0015]图2B示出了实现反应式过载保护方案的网络节点中的CPU负载的示例。
[0016]图3示出了实现主动过载保护方案的网络节点中的CPU负载的示例。
[0017]图4是示出使用两层强化学习模型的过载保护方法的流程图。
[0018]图5示出了INOP的示例性节点级架构。
[0019]图6示出了ICOP的示例性集群级架构。
[0020]图7示出了边缘节点中DCA和PMA的示例性部署。
[0021]图8示出了边缘节点集群内INOP和ICOP的示例性部署。
[0022]图9示出了集群中ICOP的高可用性部署。
[0023]图10示出了INOP的示例性信令流。
[0024]图11示出了ICOP的示例性信令流。
[0025]图12示出了过载保护的网络节点使用两层强化学习模型实现的方法。
[0026]图13示出了被配置成使用两层强化学习模型进行过载保护的网络节点。
[0027]图14示出了被配置成使用两层强化学习模型进行过载保护的另一个网络节点。
具体实施方式
[0028]现在参考附图，图1示出了广域通信网络(WAN)10中的服务或应用的示例性边缘部署。示出了两个边缘节点集群15，并且表示为集群X和集群Y。集群X包括表示为EN
X1
‑
EN
XM
的边缘节点20。集群Y包括表示为EN
Y1
‑
EN
YN
的边缘节点20。集群X和集群Y部署在表示为位置A和位置B的不同地理位置。集群15内的边缘节点20可以被实现为虚拟化环境中的容器或虚拟机。本领域技术人员将会理解，边缘节点20也可以由独立的计算机和服务器来实现。在本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由包括两个或更多个网络节点(20、300、400)的边缘集群中的网络节点(20、300、400)实现的过载保护的方法(200)，所述方法(200)包括：从客户端设备接收(210)对所述网络节点(20、300、400)提供的应用或服务的客户端请求；基于所述网络节点(20、300、400)的节点级路由策略来确定(220)重定向或代理所述客户端请求；以及基于适用于所述集群中的网络节点(20、300、400)的集群级重定向策略或集群级代理策略，在所述边缘集群中选择(230)目标网络节点(20、300、400)来处理所述客户端请求。2.根据权利要求1所述的方法(200)，其中所述节点级路由策略由节点级策略控制功能确定，所述节点级策略控制功能基于所述网络节点(20、300、400)的关键性能指标、使用数据和参数来实现强化学习模型。3.根据权利要求1或2所述的方法(200)，其中所述节点级路由策略是所述网络节点(20、300、400)的两个或更多个应用特定策略中的一个。4.根据权利要求3所述的方法(200)，还包括：向节点级策略控制功能发送订阅请求，以接收对所述应用的所述节点级路由策略的改变的通知，所述请求包括应用标识符；以及从所述节点级策略控制功能接收所述应用的所述节点级路由策略。5.根据权利要求4所述的方法(200)，其中所述节点级策略控制功能与所述网络节点(20、300、400)位于同一位置。6.根据权利要求1至4中任一项所述的方法(200)，其中所述集群级重定向策略或集群级代理策略由集群级策略控制功能确定，所述集群级策略控制功能基于所述边缘集群中的两个或更多个网络节点(20、300、400)的关键性能指标、使用数据和参数来应用强化学习模型。7.根据权利要求1或2所述的方法(200)，其中所述集群级重定向策略或集群级代理策略是所述边缘集群的两个或更多个应用特定策略中的一个。8.根据权利要求3所述的方法(200)，还包括：向集群级策略控制功能发送订阅请求，以接收对所述应用的所述集群级重定向策略或集群级代理策略的改变的通知，所述请求包括应用标识符；以及从所述集群级策略控制功能接收所述应用的集群级过载保护策略。9.根据权利要求8所述的方法(200)，其中所述集群级策略控制功能与所述网络节点(20、30...

【专利技术属性】
技术研发人员：朱仲文，哈特姆，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：