多边缘协作缓存调度优化方法、系统及模型训练方法技术方案

本发明专利技术涉及协作边缘缓存领域，尤其涉及一种多边缘协作缓存调度优化方法、系统及模型训练方法。本发明专利技术提出的一种多边缘协作缓存调度优化方法，构建基于多智能体深度强化学习的MAPPO算法框架对面向反向服务迁移的多边缘协作缓存调度问题进行求解，从而可以很好地解决多智能体训练时环境不稳定的问题，而在执行时只需要本地状态信息就可以进行缓存决策，更符合实际应用场景且能够有较快的执行效率。同时MAPPO算法通过使用一个集中的Critic函数，使所有的边缘端关注整体收益，适用于多智能体的合作场景。合作场景。合作场景。

【技术实现步骤摘要】
多边缘协作缓存调度优化方法、系统及模型训练方法


[0001]本专利技术涉及协作边缘缓存领域，尤其涉及一种多边缘协作缓存调度优化方法、系统及模型训练方法。

技术介绍

[0002]近年来，随着无线网络技术发展，催生出很多计算密集型和时延敏感型的新兴应用，如人脸识别、虚拟/增强现实等。这些新兴应用具有低时延、高宽带等服务需求。传统的云服务方式因为用户距离云服务器较远、网络拥塞等原因，很难满足计算密集型和时延敏感型应用的服务需求。
[0003]针对传统云服务方式在解决该场景问题中的不足，边缘计算逐渐成为一种可行的方案。边缘计算方式通过在距离移动终端用户较近的无线网内部部署具有一定的通信、计算、存储等资源的边缘节点，提供类似云计算中心的能力，允许终端用户将自身产生的计算密集型和时延敏感型的计算任务卸载到边缘设备处执行，利用边缘设备靠近数据源的优势达到显著缩短传输距离、降低处理时延、改善用户体验、提升网络运行效率的目的。但是由于单个边缘设备中的通信、计算、存储等资源相对有限，当用户产生的任务需求大量激增时，可能会出现边缘设备负载过重、任务响应时间增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多边缘协作缓存调度优化方法，其特征在于，包括以下步骤：S1、结合边缘设备对应的缓存调度模型和边缘设备最近k个时隙上的局部观测信息s(t,n,his)获得服务缓存概率列表P(t,n)；缓存调度模型与边缘网络中的边缘设备一一对应；缓存调度模型的输入为边缘设备在最近k个时隙上的局部观测信息s(t,n,his)；缓存调度模型的输出为边缘设备的服务缓存概率列表P(t,n)={prob(t,n,l)|l∈L}；L表示所有服务的集合；s(t,n,his)={s(t
‑
k+1,n)，s(t
‑
k+2,n)，
…
，s(t
‑
k+i,n)，
…
，s(t,n)}；s(t
‑
k+i,n)表示边缘设备n在时隙t
‑
k+i上的状态，1≦i≦k；s(t,n)表示边缘设备n在时隙t上的状态；prob(t,n,l)表示边缘设备n在时隙t上缓存服务l的概率，0≦prob(t,n,l)≦1；S2、根据概率对服务缓存概率列表中的服务进行采样，将采样获得的服务添加到预设的需要缓存服务集合L(t,n)中，L(t,n)中的服务所占缓存空间的总和应该小于或者等于该边缘设备的缓存空间；S3、将L(t,n)作为边缘设备的决策动作a(t,n)，边缘设备根据L(t,n)更新缓存空间。2.如权利要求1所述的多边缘协作缓存调度优化方法，其特征在于：s(t,n)={C(t,n)，I(t,n,acc)，P(t,n,suc)，P(t,n,fall)，Q(t,n,suc)，Q(t,n,fall)}其中，C(t,n)表示边缘设备n在时隙t上的服务缓存状态，C(t,n)={c(t,n,l)|l∈L}，c(t,n,l)为二值数；边缘设备n在时隙t上缓存有服务l，则c(t,n,l)=1；反之，c(t,n,l)=0；I(t,n,acc)表示边缘设备n在时隙t上接收到的任务请求列表，I(t,n,acc)={I
m
|m∈M(t,n)}，I
m
表示用户终端m上传到关联的边缘设备的任务请求，M(t,n)表示边缘设备n在时隙t上关联的用户终端的集合；P(t,n,suc)表示边缘设备n在时隙t上接收到的任务请求中成功执行的计算任务对应的服务的大小，P(t,n,suc)={P(l
m
)|I
m
∈I(t,n,acc)，t
m
≦d
m
}，P(l
m
)表示服务l
m
的大小，即服务l
m
所占缓存空间；t
m
表示任务请求I
m
执行的总时延，d
m
表示任务请求I
m
的执行延迟限制；l
m
表示用户终端m产生的任务请求I
m
所对应的服务；P(t,n,fall)表示边缘设备n在时隙t上接收的任务请求中未成功执行的计算任务对应的服务的大小，P(t,n,fall)={P(l
m
)|I
m
∈I(t,n,acc)，t
m
>d
m
}；Q(t,n,suc)表示边缘设备n在时隙t接收的任务请求中成功执行的任务的请求热度，Q(t,n,suc)={q(l
m
)|I
m
∈I(t,n,acc)，t
m
≦d
m
}；q(l
m
)表示服务l
m
的请求热度；Q(t,n,fall)表示边缘设备n在时隙t接收的任务请求中未成功执行的任务的请求热度，Q(t,n,fall)={q(l
m
)|I
m
∈I(t,n,acc)，t
m
>d
m
}。3.如权利要求1所述的多边缘协作缓存调度优化方法，其特征在于，S2具体包括以下分步骤：S21、清空边缘设备设定的需要缓存服务集合L(t,n)；S22、根据概率对服务缓存概率列表P(t,n)中的服务进行采样，将采样获得的服务作为待缓存服务；
S23、计算L(t,n)中的所有服务与待缓存服务所占缓存空间的总和是否大于该边缘设备的缓存空间；否，则将待缓存服务添加到L(t,n)中，并返回步骤S22；是，固定L(t,n)，并执行步骤S3。4.如权利要求1所述的多边缘协作缓存调度优化方法，其特征在于，S3之后还包括步骤S4
‑
S8；S4、确定边缘设备的本地不变服务集合L(t,n,local)和需要迁入服务集合L(t,n,in)；L(t,n,local)={l∈L(t,n)|c(t
‑
1,n,l)=1}L(t,n,in)={l∈L(t,n)|c(t
‑
1,n,l)=0}L(t,n,local)∪L(t,n,in)=L(t,n)c(t
‑
1,n,l)=1表示服务l在时隙t
‑
1上已经存储在边缘设备n中；c(t
‑
1,n,l)=0表示服务l在时隙t
‑
1上没有存储在边缘设备n中；S5、边缘设备n根据L(t,n,in)向协作边缘端请求服务迁移，确定边缘设备n需要从协作边缘端迁入的服务集合L(t,n,n
’
)以及需要从云服务器迁入的服务集合L(t,n,c
d
)；确定边缘设备n作为协作边缘端时需要反向迁移出去的服务集合L(t,n,out)；L(t,n,n
’
)∪L(t,n,c
d
)=L(t,n,in)L(t,n,n
’
)={l∈L(t,n,in)|c(t
‑
1,n,l)=0，c(t
‑
1,n
’
,l)=1,n
’
∈N(n)}L(t,n,c
d
)={l∈L(t,n,in)|c(t
‑
1,n,l)=0，c(t
‑
1,n
’
,l)=0,n
’
∈N(n)}L(t,n,out)={l∈L(t,n
’
,n)∩L(t
‑
1,n)|n
’
∈N(n)}边缘设备n
’
和边缘设备n互为协作边缘端，即边缘设备n和边缘设备n
’
之间具有信道，且边缘设备n和边缘设备n
’
可相互迁移服务；N(n)为边缘设备n的所有协作边缘端的集合；L(t,n
’
,n)表示边缘设备n
’
需要从边缘设备n迁入的服务集合；L(t
‑
1,n)表示边缘设备n在时隙t
‑
1上的需要缓存服务集合，即边缘设备n在时隙t上已缓存的服务集合；S6、将边缘设备n中不属于L(t,n,local)和L(t,n,out)的服务均移出缓存；S7、将边缘设备n
’
的L(t, n
’
,out)中的服务l迁移到边缘设备n中，n
’
∈N(n)，l∈L(t, n
’
,out)∩L(t,n, n
’
)，在迁移的同时更新L(t, n
’
,out)和L(t,n,n
’
)，n∈N，n
’
∈N(n)；L(t, n
’
,out)表示边缘设备n
’
作为协作边缘端时需要反向迁移出去的服务集合；L(t,n
’
,out)={l∈L(t,n,n
’
)∩L(t
‑
1,n
’
)|n∈N(n
’
)}，N(n
’
)为边缘设备n
’
的所有协作边缘端的集合；L(t
‑
1,n
’
)表示边缘设备n
’
在时隙t
‑
1上的需要缓存服务集合，即边缘设备n
’
在时隙t上已缓存的服务集合；S8、判断是否有L(t,n,n
’
)为空集；否，则返回步骤S7；是，则令各边缘设备从云服务器获取其L(t,n,c
d
)中的服务。5.一种缓存调度模型训练方法，其特征在于，用于提供如权利要求1
‑
4任一项所述的多边缘协作缓存调度优化方法所用的缓存调度模型，所述训练方法包括以下步骤；SA1、以边缘设备作为智能体，构建基础模型并初始化，基础模型包括决策模块和价值评估模块，决策模块与智能体一一对应；构建决策模块对应的第一优化目标和价值评估模块对应的第二优化目标；设置数据缓冲区D和轨迹列表τ，数据缓冲区D和轨迹列表τ的初始值均为空集；决策模块为由第一LSTM网络和Actor网络构成的LSTM
‑
Actor网络，第一LSTM网络的输入即为决策模块的输入，第一LSTM网络的输出为Actor网络的输入，Actor网络的输出即为
决策模块的输出；第一LSTM网络的输入为智能体...

【专利技术属性】
技术研发人员：吕增威，张玉，魏振春，张文化，徐孝军，石雷，樊玉琦，
申请(专利权)人：合肥工业大学智能制造技术研究院，
类型：发明
国别省市：