雾无线接入网中基于联邦强化学习的智能编码缓存方法技术

本发明专利技术公开了一种雾无线接入网中基于联邦强化学习的智能编码缓存方法，该方法包括：1、云中心服务器构建全局预测模型并初始化，在雾接入点布置多个分布式学习代理并初始化其本地预测模型；2、系统观察全局状态；3、每个雾接入点观察本地状态；4、系统根据所实施的内容放置决策，使用多播编码传输方式满足各个网络边缘节点接收的请求；5、每个雾接入点根据本地请求情况计算理论时延和虚拟反馈，并存储本地学习经验；6、每个雾接入点使用本地学习记经验独立进行本地模型训练；7、每个雾接入点每隔若干时隙上传本地模型至云中心服务器进行全局模型更新。本发明专利技术可以减少系统前传负载，降低传输时延，保护用户隐私。保护用户隐私。保护用户隐私。

【技术实现步骤摘要】
雾无线接入网中基于联邦强化学习的智能编码缓存方法


[0001]本专利技术属于移动通信系统中边缘网络的智能缓存领域，尤其涉及一种雾无线接入网中基于联邦强化学习的智能编码缓存方法。

技术介绍

[0002]随着智能设备的广泛普及和移动应用的迅速发展，移动通信网络将承受越来越庞大的流量负载。为了处理这些激增的数据流量，雾无线接入网作为一种新型网络架构被提出，其中雾无线接入点(Fog Access Point,F
‑
AP)布置在靠近用户的网络边缘并运用其边缘存储能力和边缘计算能力来减轻云中心服务器的流量压力，提升用户体验。同时，编码缓存作为一种新的缓存方式，将本地缓存和多播传输有效结合，能更加充分利用边缘设备的有限存储空间。
[0003]然而目前对非一致流行度编码缓存方法的研究大多集中于固定内容放置策略的理论性能的上下界分析，导致非最优内容放置策略无法充分利用编码缓存的潜力来降低前传负载。此外，目前非一致流行度编码缓存方法假设内容流行度固定的理想条件，忽略了内容流行度随时间变化的这一事实，导致其前传负载和时延等性能在实际中无法达到理想状态。因此，需要一种时变流行度情况下的编码缓存方法降低内容传输时延的同时提高稳定性，为移动用户提供更高质量、更可靠的通信服务。

技术实现思路

[0004]本专利技术目的在于提供一种雾无线接入网中基于联邦强化学习的智能编码缓存方法,以解决减少前传负载，降低请求时延，保护用户隐私的技术问题。
[0005]为解决上述技术问题，本专利技术的具体技术方案如下：
[0006]一种雾无线接入网中基于联邦强化学习的编码缓存方法，包括以下步骤：
[0007]步骤1、在云中心服务器构建全局模型θ
G
并初始化，在每个雾接入点处布置学习代理并初始化其本地模型θ
k
；
[0008]步骤2、在时隙t末端，系统观察全局状态s(t)，每个雾接入点观察其本地状态s
k
(t)；
[0009]步骤3、系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策a(t)，同时每个雾接入点根据其观察到的本地状态s
k
(t)预测并记录虚拟内容放置决策a
k
(t)；
[0010]步骤4、时隙t+1内，系统根据实施的内容放置决策a(t)，使用多播编码传输方式满足各个雾接入点接收的请求；
[0011]步骤5、在时隙t+1末端，本地状态变为s
k
(t+1)，每个雾接入点统计时隙t+1内其服务用户的内容请求情况，并根据其虚拟放置决策a
k
(t)计算理论时延和虚拟反馈r
k
(t)，存储本地学习经验[s
k
(t)，a
k
(t)，r
k
(t)，s
k
(t+1)]T
；
[0012]步骤6、每个雾接入点随机抽样其本地学习经验进行训练，实现本地模型更新；
[0013]步骤7、每隔T
A
个时隙，所有雾接入点将其本地模型上传至云中心服务器整合，并下载整合后的全局模型用于其替换本地模型；
[0014]步骤8、重复执行步骤2至步骤7，直至全局模型在连续时隙的预测性能波动小于5％。
[0015]进一步的，所述步骤1具体包括以下步骤：
[0016]步骤1.1、云中心服务器构建神经网络Q(s，a；θ
G
)，其中s为当前全局状态向量，a为全局内容放置决策向量，θ
G
为全局网络模型参数并被随机初始化；
[0017]步骤1.2、对于为雾接入点索引集合，K为雾接入点的数目，雾接入点k构建神经网络Q(s
k
，a
k
；θ
k
)，其中s
k
为当前本地状态向量，a
k
为本地内容放置决策向量，θ
k
为本地网络模型参数并被随机初始化。
[0018]进一步的，所述步骤2具体包括以下步骤：
[0019]步骤2.1、在时隙t末端，系统观察全局状态其中a(t
‑
1)为t
‑
1时隙系统做出的全局缓存决策，为t时隙系统内所有N个文件的统计请求频率向量；
[0020]步骤2.2、同时，对于雾接入点k观察其本地状态其中a
k
(t
‑
1)为t
‑
1时隙记录的本地缓存决策，为时隙t雾接入点k内所有N个文件的请求频率向量。
[0021]进一步的，所述步骤3具体包括以下步骤：
[0022]步骤3.1、在时隙t末端，系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策其中N
c
(t)表示编码缓存的文件数目，c
n
(t)＝1表示文件n被选择，c
n
(t)＝0则表示文件n未被选择；
[0023]步骤3.2、对于雾接入点k根据观察到的本地状态s
k
(t)，使用其本地模型预测并记录虚拟编码缓存内容放置决策其中表示编码缓存的文件数目，表示文件n被选择，则表示文件n未被选择。
[0024]进一步的，所述步骤3.1具体包括以下步骤：
[0025]步骤3.1.1、在时隙t末端，系统根据观察到的全局状态s(t)，使用全局模型预测实际编码缓存内容放置决策：
[0026][0027]步骤3.1.2、实施内容放置策略：用表示雾接入点子集合，其中为元素数目为L
t
的雾接入点子集，L
t
为一变量且L
t
＝KM/N
c
(t)，M为雾接入点的缓存大小，|
□
|表示取集合元素数目；将文件n拆分成为个相同大小的子文件其中中表示被选择的文件索引集合，形如表示从A个不同元素中取出B个元素的组合数；对于雾接入点k的放置内容为：
[0028][0029]进一步的，所述步骤3.2具体包括以下步骤：
[0030]步骤3.2.1、对于雾接入点k根据观察到的本地状态s
k
(t)，根据贪婪动作选择策略，以ε的概率随机选取虚拟内容放置决策，以1
‑
ε的概率使用其本地模型预测虚拟内容放置决策：
[0031][0032]步骤3.2.2、记录内容放置策略a
k
(t)但不实施；
[0033]进一步的，所述步骤4具体包括以下步骤：
[0034]步骤4.1、每个雾接入点收到一个用户请求；
[0035]步骤4.2、对于被缓存的请求，用表示其索引集合；用表示缓存有请求文件的雾接入点集合；让表示雾接入点子集的集合，其中为雾接入点子集，云中心服务器向多播传输的内容为：
[0036][0037]其中，表示比特位异或操作；
[0038]步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，包括以下步骤：步骤1、在云中心服务器构建全局模型θ
G
并初始化，在每个雾接入点处布置学习代理并初始化其本地模型θ
k
；步骤2、在时隙t末端，系统观察全局状态s(t)，每个雾接入点观察其本地状态s
k
(t)；步骤3、系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策a(t)，同时每个雾接入点根据其观察到的本地状态s
k
(t)预测并记录虚拟内容放置决策a
k
(t)；步骤4、时隙t+1内，系统根据实施的内容放置决策a(t)，使用多播编码传输方式满足各个雾接入点接收的请求；步骤5、在时隙t+1末端，本地状态变为s
k
(t+1)，每个雾接入点统计时隙t+1内其服务用户的内容请求情况，并根据其虚拟放置决策a
k
(t)计算理论时延和虚拟反馈r
k
(t)，存储本地学习经验[s
k
(t)，a
k
(t)，r
k
(t)，s
k
(t+1)]
T
；步骤6、每个雾接入点随机抽样其本地学习经验进行训练，实现本地模型更新；步骤7、每隔T
A
个时隙，所有雾接入点将其本地模型上传至云中心服务器整合，并下载整合后的全局模型用于其替换本地模型；步骤8、重复执行步骤2至步骤7，直至全局模型在连续时隙的预测性能波动小于5％。2.根据权利要求1所述的雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，所述步骤1具体包括以下步骤：步骤1.1、云中心服务器构建神经网络Q(s，a；θ
G
)，其中s为当前全局状态向量，a为全局内容放置决策向量，θ
G
为全局网络模型参数并被随机初始化；步骤1.2、对于步骤1.2、对于为雾接入点索引集合，K为雾接入点的数目，雾接入点k构建神经网络Q(s
k
，a
k
；θ
k
)，其中s
k
为当前本地状态向量，a
k
为本地内容放置决策向量，θ
k
为本地网络模型参数并被随机初始化。3.根据权利要求1所述的雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1、在时隙t末端，系统观察全局状态其中a(t
‑
1)为t
‑
1时隙系统做出的全局缓存决策，为t时隙系统内所有N个文件的统计请求频率向量；步骤2.2、同时，对于雾接入点k观察其本地状态其中a
k
(t1)为t
‑
1时隙记录的本地缓存决策，为时隙t雾接入点k内所有N个文件的请求频率向量。4.根据权利要求1所述的雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1、在时隙t末端，系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策其中N
c
(t)表示编码缓存的文件数目，c
n
(t)＝1表示文件n被选择，c
n
(t)＝0则表示文件n未被选择；
步骤3.2、对于雾接入点k根据观察到的本地状态s
k
(t)，使用其本地模型预测并记录虚拟编码缓存内...

【专利技术属性】
技术研发人员：蒋雁翔，陈颖琦，
申请(专利权)人：东南大学，
类型：发明
国别省市：