一种移动边缘计算中具有隐私保护的智能体策略学习方法技术

本发明专利技术属于移动通信技术领域，具体涉及一种移动边缘计算中具有隐私保护的智能体策略学习方法，包括：建立边缘协同的计算卸载模型，包括服务缓存模型、任务卸载模型和系统成本模型；基于边缘协同的计算卸载模型，以最小化任务的处理成本为目标，建立联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题；将最优问题抽象为部分可观测的马尔科夫决策过程；基于马尔科夫决策过程采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略。本发明专利技术通过建立了一个边云协同的计算卸载模型，智能体网络以基于联邦学习的训练的方式保护了用户的数据和敏感信息的隐私安全。全。全。

【技术实现步骤摘要】
一种移动边缘计算中具有隐私保护的智能体策略学习方法


[0001]本专利技术属于移动通信
，具体涉及一种移动边缘计算中具有隐私保护的智能体策略学习方法。

技术介绍

[0002]移动边缘计算(Mobile Edge Computing，MEC)将用户任务的存储与处理推向移动通信网络的边缘，使得用户可以在网络边缘享受到高可靠、低时延的服务，为用户业务的高效处理提供了强有力的技术支撑，进而能够很好地满足用户高效、快速的服务质量要求。然而，随着通信技术和物联网技术的相互融合与蓬勃发展，边缘网络结构日益密集异构化。同时，在边缘网络环境中，业务的广域差异化、网络环境的高度动态化以及算网资源部署去中心化等特征，制约了网络服务缓存和算网资源分配的效率。MEC中的一个关键问题是针对去中心化的边缘网络结构和用户多样化的业务需求，设计实现高效的任务卸载、服务缓存和资源分配方案。
[0003]深度强化学习(Deep Reinforcement Learning)具备深度学习和强化学习两者的优点，既能进行感知又能做出决策，相关的理论技术也被研究者们运用到无线本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，包括：S1：针对去中心化的MEC场景，建立一个边缘协同的计算卸载模型，包括服务缓存模型、任务卸载模型和系统成本模型；S2：基于边缘协同的计算卸载模型，以最小化任务的处理成本为目标，在多维资源的约束下，建立一个联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题；所述多维资源包括：计算资源和存储资源；S3：将联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题抽象为部分可观测的马尔科夫决策过程；S4：基于马尔科夫决策过程采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略。2.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述去中心化的MEC场景，包括：在MEC系统场景中包含M个基站(Base Station,BS)，定义基站集合为每个基站均配置了具有计算和存储能力的MEC服务器；在基站m的覆盖范围内有N
m
个终端用户(End User,EU)，定义用户集合为系统运行在离散的时隙，定义为在时隙t，用户i
m
产生任务定义为其中，表示任务的数据量大小，单位为bit，表示用户i
m
任务处理的最大容忍时延，表示处理单位比特任务所需要的CPU周期数，表示处理任务所需的服务类型，则基站m下所有用户的任务集合可定义为3.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述服务缓存模型，包括：假设网络中有K种服务，定义服务类型集合为令a
k,m
(t)∈{0,1}表示在时隙t时基站m中服务k的缓存指示函数，a
k,m
(t)＝1表示基站m缓存了服务k，否则基站m将不会缓存服务k；基站m在t时隙的服务缓存决策可表示为服务缓存策略集合a
m
(t)＝{a
1,m
(t),
…
,a
k,m
(t),
…
,a
K,m
(t)}，受限于MEC服务器存储空间，缓存的服务所占据存储空间不能超过MEC服务器的存储容量，定义MEC场景下第m个基站服务器的存储空间的大小为R
m
，则有：其中，l
k
表示服务k所占用的存储空间的大小。4.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述任务卸载模型，包括：用户i
m
产生的任务可以在本地进行处理，也可以卸载到基站或者云端进行处理，则定义用户i
m
的任务卸载决策变量为其中，表示用户i的任务在本地处理，否则表示用户i
m
的任务卸载到关
联基站m处理，否则表示用户i
m
的任务通过基站n转发到基站m处理，否则表示用户i
m
任务卸载到云端处理，否则且满足因此，在t时隙，EUi
m
的任务卸载策略可以表示为则基站m下所有用户的任务卸载决策可表示为5.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述系统成本模型，包括：给定任务卸载和服务缓存决策，用户i
m
的任务处理时延为：对应地，任务处理能耗为：则处理用户i
m
的任务的成本为：其中，和分别为时延和能耗的权重系数，满足：分别表示任务在本地处理时延、关联基站处理时延、附近基站处理时延及云端处理时延，分别表示用户i的任务在本地处理、卸载到关联基站m处理、通过基站n转发到基站m处理、卸载到云端处理，载到云端处理，分别表示任务分别在本地处理、关联基站处理、附近基站处理与云端处理所对应的能耗。6.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题，包括：括：括：
其中，a(t)＝{a1(t),
…
,a
M
(t)}表示基站服务缓存策略，b(t)＝{b1(t),
…
,b
M
(t)}表示任务卸载策略，β(t)＝{β1(t),
…
,β
M
(t)}表示基站算力资源分配策略，P(t)＝{P1(t),P2(t),
…
,P
M
(t)}表示传输功率控制决策，M表示基站数量，T表示时隙，N
m
表示终端用户的数量，表示处理用户i
m
的任务的成本，表示用户i
m
的任务处理时延，a
k,m
(t)表示基站m在t时隙的缓存决策服务k，l
k
表示服务k所占用的存储空间的大小，R
m
表示MEC场景下第m个基站服务器的存储空间的大小，表示基站m在时隙t分配给用户i
m
的CPU频率分配系数，分别表示用户i的任务在本地处理、卸载到关联...

【专利技术属性】
技术研发人员：李云，王碧，夏士超，姚枝秀，高倩，庄宏成，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：