一种动态广义用户NOMA分组CCHN-MEC网络卸载决策优化方法技术

本发明专利技术涉及一种动态广义用户NOMA分组CCHN

【技术实现步骤摘要】
一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法


[0001]本专利技术涉及CCHN
‑
MEC网络资源分配
，具体涉及一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法。

技术介绍

[0002]物联网(Internet of Things，IoT)已经成为我们日常生活的一部分，由此产生了多种计算密集型和延迟敏感型应用，比如人脸识别、自然语言处理等。为了满足低复杂度设备的延迟敏感型计算需求，学界提出了移动边缘计算(Mobile Edge Computing，MEC)。此外，由于无线频谱有限，研究人员开发支持MEC的新技术，如NOMA(Non
‑
Orthogonal Multiple Access，非正交多址接入)和认知无线电(Cognitive Radio，CR)。然后，MEC和CR的组合，以及MEC和NOMA的组合成为热门的研究课题。
[0003]最近，有学者提出了一种新的CR基础设施，即认知容量收割网络(CCHN，Cognitive capacity harvesting network)，以允许无管理/感知能力的手持轻型设备享受CR网络(CRN)的好处。在CCHN中，引入了次级服务提供商(Secondary Server Provider，SSP)，它部署了一组CR路由器来监视/检测CR频谱，并购买一小块许可频谱来构建可靠的公共控制信道。通过公共控制信道，SSP收集CR路由器的管理/感知结果，引导CR路由器形成CRN，并分配CR频谱。无管理/感知能力的次等用户(Secondary User，SU)可以通过分配的CR频谱访问附近的CR路由器。事实上，CCHN引入一个新的网络运营商，该运营商负责构建基础设施，从拥有频谱的主要网络运营商那里获取频谱，并在没有管理/感知能力的情况下为SU提供服务。
[0004]假设CR路由器已经配备了计算资源，因此CCHN可以提供MEC服务。在CCHN中，为了减少对主网络的干扰，考虑到SU的传输功率的有限性，为了满足SU任务的延迟限制，有必要引入“广义用户分组”提升网络性能，即允许一个SU加入多个NOMA组，并通过不同的传输信道将其不同部分的数据卸载到不同的CR路由器。
[0005]然而，现有的研究NOMA
‑
MEC并没有采用广义用户分组传输方式，大大的降低了网络性能。同时，由于传统的优化方案本身无法避免的高复杂度性，无法满足MEC系统的实时性决策需求。因此，在基于广义用户分组NOMA的CCHN
‑
MEC系统中，设计一种支持动态计算卸载决策的优化方案非常重要。目前，可用于广义用户分组NOMA的CCHN
‑
MEC系统的动态卸载决策优化方案主要有TD3算法、纯本地计算(LO)和随机分配(RA)算法。由于TD3算法旨在寻找一个确定性的策略，难以适用于随机变化的NOMA
‑
CCHN
‑
MEC场景，因此能耗可能会大大提高；LO算法没有考虑充分利用MEC服务器的计算资源，在时延要求很高的情况下，能耗上升幅度显著；RA算法并没有考虑系统的变量之间的耦合性，性能较差。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术的目的在于提供一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法，其能够获得更合理的卸载决策，大幅降低系统能耗。
[0007]为实现上述目的，本专利技术采用的技术方案是：
[0008]一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法，CCHN包含一组SU、一组CR路由器和一个SSP；SSP通过已经建立的公共控制信道集中管理SU和CR路由器；CR路由器配备计算资源并充当MEC服务器；相邻小区的上行蜂窝频谱被划分为一系列蜂窝资源块CRB；CRB的分配已经完成，且每个CR路由器都已经分配一个CRB，用于与其相连的SU的数据卸载；
[0009]所述决策优化方法采用SAC算法进行求解，SAC智能体包括一个Actor和两个Critic，Actor是一个含有若干层全连接DNN，记为其中表示DNN的权重参数；通过观察输入状态Actor输出策略分布的均值和标准差由于策略分布被拟合成一个高斯分布，因而从中采样即可得到可行动作每个Critic包含两个网络架构一样的全连接DNN，即主DNN和目标DNN；每个DNN用于评估和的Q值，即其中θ是DNN的权重；使用和来表示分别Critic 1的主DNN和目标DNN的Q值，权重为θ1和使用和来分别表示Critic2的主和目标DNN的Q值，权重分别为θ2和
[0010]所述决策优化方法具体如下：
[0011]步骤1、设置折扣因子λ，软拷贝因子ι，最大时隙数T，最大轮次Γ；
[0012]步骤2、随机初始化Actor的神经网络参数Critic的主神经网络参数θ
i
(i＝1,2)，将Critic的目标神经网络参数初始化将重放经验池清空，即当前时隙序号为t＝1，当前轮次序号为e＝1；
[0013]步骤3、随机生成一个卸载比率动作，以获取一个CCHN
‑
MEC环境中的状态
[0014]步骤4、根据状态SAC智能体输出一个计算卸载比率决策动作
[0015]步骤5、根据卸载比率决策动作对于每个SU m
l
，求解本地能耗最小化问题，获得其本地的最优CPU频率分配
[0016]步骤6、根据卸载比率决策动作对于每个NOMA组获得内每个SU的CPU频率
[0017]步骤7、根据卸载比率决策动作对于每个NOMA组求解卸载能耗优化问题，获得组内每个SU的发射功率与传输时间
[0018]步骤8、根据步骤5、6和7，计算系统总能耗E
total
(t)；
[0019]步骤9、根据步骤8，计算当前系统的奖励r
t
，并获得下一个状态的状态
[0020]步骤10、将当前时隙的经验存入重放经验池中；
[0021]步骤11、如果在重放经验池中的经验数大于最小批数据大小则从重放经验池中随机抽取数据进行网络训练，以更新网络参数θ
i
(i＝1,2)，以及温度系数∈；
[0022]步骤12、t＝t+1；如果当前时隙数t>T，则t＝1，e＝e+1，若e>Γ则进入步骤13；否则，返回步骤3；
[0023]步骤13、输出Actor的神经网络最优参数通过该参数，Actor可以输出每个状态下的最优决策动作。
[0024]所述步骤5中，本地能耗最小化问题为：
[0025][0026]其中，表示SU的最大CPU频率；约束C1表示本地的计算时间不能超过一个时隙长度，约束C2表示SU的本地计算CPU频率不能超过最大的CPU频率。
[0027]所述步骤6中，通过以下公式(7)获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法，CCHN包含一组SU、一组CR路由器和一个SSP；SSP通过已经建立的公共控制信道集中管理SU和CR路由器；CR路由器配备计算资源并充当MEC服务器；相邻小区的上行蜂窝频谱被划分为一系列蜂窝资源块CRB；CRB的分配已经完成，且每个CR路由器都已经分配一个CRB，用于与其相连的SU的数据卸载；其特征在于：所述决策优化方法采用SAC算法进行求解，SAC智能体包括一个Actor和两个Critic，Actor是一个含有若干层全连接DNN，记为其中表示DNN的权重参数；通过观察输入状态Actor输出策略分布的均值和标准差由于策略分布被拟合成一个高斯分布，因而从中采样即可得到可行动作每个Critic包含两个网络架构一样的全连接DNN，即主DNN和目标DNN；每个DNN用于评估和的Q值，即其中θ是DNN的权重；使用和来表示分别Critic1的主DNN和目标DNN的Q值，权重为θ1和使用和来分别表示Critic2的主和目标DNN的Q值，权重分别为θ2和所述决策优化方法具体如下：步骤1、设置折扣因子λ，软拷贝因子ι，最大时隙数T，最大轮次Γ；步骤2、随机初始化Actor的神经网络参数Critic的主神经网络参数θ
i
(i＝1,2)，将Critic的目标神经网络参数初始化将重放经验池清空，即当前时隙序号为t＝1，当前轮次序号为e＝1；步骤3、随机生成一个卸载比率动作，以获取一个CCHN
‑
MEC环境中的状态步骤4、根据状态SAC智能体输出一个计算卸载比率决策动作步骤5、根据卸载比率决策动作对于每个SUm
l
，求解本地能耗最小化问题，获得其本地的最优CPU频率分配步骤6、根据卸载比率决策动作对于每个NOMA组获得内每个SU的CPU频率步骤7、根据卸载比率决策动作对于每个NOMA组求解卸载能耗优化问题，获得组内每个SU的发射功率与传输时间步骤8、根据步骤5、6和7，计算系统总能耗E
total
(t)；步骤9、根据步骤8，计算当前系统的奖励r
t
，并获得下一个状态的状态步骤10、将当前时隙的经验存入重放经验池中；步骤11、如果在重放经验池中的经验数大于最小批数据大小则从重放经验池中随机抽取数据进行网络训练，以更新网络参数θ
i
(i＝1,2)，以及温度系数∈；步骤12、t＝t+1；如果当前时隙数t>T，则t＝1，e＝e+1，若e>Γ则进入步骤13；否则，返回
步骤3；步骤13、输出Actor的神经网络最优参数通过该参数Actor可以输出每个状态下的最优决策动作。2.根据权利要求1所述的一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法，其特征在于：所述步骤5中，本地能耗最小化问题为：其中，表示SU的最大CPU频率；约束C1表示本地的计算时间不能超过一个时隙长度，约束C2表示SU的本地计算CPU频率不能超过最大的CPU频率。3.根据权利要求1所述的一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法，其特征在于：所述步骤6中，通过以下公式(7)获得内每个SU的CPU频率内每个SU的CPU频率4.根据权利要求1所述的一种动态广义用户NOMA分组CCHN
‑
MEC网络卸载决策优化方法，其特征在于：所述步骤7中，卸载能耗优化问题为：其中，其中，表示在时隙t中从发送器u1到接收器u2的信道增益，表示在时隙t中从发送器m
l
到接收器h
k
的归一化信道增益，P
kINT
(t)
表示在时隙t中CR路由器h
k
处的最大干扰和噪声功率水平，表示CR路由器h
k
的最大CPU频率，表示SUm<...

【专利技术属性】
技术研发人员：林世俊，卢宝山，石江宏，
申请(专利权)人：厦门大学，
类型：发明
国别省市：