【技术实现步骤摘要】
一种无蜂窝大规模MIMO中基于元强化学习的计算卸载方法
[0001]本专利技术属于移动通信系统中边缘网络的计算卸载领域，尤其涉及一种无蜂窝大规模MIMO中基于元强化学习的计算卸载方法。
技术介绍
[0002]随着移动通信的发展，智能设备和全球移动数据的爆炸式增长给传统的无线接入网带来了巨大的压力，无蜂窝无线接入网应运而生。无蜂窝无线接入网把计算、存储、网络等资源部署到更接近用户端的节点，用户可以将计算任务卸载到邻近的节点，从而缓解了网络压力和减少了任务执行延迟。但是当用户将其任务卸载给节点时，传输速率在弱信号覆盖区域将急剧减少，这将导致任务执行延迟和性能下降。可重构智能表面(RIS)通过调整反射元件的相移，能够增强信号传播环境，提高传输速率，减少任务执行延迟和能耗，解决了这个问题。由于RIS辅助的无蜂窝无线接入网的网络环境动态时变，需要合理设计计算卸载策略以提高用户的服务质量。
[0003]现有的计算卸载方法主要分为两类，一类是传统的基于优化的方法，一类是基于强化学习的方法。传统方法将网络环境转化成一个固定的数学模型...
【技术保护点】
【技术特征摘要】
1.一种无蜂窝大规模MIMO中基于元强化学习的计算卸载方法，其特征在于，包括以下步骤：步骤1、初始化元强化学习的模型参数，包括卸载任务分布ρ(V)，其中V为用户卸载任务的集合，内外层训练速率α和β，策略函数π
θ
(a
i
|s
i
)的参数θ，其中s
i
为卸载状态，a
i
为决策执行动作；初始化训练周期数Q；步骤2、各个节点接收覆盖范围内所有用户的卸载任务，将所有的用户卸载任务放在训练池中，采样训练池中的用户卸载任务，构建任务样本组；步骤3、随机采样任务样本组中的用户卸载任务V
i
，构建卸载状态s
i
，并根据卸载状态s
i
对用户作出任务卸载决策与决策执行动作a
i
＝(d
i
,ψ
i
)，其中d
i
∈{0,1}表示任务卸载决策，d
i
＝1表示用户任务卸载到节点，d
i
＝0表示用户的任务卸载在本地；ψ
i
表示RIS的相位分配；步骤4、计算决策执行动作a
i
的时延，得到奖励r
i
与下一卸载状态s
i+1
，并将信号(s
i
,a
i
,s
i+1
,a
i+1
)存储在训练池中；步骤5、节点根据策略函数π
θ
(a
i
|s
i
)采样用户卸载任务V
i
，组成子任务轨迹集合D
i
；使用子任务轨迹集合D
i
计算梯度函数，并使用计算得到的梯度函数更新元强化学习的模型参数，转入下一次训练；步骤6、一个训练周期结束后，节点二次梯度更新元强化学习的模型参数。2.根据权利要求1所述的一种无蜂窝大规模MIMO中基于元强化学习的计算卸载方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1、节点接收覆盖范围所有用户的卸载任务，将所有的用户卸载任务放在训练池中，用户卸载任务用有向无环图表示为：Γ＝(V，Ε)，其中，V为用户卸载任务的集合，Ε表示用户卸载任务间的依赖关系集合，表示用户卸载任务V
i
和用户卸载任务V
j
之间的依赖关系；步骤2.2、节点按照时间权重排序训练池中的所有用户卸载任务，得到排序好之后所有用户卸载任务的集合D
G
；步骤2.3、节点随机从训练池中采样用户卸载任务，构建任务样本组。3.根据权利要求2所述的一种无蜂窝大规模MIMO中基于元强化学习的计算卸载方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1、节点接采样任务样本组中的用户卸载任务V
i
，构建当前任务卸载状态s
i
：s
i
＝(D
G
,A
1:i
,R
dl
,R
ul
)，其中i∈I＝{1,2,...,I}是用户卸载任务标号的集合，A
1:i
表示节点下用户前i个卸载任务的卸载决策序列，R
ul
和R
dl
是节点和覆盖范围内用户的上下行链路的传输速率，计算方式如下：式如下：其中，B是通信系统的带宽，和是用户k在上下行链路的信噪比；步骤3.2、获取用户卸载任务的卸载决策与RIS相位分配：
a
i
＝(d
i
,ψ
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。