一种5G切片资源调度方法技术

本发明专利技术提供了一种5G切片资源调度方法，包括初始化深度强化网络的记忆池和学习参数；记忆池包括网络状态、动作、奖励值和下一网络状态；动作表示5G切片资源分配策略；将采集到的5G切片资源的历史分配数据馈入到深度神经网络进行强化学习，并将每一次学习得到的网络状态、动作、奖励值和下一网络状态组成一个四元组；随机抽取若干个四元组馈入到神经网络进行训练，得到切片资源分配模型；响应于接收到的终端业务请求，基于切片资源分配模型进行5G切片资源分配；本发明专利技术可以实现采用有限样本进行模型快速训练，从而大大降低了海量用户多种通信场景的切片资源分配模型计算的复杂度，有效缩短切片资源分配的决策时长，提升切片资源分配效率。配效率。配效率。

【技术实现步骤摘要】
一种5G切片资源调度方法


[0001]本专利技术涉及移动通信
，尤其涉及一种5G切片资源调度方法。

技术介绍

[0002]网络切片作为5G(5th Generation Mobile Communication Technology，第五代移动通信技术)的关键技术之一，它能够在共享物理网络设施的基础上创建并维护多个定制的独立的逻辑网络，针对5G不同类型的应用场景定制专用网络切片的形式提高了网络的异构性、灵活性、可伸缩性、盈利性和未来网络服务的安全性。
[0003]目前，大部分的5G切片调度方法采用离散粒子群算法或者遗传算法实现算法优化。但是面对海量用户的请求下，采用上述的算法计算切片资源分配存在决策时间过长、效率低的问题。

技术实现思路

[0004]针对上述问题，本专利技术的目的在于提供一种5G切片资源调度方法，其能有效提升切片资源调度的效率，实现切片资源管理策略的高效调整。
[0005]本专利技术实施例提供了一种5G切片资源调度方法，包括：
[0006]初始化深度强化网络的记忆池和学习参数；其中，所述记忆池包括网络状态、动作、奖励值和下一网络状态；所述动作表示5G切片资源分配策略；
[0007]将采集到的5G切片资源的历史分配数据馈入到所述深度神经网络进行强化学习，并将每一次学习得到的网络状态、动作、奖励值和下一网络状态组成一个四元组；
[0008]随机抽取若干个所述四元组馈入到神经网络进行训练，得到切片资源分配模型；
[0009]响应于接收到的终端业务请求，基于所述切片资源分配模型进行5G切片资源分配。
[0010]作为上述方案的改进，所述方法还包括：
[0011]根据预设的终端能耗模型和边缘节点能耗模型，构建目标函数；
[0012]根据所述目标函数，确定奖励函数；
[0013]根据所述奖励函数，计算不同网络状态下的奖励值。
[0014]作为上述方案的改进，所述终端能耗模型为：
[0015][0016]其中，E
c
表示终端处理部分任务所消耗的能耗，T
c
表示终端处理部分任务的能耗，d
i
表示任务i的计算量，x
i
表示任务i的卸载决策变量，f
c
表示终端的计算能力；P
c
表示终端处理任务的功率；E
tran
表示终端的其余能耗，P
t
表示终端的数据发送功率；l
i
表示任务i的数据量；R
MEC
表示终端发送给边缘节点的速率；T
MEC
表示任务的处理时间，
f
MEC
表示边缘节点的计算能力，n表示终端的任务数量；P
w
表示终端的空闲功率。
[0017]作为上述方案的改进，所述边缘节点能耗模型为：
[0018]E
MEC
＝T
MEC
×
P
MEC
；
[0019]其中，P
MEC
表示边缘节点处理任务的功率。
[0020]作为上述方案的改进，所述目标函数为：
[0021][0022]其中，K表示单个用户的任务总数量，J表示用户总数量；
[0023]所述目标函数满足以下约束条件：
[0024][0025]其中，T
kj
表示用户j的第k个任务的处理时间，表示对应业务类型的最大时延；表示卸载到第u个边缘节点的计算量，U表示边缘节点的数量，表示第u个边缘节点的最大计算量；表示卸载到第u个边缘节点的数据量，表示第i个边缘节点的最大存储量。
[0026]作为上述方案的改进，所述激励函数为：
[0027][0028]其中，x
kj
＝0表示用户j的第k个任务在终端执行，x
kj
＝1表示用户j的第k个任务全部卸载到边缘节点的切片中，x
kj
在0
‑
1之间，表示用户j的第k个部分卸载倒服务器上。
[0029]作为上述方案的改进，所述网络状态包括：边缘节点的当前计算量、边缘节点的当前存储量、边缘节点的当前极端能量以及任务卸载决策变量。
[0030]作为上述方案的改进，所述将采集到的5G切片资源的历史分配数据馈入到所述深度神经网络进行强化学习，并将每一次学习得到的网络状态、动作、奖励值和下一网络状态组成一个四元组，包括：
[0031]将所述历史分配数据划分为若干组批量数据；
[0032]将各组所述批量数据依次馈入到所述深度神经网络进行强化学习，得到各组所述批量数据对应的网络状态、动作、奖励值和下一网络状态；
[0033]其中，每一组所述批量数据对应的网络状态、动作、奖励值和下一网络状态组成一个四元组。
[0034]作为上述方案的改进，所述随机抽取若干个所述四元组馈入到神经网络进行训练，得到切片资源分配模型，包括：
[0035]随机抽取若干个所述四元组馈入到神经网络进行训练，以更新所述神经网络的学习参数，并对所述四元组中的奖励值进行自回归，得到切片资源分配模型；
[0036]对所述切片资源分配模型的学习参数进行梯度更新。
[0037]作为上述方案的改进，所述对所述切片资源分配模型的学习参数进行梯度更新，包括：
[0038]根据公式(Ⅰ)计算所述学习参数的更新梯度；
[0039][0040]其中，e表示设定的常数，Δf(θ
m
)表示第m次迭代时的学习参数，θ
m
表示在当前四元组训练下的平均梯度；
[0041]计算所述切片资源分配模型的当前学习参数和所述更新梯度的加和，得到更新后的学习参数。
[0042]相对于现有技术，本专利技术实施例的有益效果在于：通过初始化深度强化网络的记忆池和学习参数；其中，所述记忆池包括网络状态、动作、奖励值和下一网络状态；所述动作表示5G切片资源分配策略；将采集到的5G切片资源的历史分配数据馈入到所述深度神经网络进行强化学习，并将每一次学习得到的网络状态、动作、奖励值和下一网络状态组成一个四元组；随机抽取若干个所述四元组馈入到神经网络进行训练，得到切片资源分配模型；响应于接收到的终端业务请求，基于所述切片资源分配模型进行5G切片资源分配；本专利技术基于深度强化学习构建四元组，并通过随机抽取若干个所述四元组馈入到神经网络进行训练，实现采用有限样本进行模型快速训练，从而大大降低了海量用户多种通信场景的切片资源分配模型计算的复杂度，有效缩短切片资源分配的决策时长，提升切片资源分配效率。
附图说明
[0043]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种5G切片资源调度方法，其特征在于，包括：初始化深度强化网络的记忆池和学习参数；其中，所述记忆池包括网络状态、动作、奖励值和下一网络状态；所述动作表示5G切片资源分配策略；将采集到的5G切片资源的历史分配数据馈入到所述深度神经网络进行强化学习，并将每一次学习得到的网络状态、动作、奖励值和下一网络状态组成一个四元组；随机抽取若干个所述四元组馈入到神经网络进行训练，得到切片资源分配模型；响应于接收到的终端业务请求，基于所述切片资源分配模型进行5G切片资源分配。2.如权利要求1所述的5G切片资源调度方法，其特征在于，还包括：根据预设的终端能耗模型和边缘节点能耗模型，构建目标函数；根据所述目标函数，确定奖励函数；根据所述奖励函数，计算不同网络状态下的奖励值。3.如权利要求2所述的5G切片资源调度方法，其特征在于，所述终端能耗模型为：其中，E
c
表示终端处理部分任务所消耗的能耗，T
c
表示终端处理部分任务的能耗，d
i
表示任务i的计算量，x
i
表示任务i的卸载决策变量，f
c
表示终端的计算能力；P
c
表示终端处理任务的功率；E
tran
表示终端的其余能耗，P
t
表示终端的数据发送功率；l
i
表示任务i的数据量；R
MEC
表示终端发送给边缘节点的速率；T
MEC
表示任务的处理时间，f
MEC
表示边缘节点的计算能力，n表示终端的任务数量；P
w
表示终端的空闲功率。4.如权利要求3所述的5G切片资源调度方法，其特征在于，所述边缘节点能耗模型为：E
MEC
＝T
MEC
×
P
MEC
；其中，P
MEC
表示边缘节点处理任务的功率。5.如权利要求4所述的5G切片资源调度方法，其特征在于，所述目标函数为：其中，K表示单个用户的任务总数量，J表示用户总数量；所述目标函数满足以下约束条件：
其中...

【专利技术属性】
技术研发人员：杜翠凤，滕少华，董亮，王二军，叶杨，石俊，范磊，管相武，
申请(专利权)人：广州杰赛通信规划设计院有限公司广东工业大学，
类型：发明
国别省市：