一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于SAC的多无人机辅助移动边缘计算方法、装置及存储介质


[0001]本专利技术涉及一种基于
SAC(Soft Actor
‑
Critic)
的多无人机辅助移动边缘计算方法
、
装置及存储介质，属于移动边缘计算

。

技术介绍

[0002]移动边缘计算能够以较低的传输时延和较轻的访问负载为位于无线网络边缘的用户设备提供计算服务
。
无人机因其具有灵活性
、
机动性和低成本等特性而在移动边缘计算领域中发挥着重要作用
。
[0003]然而，由于无人机处于动态无线信道环境
、
受到电池容量限制和计算资源约束等因素影响，使用传统方法处理效率低下
。
在无人机执行任务过程中，其决策过程实际上是一个含约束的混合优化问题
。
传统方法在处理此类问题时不仅面临着高计算量和长时延的挑战，且在复杂多变的环境下，每一步都需要重新运算求解，无法满足实时性要求
。
[0004]强化学习
(Reinforcement Learning
，
RL)
的快速发展为解决上述问题提供了高效可行的解决方案
。
强化学习是一种通过试错学习的算法，可实现实时的资源分配
、
轨迹设计和智能决策，更适用于处理对时延敏感的任务
。
同时，强化学习的方法可以显著降低运算量，具有较强的鲁棒性，能够有效应对复杂多变的环境
。
[0005]然而，目前这些算法通常只考虑了单个无人机与地面用户之间的计算卸载和任务分配，在实际应用中，无人机边缘计算场景可能包括多个无人机同时为地面用户提供计算服务的情况
。
这种情况下，如果每个无人机都只与地面用户进行直接计算卸载，可能会导致计算资源的浪费和效率低下
。

技术实现思路

[0006]本专利技术的目的在于提供一种基于
SAC
的多无人机辅助移动边缘计算方法，旨在利用深度强化学习算法实现多无人机联合基站辅助地面用户进行边缘计算时，优化无人机的路径规划
、
资源分配及任务卸载的策略，提升用户任务的处理效率，并避免能耗集中和资源浪费
。
[0007]为解决上述技术问题，本专利技术是采用下述技术方案实现的：
[0008]一方面，本专利技术提供了一种多无人机辅助移动边缘计算方法，其包括：
[0009]获取多无人机联合基站辅助地面用户进行边缘计算的系统中的基本要素信息；
[0010]根据所述基本要素信息，建立无人机路径规划
、
信道资源分配及计算资源分配的优化模型；
[0011]将各无人机作为决策者，将无人机的观测作为状态，将无人机选择的路径规划
、
信道资源分配及计算资源分配策略作为动作，基于预设的奖励函数和折扣因子，将所述优化模型转化为马尔科夫决策过程；
[0012]各无人机利用预先训练的深度强化神经网络，基于实时观测信息对所述马尔科夫
决策过程进行求解，得到优化后的无人机飞行轨迹
、
信道资源分配及计算资源分配策略
。
[0013]为避免现有技术中各无人机与地面用户进行直接计算卸载，进而导致计算资源的浪费和效率低下的弊端，本专利技术在基于深度强化学习算法的前提下，将基站作为一种计算资源参与到无人机与地面用户之间的计算卸载和任务分配中，通过边缘计算服务器与地面服务器之间的协同配合，保证了无人机可卸载部分密集型计算任务到地面基站服务器，进而优化了无人机飞行轨迹
、
信道资源分配及计算资源分配的策略，最终实现了用户计算体验质量和整体计算效率的大幅提高
。
[0014]可选的，所述多无人机联合基站辅助地面用户进行边缘计算的系统，包括若干个无人机
、
若干个地面用户及基站，所述无人机作为边缘计算服务器，所述基站作为地面服务器；
[0015]具体的，所述基本要素信息包括：地面用户的数量
N
，无人机的数量
M
，地面用户的位置
x
＝
(x1,...,x
M
)
，无人机的位置
y
＝
(y1,...,y
M
)
，无人机的移动
move
＝
(move1,...,move
M
)
，无人机对地面用户的信道资源分配
α
＝
(
α1,...,
α
M
)
，无人机对地面用户的计算资源分配
β
＝
(
β1,...,
β
M
)
，第
i
个地面用户的任务数据量
、
计算量和位置
(D
i
,f
i
,x
i
)
，能量消耗
E
，无人机所服务的地面用户数量
(I1,...,I
M
)
，公平系数
I
，最大时延
T
，用户的信息传输功率
P
user
，无人机的最大计算资源
F
uav
，无人机最大带宽
B0，无人机的传输功率
P
uav
，第
i
个地面用户将任务卸载到第
j
个无人机的通信时间
T
0ij
，第
j
个无人机在本地运算第
i
个地面用户的任务的计算时间
T
1ij
，第
j
个无人机将第
i
个地面用户的任务卸载到基站的通讯时间
T
2ij
，参考距离为1米时的功率增益
g0，有效开关电容
k
，噪声功率
δ2，无人机的单次最大移动距离
V
max
，无人机飞行范围边界
boundary
，基站的位置
U
，无人机与地面用户的通讯最大距离
R。
[0016]可选的，所述无人机路径规划
、
信道资源分配及计算资源分配的优化模型表示为：
[0017][0018][0019]其中，中间参数
k
i,j
、
θ
i,j
满足以下关系：
[0020][0021][0022][0023][0024][0025][0026][0027][0028][0029]可选的，所述将优化模型转化为马尔可夫决策过程，包括：
[0030]令第
j
个无人机的观测为
...

【技术保护点】

【技术特征摘要】
1.
一种多无人机辅助移动边缘计算方法，其特征在于，包括：获取多无人机联合基站辅助地面用户进行边缘计算的系统中的基本要素信息；根据所述基本要素信息，建立无人机路径规划
、
信道资源分配及计算资源分配的优化模型；将各无人机作为决策者，将无人机的观测作为状态，将无人机选择的路径规划
、
信道资源分配及计算资源分配策略作为动作，基于预设的奖励函数和折扣因子，将所述优化模型转化为马尔科夫决策过程；各无人机利用预先训练的深度强化神经网络，基于实时观测信息对所述马尔科夫决策过程进行求解，得到优化后的无人机飞行轨迹
、
信道资源分配及计算资源分配策略
。2.
根据权利要求1所述的多无人机辅助移动边缘计算方法，其特征在于，所述多无人机联合基站辅助地面用户进行边缘计算的系统，包括若干个无人机
、
若干个地面用户及基站，所述无人机作为边缘计算服务器，所述基站作为地面服务器；所述基本要素信息包括：地面用户的数量
N
，无人机的数量
M
，地面用户的位置
x
＝
(x1,...,x
M
)
，无人机的位置
y
＝
(y1,...,y
M
)
，无人机的移动
move
＝
(move1,...,move
M
)
，无人机对地面用户的信道资源分配
α
＝
(
α1,...,
α
M
)
，无人机对地面用户的计算资源分配
β
＝
(
β1,...,
β
M
)
，第
i
个地面用户的任务数据量
、
计算量和位置
(D
i
,f
i
,x
i
)
，能量消耗
E
，无人机所服务的地面用户数量
(I1,...,I
M
)
，公平系数
I
，最大时延
T
，用户的信息传输功率
P
user
，无人机的最大计算资源
F
uav
，无人机最大带宽
B0，无人机的传输功率
P
uav
，第
i
个地面用户将任务卸载到第
j
个无人机的通信时间
T
0ij
，第
j
个无人机在本地运算第
i
个地面用户的任务的计算时间
T
1ij
，第
j
个无人机将第
i
个地面用户的任务卸载到基站的通讯时间
T
2ij
，参考距离为1米时的功率增益
g0，有效开关电容
k
，噪声功率
δ2，无人机的单次最大移动距离
V
max
，无人机飞行范围边界
boundary
，基站的位置
U
，无人机与地面用户的通讯最大距离
R。3.
根据权利要求2所述的多无人机辅助移动边缘计算方法，其特征在于，所述无人机路径规划
、
信道资源分配及计算资源分配的优化模型表示为：信道资源分配及计算资源分配的优化模型表示为：其中，中间参数
k
i,j
、
θ
i,j
满足以下关系：
4.
根据权利要求3所述的多无人机辅助移动边缘计算方法，其特征在于，所述将优化模型转化为马尔可夫决策过程，包括：令第
j
个无人机的观测为
(D1，
...
，
D
N
，
f1，
...
，
f
N
，
x1，
...
，
x
N
，
y1，
...
，
y
M
)
；令第
j
个无人机行动为
(
α
j
，
β
j
，
move
j
)
；奖励函数设置为或若任一所述无人机超速或者运动出边界，则奖励减
0.3
；若任一所述地面用户的任务没有被卸载，则奖励减
(0.1*
任务未卸载的移动终端用户数量<...

【专利技术属性】
技术研发人员：董璐，姜骏永，田卜玮，石祥沛，袁心，
申请(专利权)人：东南大学，
类型：发明
国别省市：