基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
基于SafeRL的无人机辅助MEC系统的任务卸载与安全航行方法


[0001]本专利技术属于边缘计算领域，涉及一种无人机辅助边缘计算系统的任务卸载和安全航行方法，具体涉及一种基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法
。

技术介绍

[0002]传统的任务卸载策略往往存在一个缺点，即一旦无人机网络参数发生动态改变，这些数学优化算法就得重新迭代，在面对用户位置
、
传播环境特性等不断变化的的实际
MEC
系统时往往效率不高
。
通过深度强化学习
(DRL)
的的智能卸载与航行策略则非常适合复杂而动态变化的无人机网络环境
。
该方法需要首先将具体问题转化为一个基于马尔可夫过程
(MDP)
的优化问题，旨在找到一种能够最大化预期累积回报的最优策略
。
之后，通过强化学习算法控制代理与无人机辅助边缘计算系统环境交互并通过先前的经验优化任务卸载决策
、
规划飞行轨迹
、
合理分配计算资源等，从而获得最小化系统传输时延
。
[0003]然而，对于无人机辅助
MEC
系统，无人机的飞行范围内往往存在一些风险区域
(
如自然保护区等
)
，出于安全
、
隐私等原因无人机不被建议在这些区域内进行飞行
。
因此，应当同时考虑系统效用与无人机的安全性，使无人机提供出色卸载服务的同时尽可能保证无人机的安全航行
。
[0004]为了解决这一问题，在奖励函数中引入一个惩罚项来惩罚无人机在风险区域内的飞行时间是一种非常直接的方法
。
这个惩罚项可以根据风险区域的严重程度进行调整，以反映出代理应该避免进入的风险区域
。
这样，智能体在训练过程中会受到负向奖励，从而鼓励它避免进入这些区域，在一定程度保证了无人机的航行安全
。
[0005]然而，当考虑无人机服务范围内的风险区域时，即便是将惩罚项引入奖励函数，经典的强化学习算法往往难以解决系统效用和航行安全之间的平衡问题
。
一个宽松的惩罚项可能无法获得出色风险规避的策略，而严格的惩罚可能使代理过于保守，无法探索环境
。

技术实现思路

[0006]为解决上述问题，本专利技术公开了基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，在
SAC
算法的基础上引入自适应拉格朗日乘子，将约束优化问题转换为无约束优化问题，进而联合优化用户调度
、
无人机移动性和资源分配策略，实现最大化系统效用的同时最小化无人机在风险区域内的任务执行时间
。
[0007]为达到上述目的，本专利技术的技术方案如下：
[0008]基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，包括以下步骤：
[0009]先设计无人机辅助
MEC
系统
。
[0010]该系统中共有一架无人机与
M
个移动终端设备，系统存在如下设定：无人机的飞行高度始终处于高度为
H
的平面上，且该平面中存在
O
个限制区域，无人机每一时间步
t
分为飞行时间
t
fly
(t)
与传输计算时间
t
hover
(t)
；移动终端设备在地面可以随机移动；无人机与终端
设备之间的地对空信道模型由
3GPP
协议
R15
提供，整个系统模型可以分为通讯模型
、
计算模型
、
风险评估模型三部分
。
[0011]通讯模型定义以下参数：
[0012](x(t),y(t),H)
为无人机在时间步
t
时的初始坐标；
(x
n
(t),y
n
(t),0)
为用户
n
在时间步
t
的初始坐标；
B
为通讯带宽；
P
up
为上行链路的传输功率；为时间步
t
无人机与用户
n
之间
NLoS
的概率；
σ
表示复杂白噪声信道产生的噪声功率；
L
表示传输损耗，
d
n
(t)
表示时间步
t
无人机与用户
n
之间的距离；
g
n
(t)
表示时间步
t
无人机与用户
n
之间的信道增益；
r
n
(t)
为时间步
t
无人机与用户
n
之间的无线传输速率，
[0013]各变量由以下公式计算：
[0014][0015][0016][0017]计算模型定义以下参数：
[0018]D
n
(t)
表示时间步
t
无人机
n
的计算数据大小；
β
n
(t)
代表时间步
t
用户
n
卸载无人机服务器的任务比例，
s
代表单位字节处理所需的
CPU
周期数；
f
MU
表示用户自身的计算能力；
v(t),alpha(t)
表示时间步无人机的飞行速度与飞行方向；
t
fly
表示每个时间步用于飞行的时间；
M
UAV
表示无人机的有效载荷；代表用户
n
在时间步
t
的本地执行延迟；表示用户
n
在时间步
t
的将部分任务写在到无人机的传输延迟；代表着
t
时间步用户卸载任务在无人机上的执行时间；
E
fly
(t)
代表着时间步
t
无人机的飞行能耗；代表着无人机搭载服务器的计算功率；代表着时间步
t
无人机的计算能耗
。
[0019]各变量由以下公式计算：
[0020][0021][0022][0023][0024][0025][0026]风险评估模型定义以下参数，该模型将无人机在风险区域内的任务执行时间作为风险衡量指标，
O
表示无人机飞行范围内的风险区域个数，
t
fly_out
(t)
表示在时间步
t
无人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，其特征在于：包括以下步骤：
S1:
设计无人机辅助
MEC
系统；
S2
：计算性能指标；
S3
：约束优化形式化；
S4
：基于安全强化学习框架；
S5
：通过拉格朗日松弛算法进行处理，将有约束问题转化为无约束问题；
S6
：使用
SAC
‑
Lagrangian
算法求解最优策略
。2.
根据权利要求1所述的基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，其特征在于：
S1
所述设计无人机辅助
MEC
系统，具体如下：该系统中共有一架无人机与
M
个移动终端设备，系统存在如下设定：无人机的飞行高度始终处于高度为
H
的平面上，且该平面中存在
O
个限制区域，无人机每一时间步
t
分为飞行时间与传输计算时间；移动终端设备在地面随机移动；无人机与终端设备之间的地对空信道模型由
3GPP
协议
R15
提供；整个系统模型分为通讯模型
、
计算模型
、
风险评估模型三部分
。3.
根据权利要求2所述的基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，其特征在于：通讯模型定义以下参数：
(x(t),y(t),H)
为无人机在时间步
t
时的初始坐标；
(x
n
(t),y
n
(t),0)
为用户
n
在时间步
t
的初始坐标；
B
为通讯带宽；
P
up
为上行链路的传输功率；
P
nNLoS
(t)
为时间步
t
无人机与用户
n
之间
NLoS
的概率；
σ
表示复杂白噪声信道产生的噪声功率；
L
表示传输损耗；
d
n
(t)
表示时间步
t
无人机与用户
n
之间的距离；
g
n
(t)
表示时间步
t
无人机与用户
n
之间的信道增益；
r
n
(t)
为时间步
t
无人机与用户
n
之间的无线传输速率；各变量由以下公式计算：各变量由以下公式计算：各变量由以下公式计算：
4.
根据权利要求2所述的基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，其特征在于：计算模型定义以下参数：
D
n
(t)
表示时间步
t
无人机
n
的计算数据大小；
β
n
(t)
代表时间步
t
用户
n
卸载无人机服务器的任务比例，
s
代表单位字节处理所需的
CPU
周期数；
f
MU
表示用户自身的计算能力；
v(t),alpha(t)
表示时间步无人机的飞行速度与飞行方向；
t
fly
表示每个时间步用于飞行的时间；
M
UAV
表示无人机的有效载荷；代表用户
n
在时间步
t
的本地执行延迟；表示用户
n
在时间步
t
的将部分任务写在到无人机的传输延迟；代表着
t
时间步用户卸载任务在无人机上的执行时间；
E
fly
(t)
代表着时间步
t
无人机的飞行能耗；代表着无人机搭载服务器的计算功率；代表着时间步
t
无人机的计算能耗；
各变量由以下公式计算：各变量由以下公式计算：各变量由以下公式计算：各变量由以下公式计算：各变量由以下公式计算：各变量由以下公式计算：
5.
根据权利要求2所述的基于
SafeRL
的无人机辅助
MEC
系统的任务卸载与安全航行方法，其特征在于：风险评估模型定义以下参数，该模型将无人机在风险区域内的任务执行时间作为风险衡量指标，
O
表示无人机飞行范围内的风险区域个数，
t
fly_out
(t)
表示在时间步
t
无人机在风险区外的飞行时间，
t
fly_in
(t)
表...

【专利技术属性】
技术研发人员：董璐，石祥沛，袁心，
申请(专利权)人：东南大学，
类型：发明
国别省市：