基于三重学习器的无人机辅助移动边缘计算强化学习方法技术

本发明专利技术公开了一种基于三重学习器的无人机辅助移动边缘计算强化学习方法，首先以具备边缘计算能力的无人机和物联网设备建立移动边缘计算网络，且以网格的形式部署无人机，无人机作为移动边缘服务器，为物联网设备提供任务计算，并以所有无人机的能效最大为目标建立无人机的协同工作机制，针对无人机机动能力、存储空间和能量建立轨迹规划、应用部署和能量更新在内的多智能体随机博弈。本发明专利技术所述方法集成了轨迹学习器、应用学习器和能量学习器，解决了多架无人机移动边缘计算下的长期无人机能效优化问题，为无人机辅助移动边缘计算中无人机能效最大化的合理决策提供解决方案。无人机能效最大化的合理决策提供解决方案。

【技术实现步骤摘要】
基于三重学习器的无人机辅助移动边缘计算强化学习方法


[0001]本专利技术属于无人机辅助移动边缘计算中无人机轨迹、充电调度和应用放置优化技术，具体涉及一种基于三重学习器的无人机辅助移动边缘计算强化学习方法。

技术介绍

[0002]移动边缘计算作为支持资源受限的移动物联网设备运行计算密集型而延迟敏感的物联网应用的一种有前景的技术已被广泛接受。移动边缘计算强调应用服务和内容可以实现本地化和近距离分布式部署。每个移动边缘计算实体为其服务的用户提供服务，在一定程度上解决了5G增强移动宽带低延迟、高可靠性和大规模机器通信终端连接的业务需求。然而，多架无人机的移动边缘计算优化相关的问题仍存在一些关键问题尚未得到很好的研究。问题主要包括3个方面：
[0003]1)无人机数量和覆盖范围有限，无法同时为所有物联网设备提供边缘计算服务。这就要求无人机在不同地区飞行，为物联网设备提供服务。
[0004]2)每个任务由相应的应用计算。无人机存储容量有限，不能存储所有类型的应用。由于应用数据量大，且无人机对地面基站的传输速率有限，导致无人机布放应用的延迟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：包括如下步骤：(1)通过无人机设置边缘服务器，构建移动边缘计算网络，以网格形式部署无人机，所述移动边缘计算网络还包括物联网设备，物联网设备与无人机建立通信，用于物联网设备卸载计算任务，无人机接收到物联网设备请求的计算任务后，进行任务计算并将结果发送给物联网设备；(2)在移动边缘计算网络中建立无人机之间相互协同工作机制，针对无人机机动能力、存储空间和能量建立轨迹规划、应用部署和能量更新在内的多智能体随机博弈，以所有无人机的能量效率最大为目标，并转化对应在每个无人机中设置三个相关的基于q学习的学习器来寻找三个博弈的均衡，包括轨迹学习器、应用学习器和能量学习器；所述的多智能体随机博弈中，每个无人机在每个时隙单独选择自己的行动，包括所有无人机与其他无人机合作以达到相同的目标，且通过有限状态马尔可夫决策过程来描述各无人机的博弈过程；(3)在每个时隙，位于目标区域的无人机根据所有无人机的状态信息决定是否返回地面，对应如下过程：若不返回地面，将选择一个方向，以恒定速度v从一个网格的中心移动到另一个相邻网格的中心，然后悬停在网格中心，在t时段悬停时接收并计算请求的任务；若返回地面，无人机将在时隙t内更新能量和更新应用的放置，更新能量和更新应用的位置后，无人机返回目标区域，继续为物联网设备提供边缘计算服务；轨迹学习器学习在每个时隙选择移动的方向，应用学习器学习在每个时隙选择更新应用放置的策略，能量学习器学习在每个时隙选择是否返回充电站更新能量。2.根据权利要求1所述的基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：步骤(2)在寻求三个博弈均衡的计算中，无人机能量效率最大化的目标函数数学表型形式如下：约束条件：约束条件：约束条件：φ(t)∈[0,1],t≥0(d)(d)|U
m
(t)
‑
I
m
(t)|2ε
m
(t)＝q2(g)其中约束(a)
‑
(c)为二元变量。约束条件(e)表示传输时间和计算时间之和不能大于悬停时间，约束条件(g)和(h)表明，无人机在每个时隙中，如果不更新能量，只能从一个网格
的中心移动到另一个相邻网格的中心。3.根据权利要求1所述的基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：所述移动边缘计算系统中，有任务请求的物联网设备会将任务向位于同一网格内的无人机请求卸载；所述方法对于单个物联网设备与无人机之间的计算任务卸载模型，包括如下计算：物联网设备n向无人机m卸载任务的瞬时速率表达形式为：其中γ
m,n
(t)为时隙t的信号和干扰噪声比，ζ
m,n
(t)∈{0,1}表示无人机m和物联网设备n是否在t时点位于同一网格上，其中ζ
m,n
(t)＝1表示无人机m和物联网设备n在t时点位于同一网格上，否则ζ
m,n
(t)＝0；o
n
(t)∈{0,1}表示为物联网设备n是否在t时隙有卸载任务请求的向量，其中o
n
(t)＝1表示物联网设备n在t时隙有卸载任务请求，否则o
n
(t)＝0；在时隙t，物联网设备n请求的任务是v
n
(t)∈{v
n,1
(t),v
n,2
(t),...,v
n,C
(t)}，其中C为任务类型的数量；放置在无人机m中的应用w
m
(t)∈{w
m,1
(t),w
m,2
(t),...,w
m,S
(t)}，其中S是任务类型的数量；B为无人机和物联网设备之间的无线信道带宽，单位为Hz；物联网设备n卸载到无人机m的时间为数学形式如下：其中D为每个任务的大小，在所考虑的无人机网络中，假设所有无人机都可以获取无人机的信息，包括无人机的位置和放置应用。4.根据权利要求1所述的基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：所述方法对于无人机计算模型的构建和处理中，包括如下计算：无人机m收到物联网设备n的卸载任务后，计算物联网设备n卸载任务的时间为：其中f
U
为无人机计算的CPU频率，单位为周期/秒，无人机m计算所有接收任务的大小表示为：其中，t
hover
为无人机在每个时点的悬停时间，H
m
为向无人机m卸载任务的物联网设备集合m，让f
U
表示计算每一位所需的CPU周期；定义为无人机m在t时隙计算任务上的能量消耗，公式如下：其中ξ为无人机的有效电容系数。5.根据权利要求1所述的基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：所述方法包括包括建立只依赖于速度因子的旋翼无人机推进功率模型，对于旋翼无人机，推进动力表示为：
其中，机身S
F
表示机身等效平板面积；由上式可知，旋翼无人机各时点推进能量消耗由水平运动能量和悬停能量两部分组成，表示为所述方法中，所有无人机为匀速运动，每个无人机在每个时隙的飞行能量消耗相等。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：李佳流源，易畅言，陈嘉源，吴强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：