一种基于图强化学习的多无人机无线能量传输方法技术

本申请涉及无线携能移动通信网络技术领域，具体而言，涉及一种基于图强化学习的多无人机无线能量传输方法，一定程度上可以解决目前关于多UAV辅助下的WET方案，忽略了不同IoT设备中公平充电的问题。包括：基于现实数据构建系统模型，系统模型包括信道模型、无人机的能耗模型、物联网设备的能量收集模型及能量饥渴度模型；根据系统模型，建立优化问题，优化问题为不满足能量需求的物联网设备的总能量饥渴度最小化问题；将优化问题转化为马尔科夫决策过程及无人机的图表示；基于马尔科夫决策过程及无人机的图表示，确定训练流程及损失函数；根据训练流程及损失函数对神经网络进行训练，得到最优化问题的解决算法。得到最优化问题的解决算法。得到最优化问题的解决算法。

【技术实现步骤摘要】
一种基于图强化学习的多无人机无线能量传输方法


[0001]本申请涉及无线携能移动通信网络
，具体而言，涉及一种基于图强化学习的多无人机无线能量传输方法。

技术介绍

[0002]物联网设备通常被部署在一些特定地点用于收集相关信息，通常物联网设备无法携带大容量电池，基于射频（radiofrequency,RF）的无线能量传输（wirelessenergytransfer,WET）技术被认为是支持能源可持续的物联网网络的一种有前途的方法。传统上，地面基础设施（如专用能源发射器或基站）被用来为低功率物联网设备充电。然而，由于端到端的无线能量传输效率普遍较低，为了保证物联网设备收获的能量不为零，从地面基础设施到每个物联网设备的有效传输距离被限制（例如，10米左右），
[0003]现有的做法通常是，要么通过加大天线数量来加大传输功率，要么对能量波束进行优化提高物联网设备的接收功率。然而这些方法通常都需要消耗大量的能量，更加高效的方法有，通过利用无人机的灵活机动性来有效缩短无人机和物联网设备之间的传输距离。
[0004]目前，无人机辅助的无线能量传输系统已经有了许多研究，包括：为主要用户提供无人机辅助的动态无线能量传输方案；通过研究无人机的悬停位置，以使物联网设备的最小收获能量最大化；通过共同优化无人机的飞行轨迹和无线能量传输，以使物联网设备的总收获能量最大化。
[0005]上述研究只考虑了单个无人机的无线能量传输，由于单个无人机的机载电池能量有限，通常难以服务于大规模网络，通过处理多个无人机的轨迹和无线能量传输的更复杂的联合设计来解决上述问题。目前对多无人机辅助的无线能量传输有：利用Lagrange乘数法和基于飞行和悬停的轨迹设计来使物联网设备的总收获能量最大化；还有应用了深度强化学习（deepreinforcementlearning,DRL）的方法来适应多无人机辅助的无线能量传输下的动态环境。
[0006]但是，目前关于多无人机辅助下的无线能量传输方案，大多只关注于物联网设备总体的能量收集，而忽略了不同无人机设备中公平充电的问题。

技术实现思路

[0007]为了解决目前关于多UAV辅助下的WET方案，大多只关注于IoT设备总体的能量收集，而忽略了不同IoT设备中公平充电的问题，本申请提供了一种基于图强化学习的多无人机无线能量传输方法，能够公平的为地面低功率物联网（InternetofThings,IoT）设备充电，有效地解决了在不知IoT设备具体位置的情况下有效地为它们提供能量。
[0008]本申请的实施例是这样实现的：
[0009]第一方面，本申请提供一种基于图强化学习的多无人机无线能量传输方法，包括：
[0010]基于现实数据构建系统模型，所述系统模型包括信道模型、无人机的能耗模型、物
联网设备的能量收集模型及能量饥渴度模型，所述能量饥渴度是基于其所需能量和从UAV收获的能量之间的能量差距，能够反映物联网设备随时间变化的能量需求；
[0011]根据所述系统模型，建立优化问题，所述优化问题为不满足能量需求的物联网设备的总能量饥渴度最小化问题；
[0012]将所述优化问题转化为马尔科夫决策过程及无人机的图表示；
[0013]基于所述马尔科夫决策过程及无人机地图表示，确定训练流程及损失函数；
[0014]根据训练流程及损失函数对神经网络进行训练，得到所述最优化问题的解决算法。
[0015]在一种可能的实现方式中，将U架无人机作为空中无线能量发射器，为地面上的物联网设备充电，设每个无人机在固定高度米处飞行，将无人机与物联网设备的集合分别表示为和：
[0016]无人机的无线能量传输任务周期分为T个时隙，所述时隙的长度为秒，所述时隙的集合表示为；
[0017]无人机在个时隙中的坐标表示为，由于时隙长度非常小，假定在每个时隙中不变，但在不同时隙中可能发生变化；
[0018]物联网设备在地面上的坐标表示为
[0019]表示无人机与物联网设备在第个时隙的距离，表示无人机在第个时隙的无线能量传输决策，如果，则无人机在时隙进行能量广播，否则保持静默。
[0020]在一种可能的实现方式中，所述建立信道模型，包括：
[0021] 定义为在时隙内从无人机到物联网设备的空对地信道的视线概率，其中为在时隙中无人机（UAV）
‑
到设备的仰角，常数和为环境相关参数；
[0022]得到非视线的概率为无人机到物联网设备的平均AtG信道功率增益为
[0023]。
[0024]在一种可能的实现方式中，所述建立无人机能耗模型，包括：
[0025]在每个时隙，无人机的推进力消耗由其速度决定，具体如下：
[0026][0027]其中，为与无人机（UAV）型号相关的常量。
[0028]得到无人机在时刻的移动能耗为，无线能量传输能耗为，其中的范围为，时表示悬停，为无人机的最大飞行速度。我们可以定义无人机在时隙的电量为
[0029]。
[0030]在一种可能的实现方式中，所述建立物联网设备的能量收集模型，包括：
[0031]物联网设备上的能量转换装置都会有一个功率转换函数，定义功率转换函数为：
[0032][0033]其中，和，分别表示为能量转换转置的灵敏功率和饱和功率，是物联网设备接收到的RF功率，为非线性函数；
[0034]定义物联网设备在时隙收集到的能量为；
[0035]其中，为无人机的发射功率；
[0036]定义为物联网（IoT）设备在时隙的电量，其在每个时隙开始时更新，如下表示：
[0037][0038]其中，为物联网设备的电池容量，表示初始电量；
[0039]为了判断物联网设备的电量是否达阈值，对于那些电量在时隙低于的物联网设备，定义为。
[0040]在一种可能的实现方式中，所述建立能量饥渴度模型，包括：
[0041]定义能量饥渴度为
[0042][0043]其中，，表示物联网设备要想在T个时隙内能量达到每个时隙所期望得到的能量；
[0044]需要优化的目标定义为：
[0045]。
[0046]在一种可能的实现方式中，所述根据所述系统模型，建立优化问题，包括：
[0047]通过优化问题确定所有无人机的无线能量传输决策和轨迹，在无人机的实际机动性和能量约束下，我们使最小，具体如下：
[0048][0049][0050][0051][0052][0053]。
[0054]在一种可能的实现方式中，所述将所述优化问题转化为马尔科夫决策过程及无人机的图表示，包括：
[0055]根据式（1），通过让每个无人机作为一个代理，为每个代理建立MDP模型；
[0056]状态集包含了每个无人机的所有可能的环境配置，包括无人机自身的位置、所有物联网设备的能量饥渴度、所有物联网设备的电池水平以及无人机自身的电池水平；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图强化学习的多无人机无线能量传输方法，其特征在于，包括：基于现实数据构建系统模型，所述系统模型包括信道模型、无人机的能耗模型、物联网设备的能量收集模型及能量饥渴度模型，所述能量饥渴度是基于其所需能量和从UAV收获的能量之间的能量差距，能够反映物联网设备随时间变化的能量需求；根据所述系统模型，建立优化问题，所述优化问题为不满足能量需求的物联网设备的总能量饥渴度最小化问题；将所述优化问题转化为马尔科夫决策过程及无人机的图表示；基于所述马尔科夫决策过程及无人机的图表示，确定训练流程及损失函数；根据训练流程及损失函数对神经网络进行训练，得到所述优化问题的解决算法。2.如权利要求1所述的基于图强化学习的多无人机无线能量传输方法，其特征在于，将U架无人机作为空中无线能量发射器，为地面上的物联网设备充电，设每个无人机在固定高度米处飞行，将无人机与物联网设备的集合分别表示为和：无人机的无线能量传输任务周期分为T个时隙，所述时隙的长度为秒，所述时隙的集合表示为；无人机在t个时隙中的坐标表示为，由于时隙长度非常小，假定在每个时隙中不变，但在不同时隙中可能发生变化；物联网设备在地面上的坐标表示为；表示无人机与物联网设备在第t个时隙的距离，表示无人机在第t个时隙的无线能量传输决策，如果，则无人机在t时隙进行能量广播，否则保持静默。3.如权利要求2所述的基于图强化学习的多无人机无线能量传输方法，其特征在于，所述建立信道模型，包括：定义为在时隙t内从无人机到物联网设备的空对地信道的视线概率，其中为在时隙t中无人机（UAV）
‑
到设备i的仰角，常数a和b为环境相关参数；得到非视线的概率为无人机到物联网设备的平均AtG信道功率增益为。4.如权利要求3所述的基于图强化学习的多无人机无线能量传输方法，其特征在于，所述建立无人机能耗模型，包括：在每个时隙t，无人机的推进力消耗由其速度决定，具体如下：，其中，为与无人机（UAV）型号相关的常量；
得到无人机在t时刻的移动能耗为，无线能量传输能耗为，其中的范围为，时表示悬停，为无人机的最大飞行速度，我们可以定义无人机在t时隙的电量为。5.如权利要求4所述的基于图强化学习的多无人机无线能量传输方法，其特征在于，所述建立物联网设备的能量收集模型，包括：物联网设备上的能量转换装置都会有一个功率转换函数，定义功率转换函数为：；其中，和，分别表示为能量转换转置的灵敏功率和饱和功率，p是物联网设备接收到的RF功率，为非线性函数；定义物联网设备i在t时隙收集到的能量为；其中，为无人机的发射功率；定义为物联网（IoT）设备i在t时隙的电量，其在每个时隙开始时更新，如下表示：，其中，为物联网设备的电池容量，表示初始电量；为了判断物联网设备的电量是否达阈值，对于那些电量在t时隙低于的物联网设备，定义为。6.如权利要求5所述的基于图强化学习的多无人机无线能量传输方法，其特...

【专利技术属性】
技术研发人员：车越岭，赵泽宇，罗胜，梁中明，
申请(专利权)人：深圳大学，
类型：发明
国别省市：