基于深度强化学习的多无人机空中充电和任务调度方法技术

本发明专利技术公开了一种基于深度强化学习的多无人机空中充电和任务调度方法，包括：构建多无人机群辅助边缘计算模型；预设每个无人机的计算资源；构建多无人机位置部署、用户设备卸载决策和计算资源分配的优化模型；以无人机群能耗最小为优化目标，采用DDQN算法求解用户设备的卸载决策；采用差分进化算法求解无人机的计算资源分配策略；再次利用差分进化算法对无人机部署策略进行优化；迭代直至获得无人机的部署策略、无人机的计算资源最优分配策略，以及用户设备的最优卸载决策。本发明专利技术考虑到了多无人机之间的协作，无人机之间计算资源的平衡，使部分无人机充当中继站，将任务传输给其他无人机来计算，以获得无人机系统能耗最小的最优卸载决策。最优卸载决策。最优卸载决策。

【技术实现步骤摘要】
基于深度强化学习的多无人机空中充电和任务调度方法


[0001]本专利技术涉及多无人机协同的任务调度和空中能量捕获
，具体而言涉及一种基于深度强化学习的多无人机空中充电和任务调度方法。

技术介绍

[0002]随着第五代（5G）移动网络的大规模商业运营，需要高速网络支持的软件相续出现，如移动应用，移动在线游戏、增强现实和智能导航等。然而，这些应用程序大多数都是需要大量密集资源以及高质量网络服务，这使得只靠用户自身的移动设备是很难能够处理这些软件数据的，因为一般移动设备的电池容量和计算资源都十分有限，短时间内处理不了如此庞大的数据，电量消耗上也不允许，而移动边缘计算主要通过部署在高空无人机上的服务器来给附件的用户提供服务，用户通过自身设备将任务卸载给附近的高空无人机，让无人机来处理任务并传回计算结果；与传统的地面基站相比，移动边缘计算不仅在资源密集型任务中表现优秀，还对于突发性灾难和高密度人群区域的网络卡顿以及信号差等问题带来了解决方案；同时基于无人机本身的灵活性、易部署性和低成本等特点，移动边缘计算在自然灾害、紧急事件、时变热点人群聚集区和附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的多无人机空中充电和任务调度方法，其特征在于，所述多无人机空中充电和任务调度方法包括以下步骤：S1，根据第三方收集的数据，得到环境中各个用户和基站的位置，构建多无人机群辅助边缘计算模型；S2，初始化无人机群的部署位置，预设每个无人机的计算资源；S3，构建多无人机位置部署、用户设备卸载决策和计算资源分配的优化模型；每个用户设备的计算任务有三种不同的卸载方式: 本地计算、近端卸载和远端卸载；本地计算是指计算任务在用户设备上执行；近端卸载是指用户设备将计算任务卸载到其最近无人机节点；远端卸载是指用户设备将计算任务先卸载到最近的无人机节点，以此无人机作为中继站，帮助用户把任务传输给其他无人机进行计算；当无人机电量不足时，此无人机会中止计算服务，将全部任务传给其他无人机后专心吸收太阳能和能量波来充电，同时充当任务中继站；S4，基于步骤S3的优化模型，以无人机群能耗最小为优化目标，采用DDQN算法求解用户设备的卸载决策；S5，基于无人机的当前位置和S4得到的卸载决策，采用差分进化算法求解无人机的计算资源分配策略；S6，基于求解出的用户设备的卸载决策和无人机的计算资源分配策略，再次利用差分进化算法对无人机部署策略进行优化；S7，循环执行步骤S4至步骤S6，直到相邻两次迭代下整个系统的能量消耗值的绝对值小于预设阈值，或者达到最大预设迭代次数时，迭代结束，获得无人机的部署策略、无人机的计算资源最优分配策略，以及用户设备的最优卸载决策。2.根据权利要求1所述的基于深度强化学习的多无人机空中充电和任务调度方法，其特征在于，步骤S2中，根据区域范围内的用户密度，初始化无人机群的部署位置。3.根据权利要求1所述的基于深度强化学习的多无人机空中充电和任务调度方法，其特征在于，S3，构建多无人机位置部署、用户设备卸载决策和计算资源分配的优化模型的过程包括以下步骤：S31，设环境中的用户设备总数量为，是指第个用户设备，，无人机总数量为
푁
，第
푛
架无人机的编号为
푛
,
∀
푛
∈
푁
；构造三维坐标欧几里得坐标系模型，其中用户设备i的位置为，，无人机j的位置为，，无人机固定高度为H；每个用户设备都有一个要执行的任务，，其中表示完成的CPU周期总数，表示用户设备输入数据的大小，表示计算任务的最大时延；每个无人机均配备两个通信模块；其中一个通信模块包括半功率波束宽度仰角为2θ∈(0，π)的定向天线，用于与用户设备传输通信，另一个通信模块包括全向天线，用于与其他无人机传输通信；S32，设表示用户i的近端无人机边缘节点集，表示远端无人机边缘节点集；它产生以下约束:
；设表示处于充电过程中的无人机集合，表示处于正常工作状态中的无人机集合，用户设备i的近端无人机边缘节点集和远端无人机边缘节点集表示为：它产生以下约束：；设无人机j覆盖的用户设备集合为，未覆盖的用户设备集合为，每个无人机同时执行的最大任务数为，产生以下约束：，产生以下约束：；S33，设 表示用户的卸载决策；其中，表示用户i的任务自己执行，否则为0；表示用户i的任务卸载到近端无人机边缘节点j，否则为0；表示用户i的任务通过近端无人机边缘节点的中继卸载到远端无人机边缘节点k，否则为0；同时用户的计算任务只能在一个设备上执行，不能多设备执行同一个任务；计算任务卸载决策有以下限制:；S34，无人机j到无人机k的传输数据速率为：；其中为信道带宽，为无人机j的发射功率，为参考距离1m处的信道功率增益，为无人机k与无人机j之间的距离平方，为噪声功率谱密度；用户i到无人机j的上传数据速率为:其中，是用户i的信道带宽，是用户i的传输功率，是参考距离1 m处的信道功率增益， 是M用户i和无人机j之间的距离平方，是噪声功率谱密度，为正常数，G0≈ 2.2846；S35，当用户的卸载决策为本地卸载时，其计算时延和计算能耗的公式为：
其中为用户i的有效交换电容，为用户i本身的计算资源；当用户的卸载决策为近端卸载时，其计算时延和计算能耗的公式为：当用户的卸载决策为近端卸载时，其计算时延和计算能耗的公式为：其中为近端无人机j的有效切换电容，为近端无人机j为用户i分配的计算资源，为用户i本身设备的传输发射功率；当用户的卸载决策为远端卸载时，其计算时延和计算能耗的公式为：当用户的卸载决策为远端卸载时，其计算时延和计算能耗的公式为：其中是远端无人机k为用户 i分配的计算资源，是中继无人机j的发射功率；用户设备i对应的能耗公式以及时延公式如下所示：其中是用户选择本地卸载时的能耗，是用户选择本地卸载时的时延；是用户选择近端卸载时的能耗；是用户选择远端卸载时的能耗；S36,设无人机自带大小容量为的电池，无人机空中捕获能量的效率...

【专利技术属性】
技术研发人员：夏景明，王亮，李斌，谈玲，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：