一种基于深度强化学习的无人机任务匹配与计算迁移方法技术

本发明专利技术公开一种基于深度强化学习的无人机任务匹配与计算迁移方法，步骤包括对问题采用参数化描述，包括任务参数、无人机当前状态参数、每个任务做出动作参数，利用参数建立本问题目标函数的数学模型，采用Actor‑Critic深度强化训练学习求解系统花费最小的最优动作。本发明专利技术全局性地考虑无人机的任务匹配和计算迁移这两个动作，在系统总花费最小的权衡下解决问题得到最优动作的决策。

【技术实现步骤摘要】
一种基于深度强化学习的无人机任务匹配与计算迁移方法
本专利技术涉及无人机任务匹配与计算迁移领域，特别涉及一种基于深度强化学习的无人机任务匹配与计算迁移方法。
技术介绍
无人机全称是无人驾驶飞机，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机技术最早起源于20世纪初期，主要应用于军事领域，帮助军队运送物资和投掷炸药。近年来随着无人机制造技术的发展，产生了多种具有不同功能的无人机，从而大大扩大无人机的应用范围。目前无人机多应用于航拍、物流配送、农林植保、灾后搜寻等领域，各个企业也纷纷引入无人机技术，推出了独具特色的基于无人的的服务。例如京东在2016年便开始尝试用无人机进行物流配送，支付宝上线了一键呼叫极飞无人机植保服务，百度尝试用无人机进行送餐等，给用户的生活带来了极大的便利。同时由于无人机的生产成本不断降低，无人机产品趋于小型化、智能化，消费级的无人机市场展现出爆发式的增长，消费级无人机主要面对个人消费者，一般具备娱乐与航拍功能。虽然无人机的价格不断降低，但它的售价依然较为高昂，让许多用户望而却步。而且许多用户对无人机的需求不是持续性的需求，而是暂时性的服务型需求。本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的无人机任务匹配与计算迁移方法，其特征在于，包括如下步骤：S10将时间离散为等长的时间间隔，假设在每个时间间隔初始时间有n个任务，把n个任务分配到m台无人机执行并决定是否将任务的计算部分迁移到云服务器上；定义每个任务状态为[x

【技术特征摘要】
1.一种基于深度强化学习的无人机任务匹配与计算迁移方法，其特征在于，包括如下步骤：S10将时间离散为等长的时间间隔，假设在每个时间间隔初始时间有n个任务，把n个任务分配到m台无人机执行并决定是否将任务的计算部分迁移到云服务器上；定义每个任务状态为[xt,yt,J,B]、无人机当前状态为[xd,yd,Qs,Qc]，其中xt表示任务的目的地横坐标，yt表示任务的目的地纵坐标，J表示计算任务所需的CPU转数，B表示采集任务采集的数据集大小，xd表示无人机当前所在的横坐标，yd表示无人机当前所在的纵坐标，Qs表示无人机的采集任务队列，Qc表示计算任务队列；定义m为被分配到任务的无人机编号，o为是否要将计算任务迁移到云服务器上，o＝{0,1}，o取0，表示计算任务在无人机上运行，o取1时表示计算任务被迁移到云服务器上；状态S为当前的所有任务状态和所有无人机状态，n表示任务数，k表示无人机数，假设系统的总花费＝时间花费+资金花费，问题的目标函数为：Ctotal表示系统的总花费，Ctime表示系统的时间花费，由飞到目的地的时间、执行采集任务的时间和执行计算任务的时间三者相加得到，mj表示任务j匹配的无人机编号，oj表示是否将任务j的计算子任务迁移到云服务器上，表示任务j到无人机mj的距离，表示无人机mj的飞行速度，表示无人机mj的采集速率，表示无人机mj的计算速率，fcloud表示云服务器的计算速率，表示执行采集任务的时间，其中：Cpayment表示系统的资金花费，由飞行距离收费、采集任务收费和计算任务收费这三部分收费相加得到，表示无人机mj的单位采集收费，表示无人机mj的单位移动收费，pc表示无人机mj的单位电能收费，σ表示每CPU转所消耗的电能，pcloud表示云服务器单位电能的收费，其中：S20采用Actor-Critic深度强化学...

【专利技术属性】
技术研发人员：陈武辉，董嘉俐，郑子彬，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44