一种基于深度强化学习的两阶段无人机物流路径规划方法技术

本发明专利技术公布了一种基于深度强化学习的两阶段无人机物流路径规划方法，首先通过对物流配送区域和相关数据的预处理，构建深度强化学习模型，建立相应的无人机飞行状态空间，动作空间和回报值函数，并结合离线学习和在线学习方式对深度强化学习模型进行训练；其次采用两阶段优化方法对无人机物流过程中物流配送路径和飞行路径进行规划。对于无人机飞行路径规划阶段主要基于深度强化学习的实时动作选择完成。本发明专利技术在物流路径规划阶段通过深度强化学习估计无人机配送成本，使得物流路径的优化更贴合实际无人机飞行过程，并基于深度强化学习实现了无人机实时飞行路径的规划，具有较快的计算速度和较高的鲁棒性能。

【技术实现步骤摘要】
一种基于深度强化学习的两阶段无人机物流路径规划方法
本专利技术属于智能物流领域，尤其涉及基于深度强化学习的无人机物流路径规划方法。
技术介绍
随着近年来无人机技术的蓬勃发展，越来越多的物流企业开始尝试使用无人机作为城市主体物流的补充。相较于传统的地面物流配送方式，使用无人机进行物流配送更加灵活，减少人工劳力，提高配送覆盖范围等优势，因此无人机物流被认为是解决物流的最后一公里的合理途径。但是使用无人机进行物流运输不仅需要规划合理的配送路径，还需要考虑在配送过程中的无人机飞行的安全轨迹，因此在设计相应的无人机物流路径规划方法的时候需要同时兼顾物流配送过程的路径优化和无人机飞行过程中的空域管理两个，在无人机安全运行的情况下最大限度的减少配送成本将是无人机物流路径规划的一项重要目标。无人机物流的路径规划过程相较于传统的车辆路径问题还包含了对无人机起落位置的规划，以及对无人机飞行过程中的实时路径规划。而国内外现有的物流路径规划的方法中，主要是基于启发式算法或者精确算法对车辆路径问题进行研究，未涉及路径问题和无人机飞行控制过程。因此，目前亟需一种可本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，包括以下阶段：/n预处理及模型训练阶段：对配送范围内空域进行空间格栅化，收集人工操纵无人机飞行轨迹数据构建离线训练集并结合空域特征构建无人机飞行仿真环境，结合无人机配送过程设计无人机状态空间，动作空间及回报值函数，离线及在线训练模型；/n无人机物流路径规划阶段：收集配送范围内的物流配送数据，构造初始配送路径方案，结合训练后模型评估无人机飞行路径，对无人机物流路径进行优化；/n无人机飞行路径规划阶段：结合无人机路径规划阶段的输出，确定无人机任务序列，基于深度强化学习输出无人机飞行路径。/n

【技术特征摘要】
1.一种基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，包括以下阶段：
预处理及模型训练阶段：对配送范围内空域进行空间格栅化，收集人工操纵无人机飞行轨迹数据构建离线训练集并结合空域特征构建无人机飞行仿真环境，结合无人机配送过程设计无人机状态空间，动作空间及回报值函数，离线及在线训练模型；
无人机物流路径规划阶段：收集配送范围内的物流配送数据，构造初始配送路径方案，结合训练后模型评估无人机飞行路径，对无人机物流路径进行优化；
无人机飞行路径规划阶段：结合无人机路径规划阶段的输出，确定无人机任务序列，基于深度强化学习输出无人机飞行路径。


2.根据权利要求1所述的基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，预处理阶段包括
配送区域内进行空间格栅化操作，构建仿真环境，为空间格栅设置进入状态；
确定深度强化学习的状态空间S及动作空间A；
根据配送任务设置深度强化学习回报值函数r；
收集人工操纵无人机飞行轨迹数据，并构建离散训练数据集。


3.根据权利要求2所述的方案，其特征在于，状态空间包含无人机所处的空间位置，载重状态，剩余续航，顾客点服务状态四类状态信息，动作空间包含{爬升，下降，前进，后退，左转，...

【专利技术属性】
技术研发人员：于滨，张力，崔少华，刘家铭，单文轩，
申请(专利权)人：北京航空航天大学合肥创新研究院北京航空航天大学合肥研究生院，
类型：发明
国别省市：安徽;34