基于引力指导的深度Q网络无人机路径规划方法技术

本发明专利技术公开了一种基于引力指导的深度Q网络无人机路径规划方法，包括：当无人机未遇到障碍物时，则通过深度Q网络对无人机路径进行规划；当无人机遇到障碍物时，且无人机与障碍物距离大于警告距离时，则通过深度Q网络对无人机路径进行规划；当无人机遇到障碍物时，且无人机与障碍物距离小于警告距离时，则对障碍物设置与无人机模拟电荷同性的模拟电荷，障碍物模拟电荷量小于目标地模拟电荷量，计算此时无人机与目标地之间的电荷引力、无人机与障碍物之间的电荷斥力，计算电荷引力与电荷斥力的合力，取合力方向与基准单位向量的夹角θ计算下一个动作的运动方向。本发明专利技术使得算法训练效率提高，规划路径不易陷入局部最优。规划路径不易陷入局部最优。规划路径不易陷入局部最优。

【技术实现步骤摘要】
基于引力指导的深度Q网络无人机路径规划方法


[0001]本专利技术涉及无人机路径规划
，具体涉及一种基于引力指导的深度Q网络无人机路径规划方法。

技术介绍

[0002]如今随着技术的快速发展，无人机凭借其高机动性和低运营成本，正越来越广泛地被应用在各个领域。自主路径规划是无人机导航领域的重要研究内容。其中，如何提高无人机的自我学习能力与自我决策能力成为了解决无人机自主路径规划问题的关键。强化学习(RL)通过与环境的交互来最大化累积回报，使智能体能够自主学习最优策略。无模型强化学习方法已成为路径规划领域的热门方法。其中Q
‑
learning算法作为一种强化学习的代表方法被广泛研究并应用于无人机的自主路径规划问题中。但是由于Q
‑
learning算法本身存在维度的局限导致其无法适应状态维度较大的场景。所以使用深度神经网络近似Q函数的深度强化学习算法的理念被提出并应用在结合图像处理的无人机路径规划任务中。其中最具代表性的方法就是深度Q网络(DQN)算法。
[0003]然而，本专利技术专利技术人在实现基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于引力指导的深度Q网络无人机路径规划方法，其特征在于，包括如下步骤：步骤1：初始化深度Q网络模型，设置训练参数，其中，训练参数包括：警告距离、无人机模拟电荷量、目标地模拟电荷量，无人机模拟电荷与目标地模拟电荷为异性电荷；步骤2：开始训练深度Q网络模型，当无人机未遇到障碍物时，则通过深度Q网络对无人机路径进行规划；当无人机遇到障碍物时，且无人机与障碍物距离大于警告距离时，则通过深度Q网络对无人机路径进行规划；当无人机遇到障碍物时，且无人机与障碍物距离小于警告距离时，则对障碍物设置与无人机模拟电荷同性的模拟电荷，障碍物模拟电荷量小于目标地模拟电荷量，计算此时无人机与目标地之间的电荷引力、无人机与障碍物之间的电荷斥力，计算电荷引力与电荷斥力的合力，取合力方向与基准单位向量的夹角θ计算下一个动作的运动方向；步骤3：重复步骤2直至深度Q网络模型训练完成，将实际无人机坐标、目标地坐标放入训练完成的深度Q网络模型中进行路径规划。2.如权利要求1所述的基于引力指导的深度Q网络无人机路径规划方法，其特征在于，所述障碍物的模拟电荷的电荷量为目标地模拟电荷的电荷量的1/2。3.如权利要求1所述的基于引力指导的深度Q网络无人机路径规划方法，其特征在于，训练参数还包括：危险距离、危险接近次数；所述步骤2中，当无人机遇到障碍物时，且无人机与障碍物距离小于警告距离时还包括判断无人机...

【专利技术属性】
技术研发人员：王琦，徐志成，王栋，高尚，于化龙，崔弘杨，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：