基于改进DDPG算法的物联网网络下无人机路径规划方法技术

技术编号:41340430 阅读:12 留言:0更新日期:2024-05-20 09:58
本发明专利技术公开了一种基于改进DDPG算法的物联网网络下无人机路径规划方法,包括:建立无人机动力学模型,并确定无人机到物联网设备的路径损耗;建立用于进行路径规划的非凸问题;基于非凸问题设计奖励函数后,利用改进DDPG算法结合奖励函数对AC网络进行训练;AC网络包括演说家网络和评论家网络,演说家网络包括演说家执行网络和演说家目标网络,评论家网络包括评论家执行网络和评论家目标网络;将当前时刻的状态输入至训练完成的演说家目标网络,对无人机进行路径规划。本发明专利技术有效提高了无人机执行任务的成功率,通过将LSTM网络引入到DDPG网络架构,能够有效记忆成功经验,同时加快了AC网络训练过程中的收敛速度,满足了无人机高机动性的需求。

【技术实现步骤摘要】

本专利技术属于路径规划,具体涉及一种基于改进ddpg算法的物联网网络下无人机路径规划方法。


技术介绍

1、物联网网络下无人机路径规划是指:在存在多个物联网设备的网络下寻找到一条遍历所有物联网设备的最短路径,该技术旨在最大限度的节省无人机能耗。

2、目前,路径规划的主要方法有传统算法和强化学习算法两类,传统算法包括蚁群算法,贪婪算法,退火算法等,强化学习算法包括q学习,dqn(deep q-network,深度q网络),ddpg(deep deterministic policy gradient,深度确定性策略梯度的强化学习方法),a2c,ppo(proximal policy optimization)等,其中最为常用的两种路径规划方法为ddpg和a2c。

3、现有技术中将ddpg算法与人工势场方法相结合,以提高收敛速度,但当前研究主要集中在二维光栅图模拟上,因此该方法只能应用于相对简单的环境。现有技术中还存在一种名为fast-drpg的算法来避开未知的场景,但该方法不能解决场景中有障碍物的问题。

4、可见,现有方法大本文档来自技高网...

【技术保护点】

1.一种基于改进DDPG算法的物联网网络下无人机路径规划方法,其特征在于,包括:

2.根据权利要求1所述的基于改进DDPG算法的物联网网络下无人机路径规划方法,其特征在于,所述无人机动力学模型为:

3.根据权利要求1所述的基于改进DDPG算法的物联网网络下无人机路径规划方法,其特征在于,按照如下公式确定所述无人机到物联网设备的路径损耗:

4.根据权利要求2所述的基于改进DDPG算法的物联网网络下无人机路径规划方法,其特征在于,针对所述无人机,建立用于进行路径规划的非凸问题为:

5.根据权利要求4所述的基于改进DDPG算法的物联网网络下无人机...

【技术特征摘要】

1.一种基于改进ddpg算法的物联网网络下无人机路径规划方法,其特征在于,包括:

2.根据权利要求1所述的基于改进ddpg算法的物联网网络下无人机路径规划方法,其特征在于,所述无人机动力学模型为:

3.根据权利要求1所述的基于改进ddpg算法的物联网网络下无人机路径规划方法,其特征在于,按照如下公式确定所述无人机到物联网设备的路径损耗:

4.根据权利要求2所述的基于改进ddpg算法的物联网网络下无人机路径规划方法,其特征在于,针对所述无人机,建立用于进行路径规划的非凸问题为:

5.根据权利要求4所述的基于改进ddpg算法的物联网网络下无人机路径规划方法,其特征在于,基于所述非凸问题设计的奖励函数为:

6.根据权利要求1所述的基于改进ddpg算法的物联网网络下无人机路径规划方法,其特征在于,所述演说家执行网络的隐藏层包括依次连接的第一lstm子网络、第二lstm子网络和第三lstm子网络,所述评论家执行网络...

【专利技术属性】
技术研发人员:李静磊杨宇轩杨健杨清海
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1