一种基于改进SAC策略的欠驱动无人艇路径规划方法技术

一种基于改进SAC策略的欠驱动无人艇路径规划方法，涉及船舶运动规划技术领域。本发明专利技术是为了解决传统最优控制路径规划方法对环境变化的适应性较差、计算复杂度高，导致实时性差以及实际应用中难以到达理论最优解的问题。本发明专利技术利用马尔可夫决策过程模型描述欠驱动无人艇的运动状态，基于所述马尔可夫决策过程模型，分别利用SAC算法和PPO算法求解欠驱动无人艇的动作策略π<subgt;φ</subgt;和动作策略π<subgt;θ</subgt;；根据欠驱动无人艇与障碍物之间的实时感应距离δ′选择欠驱动无人艇的动作策略，并根据所选择动作策略的回报函数实现欠驱动无人艇的路径规划。

【技术实现步骤摘要】

本专利技术属于船舶运动规划。

技术介绍

1、随着人工智能(artificial intelligence，ai)的蓬勃发展，人类逐步迈进工业4.0时代，ai是新一轮科技革命和产业变革的重要驱动力量，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。利用ai技术对欠驱动无人艇(underactuated unmanned vessel，uuv)的规划研究刻不容缓，同时围绕uuv展开的实际应用也越来越广泛，受到了诸多科研工作者的特殊重视。

2、相较于陆地上的工程作业，海洋工程作业环境通常更加复杂多变，尤其是在路径规划的过程中，uuv不可避免地会长时间处于工作状态，因此在复杂的深海环境中始终实现高精度高实时性的路径规划是一个巨大的挑战。主要原因有两大类：一是环境干扰随机性较大，路径规划的精准度难以时间步保证；另一个问题是在复杂的深海环境中，路径规划的实时性要求高。

3、ai方法下的深度强化学习(deep reinforcement learning，drl)方法是保证路径规划性能满足任务要求的有效解决本文档来自技高网...

【技术保护点】

1.一种基于改进SAC策略的欠驱动无人艇路径规划方法，其特征在于，包括：

2.根据权利要求1所述的一种基于改进SAC策略的欠驱动无人艇路径规划方法，其特征在于，所述马尔可夫决策过程模型的要素包括：状态、动作、策略、奖励和回报；

3.根据权利要求2所述的一种基于改进SAC策略的欠驱动无人艇路径规划方法，其特征在于，所述状态包括欠驱动无人艇的坐标及偏转角度、欠驱动无人艇与目的地的坐标差、和欠驱动无人艇与障碍物上小圆域圆心的坐标差，所述障碍物上小圆域的圆心位于所述障碍物上且半径为r≤min(Δ1,Δ2,Δ3...Δn)，n为障碍物上小圆域的总数，(xn,yn)为障碍物上...

【技术特征摘要】

1.一种基于改进sac策略的欠驱动无人艇路径规划方法，其特征在于，包括：

2.根据权利要求1所述的一种基于改进sac策略的欠驱动无人艇路径规划方法，其特征在于，所述马尔可夫决策过程模型的要素包括：状态、动作、策略、奖励和回报；

3.根据权利要求2所述的一种基于改进sac策略的欠驱动无人艇路径规划方法，其特征在于，所述状态包括欠驱动无人艇的坐标及偏转角度、欠驱动无人艇与目的地的坐标差、和欠驱动无人艇与障碍物上小圆域圆心的坐标差，所述障碍物上小圆域的圆心位于所述障碍物上且半径为r≤min(δ1,δ2,δ3...δn)，n为障碍物上小圆域的总数，(xn,yn)为障碍物上第n个小圆域圆心在北东坐标系下的坐标，δn为欠驱动无人艇重心与第n个小圆域圆心之间的距离，(xt,yt)是欠驱动无人艇重心在北东坐标系下的实时坐标；

4.根据权利要求3所述的一种基于改进sac策略的欠驱动无人艇路径规划方法，其特征在于，欠驱动无人艇与障碍物之间的实时感应距离δ′表示为：

5.根据权利要求1所述的一种基于改进sac策略的欠驱动无人艇路径规划方法，其特征在于，所述采用sac算法求解动作策略包括：

【专利技术属性】
技术研发人员：王海滨，陈智琦，谢文博，王鹏，李鸣阳，薄留军，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：