【技术实现步骤摘要】
一种基于强化学习的无人艇混合感知自主避障方法及系统
本专利技术涉及一种无人艇自主避障方法及系统，尤其是涉及一种基于强化学习的无人艇混合感知自主避障方法及系统。
技术介绍
无人艇是一种可以实现自主导航、自主避障、自主水面作业的水面无人航行器，具有体积小、速度高、隐身性好和无人员伤亡风险等优点。无人艇非常适宜执行对人员伤亡有着较大风险的危险海域内的水面作业任务或者对人员参与度要求低的简单水面作业任务，具有良好的费效比，因此广泛而有效地应用在海洋监测、海洋调查、海上搜救、无人货运等领域。目前较为主流的实现无人艇自主航行的思路是分别部署应用自主感知、自主导航、自主避障算法，每个算法彼此配合补充完成航行与作业任务。例如视觉系统感知涉及到模式识别、目标检测等算法，实现全局规划自主导航的主要思路有栅格图法、A*算法、遗传算法等，局部动态避碰主要应用了人工势场法、最优交互避碰等方法。尽管这些方法在各自应用背景中有着较为不错的表现，但针对不同的功能模块都需要精心设计，对综合算法需要整体配置调参，使得无人艇智能化算法的实现复杂且繁琐。更...
【技术保护点】
1.一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，该方法包括以下步骤：/n1)搭建海洋环境：建立无人艇与海洋环境交互规则、生成随机障碍物、随机生成无人艇起始点与终点；/n2)设置动作空间与状态空间：根据无人艇推进器情况设置动作空间，根据静态海图提供的全局规划信息与雷达系统探测半径范围内的障碍物信息学习得到强化学习状态编码；/n3)确定奖励函数：设置奖励目标权重，获得综合奖励函数；/n4)搭建并训练评价网络与策略网络：评价网络与策略网络分别由状态编码网络和感知机连接而成，初始化网络参数并进行训练；/n5)智能体决策控制器输出：将强化学习状态编码分别输入至评价网络与...
【技术特征摘要】
1.一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，该方法包括以下步骤：
1)搭建海洋环境：建立无人艇与海洋环境交互规则、生成随机障碍物、随机生成无人艇起始点与终点；
2)设置动作空间与状态空间：根据无人艇推进器情况设置动作空间，根据静态海图提供的全局规划信息与雷达系统探测半径范围内的障碍物信息学习得到强化学习状态编码；
3)确定奖励函数：设置奖励目标权重，获得综合奖励函数；
4)搭建并训练评价网络与策略网络：评价网络与策略网络分别由状态编码网络和感知机连接而成，初始化网络参数并进行训练；
5)智能体决策控制器输出：将强化学习状态编码分别输入至评价网络与策略网络，将综合奖励函数输入至评价网络，根据学习到的策略网络的均值对应的动作，决定控制器的输出。
2.根据权利要求1所述的一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，步骤1)中无人艇与海洋环境交互规则遵从无人艇自身动力学方程。
3.根据权利要求1所述的一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，步骤1)中生成的随机障碍物包括4种：可以被海图描绘的随机静态障碍物、无法被海图描绘的随机动态障碍物、有自控能力的随机动态障碍物、不具有自控能力的随机动态障碍物。
4.根据权利要求1所述的一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，步骤2)中动作空间包括离散化的横荡力、纵荡力、艏摇。
5.根据权利要求1所述的一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，步骤2)中强化学习状态编码通过深度网络学习得到，具体为：
通过卷积神经网络与全连接结合学习静态海图的特征得到静态规划状态编码，与雷达系统处理反馈的动态避障状态编码一起作为强化学习状态编码的关键特征，通过学习整体权重矩阵，重新分配重要性，得到最终的强化学习状态编码。
6.根据权利要求5所述的一种基于强化学习的无人艇混合感知自主避障方法，其特征在于，动态避障状态编码...
【专利技术属性】
技术研发人员：张卫东，王雪纯，徐鑫莉，蔡云泽，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。