【技术实现步骤摘要】
基于D3QN的无人船自适应路径规划方法、设备及存储介质
[0001]本专利技术涉及无人船路径规划
，尤其涉及一种基于D3QN的无人船自适应路径规划方法、设备及存储介质。
技术介绍
[0002]随着人工智能时代的兴起，无人船技术得到广泛的发展。我国存在着很多海洋环境恶劣的区域，而国内的无人船对环境的自适应能力又较差，又存在各种外界干扰因素，使得国内的无人船技术还远远没有达到预期的要求，迫切的需要一种自适应能力强的，能够应对突发情况的路径规划算法来突破当前的瓶颈。
[0003]传统的无人船路径规划方法的设计原则是根据先验的地图，来规划出一条最优化的无障碍路径，无人船只用遵从算法的指令形式，一旦环境发生变化则算法不能给出最佳的指引。传统的方法在简单的环境中能够有较高的稳定性。但是在未来的研究中，人类会探测越来越复杂的深海，其中将会存在复杂的动静态障碍物和险恶的环境，环境会突然发生变化，在没有预先的探测地图情况下，无人船只有拥有自适应的自主决策系统，才能适应环境的变化。
[0004]为了提高无人船的自适应能力，...
【技术保护点】
【技术特征摘要】
1.一种基于D3QN的无人船自适应路径规划方法，其特征在于，所述无人船自适应路径规划方法包括以下步骤：S1、构建无人船模型和水下仿真环境，设计D3QN网络，将所述无人船模型放在所述水下仿真环境下自主航行；S2、从当前状态S根据ε
‑
贪婪算法选择行为A；S3、根据所述行为A采用PID位置和速度误差控制算法使无人船到达下一个状态S
’
，获取下一个状态S
’
处与障碍物的第一位置关系，获取下一个状态S
’
处与终点的第二位置关系，根据所述第一位置关系和所述第二位置关系利用奖惩机制得到回报R；S4、获取当前状态S的环境信息和位置信息，合并为当前状态数据s，获取下一个状态S
’
的环境信息和位置信息，合并为下一个状态数据s
’
，将当前状态数据s、行为A、下一个状态数据s
’
和回报R以数组D的形式存放到优先经验回放池中，并通过TD
‑
error计算得到优先经验回放池中数组D的采样概率；S5、根据所述采样概率将所述经验回放池中的数组D提取到D3QN网络，进行D3QN网络的梯度下降误差训练，并判断是否满足终止条件，若满足，获得训练的无人船自适应路径规划模型，并执行步骤S6，否则，将下一个状态S
’
作为当前状态S，返回步骤S2；S6、将所述训练的无人船自适应路径规划模型导入到无人船路径规划系统，进行真实环境的无人船路径规划，并获得无人船路径。2.根据权利要求1所述的无人船自适应路径规划方法，其特征在于，所述构建无人船模型和水下仿真环境，设计D3QN网络的步骤包括：通过ROS和Gazebo搭建所述无人船模型和所述水下仿真环境；通过LSTM网络、卷积神经网络和对抗性的全连接网络分别构成主网络和目标网络；通过所述主网络、所述目标网络和经验回放池构成所述D3QN网络。3.根据权利要求1所述的无人船自适应路径规划方法，其特征在于，所述无人船模型上设置深度相机和定位系统；所述深度相机用于获取当前环境信息；所述定位系统用于获取无人船的位置信息。4.根据权利2要求所述的无人船自适应路径规划方法，其特征在于，所述步骤S5具体包括：将整个所述优先经验回放池的空间按最小样本量M分为M个小范围；在每个所述小范围内根据所述采样概率随机提取一个样本数据；根据所述样本数据得到当前状态数据s和下一个状态数据s
’
；通过所述主网络和所述目标网络分别处理所述当前状态数据s和下一个状态数据s
’
，得到所述主网络的输出Q和所述目标网络的输出Q1；根据所述Q1和所述Q计算得到目标输出Qt；根据所述Q和所述Qt计算得到误差函数；基于所述误差函数采用梯度下降方法训练所述D3QN网络，判断误差函数是否满足终止条件，若满足，获得训练的无人船自适应路径规划模型，并执行步骤S6，否则，将下一个状态S
’
作为当前状态S，返回步骤S2，重新训练。5.根据权利要求4所述的无人船自适应路径规划方法，其特征在于，所述通过所述主网
络和所述目标网络分别处理所述当前状态数据s和下一个状态数据s
’
，得到所述主网络的输出Q和所述目标网络的输出Q1的步骤包括：通过所述主网络的卷积神经网络处理所述当前状态数据s中的环境信息，得到第一环境信息；通过所述主网络的LSTM网络处理所述当前...
【专利技术属性】
技术研发人员：刘峰，胡潇文，陈畅，杨茜，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。