一种考虑动力学特性约束的无人船改进制造技术

本发明专利技术提供一种考虑动力学特性约束的无人船改进

【技术实现步骤摘要】
一种考虑动力学特性约束的无人船改进DDPG智能避碰方法


[0001]本专利技术涉及无人船智能避碰
，具体而言，尤其涉及一种考虑动力学特性约束的无人船改进
DDPG
智能避碰方法
。

技术介绍

[0002]水面无人船是一种隐蔽性强
、
智能化程度高
、
移动能力强的小型水面自主航行器，因具有自主感知
、
自主规划
、
自主航行等能力被广泛应用于搜救
、
侦查
、
科研
、
军事等方面
。
无人船的智能避碰问题是无人船舶智能化航行研究的热点和难点问题之一，对实现无人船的智能化航行至关重要
。
无人船的智能避碰需要考虑到自身的运动特点以及对障碍物进行符合实际情况的避碰，设计合适的避碰算法是实现智能化避碰的核心，关于无人船的智能避碰目前已经有了大量的理论文献研究
。
[0003]传统方法在无人船避碰上应用较多，如迪杰斯特拉算法
、
人工势场法
、
蚁群算法，
A
*
算法等，这些方法都需要人类的先验知识，随着人工智能技术的兴起，一些传统算法开始与神经网络相结合，通过提高无人船的学习能力和智能化水平打破传统方法的局限
。
强化学习算法因其符合人类学习过程的特性，也逐渐应用于避碰研究中，许多研究将强化学习算法与深度神经网络相结合，在提高无人船智能程度的同时，所形成的深度强化学习算法也可以对高维数据进行直接处理
。
[0004]现有的基于深度强化学习的避碰研究中，许多研究没有考虑到无人船的操纵特性，也未对无人船进行建模，更未同时兼顾无人船的操纵特性
、
算法的避碰效率和算法的实用性
。
因此，对于避碰环境的设计过于单一，训练出的避碰算法缺少实用价值
。
而且，在设计奖励函数时，仅考虑成功到达目标点时的奖励，这种过于稀疏的奖励函数无法对智能体的学习过程起到应有的引导作用，会使得训练难以收敛，所使用的强化学习算法也并不注重避碰效率
。

技术实现思路

[0005]根据上述提出的技术问题，本专利技术设计了一种兼顾无人船运动特性及避碰要求的高效率算法，不同于其他研究将无人船看作一个质点，本专利技术考虑到无人船的运动学模型和动力学模型，使得本专利技术更具有工程实用价值
。
在设计奖励函数时充分考虑到船舶的操纵特性及避碰过程中终点及各个障碍物距离
、
角度的影响
。
在进行环境设计时，详细地考虑到静态障碍物随机和固定出现的位置，保证避碰算法的普适性和有效性，并对
DDPG
算法进行改进，提高避碰效率
。
[0006]本专利技术采用的技术手段如下：
[0007]一种考虑动力学特性约束的无人船改进
DDPG
智能避碰方法，包括：
[0008]S1、
对预规划的避碰环境进行建模，建立随机静态障碍物的地图环境模型；
[0009]S2、
对无人船进行建模，根据无人船的动力学特性和运动学特性设计无人船的状态空间和动作空间，根据避碰要求设计奖励函数
。
[0010]S3、
采用与优先经验回放机制结合的
DDPG
算法，得到改进的算法，对改进的算法进行多轮训练得到避碰模型
。
[0011]进一步地，所述步骤
S1
中，所述预规划的避碰环境，包括两个随机静态障碍物和一个固定位置静态障碍物，其中：
[0012]所述随机静态障碍物出现的位置是以一个圆周为基础，每隔
60
度的半径方向存在1个静态障碍的位置；
[0013]所述固定位置静态障碍物位于地图中心
。
[0014]进一步地，所述步骤
S2
具体包括：
[0015]S21、
使用
Norbbin
船舶运动模型对无人船进行建模，如下：
[0016][0017]以此反应对无人船航向的控制，其中，
T、K、
α
表示可以反应无人船追随性能和旋回性能的参数，体现了船舶的操纵性，
δ
表示无人船的推进角值，通过变化推进角对船舶的航向进行控制，
η
表示无人船航向变化率，航向用表示，即：
[0018][0019]考虑舵机特性对无人船的影响，使用二阶推进角模型对舵机的动态特性进行描述：
[0020][0021]其中，
ω
n
为固有频率，
ζ
为阻尼比，
k
为比例系数，
δ
r
为设定的推进角；
[0022]S22、
根据无人船的船舶模型和舵机特性及控制需要，设计状态空间，如下：
[0023][0024]其中，为无人船的航向，为航向变化率，代表终点相对于本船的绝对方位，
δ
u
和
δ
′
u
分别代表本船当前舵角值和舵角值变化率，
d1、d2和
d3分别代表本船与三个静态障碍物之间的距离，
θ1、
θ2和
θ3分别代表三个静态障碍物与本船之间的相对方位，
d
t
为本船与终点之间的距离，
V
u
代表本船的速度信息；
[0025]S23、
将动作空间设计为针对无人船当前舵角的改变值，如下：
[0026]A
＝
[
Δδ1，
Δδ2，
Δδ3，
......
，
Δδ
n
]；
[0027]S24、
奖励函数的设计分为两个部分，一部分是训练结束时的最终奖励，无人船到达终点时的奖励
R
goal
和无人船与任一静态障碍物发生碰撞时的奖励
R
collision
，另一部分是训练过程中的引导奖励鼓励航向指向终点的奖励和鼓励航向角变化的奖励
[0028]R
goal
＝
k
goal
×
r
goal
[0029]R
collision
＝
k
collision
×
r
collision
[0030][0031][0032]最终总奖励
[0033]进一步地，所述步骤
S3
中，采用与优先经验回放机制结合的
DDPG
算法，得到改进的算法，包括两个改进点：对经验池进行优化和对神经网络参数更新时的损失函数进行改进，具体为：
[0034]对经验池进行优化：根据
TD本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种考虑动力学特性约束的无人船改进
DDPG
智能避碰方法，其特征在于，包括：
S1、
对预规划的避碰环境进行建模，建立随机静态障碍物的地图环境模型；
S2、
对无人船进行建模，根据无人船的动力学特性和运动学特性设计无人船的状态空间和动作空间，根据避碰要求设计奖励函数；
S3、
采用与优先经验回放机制结合的
DDPG
算法，得到改进的算法，对改进的算法进行多轮训练得到避碰模型
。2.
根据权利要求1所述的考虑动力学特性约束的无人船改进
DDPG
智能避碰方法，其特征在于，所述步骤
S1
中，所述预规划的避碰环境，包括两个随机静态障碍物和一个固定位置静态障碍物，其中：所述随机静态障碍物出现的位置是以一个圆周为基础，每隔
60
度的半径方向存在1个静态障碍的位置；所述固定位置静态障碍物位于地图中心
。3.
根据权利要求1所述的考虑动力学特性约束的无人船改进
DDPG
智能避碰方法，其特征在于，所述步骤
S2
具体包括：
S21、
使用
Norbbin
船舶运动模型对无人船进行建模，如下：以此反应对无人船航向的控制，其中，
T、K、
α
表示可以反应无人船追随性能和旋回性能的参数，体现了船舶的操纵性，
δ
表示无人船的推进角值，通过变化推进角对船舶的航向进行控制，
η
表示无人船航向变化率，航向用表示，即：考虑舵机特性对无人船的影响，使用二阶推进角模型对舵机的动态特性进行描述：其中，
ω
n
为固有频率，
ζ
为阻尼比，
k
为比例系数，
δ
r
为设定的推进角；
S22、
根据无人船的船舶模型和舵机特性及控制需要，设计状态空间，如下：其中，为无人船的航向，为航向变化率，代表终点相对于本船的绝对方位，
δ
u
和
δ

【专利技术属性】
技术研发人员：范云生，李昊博，王国峰，慕东东，孙喆，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：