基于强化学习的蝠鲼式仿生鱼控制方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于强化学习的蝠鲼式仿生鱼控制方法、装置及存储介质，所述仿生鱼控制方法通过强化学习算法控制蝠鲼式仿生鱼实现仿生鱼的自主游动至目标点的任务，以观测仿生鱼当前运动状态作为强化学习算法的输入，输出方向与速度系数来控制仿生鱼的游动方向和速度，相对于控制关节运动角度的方法本发明专利技术提高了训练效率、控制效率和鲁棒性。除此之外本发明专利技术以GPS/INS作为定位导航系统，相较于通过拍摄仿生鱼位姿的定位方法更具有实用性。过拍摄仿生鱼位姿的定位方法更具有实用性。过拍摄仿生鱼位姿的定位方法更具有实用性。

【技术实现步骤摘要】
基于强化学习的蝠鲼式仿生鱼控制方法、装置及存储介质


[0001]本专利技术涉及人工智能与机器人领域的强化学习算法，尤其涉及一种基于强化学习的蝠鲼式仿生鱼控制方法、装置及存储介质。

技术介绍

[0002]海洋中蕴含着大量的资源，近年来对海洋资源的开发探索日益重视，仿生鱼作为一种重要的探索工具，近年来也在加快发展步伐。为实现对仿生鱼的运动控制，国内外学者也在对仿生鱼的控制算法中做了大量研究，大都局限于非智能控制算法。汪明、喻俊志、谭民，胸鳍推进型机器鱼的CPG控制及实现，机器人期刊，20100315中公开了基于CPG的仿生机器鱼实现了仿生鱼的前进、转向和后退等模态的平稳切换和稳定性，但并不能实现自主游动，具有控制效率低，鲁棒性差等缺点。
[0003]近些年，将深度强化学习算法在仿生机器人控制上的案例越来越多，也有部分学者将其应用到仿生鱼的控制上。中国专利CN 110909859公开了一种基于对抗结构化控制的仿生机器鱼运动控制方法，这种方法以深度强化学习作为优化算法，以运动至目标点的精度与速度为奖励项，以舵机功率和为损失项，构建优化目标函数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的蝠鲼式仿生鱼控制方法，其特征在于，包括以下步骤：(1)建立世界坐标系：以初始点作为坐标原点，东方向为X正方向，北方向为Y正方向；(2)构建INS和GPS组合导航系统，输出t时刻仿生鱼的位置信息，推导t时刻误差角度err_yaw和当前位置与目标点距离err_dist；(3)构建强化学习模型，使用DDPG作为强化学习模型框架，输入t时刻状态state＝[err_yaw,v,err_dist,v_yaw]，其中v为蝠鲼式仿生鱼的实时移动速度，v_yaw为转向速度，输出动作action＝[Kv,Kt]，其中Kv为速度系数，Kt为方向系数；(4)通过仿真系统对强化学习模型进行训练；(5)完成训练后，强化学习模型输出动作action＝[Kv,Kt]作为蝠鲼式仿生鱼的舵机的控制曲线的输入值，控制鱼体的速度和游动方向。2.根据权利要求1所述基于强化学习的蝠鲼式仿生鱼控制方法，其特征在于，步骤(2)中，实时航向角与目标航向角之间的偏差err_yaw公式如下：err_yaw＝new_yaw
‑
tar_yawtar_yaw其中，new_yaw为当前偏航角，taw_yaw为目标航向角，p
x
和p
y
分别表示目标点的横坐标和纵坐标，n
x
和n
y
分别表示INS和GPS组合导航系统输出的当前位置的X坐标和Y坐标，e
x
和e
y
分别表示目标点与当前位置X坐标之差和Y坐标之差。当前位置与目标点距离err_dist公式如下：3.根据权利要求2所述基于强化学习的蝠鲼式仿生鱼控制方法，其特征在于，步骤(3)中强化学习模型的奖励函数r公式如下：r＝r
s
+r
c
r
s
＝r
yaw
+r
dist
+r
v
+r
v_yaw
r
c
＝r
a
+r
d
其中，r
s
为日常奖励，r
c
为回合终止时的结算奖励，r
yaw
为方向奖励，r
dist
为距离奖励，r
v
为速度奖励，r
v_yaw
为转速奖励，r
a
为完成任务奖励，r
d
为装置损毁奖励。4.根据权利要求3所述基于强化学习的蝠鲼式仿生鱼控制方法，其特征在于，方向奖励err_yaw表示实时航向角与目标航向角之间的偏差；距离奖励D表示初始时刻蝠鲼式仿生鱼与目标点的距离；速度奖励D表示初始时刻蝠鲼式仿生鱼与目标点的距离；速度奖励v表示蝠鲼式仿生鱼的实时移动速度，单位为m/s；转速奖励v_yaw表示转向速度，单位为
°
/s。5.根据权利要求3所述基于强化学习的蝠鲼式仿生鱼控制方法，其特征在于，完成任务
奖励r
a
公式如下：其中，表示当前蝠...

【专利技术属性】
技术研发人员：曹程程，苏世杰，陈珂，杨鑫，郭凯翔，张建，殷宝吉，陈赟，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：