基于Q学习和胸鳍振幅偏置的仿蝠鲼机器鱼横滚控制方法技术

本发明专利技术涉及一种基于Q学习和胸鳍振幅偏置的仿蝠鲼机器鱼横滚控制方法，与传统的控制方法相比，本发明专利技术不需要建立控制对象模型，通过采集实验数据，离线训练Q表格，然后将表格移植到样机控制器中，通过查表的方式取得控制变量，控制样机在固定深度游动。与其他强化学习控制方法相比，其对硬件资源要求低，对空间需求小，功耗小，实现方便。其有益效果在于：对控制器的硬件要求低，普通的单片机就可以实现，除了节约成本外，还达到节约空间和节约能源的效果。不需要建立控制对象的数学模型，由于仿生模型更加难以建立，因此可以节约大量时间成本。不需要专家经验来建立规则库就可以实现机器鱼的横滚控制，Q表在训练的时候自己会学到“专家经验”。。。

【技术实现步骤摘要】
基于Q学习和胸鳍振幅偏置的仿蝠鲼机器鱼横滚控制方法


[0001]本专利技术属于水下仿生机器人智能控制领域，涉及一种基于Q学习和胸鳍振幅偏置的仿蝠鲼机器鱼横滚控制方法。

技术介绍

[0002]随着社会科学技术的发展和人类面临的日益严峻的生态环境问题，人类对海洋环境的探测和资源的开采需求日益增加。自主水下航行器(AUV)能够在近远海域水下环境监测、科学考察、水下考古、资源开发等任务，具有很好的科学和工程应用前景。仿蝠鲼水下机器鱼是一种新型的仿生AUV,相比传统的螺旋桨推进器，其具有更好的环境亲和性和高机动能力，复杂环境适应能力更强。近些年，仿生水下机器人的控制问题引起了学者们的研究兴趣和热情，相关领域的科学与技术问题也得到了极大的发展。
[0003]水下仿生机器人的控制问题是仿生机器人的难点之一，而横滚控制作为高机动姿态控制的一部分是水下仿生机器人实现狭窄区域通行的必要条件，是实现水下狭窄区域作业控制的基本要求之一。目前水下横滚控制方法可以按照需不需要模型分为基于模型的方法和无模型的方法。基于模型的方法需要对控制对象建立数学模型，而仿生水下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Q学习和胸鳍振幅偏置的仿蝠鲼机器鱼横滚控制方法，其特征在于步骤如下：步骤1、建立仿蝠鲼机器鱼横滚控制问题的有限马尔科夫模型：1、建立横滚控制的离散状态空间S：S＝{s
‑
n
，s
‑
n+1
，
···
，s
‑1，s0，s1，
···
，s
n
‑1，s
n
}}其中：其中：
……
，，，
……
，，其中，传感器获得横滚角度偏差的取值范围为的取值范围为2、建立离散动作空间A：仿蝠鲼机器鱼横滚控制的动作空间为连续动作空间[
‑
a
min
,+a
max
]，将控制变量离散化为2n+1个动作，离散动作空间：A＝{a
‑
n
，a
‑
n+1
，
…
，a
‑1，a0，a1，
…
，a
n
‑1，a
n
}其中a表示动作空间的元素，代表固定的左右胸鳍振幅偏置的角度总和，且
‑
180
°
≤a≤180
°
，左右胸鳍采用对称的偏置角度作为控制量的响应；3、设计奖励函数：其中：δ为调整仿蝠鲼机器鱼的深度控制精度的参数；所述r
t+1
为在时刻t，状态为s
t
，动作为a
t
,下一时刻状态为s
t+1
，得到的奖励；步骤2、建立动作
‑
价值函数表格Q(s,a)：
步骤3、训练Q表格：1、训练数据样本：以原始深度和姿态变化数据，计算t时刻奖励函数r
t+1
(s
t
,a
t
)；建立训练Q表的数据集Data
test
，设存储量为N，里面存储状态转移信息Transition；其中：Data
test
＝{Transition1,Transition2,
…
，Transition
N
}Transit...

【专利技术属性】
技术研发人员：曹勇，张代利，潘光，曹永辉，黄桥高，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：