当前位置: 首页 > 专利查询>山东大学专利>正文

基于强化学习动作模仿的四足机器人运动控制方法及系统技术方案

技术编号:41325929 阅读:41 留言:0更新日期:2024-05-13 15:03
本公开提供了基于强化学习动作模仿的四足机器人运动控制方法及系统,涉及机器人运动控制技术领域,将参考动作数据作为状态值引入强化学习网络,在动作模仿训练阶段,通过关节跟踪奖励的激励,采用自适应随机初始状态采样的训练技巧,提高训练效率,使机器人从运动示范中获取宝贵的信息,迅速学会模仿参考技能的运动策略。然后,在技能拓展训练阶段,将模仿奖励与任务奖励相结合,形成独特的奖励形式,进一步训练运动策略,最终获得完成运动任务的最佳运动策略。本发明专利技术简单高效,效果明显,提升了四足机器人运动策略的学习效率,扩展了模仿学习在机器人运动控制领域的应用范围。

【技术实现步骤摘要】

本公开涉及机器人运动控制,具体涉及基于强化学习动作模仿的四足机器人运动控制方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息,不必然构成在先技术。

2、近年来,四足机器人因其在机器人学、自动化和人机交互等多个领域的潜在应用而备受关注,与其他类型的腿足机器人相比,四足机器人运动灵活稳定、负载能力强,同时,从仿生学角度来看,自然界大型陆生动物绝大多数是四足动物,可以在多种复杂地形下灵活运动,例如,羚羊动作敏捷,可以在岩壁上跳跃,猎豹具有极高的时速,这些都为我们研究四足机器人的运动提供了参考并带来了信心。考虑到四足机器人复杂的运动学结构、高维状态空间以及在不同任务中对自适应行为的需求,实现多功能、高效的运动控制是一项复杂的挑战。

3、当前的四足机器人运动控制方法主要有三种,传统控制方法、强化学习方法和模仿学习方法。传统控制方法往往需要对机器人模型进行精确的运动学和动力学建模,通过轨迹优化算法设计合理的运动轨迹,再通过精心设计的控制策略和手工调整的参数进行控制。强化学习在解决复杂的机器人控制问题方面显示出巨大的潜本文档来自技高网...

【技术保护点】

1.基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,包括:

2.如权利要求1所述的基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,根据真实四足动作的动作捕捉数据作为参考运动数据,参考运动类型包括行走、跑和跳跃,源运动数据为动物的关节角度和关节速度,将源运动数据定位到四足机器人形态上,为四足机器人运动提供参考关节角度和关节速度,参考关节角度和速度作为状态值输入深度强化学习框架。

3.如权利要求1所述的基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,深度强化学习智能体的输入状态包含参考关节角度、参考关节速度、三维的机体线速度、三维机体角速...

【技术特征摘要】

1.基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,包括:

2.如权利要求1所述的基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,根据真实四足动作的动作捕捉数据作为参考运动数据,参考运动类型包括行走、跑和跳跃,源运动数据为动物的关节角度和关节速度,将源运动数据定位到四足机器人形态上,为四足机器人运动提供参考关节角度和关节速度,参考关节角度和速度作为状态值输入深度强化学习框架。

3.如权利要求1所述的基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,深度强化学习智能体的输入状态包含参考关节角度、参考关节速度、三维的机体线速度、三维机体角速率、三维的机体重力方向姿态角、关节位置、关节速度以及关节位置误差。

4.如权利要求1所述的基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,在动作模仿阶段,利用仿真环境,机器人通过强化学习模仿参考动作的关节运动,学习到参考动作示范的技能,深度强化学习智能体的输入状态为参考关节角度和速度状态值,输出动作为四足机器人关节角度,利用近端策略优化算法在仿真环境中进行训练,最终获得使机器人成功模仿参考动作运动技能的运动策略。

5.如权利要求4所述的基于强化学习动作模仿的四足机器人运动控制方法,其特征在于,动作模仿阶段的奖励设计的目标是使机器人关节角度与关节速度与参考动作保持一致,设计关节角度跟踪奖励,鼓励机器人在每一时间步匹配参考运动的关节角度;...

【专利技术属性】
技术研发人员:赵晓晴谭文浩俞炜高鲁李腾张伟宋然
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1