当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于深度强化学习的四足机器人运动控制方法技术

技术编号:43123531 阅读:117 留言:0更新日期:2024-10-26 10:02
一种基于深度强化学习的四足机器人运动控制算法,具体步骤如下:S1,建立四足机器人的模型,包括用于仿真四足机器人的动力学模型和用于辨识和仿真四足机器人的电机驱动器的驱动器模型,所述驱动器模型采用经验驱动器模型;S2、把四足机器人的运动过程描述为马尔可夫过程,设计奖励函数,使用深度强化学习算法在S1中建立的仿真环境中,使用多损失函数的近端策略优化算法优化四足机器人的运动策略,训练得到运动控制器;S3、将训练得到的运动控制器部署到四足机器人上。本发明专利技术可以在仿真中自动学习运动策略,降低仿真到现实的差异,实现四足机器人的鲁棒运动。

【技术实现步骤摘要】

本专利技术属于机器人控制,涉及一种基于深度强化学习的四足机器人运动控制方法


技术介绍

1、随着当前机器人控制技术的不断发展,四足机器人的应用也逐渐广泛。相比轮式、履带式机器人,四足机器人具有较高的自由度,离散的落足点等特点,在复杂地形作业方面展现了巨大优势,可以广泛应用于搜救、侦察、工业巡检、未知环境探索等领域。

2、然而,四足机器人的高自由度同时也给运动控制带来了极大的挑战。近些年来,有许多基于模型的方法被应用于四足机器人的运动控制问题,但这类控制方法往往需要对各种场景精心设计,但也难以避免出现边界情况(corner cases)。相比之下,强化学习方法能够通过试错自主地学习一个运动控制器,该运动控制能够在多种场景下取得较好的控制效果。这种方法往往需要先在仿真器中进行训练,之后部署在现实的四足机器人上。但由于大多数仿真器无法完全模拟现实环境的复杂性,这些控制器在从仿真到现实的迁移(sim-to-real transfer)过程中往往会有比较大的性能损失。


技术实现思路

1、本专利技术提供了一种本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的四足机器人运动控制算法,具体步骤如下:

2.根据权利要求1所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤S1具体包括以下步骤:

3.根据权利要求2所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤S11中产生的模型由一个统一机器人描述格式文件描述,使用有接触的多关节动力学对机器人模型进行模拟。

4.根据权利要求1所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤S2具体包括以下步骤:

5.根据权利要求4所述的一种基于深度强化学习的四足机器人运动控制算法,其特...

【技术特征摘要】

1.一种基于深度强化学习的四足机器人运动控制算法,具体步骤如下:

2.根据权利要求1所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤s1具体包括以下步骤:

3.根据权利要求2所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤s11中产生的模型由一个统一机器人描述格式文件描述,使用有接触的多关节动力学对机器人模型进行模拟。

4.根据权利要求1所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤s2具体包括以下步骤:

5.根据权利要求4所述的一种基于深度强化学习的四足机器人运动控制算法,其特征在于:步骤s21中的状态空间包括机器人线...

【专利技术属性】
技术研发人员:刘勇朱承睿张震侯典泳
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1