融合强化学习与进化计算的足式步态与形态协同进化系统技术方案

本发明专利技术公开了一种融合强化学习与进化计算的足式步态与形态协同进化系统，涉及机器人技术领域与人工智能领域；包括：实时运动控制策略学习模块基于动态掩码集成双Q学习方法实现；步态与形态协同优化模块基于进化计算理论对影响足式机器人的全局运动性能的关键步态和形态参数进行优化；训练环境自适应增强模块包含自动域随机化模块与课程学习模块；参数化轨迹生成器模块用于为实时运动控制策略学习模块提供结构化的运动先验；机器人仿真环境，用于在计算机中模拟机器人与环境的物理效应；本发明专利技术使足式机器人在复杂多变的非结构化环境中实现了高速、稳定且高效的自主运动能力。

【技术实现步骤摘要】

本专利技术涉及机器人与人工智能领域，特别涉及一种融合强化学习与进化计算的足式步态与形态协同进化系统。

技术介绍

1、足式机器人因其理论上优越的地形适应性和运动灵活性，在复杂非结构化环境中的应用潜力巨大，例如搜索救援、物资运输、环境勘探等。然而，实现足式机器人高速、稳定且高效的运动控制仍然面临诸多挑战。

2、现有的足式机器人运动控制方法主要包括基于模型的控制方法(如模型预测控制(model predictive control,mpc))、基于中央模式发生器(central pattern generator,cpg)的方法和基于虚拟模型控制(virtual model control,vmc)的方法等。基于模型的控制方法通常依赖于精确的机器人动力学模型，但在高速运动或与环境发生复杂交互时，模型的准确性难以保证，且计算复杂度较高。cpg方法能够生成节律性步态，但在快速变化和非周期性扰动下的适应性有限。vmc方法直观易实现，但其性能依赖于虚拟组件参数的经验选择和调整。

3、近年来，深度强化学习(deep reinforcement le本文档来自技高网...

【技术保护点】

1.一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，用于自动地生成适用于足式机器人的运动控制策略以及适用于足式机器人的形态进化方法，该运动控制策略进而被用于获得适用于足式机器人的足式步态，该形态协同进化方法进而被用于获得适用于足式机器人的形态改进依据；足式机器人的具体形式包含四足机器人、双足机器人；

2.根据权利要求1所述的一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，实时运动控制策略学习模块(1)采用动态掩码集成双Q学习算法，即DME-DQL算法，包含动态掩码机制(14)；动态掩码机制(14)包括：

3.根据权利要求2所...

【技术特征摘要】

1.一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，用于自动地生成适用于足式机器人的运动控制策略以及适用于足式机器人的形态进化方法，该运动控制策略进而被用于获得适用于足式机器人的足式步态，该形态协同进化方法进而被用于获得适用于足式机器人的形态改进依据；足式机器人的具体形式包含四足机器人、双足机器人；

2.根据权利要求1所述的一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，实时运动控制策略学习模块(1)采用动态掩码集成双q学习算法，即dme-dql算法，包含动态掩码机制(14)；动态掩码机制(14)包括：

3.根据权利要求2所述的一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，dme-dql算法进一步包含：演员网络(11)，用于根据当前状态输出动作或动作的概率分布；两个评论家网络(12)，用于估计状态-动作价值函数，其参数φi中的i为评论家网络的序号，通过最小化贝尔曼误差进行更新，目标函数为：

4.根据权利要求2所述的一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，步态与形态协同优化模块(2)采用遗传算法作为其进化计算核心，遗传算法包含：

5.根据权利要求4所述的一种融合强化学习与进化计算的足式步态与形态协同进化系统，其特征在于，适应度评估子模块(22)包括：

6.根据权利要求4所述的一种融合强化学习与进化计算的足...

【专利技术属性】
技术研发人员：贾文川，何东，孙翊，王钰，包天旭，
申请(专利权)人：上海大学，
类型：发明
国别省市：