一种基于对抗性模仿学习的音乐驱动人形机器人控制方法技术

本发明专利技术涉及一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，包括：获取与舞蹈演示相匹配的原始音乐，对该原始音乐进行特征提取；采用音乐编码器对提取的特征进行编码，得到音乐的隐向量；将音乐的隐向量作为条件输入舞蹈生成器中，生成机器人舞蹈动作控制信息，以构建仿真的机器人舞蹈动作；通过舞蹈鉴别器对仿真的机器人舞蹈动作以及舞蹈演示分别进行区分；交替对舞蹈生成器和舞蹈鉴别器进行训练，直至舞蹈生成器生成的仿真的机器人舞蹈动作，使得舞蹈鉴别器无法准确区分；获取音乐序列，通过训练好的舞蹈生成器，生成舞蹈动作。与现有技术相比，本发明专利技术具有能生成与音乐高度匹配良好的流畅舞蹈动作、具有灵活性和泛化能力等优点。

【技术实现步骤摘要】

本专利技术涉及音乐驱动人形机器人，尤其是涉及一种基于对抗性模仿学习的音乐驱动人形机器人控制方法。

技术介绍

1、音乐驱动人形机器人的技术原理主要基于音频识别技术和人工智能算法。这些技术能够采集并分析音乐中的节奏、旋律、和声等元素，提取出音乐的情感、风格和动态特征。这些特征被转化为数字信号，进而驱动人形机器人的动作、表情和行为。

2、现有的音乐驱动人形机器人的技术分为基于运动学的舞蹈生成方法以及基于物理的舞蹈生成方法，对应的缺陷如下：

3、基于运动学的舞蹈生成方法存在物理不真实的局限：

4、现有技术中基于运动学的舞蹈生成方法存在物理不真实的问题，不适用于机器人的动作生成。这类方法通常通过预测关节点位置来生成舞蹈动作，由于未在生成过程中引入物理模拟，生成的动作往往违背现实物理规律，容易出现如浮动、伪影等现象。尤其在机器人运动生成方面，这一问题更加突出，因为仿真机器人和实体机器人都受物理定律的约束，无法通过此类生成方法实现符合物理要求的动作。

5、基于物理的舞蹈生成方法存在数据依赖性强，灵活性受限的问题：

<本文档来自技高网...

【技术保护点】

1.一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，所述舞蹈生成器基于条件强化学习策略π(at|st,zt)来生成机器人舞蹈动作控制信息，其中，at为t时刻机器人执行的动作，st为t时刻机器人的状态，zt为t时刻音乐的隐向量；作为机器人控制策略π(at|st,zt)，在给定音乐的隐向量zt和机器人当前状态st的条件下，输出机器人的动作at；随后，PD控制器根据该动作驱动机器人执行相应的动作，并与环境进行交互，获取奖励rt，最终使机器人转移到新的状态st+1。...

【技术特征摘要】

1.一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，所述舞蹈生成器基于条件强化学习策略π(at|st,zt)来生成机器人舞蹈动作控制信息，其中，at为t时刻机器人执行的动作，st为t时刻机器人的状态，zt为t时刻音乐的隐向量；作为机器人控制策略π(at|st,zt)，在给定音乐的隐向量zt和机器人当前状态st的条件下，输出机器人的动作at；随后，pd控制器根据该动作驱动机器人执行相应的动作，并与环境进行交互，获取奖励rt，最终使机器人转移到新的状态st+1。

3.根据权利要求2所述的一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，所述舞蹈生成器的优化目标的表达式为：

4.根据权利要求2所述的一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，所述舞蹈鉴别器的优化目标的表达式为：

5.根据权利要求1所述的一种基于对抗性模仿学习的音乐驱动人形机器人控制方法，其特征在于，所述舞蹈...

【专利技术属性】
技术研发人员：张立华，管海洋，翟鹏，龙威帆，
申请(专利权)人：复旦大学，
类型：发明
国别省市：