条件生成对抗网络三维人脸表情运动单元合成方法技术

本发明专利技术涉及人机情感交互及智能机器人等领域，本发明专利技术旨在研究将以面向虚拟或实体类人机器人的三维人脸模型为载体，对类人机器人面部自然表情的生成和控制问题进行研究，提出相应的解决途径。为此，本发明专利技术，条件生成对抗网络三维人脸表情运动单元合成方法，步骤如下：(1)建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；(2)同表情运动参数生成模型的生成结果进行博弈优化；(3)将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。本发明专利技术主要应用于智能机器人设计制造场合。

【技术实现步骤摘要】
条件生成对抗网络三维人脸表情运动单元合成方法
本专利技术涉及人机情感交互及智能机器人等领域，尤其涉及一种基于条件对抗网络(ConditionalGenerativeAdversarialNetwork,CGAN)和三维形变模型(3DMorphableModel,3DMM)的三维人脸表情运动单元合成方法，该方法可以被广泛应用于类人智能机器人面部表情控制、游戏动画等三维人脸表情合成和人机情感交互等场景。
技术介绍
具备自然表情交互的类人机器人作为未来机器人发展的重要目标，已受到学术界和企业界的广泛关注。自然表情交互过程一般包括表情识别和表情生成两个方面，由于面部表情的多样性及类人机器人硬件设计的复杂性，目前如何实现类人机器人对人类表情自然而真实的模拟仍然是类人机器人领域所面临的难点之一。在面部表情分析领域，人类表情的标注方式主要有两种：基于情感类别的标注(如：喜悦、愤怒等)和基于面部运动编码系统(FacialActionCodingSystem,FACS)的标注。前者属于主观标注，适用于表情识别和理解领域；后者根据面部肌肉运动将面部表情分解成30多个具有不同强度的主要运动单元(Actio本文档来自技高网...

【技术保护点】
1.一种条件生成对抗网络三维人脸表情运动单元合成方法，其特征是，步骤如下：(1)首先，通过3DMM模型对类人机器人面部进行参数化分解，并基于深度生成模型对类人机器人三维人脸模型中的表情参数分布进行学习和建模，建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；(2)然后，通过条件生成对抗网络模型中的判别器对生成表情参数的真实度进行判别，同表情运动参数生成模型的生成结果进行博弈优化；(3)最后，将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。

【技术特征摘要】
1.一种条件生成对抗网络三维人脸表情运动单元合成方法，其特征是，步骤如下：(1)首先，通过3DMM模型对类人机器人面部进行参数化分解，并基于深度生成模型对类人机器人三维人脸模型中的表情参数分布进行学习和建模，建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；(2)然后，通过条件生成对抗网络模型中的判别器对生成表情参数的真实度进行判别，同表情运动参数生成模型的生成结果进行博弈优化；(3)最后，将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。2.如权利要求1所述的条件生成对抗网络三维人脸表情运动单元合成方法，其特征是，各步骤具体细化为：(1)面向类人机器人的3DMM面部模型构建及参数分解采用三维形变模型3DMM将类人机器人面部几何参数p和面部纹理反射率参数b按照以下形式分解如下：其中，和为平均面部几何和纹理参数，Aid和Aalb为从平均中性表情人脸身份参数和纹理参数中提取的PCA主成份向量，Aexp为人脸模型的表情参数主成份向量，xid、xexp和xalb则是从类人机器人面部所提取的身份、表情和纹理参数；(2)基于对抗生成网络的表情运动参数合成针对所提取的类人机器人面部表情参数，采用条件对抗网络模型CGAN实现对任意给定面部AU编码进行面部表情运动参数合成，CGAN模型通过生成器和判别器两个子系统的目标博弈，实现对...

【专利技术属性】
技术研发人员：刘志磊，张翠翠，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12