二维到三维人脸表情迁移方法、电子装置及存储介质制造方法及图纸

本发明专利技术公开了一种二维到三维人脸表情迁移方法、电子装置及存储介质，属于计算机视觉领域。该方法包括：获取真实交互场景下的二维人脸图像作为源表情表示，虚拟交互场景下的三维人脸形变模型作为目标三维人脸表情表示；为二维人脸图像提取人脸三维参数；基于人脸三维参数中的表情参数，通过融合变形系数估计模型获取目标表情的融合变形系数；依据所得目标表情融合变形系数驱动三维人脸模型生成目标表情表示。本发明专利技术能够有效提取人脸表情相关参数，缓解人脸表情从二维空间到三维空间的跨维度难题；将表情参数变换至目标融合变形系数，保证了该方法的广泛适用性。本方法可实现准确、快速的人脸表情迁移，可用于提升动画师在进行三维人脸建模与创作过程中的工作效率。进行三维人脸建模与创作过程中的工作效率。进行三维人脸建模与创作过程中的工作效率。

【技术实现步骤摘要】
二维到三维人脸表情迁移方法、电子装置及存储介质


[0001]本专利技术属于计算机视觉和三维建模的相关
，特别涉及一种二维到三维人脸表情迁移方法、电子装置及存储介质。

技术介绍

[0002]人脸形象在日常生活中起着至关重要的作用，它反映了每个人的基本身份特征。同时，丰富的面部表情能够传递一个人的情感和精神状态，表达十分丰富的社会文化意义。在虚拟环境中，如果虚拟人能够准确地模仿人类的面部表情，将会大大缩短虚拟人和真实人类之间的距离。随着元宇宙等新概念的提出，虚拟现实和人工智能成为未来技术发展的两大基石。人们希望在计算机模拟的虚拟环境中，能够可以像真实人类一样同虚拟人进行交流与互动。在实现这一目标过程中，赋予虚拟人更加丰富的表情是非常重要的一步。丰富的面部表情可以极大地提升虚拟人的真实度和表现力，给予用户更为沉浸的体验，让交互行为更有意义。
[0003]目前，在绝大多数虚拟现实应用中，三维虚拟人的表情建模与动画创作需要依赖三维动画设计师手工完成。具体来讲，设计师需要首先为三维虚拟人创作一组基于模型形变的融合变形表情基模型来表现面部肌肉运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种二维到三维人脸表情迁移方法，其特征在于，包括以下步骤：获取真实交互场景下的二维人脸图像，作为源表情表示；获取虚拟交互场景下的三维人脸形变模型，作为目标三维人脸表情表示；采用预先训练的人脸三维参数提取模型，对所述二维人脸图像进行人脸三维参数提取；所述人脸三维参数包括身份参数、表情参数、相机参数；将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估计模型，获得融合变形系数；将所述融合变形系数输入三维建模软件，驱动所述三维人脸形变模型，获得目标三维人脸表情表示，具有与所述二维人脸图像一致的表情。2.如权利要求1所述的方法，其特征在于，所述三维人脸形变模型包括一组能够表达基本面部肌肉运动的融合变形表情基模型。3.如权利要求1所述的方法，其特征在于，所述人脸三维参数提取模型是一种神经网络模型，采用如下方式训练得到：采集真实样本训练集，所述真实样本训练集包含多张真实交互场景内的人脸图像；获取三维重建渲染器，所述三维重建渲染器能够以可微分的方式基于三维参数进行三维重建、渲染、投影；采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三维参数提取模型。4.如权利要求3所述的方法，其特征在于，采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三维参数提取模型，包括：将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取模型，获得各人脸图像对应的人脸三维参数；根据所述各人脸图像对应的人脸三维参数，进行三维重建，获得三维人脸重建结果；根据所述三维人脸重建结果，获得对应二维人脸投影图像；根据所述真实人脸图像、所述二维人脸投影图像、以及预设的损失函数，对所述人脸三维参数提取模型的神经网络参数进行迭代优化，得到所述人脸三维参数提取模型。5.如权利要求1所述的方法，其特征在于，所述融合变形系数估计模型是一种神经网络模型，采用如...

【专利技术属性】
技术研发人员：白泽琛，陈辉，姚乃明，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：