训练表情驱动生成模型的方法、表情驱动方法及装置制造方法及图纸

本公开提供一种训练表情驱动生成模型的方法、表情驱动方法及装置，其中，训练表情驱动生成模型的方法，包括：获取样本脸部图像集，该样本脸部图像集中包括有同一对象不同表情的脸部图像；使用表情驱动生成模型处理样本集脸部图像集中的脸部图像，得到脸部图像的表情驱动参数；根据表情驱动参数生成脸部图像的三维脸部mesh结构；根据三维脸部mesh结构确定脸部图像的第一脸部关键点；获取脸部图像的第二脸部关键点，其中，第二脸部关键点为真实脸部关键点；将第一、第二脸部关键点由三维关键点投影成二维关键点；更新表情驱动生成模型的网络参数以最小化第一、第二脸部关键点之间的关键点误差。由此，可更好地表示大表情以及驱动同一对象的不同表情。一对象的不同表情。一对象的不同表情。

【技术实现步骤摘要】
训练表情驱动生成模型的方法、表情驱动方法及装置


[0001]本公开涉及图像处理
，尤其涉及一种训练表情驱动生成模型的方法、表情驱动方法及装置。

技术介绍

[0002]随着虚拟现实(virtual reality)、增强现实(augmented reality)以及元宇宙概念的发展，如何在虚拟空间驱动虚拟人物的表情成为重要的研究问题。
[0003]相关技术中，使用训练好的卷积神经网络处理人物图像，输出该人物的表情驱动参数，随后使用表情驱动参数驱动真实人脸或者虚拟人对应的人脸。
[0004]在实际表情驱动的过程中存在大表情(也称为夸张表情)无法准确表示等问题。

技术实现思路

[0005]根据本公开的一方面，提供了一种训练表情驱动生成模型的方法，包括：
[0006]获取样本脸部图像集，其中，所述样本脸部图像集中包括有同一对象不同表情的脸部图像；
[0007]使用所述表情驱动生成模型处理所述样本集脸部图像集中的脸部图像，得到脸部图像的表情驱动参数；
[0008]根据所述表情驱动参数生成脸部图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练表情驱动生成模型的方法，其特征在于，包括：获取样本脸部图像集，其中，所述样本脸部图像集中包括有同一对象不同表情的脸部图像；使用所述表情驱动生成模型处理所述样本集脸部图像集中的脸部图像，得到脸部图像的表情驱动参数；根据所述表情驱动参数生成脸部图像的三维脸部mesh结构；根据所述三维脸部mesh结构确定脸部图像的第一脸部关键点；获取脸部图像的第二脸部关键点，其中，所述第二脸部关键点为真实脸部关键点；根据预设投影函数将所述第一脸部关键点和所述第二脸部关键点由三维关键点投影成二维关键点；更新所述表情驱动生成模型的至少部分网络参数以最小化所述第一脸部关键点和所述第二脸部关键点之间的关键点误差。2.如权利要求1所述的方法，其中，所述表情驱动参数包括形状参数，所述方法还包括：针对所述样本脸部图像集中同一对象不同表情的脸部图像，使用所述表情驱动生成模型处理脸部图像，得到脸部图像的形状参数；根据同一对象不同表情的脸部图像对应的形状参数，确定形状一致性误差；更新所述表情驱动生成模型的至少部分网络参数以最小化所述形状一致性误差。3.如权利要求1或2所述的方法，其中，所述表情驱动参数包括表情参数，至少一个对象不同表情的脸部图像，是使用条件对抗生成网络基于该对象的一脸部图像和不同表情条件生成的，每个表情条件由表情动作单元组成，并且其中，所述方法还包括：针对基于表情条件生成的每个脸部图像，使用所述表情驱动生成模型处理该脸部图像，得到脸部图像的表情参数；根据所述表情条件确定脸部图像的真实表情参数；更新所述表情驱动生成模型的至少部分网络参数以最小化所述表情参数和所述真实表情参数之间的表情参数误差。4.如权利要求1至3中任一项所述的方法，其中，所述方法还包括：针对每个脸部图像，根据该脸部图像的三维脸部mesh结构渲染得到该脸部图像对应的二维脸部图像；确定该脸部图像及其渲染得到的二维脸部图像之间的感知损失和/或逐像素损失；更新所述表情驱动生成模型的至少部分网络参数以最小化所述感知损失和/或逐像素损失。5.如权利要求1所述的方法，其中，所述第二脸部关键点包括眼部关键点和嘴部关键点中的一个或多个，所述关键点误差包括眼部开闭误差和嘴部开闭误差中的一个或多个；并且其中，所述更新所述表情驱动生成模型的至少部分网络参数以最小化所述第一脸部关键点和所述第二脸部关键点之间的关键点误差包括：更新所述表情驱动生成模型的...

【专利技术属性】
技术研发人员：王鹏程，冀志龙，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：