当前位置: 首页 > 专利查询>清华大学专利>正文

基于深度学习的人脸混合-变形生成方法和装置制造方法及图纸

技术编号:28297621 阅读:86 留言:0更新日期:2021-04-30 16:23
本申请提出一种基于深度学习的人脸混合‑变形生成方法和装置,涉及计算机动画和三维重建技术领域,其中,方法包括:获取中性人脸的三维网格数据和对应的三维网格表情集合;将三角网格数据转换为二维RGB图片;将二维RGB图片输入深度学习模型进行训练,获取训练人脸混合‑变形二维图;根据人脸混合‑变形二维图,获取训练表情集合,根据训练表情集合和三维网格表情集合调整深度学习模型的参数,通过训练后的深度学习模型对待处理人脸二维图进行处理,生成人脸混合‑变形表情。由此,利用深度神经网络从少量表情集生成个性化混合‑变形表情,提高处理效率。

【技术实现步骤摘要】
基于深度学习的人脸混合-变形生成方法和装置
本申请涉及计算机动画和三维重建
,尤其涉及一种基于深度学习的人脸混合-变形生成方法和装置。
技术介绍
人脸的blendshape混合-变形在计算机动画和游戏领域有着广泛的使用,blendshape提供了明确的人脸语义,通过控制blendshape表情系数可以模拟出全新的表情。然而blendshape的制作往往需要复杂的采集设备采集大量的人脸表情,然后再经过专业从业人员的精细调整,无法实现自动化。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本申请的第一个目的在于提出一种基于深度学习的人脸混合-变形生成方法,通过深度学习方法,利用现由的三维人脸数据集,学习到人脸变形到blendshape的变形方式的先验信息,再利用人脸表情集合中的部分采集到的表情作为约束,恢复出属于这个人的个性化blendshape。本申请的第二个目的在于提出一种基于深度学习的人脸混合-变形生成装置。为达上述目的,本申请第一方面实施例提出了一种基于深度学习本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸混合-变形生成方法,其特征在于,包括以下步骤:/n获取中性人脸的三维网格数据和对应的三维网格表情集合;/n将所述三角网格数据转换为二维RGB图片,并将所述二维RGB图片输入深度学习模型进行训练,获取训练人脸混合-变形二维图;/n根据所述人脸混合-变形二维图,获取训练表情集合,根据所述训练表情集合和所述三维网格表情集合调整所述深度学习模型的参数,通过训练后的深度学习模型对待处理人脸二维图进行处理,生成人脸混合-变形表情。/n

【技术特征摘要】
1.一种基于深度学习的人脸混合-变形生成方法,其特征在于,包括以下步骤:
获取中性人脸的三维网格数据和对应的三维网格表情集合;
将所述三角网格数据转换为二维RGB图片,并将所述二维RGB图片输入深度学习模型进行训练,获取训练人脸混合-变形二维图;
根据所述人脸混合-变形二维图,获取训练表情集合,根据所述训练表情集合和所述三维网格表情集合调整所述深度学习模型的参数,通过训练后的深度学习模型对待处理人脸二维图进行处理,生成人脸混合-变形表情。


2.如权利要求1所述的方法,其特征在于,所述将所述三角网格数据转换为二维RGB图片,包括:
利用计算机动画技术将所述三角网格数据的每一个顶点的坐标投影到二维空间,获取所述二维RGB图片。


3.如权利要求1所述的方法,其特征在于,
根据所述二维RGB图片获取人脸身份信息;
将所述人脸身份信息输入解码器,获取训练表情集合。


4.如权利要求1所述的方法,其特征在于,还包括:
获取正则项;
根据混合-变形表情系数控制人脸的目标区域发生变形。


5.如权利要求1所述的方法,其特征在于,还包括:
获取中性人脸的二维图和任一表情的二维图;
将所述中性人脸的二维图和所述任一表情的二维图输入所述训练后的深度学习模型,获取混合-变形表情系数。


6.一种基于深度学习的人脸混合-变形...

【专利技术属性】
技术研发人员:徐枫田镜祺
申请(专利权)人:清华大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1