【技术实现步骤摘要】
本公开涉及使用图像和时间跟踪神经网络进行的3d面部捕获和修改。
技术介绍
1、捕获三维(3d)面部是电影和游戏动画以及其他应用中视觉特效制作的重要方面。当前的技术包括对多个高分辨率摄像头的使用、精心安排的拍摄环境、以及用标签标记主体以进行视频捕获。这种技术昂贵、费时、并且费力。其他技术包括通过以下操作来拟合3d形变模型(3dmm)：从输入视频图像中提取面部特征并执行3dmm拟合以最小化输入图像与使用3dmm并使用3d摄像头渲染的图像(例如，rgb-d图像)之间的差异。但是，前者的技术通常无法捕获视频中的3d面部，而后者则需要植入3d摄像头，这可能是昂贵且复杂的。
2、因此，用于从标准的输入视频估计面部形状和纹理的当前技术在某些情境中是不足的。鉴于这些和其他考虑，需要现在进行改进。随着3d面部模型在各种情境中的实现变得越来越普遍，这种改进可能变得至关重要。
技术实现思路
1、根据本公开的一方面，提供了一种方法，包括：使用经训练的模型估计来自第一图像的一个或多个人脸参数，所述一个或多个人脸参数指示所述第一图像捕获的人脸的一个或多个特征；从所述一个或多个人脸参数生成表示所述人脸的三维模型；通过使用一个或多个附加人脸参数渲染所述三维模型来生成渲染的三维模型；以及从所述渲染的三维模型生成第二图像。
2、根据本公开的一方面，提供了一种计算机可读介质，包括指令，所述指令当由至少一个处理器执行时，使得所述处理器执行如上所述的方法。
3、根据本公开的一方面，提供了
4、根据本公开的一方面，提供了一种装置，包括用于执行如上所述的方法的装置。
5、根据本公开的一方面，提供了一种计算机程序产品，包括指令，所述指令当由至少一个处理器执行时，使得所述处理器执行如上所述的方法。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.如权利要求1所述的方法，其中，所述一个或多个人脸参数包括指示所述人脸的形状、姿态或表情的人脸参数。
3.如权利要求1所述的方法，其中，使用第三图像估计所述一个或多个附加人脸参数。
4.如权利要求1所述的方法，其中，所述三维模型是三维可变形模型。
5.如权利要求1所述的方法，其中，所述渲染的三维模型表示与所述三维模型不同的表情或姿态。
6.如权利要求1所述的方法，其中，所述第二图像包括与所述第一图像捕获的所述人脸具有不同表情或姿态的人脸。
7.如权利要求3所述的方法，其中，具有所述第一图像捕获的所述人脸的人的特性保持在所述第三图像中。
8.一种计算机可读介质，包括指令，所述指令当由至少一个处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法。
9.一种系统，包括：
10.一种装置，包括用于执行如权利要求1至7中任一项所述的方法的装置。
11.一种计算机程序产品，包括指令，所述指令当由至少一个处理器执行时，使得所述处理器执行如
...【技术特征摘要】
1.一种方法，包括：
2.如权利要求1所述的方法，其中，所述一个或多个人脸参数包括指示所述人脸的形状、姿态或表情的人脸参数。
3.如权利要求1所述的方法，其中，使用第三图像估计所述一个或多个附加人脸参数。
4.如权利要求1所述的方法，其中，所述三维模型是三维可变形模型。
5.如权利要求1所述的方法，其中，所述渲染的三维模型表示与所述三维模型不同的表情或姿态。
6.如权利要求1所述的方法，其中，所述第二图像包括与所述第一图像捕获的所述人脸具有不同表情或...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。