【技术实现步骤摘要】
基于三维重建的人脸替换方法及装置
本专利技术涉及图像处理
，具体涉及一种基于三维重建的人脸替换方法及装置。
技术介绍
近年来，AI换脸技术快速发展，通过生成对抗网络(GAN)能够逼真的产生真人照片级别的人脸图像，所呈现的结果也令人耳目一新。AI换脸技术不仅能够重建出指定人像的任意照片，同时能够把一个人的面部表情移植到另一个人脸上。但现有技术实现中仍然存在一些棘手的问题难以解决。基于生成对抗网络(GAN)现有的模型，需要通过用源人物和目标人物的几百张照片(越多越好)训练模型分别识别、还原两人面部的能力，无法在小样本上工作，意味着无法凭一两张照片替换任意两个人的脸部；模型的训练过程也需要消耗大量资源。另一方面基于单张人脸图像的换脸实现，可以根据给定的动作驱动图中的人“动起来”，但是图中人脸的动作范围有限，大角度的转动会导致人脸结构的异常失真。
技术实现思路
为此，本专利技术提供一种基于三维重建的人脸替换方法及装置，通过任意目标人物的一到两张人脸二维图像，实现源人物人脸图像的面部替换，同时保持源人
【技术保护点】
1.基于三维重建的人脸替换方法，其特征在于，包括以下步骤：/n步骤一、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；/n步骤二、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；/n步骤三、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向...
【技术特征摘要】
1.基于三维重建的人脸替换方法，其特征在于，包括以下步骤：
步骤一、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
步骤二、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
步骤三、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
步骤四、图像融合：通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
步骤五、替换图像生成：根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。
2.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，所述人脸三维重建模型3DMM的表示公式为：
式中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
3.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，步骤二中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
4.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，步骤四中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正。
5....
【专利技术属性】
技术研发人员：孙腾，
申请(专利权)人：上海影谱科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。