肖像图像重建方法、肖像视频生成方法及电子设备技术

本申请公开肖像图像重建方法、肖像视频生成方法及电子设备，涉及虚拟数字人脸技术领域，该方法包括：获取肖像源图像、肖像目标图像和至少一个肖像参考图像，每一肖像参考图像分别具有相应的说话人参考信息；提取肖像目标图像所对应的第一目标肖像运动特征，并将肖像源图像和各个肖像参考图像分别按照第一目标肖像运动特征进行形变对齐，以分别得到相应的源图像变形纹理特征和各个参考图像变形纹理特征；根据源图像变形纹理特征和各个参考图像变形纹理特征，重建肖像目标图像。由此，综合不同视角、头部姿态和面部表情的参考信息，优化了源图像的对齐纹理覆盖，提升了虚拟人物生成的自然度和逼真感。

【技术实现步骤摘要】

本申请涉及虚拟数字人脸，尤其涉及一种肖像图像重建方法、肖像视频生成方法及电子设备。

技术介绍

1、随着计算机图形学、深度学习与人脸识别技术的不断进步，虚拟数字人(avatar)和人脸合成技术在多个领域得到广泛应用，如虚拟现实、增强现实、数字娱乐、个性化广告以及虚拟主播等。

2、肖像视频生成作为一种重要的计算机视觉应用，生成高质量的虚拟数字人肖像视频，尤其是在不同头部姿态、表情变化和视角切换的情况下，始终保持逼真的视觉效果，已成为研究的核心课题。然而，现有的肖像视频生成方法仍然面临着若干技术瓶颈，尤其在运动一致性、纹理覆盖、生成真实感和视角适应性方面存在明显的缺陷。

3、具体地，传统的肖像视频生成方法往往依赖于单一的参考帧(如第一帧或某一特定帧)作为生成的基础，在面部表情变化和头部姿态变化的过程中，生成的视频往往出现运动不一致的问题。这主要表现在快速运动或大幅度表情变化时，生成的肖像视频或肖像图像帧容易出现闪烁或伪影的现象，影响观感体验，使得生成结果显得不自然，还影响了虚拟人物在动态场景下的真实性。

4、针对上述问题，目前本文档来自技高网...

【技术保护点】

1.一种肖像图像重建方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述基于所述运动特征差异信息将所述源图像变形纹理特征和各个所述参考图像变形纹理特征进行像素级融合，以得到融合变形纹理特征，包括：

4.根据权利要求2所述的方法，其中，针对所述肖像目标图像的重建的损失函数包含图像重建损失项和特征匹配损失项；其中，所述特征匹配损失项是根据融合变形纹理特征和所述源图像变形纹理特征之间的像素级差异而定义的，以及所述图像重建损失项是根据所述融合变形纹理特征和所述肖像目标图像之间的像素级差异而定义的。</p>

5.根据...

【技术特征摘要】

1.一种肖像图像重建方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述基于所述运动特征差异信息将所述源图像变形纹理特征和各个所述参考图像变形纹理特征进行像素级融合，以得到融合变形纹理特征，包括：

4.根据权利要求2所述的方法，其中，针对所述肖像目标图像的重建的损失函数包含图像重建损失项和特征匹配损失项；其中，所述特征匹配损失项是根据融合变形纹理特征和所述源图像变形纹理特征之间的像素级差异而定义的，以及所述图像重建损失项是根据所述融合变形纹理特征和所述肖像目标图像之间的像素级差异而定义的。

5.根据权利要求1-4中任一项所述的方法，其中，肖像运动特征采用基于隐式关键点的结构化运动表示，所述隐式关键点编码了...

【专利技术属性】
技术研发人员：俞凯，刘涛，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：