人脸渲染的方法、装置及电子设备制造方法及图纸

技术编号:41182238 阅读:24 留言:0更新日期:2024-05-07 22:16
本申请公开了一种人脸渲染的方法、装置及电子设备。其中,该方法包括:获取待渲染的目标人脸视频;采用多视角生成模型确定与目标人脸视频中的每帧人脸图像对应的多视角特征,其中,多视角生成模型用于捕获人脸图像在多个角度下的特征信息;依据多视角特征进行渲染,得到多视角人脸图像。本申请解决了由于相关技术中利用通用预训练大模型应用造成的难以精确重建输入人脸细节的技术问题。

【技术实现步骤摘要】

本申请涉及计算机视觉领域,具体而言,涉及一种人脸渲染的方法、装置及电子设备


技术介绍

1、利用2d人脸视频预测生成对应多视角的人脸视频,是数字人技术的典型应用之一。相较获得完整3d模型,获取目标人物的2d人脸图像更为便捷。通过生成逼真的多视角人脸合成,可以创建高度逼真的数字人像,为ar(augmented reality,增强现实)或vr(virtual reality,虚拟现实)应用提供更真实沉浸的交互体验,并运用于远程视频会议等场景中。

2、在相关技术中,基于gan(generative adversarial networks,生成对抗网络)的生成模型使用gan反向映射时,获得潜在向量往往时间开销巨大,难以做到实时生成,而直接运用通用预训练模型生成,则很难精确还原输入人脸的个性化细节。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种人脸渲染的方法、装置及电子设备,以至少解决由于相关技术中利用通用预训练大模型应用造成的难以精确重建输入人本文档来自技高网...

【技术保护点】

1.一种人脸渲染的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述多视角生成模型通过以下方式得到:

3.根据权利要求2所述的方法,其特征在于,获取对所述多视角生成模型进行训练所需的原始人脸视频之后,所述方法还包括:

4.根据权利要求2所述的方法,其特征在于,通过3D重建网络估计所述原始人脸视频中的目标图像帧序列对应的人脸姿态和相机参数,包括:

5.根据权利要求2所述的方法,其特征在于,依据所述目标图像帧序列、所述人脸姿态和所述相机参数调整3D人脸模型,包括:

6.根据权利要求5所述的方法,其特征在于,依据...

【技术特征摘要】

1.一种人脸渲染的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述多视角生成模型通过以下方式得到:

3.根据权利要求2所述的方法,其特征在于,获取对所述多视角生成模型进行训练所需的原始人脸视频之后,所述方法还包括:

4.根据权利要求2所述的方法,其特征在于,通过3d重建网络估计所述原始人脸视频中的目标图像帧序列对应的人脸姿态和相机参数,包括:

5.根据权利要求2所述的方法,其特征在于,依据所述目标图像帧序列、所述人脸姿态和所述相机参数调整3d人脸模型,包括:

...

【专利技术属性】
技术研发人员:张岩宋权岳何一山许多郭知智何智翔
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1