基于高斯泼溅与三平面的单目视频人脸重建与驱动方法技术

技术编号:45097306 阅读:19 留言:0更新日期:2025-04-25 18:35
本发明专利技术公开了一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,包括如下步骤:S1、3DMM模块从单目人脸视频的每一帧中得到参数化模型显式表达的mesh,3DMM模块带动3D高斯球的位置初步变化;S2、初始化3D高斯球,3D高斯球数量为mesh中点的数量,位置为中性表情下mesh中点的位置,其余3D高斯球的属性做随机初始化;S3、3D高斯球通过优化得到每个球的粗略属性,并通过表情编码器将输入人脸表情图片编码,并通过三平面框架解码得到3D高斯球的各个属性的细节变化;S4、通过循环一致性模块保证表情编码器的结果仅与人脸表情相关;S5、利用若干正则化项约束表情编码器得到的3D高斯球属性变化。本发明专利技术提出的单目视频人脸重建和驱动领域具有重要的应用潜力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,尤其涉及一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法


技术介绍

1、从单目视频创建逼真的3d头部头像一直以来是计算机图形学中的一个挑战性问题。从任意视角渲染栩栩如生的头像能够在游戏、视频会议、增强现实(ar)和虚拟现实(vr)等多个领域提供丰富的应用场景。对于这些应用,问题的关键在于能否重建出高质量3d头部头像,并将其拓展至新姿势和表情下。

2、通常,3d头部头像的重建被视为一项基础任务,近来,神经辐射场及其变体在静态场景重建方面取得了显著成效,后续的研究进一步将神经辐射场拓展至数字人建模领域,尽管这些方法在新视角合成方面表现出色,但往往缺乏可控性,限制了其对新姿势和表情的泛化能力,近期在3d高斯泼溅方面的进展在新视角合成的渲染质量上已超越神经辐射场,3d高斯泼溅将空间表示为3d高斯球,每个高斯球包含位置、旋转、尺度、不透明度和球谐参数,利用阿尔法混合将高斯球泼溅为最终渲染图像。由于渲染质量上的提高,3d高斯泼溅迅速被应用于数字人领域和虚拟头像生成领域中。

3、目前,大多数方法依赖于3d可变形模型本文档来自技高网...

【技术保护点】

1.一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述3DMM模型输入人脸表情图片,输出用于3D面部重建的点、表情系数和身份系数。

3.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述S2中3D高斯泼溅采用基于点的场景表示,每个点对应一个3D高斯球,3D高斯球通过其位置、旋转q、尺度向量s、不透明度和球谐系数SH描述:

4.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与...

【技术特征摘要】

1.一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述3dmm模型输入人脸表情图片,输出用于3d面部重建的点、表情系数和身份系数。

3.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述s2中3d高斯泼溅采用基于点的场景表示,每个点对应一个3d高斯球,3d高斯球通过其位置、旋转q、尺度向量s、不透明度和球谐系数sh描述:

4.根据权利要求1所述的一种基于高斯泼溅与...

【专利技术属性】
技术研发人员:黄章进殷博伟
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1