【技术实现步骤摘要】
本专利技术涉及计算机视觉,尤其涉及一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法。
技术介绍
1、从单目视频创建逼真的3d头部头像一直以来是计算机图形学中的一个挑战性问题。从任意视角渲染栩栩如生的头像能够在游戏、视频会议、增强现实(ar)和虚拟现实(vr)等多个领域提供丰富的应用场景。对于这些应用,问题的关键在于能否重建出高质量3d头部头像,并将其拓展至新姿势和表情下。
2、通常,3d头部头像的重建被视为一项基础任务,近来,神经辐射场及其变体在静态场景重建方面取得了显著成效,后续的研究进一步将神经辐射场拓展至数字人建模领域,尽管这些方法在新视角合成方面表现出色,但往往缺乏可控性,限制了其对新姿势和表情的泛化能力,近期在3d高斯泼溅方面的进展在新视角合成的渲染质量上已超越神经辐射场,3d高斯泼溅将空间表示为3d高斯球,每个高斯球包含位置、旋转、尺度、不透明度和球谐参数,利用阿尔法混合将高斯球泼溅为最终渲染图像。由于渲染质量上的提高,3d高斯泼溅迅速被应用于数字人领域和虚拟头像生成领域中。
3、目前,大多数方法
...【技术保护点】
1.一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述3DMM模型输入人脸表情图片,输出用于3D面部重建的点、表情系数和身份系数。
3.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述S2中3D高斯泼溅采用基于点的场景表示,每个点对应一个3D高斯球,3D高斯球通过其位置、旋转q、尺度向量s、不透明度和球谐系数SH描述:
4.根据权利要求1所述的一种基于高斯泼溅与三平面
...【技术特征摘要】
1.一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述3dmm模型输入人脸表情图片,输出用于3d面部重建的点、表情系数和身份系数。
3.根据权利要求1所述的一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,所述s2中3d高斯泼溅采用基于点的场景表示,每个点对应一个3d高斯球,3d高斯球通过其位置、旋转q、尺度向量s、不透明度和球谐系数sh描述:
4.根据权利要求1所述的一种基于高斯泼溅与...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。