【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种基于三维高斯泼溅的人脸高保真度和可驱动的重建办法。
技术介绍
1、在过去几十年里，随着虚拟现实技术和数字人技术的发展，人脸高保真度三维重建有了更广泛的应用，例如3d内容生成，游戏，虚拟现实中等等。通过但是截至目前，人脸高保真度三维重建仍然是计算机视觉中的一个主要难题。人脸高保真度三维重建大致分为以下几个步骤，首先就是数据采集，然后是预处理，然后是人脸表情和身份信息提取，最后是根据之前步骤获取的相关信息进行人脸三维重建。
2、人的头部形状空间可以有效地分为身份、表情和外观三个部分，在此前提下，提出了三维可变形模型(3dmm)，3dmm是一种人脸可变形的重建技术，通过对人脸表情和结构进行参数化，从而实现人脸可变形的驱动，但是这种方法并不能很好地拟合人脸表面的纹理，并且对于表情的拟合的表现也并不理想，此外其针对人脸重建的效率也并不高。随后的研究对这一基于网格的参数头部模型进行了扩展，通过开发多线性模型或非线性模型，以及配备矫正混合形状的铰接模型，增强了其表现能力。
3、为了准确捕捉...
【技术保护点】
1.一种基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述单目摄像头在拍摄第一拍摄者和第二拍摄者时需保持位置固定。
3.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述S2中，图像处理包括图片裁剪和背景分割去除操作。
4.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述S3中，人脸身份信息提取网络采用ArcFace人脸识别模型和解码器构成，人脸肖像...
【技术特征摘要】
1.一种基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述单目摄像头在拍摄第一拍摄者和第二拍摄者时需保持位置固定。
3.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述s2中，图像处理包括图片裁剪和背景分割去除操作。
4.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述s3中，人脸身份信息提取网络采用arcface人脸识别模型和解码器构成，人脸肖像帧先通过arcface人脸识别模型提取人脸特征，然后将人脸特征输入解码器中进行3dmm系数提取，得到拍摄者的身份向量。
5.如权利要求1所述的基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，所述s4中，基于flame框架的人脸表情追踪网络中，先将模型输入中的拍摄者的身份向量、人脸表情向量、眼部姿态向量、下巴姿态向量、眼睛闭合向量通过线性混合蒙皮函数换算为一个转换矩阵，然后通过该转换矩阵对标准mesh头模进行空间变换，得到当前模型输入对应的拍摄者mesh头模，然后从拍摄者mesh头模中提取三维的人脸关键点并使用相机外参数将三维的人脸关键点映射到二维上，输出的二维人脸关键点与真值标签计算损失并根据损失反向优化模型输入中除身...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。