【技术实现步骤摘要】
本专利技术涉及的是一种深度学习领域的技术,具体是一种基于前向传播的高斯点云重建的立体头部模型生成方法。
技术介绍
1、现有3d头部重建技术依赖统计模型,难以完整还原头发、眼镜等特征,其中视频扩散模型则存在身份一致性差、侧脸处理不佳等问题,且生成视角有限。
技术实现思路
1、本专利技术针对现有技术无法仅从单一视角图像中进行重建、无法重建人头配饰、无法重建头发等问题,提出一种基于前向传播的高斯点云重建的立体头部模型生成方法,通过构建高质量数字人头数据集、利用身份信息增强视频扩散模型,并结合高效的3d高斯重建方法,显著提高从单张肖像照片重建3d头部模型的能力,能够在处理极端表情、配饰和非正面姿态的输入图像时,依然能够生成生动逼真的3d头部模型。
2、本专利技术是通过以下技术方案实现的:
3、本专利技术涉及一种基于前向传播的高斯点云重建的立体头部模型生成方法,包括:
4、步骤1、生成多视角图像阶段:将输入图像压缩到潜在空间得到潜在状态同时提取输入图像的身份信息,
...【技术保护点】
1.一种基于前向传播的高斯点云重建的立体头部模型生成方法,其特征在于,包括:
2.根据权利要求1所述的基于前向传播的高斯点云重建的立体头部模型生成方法,其特征是,所述的基于LGM网络改进的非对称高斯生成UNet包括:若干串联的子模块,每个子模块包含一个残差层和一个多视角自注意力层,每个子模块根据上一个子模块的输出信息进行卷积以及自注意力计算,得到处理过后的特征。
3.根据权利要求1所述的基于前向传播的高斯点云重建的立体头部模型生成方法,其特征是,所述的高斯点云中每个点包含颜色、位置、不透明度等信息,这些属性共同定义3D模型的外观和形状。
...【技术特征摘要】
1.一种基于前向传播的高斯点云重建的立体头部模型生成方法,其特征在于,包括:
2.根据权利要求1所述的基于前向传播的高斯点云重建的立体头部模型生成方法,其特征是,所述的基于lgm网络改进的非对称高斯生成unet包括:若干串联的子模块,每个子模块包含一个残差层和一个多视角自注意力层,每个子模块根据上一个子模块的输出信息进行卷积以及...
【专利技术属性】
技术研发人员:张健夫,高宇杰,王晨丞,展家慧,招浩华,张丽清,
申请(专利权)人:上海交通大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。