基于前向传播的高斯点云重建的立体头部模型生成方法技术

技术编号:46627222 阅读:0 留言:0更新日期:2025-10-14 21:24
一种基于前向传播的高斯点云重建的立体头部模型生成方法,在生成多视角图像阶段:将输入图像压缩到潜在空间得到潜在状态同时提取输入图像的身份信息,通过带有空间和时间注意力模块的去噪U‑Net进行去噪并通过VAE解码器生成多视角图像,用于训练权重微调网络;在高斯重建阶段:计算视频扩散模型生成的多视角图像中的每个像素所在相机的世界坐标原点以及光线方向,将多视角图像、通过计算得到对应的光线嵌入以及光线方向在通道维度上进行拼接,形成网络输入特征,利用基于LGM网络改进的非对称高斯生成UNet,根据视频扩散模型生成的多视角图像,生成特征图后,对该特征图进行通道扁平化处理得到高斯点云。本发明专利技术能生成更生动逼真、高质量的3D头部模型。

【技术实现步骤摘要】

本专利技术涉及的是一种深度学习领域的技术,具体是一种基于前向传播的高斯点云重建的立体头部模型生成方法


技术介绍

1、现有3d头部重建技术依赖统计模型,难以完整还原头发、眼镜等特征,其中视频扩散模型则存在身份一致性差、侧脸处理不佳等问题,且生成视角有限。


技术实现思路

1、本专利技术针对现有技术无法仅从单一视角图像中进行重建、无法重建人头配饰、无法重建头发等问题,提出一种基于前向传播的高斯点云重建的立体头部模型生成方法,通过构建高质量数字人头数据集、利用身份信息增强视频扩散模型,并结合高效的3d高斯重建方法,显著提高从单张肖像照片重建3d头部模型的能力,能够在处理极端表情、配饰和非正面姿态的输入图像时,依然能够生成生动逼真的3d头部模型。

2、本专利技术是通过以下技术方案实现的:

3、本专利技术涉及一种基于前向传播的高斯点云重建的立体头部模型生成方法,包括:

4、步骤1、生成多视角图像阶段:将输入图像压缩到潜在空间得到潜在状态同时提取输入图像的身份信息,通过带有空间和时间注本文档来自技高网...

【技术保护点】

1.一种基于前向传播的高斯点云重建的立体头部模型生成方法,其特征在于,包括:

2.根据权利要求1所述的基于前向传播的高斯点云重建的立体头部模型生成方法,其特征是,所述的基于LGM网络改进的非对称高斯生成UNet包括:若干串联的子模块,每个子模块包含一个残差层和一个多视角自注意力层,每个子模块根据上一个子模块的输出信息进行卷积以及自注意力计算,得到处理过后的特征。

3.根据权利要求1所述的基于前向传播的高斯点云重建的立体头部模型生成方法,其特征是,所述的高斯点云中每个点包含颜色、位置、不透明度等信息,这些属性共同定义3D模型的外观和形状。

4.根据权利要...

【技术特征摘要】

1.一种基于前向传播的高斯点云重建的立体头部模型生成方法,其特征在于,包括:

2.根据权利要求1所述的基于前向传播的高斯点云重建的立体头部模型生成方法,其特征是,所述的基于lgm网络改进的非对称高斯生成unet包括:若干串联的子模块,每个子模块包含一个残差层和一个多视角自注意力层,每个子模块根据上一个子模块的输出信息进行卷积以及...

【专利技术属性】
技术研发人员:张健夫高宇杰王晨丞展家慧招浩华张丽清
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1