基于神经基和张量分解的神经辐射场渲染方法和装置制造方法及图纸

技术编号:43815577 阅读:23 留言:0更新日期:2024-12-27 13:29
本发明专利技术公开了一种基于神经基和张量分解的神经辐射场渲染方法和装置,属于计算机视觉技术领域,方法包括:采集多视角图像及其相机参数以构建数据集;根据选定训练视角下的相机参数对张量分解的辐射场采样得到密度特征张量和纹理特征张量并分别转换为密度值和神经基,基于神经基通过系数网络计算出仿射矩阵和偏置并结合观测方向进行仿射变换得到系数,将神经基和系数输入神经混合网络得到单个采样点的颜色,利用体积渲染技术计算像素颜色,并对整个网络进行训练;设定新视角并获取相应相机参数,利用训练好的网络参数进行图像渲染。本发明专利技术能高效地从多视角图像数据中重建出高质量三维场景,有效重建复杂表面反射效果,实现新视角下的逼真图像渲染。

【技术实现步骤摘要】

本专利技术属于计算机视觉,具体涉及一种基于神经基和张量分解的神经辐射场渲染方法和装置


技术介绍

1、三维重建在数字孪生、虚拟现实、自动驾驶和机器人等多个领域有着重要的应用价值。在众多三维重建技术中,基于神经辐射场(参考文献题目为nerf: representingscenes as neural radiance fields for view synthesis(nerf:以神经辐射场表示场景用于视图合成))的三维重建技术以其独特的优势,在生成高质量新视角图像和深度估计方面展示出了巨大潜力。相较于传统方法,nerf在生成高质量的新视角图像和深度估计方面,利用多层感知器网络(multilayer perceptron,mlp)将三维场景表示为辐射场,这一表示方式使得场景中每个点的颜色和密度都与观察角度紧密相关,从而能够捕捉到光线在场景中的传播与累积过程,从而生成具有逼真效果的新视角图像。

2、nerf的核心在于其可微分的体积渲染技术,这一技术使得nerf能够将辐射场连续地渲染为图像,从而实现了对新视角图像的精准合成。在训练过程中,nerf通过本文档来自技高网...

【技术保护点】

1.一种基于神经基和张量分解的神经辐射场渲染方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述根据选定训练视角下的相机参数对张量分解的辐射场进行采样得到密度特征张量和纹理特征张量,包括:

3.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述将密度特征张量转换为密度值,包括:

4.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述将纹理特征张量转换为神经基,包括:

5.根据权利要求1所述的基于神经基和张量分解的神经辐射场...

【技术特征摘要】

1.一种基于神经基和张量分解的神经辐射场渲染方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述根据选定训练视角下的相机参数对张量分解的辐射场进行采样得到密度特征张量和纹理特征张量,包括:

3.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述将密度特征张量转换为密度值,包括:

4.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述将纹理特征张量转换为神经基,包括:

5.根据权利要求1所述的基于神经基和张量分解的神经辐射场渲染方法,其特征在于,所述基于神经基通过系数网络计算得到仿射矩阵和偏置,利用仿射矩阵、偏置和观测方向进行仿射变换得到神经基的系数,包括:

...

【专利技术属性】
技术研发人员:邢文鹏韩蒙李荣昌林昶廷董建锋王滨金波
申请(专利权)人:浙江君同智能科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1