基于延迟渲染与三维高斯的场景重建方法技术

本发明专利技术提供了一种基于延迟渲染与三维高斯的场景重建方法，包括：S1.基于多视图图像生成初始三维点云数据；S2.构建用于三维高斯建模的可训练结构体；S3.通过对高斯椭球基元进行法线初始化与残差优化，并结合深度一致性约束，实现一套可微、可学习的法线重建机制，以增强光照建模的几何表达能力；S4.引入基于环境光与反射方向的反射训练机制，生成基于视角下的高斯属性；S5.通过可微的高斯溅射渲染算法生成最终图像，并通过与真实图像的像素损失进行优化。本发明专利技术显著提升了高斯溅射模型在复杂光照条件下的真实感与几何一致性，解决了现有基于三维高斯溅射模型在复杂光照条件下渲染效果不真实、表面法线估计不准确及其传播能力弱等技术问题。

【技术实现步骤摘要】

本专利技术属于计算机图形学与三维重建，具体涉及基于延迟渲染与三维高斯的场景重建方法。

技术介绍

1、生成逼真的新颖视图（novel view synthesis，nvs）一直是三维重建领域的核心挑战，旨在从稀疏多视角图像重建三维场景，并在任意新视角下渲染出高保真、几何连贯的合成图像。该技术在医疗影像重建、工业精密检测、文化遗产保护、虚拟现实系统及自动驾驶环境感知等领域具有重要应用价值。

2、传统三维场景表征存在显式与隐式双重范式：显式表征依赖离散几何结构（如点云、体素网格）通过图形管线硬件加速实现实时渲染，却受限于奈奎斯特采样定理约束致使微观结构重建精度与高频细节复现能力呈现指数级衰减；隐式函数表征通过连续数学函数（如符号距离函数、辐射场）构建可微分体渲染模型，典型代表为神经辐射场（neuralradiance fields，nerf[1]），能够实现具有视角相关特性的高精度光照重建，该方法以多层感知机（multi-layer perceptron，mlp）作为核心运算架构，因而计算复杂度显著增加，难以满足医疗影像、工业检测等场景的实时交互需求本文档来自技高网...

【技术保护点】

1.一种基于延迟渲染与三维高斯的场景重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于延迟渲染与三维高斯的场景重建方法，其特征在于，在步骤S1中，所述三维点云由离散三维点集构成，包含世界坐标系下的三维空间坐标及关联的RGB色彩属性；相机参数体系则包含内参矩阵与外参矩阵两组核心参数。

3.根据权利要求1所述的基于延迟渲染与三维高斯的场景重建方法，其特征在于，在步骤S2中，利用稀疏点云和相机位姿作为输入，构建包含三维位置、协方差矩阵、透明度、颜色的可学习属性的三维高斯结构体，用于表征三维空间中每个高斯点的外观和形状特性，从而为可微渲染和反射建模提供参数...

【技术特征摘要】

1.一种基于延迟渲染与三维高斯的场景重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于延迟渲染与三维高斯的场景重建方法，其特征在于，在步骤s1中，所述三维点云由离散三维点集构成，包含世界坐标系下的三维空间坐标及关联的rgb色彩属性；相机参数体系则包含内参矩阵与外参矩阵两组核心参数。

3.根据权利要求1所述的基于延迟渲染与三维高斯的场景重建方法，其特征在于，在步骤s2中，利用稀疏点云和相机位姿作为输入，构建包含三维位置、协方差矩阵、透明度、颜色的可学习属性的三维高斯结构体，用于表征三维空间中每个高斯点的外观和形状特性，从而为可微渲染和反射建模提供参数化支持， 世界坐标系下，以稀疏点云作为中心点定义三维高斯椭球基元，其空间分布特性：

4.根据权利要求1所述的基于延迟渲染与三维高斯的场景重建方法，其特征在于...

【专利技术属性】
技术研发人员：陈中衡，张世雄，魏文应，肖铁军，邓严萍，李宇浩，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：