三维高斯泼溅方法和装置制造方法及图纸

本申请公开了三维高斯泼溅方法和装置，应用三维重建技术领域，方法包括：获取目标点云并进行初始化处理，得到若干个初始锚点及其特性信息，特性信息包括锚点属性和三维坐标，锚点属性包括偏移坐标、属性特征和尺度缩放因子；根据若干个初始锚点及其特性信息进行多阶段训练优化，得到目标训练结果、多个最优锚点和各最优锚点的特性信息，目标训练结果包括目标升采样模块、目标预测模块、压缩三平面结构和目标掩码；根据目标训练结果、多个最优锚点和各最优锚点的特性信息进行压缩处理，得到目标压缩数据；对目标压缩数据进行解码与渲染处理，得到目标渲染图像。本申请能够降低三维高斯泼溅技术的存储成本，并提升渲染保真度和渲染质量。

【技术实现步骤摘要】

本申请涉及三维重建，尤其是一种三维高斯泼溅方法和装置。

技术介绍

1、得益于神经辐射场技术（neural radiance field，nerf），三维场景表示中的新视角合成任务已经进入新时代。神经辐射场技术及其变体使用多层感知机（multi-layerperceptron，mlp）将坐标与视角方向映射为颜色和密度，通过体渲染（volume rendering，vp）的方式，在新视角合成任务上展现出了极具真实感的渲染结果。虽然神经辐射场技术有效提升了三维场景的渲染质量和保真度，但是其隐式表达并不直观，可控性较低，而且其训练效率较低，无法应用于高分辨率的实时渲染。

2、最近，三维高斯泼溅技术（3d gaussian splatting，3dgs）被提出作为一种有效的三维场景表示技术，其从根本上解决了神经辐射场技术的痛点。三维高斯泼溅技术使用一组通过运动推断结构（structure from motion，sfm）技术生成的神经高斯来表示三维场景，这些神经高斯具有可学习的属性、形状和外观参数，例如颜色、形状和不透明度等，而且这些神经高斯可以泼溅到二本文档来自技高网...

【技术保护点】

1.一种三维高斯泼溅方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的三维高斯泼溅方法，其特征在于，所述根据若干个所述初始锚点和各所述初始锚点的特性信息进行多阶段训练优化，得到目标训练结果、多个最优锚点和各所述最优锚点的特性信息，包括：

3.根据权利要求2所述的三维高斯泼溅方法，其特征在于，所述根据预设掩码、若干个所述初始锚点和各所述初始锚点的特性信息进行第一阶段的训练优化处理，得到第一训练结果，包括：

4.根据权利要求2所述的三维高斯泼溅方法，其特征在于，所述根据预设三平面结构、预设预测模块和所述第一训练结果进行第二阶段的训练优化处理...

【技术特征摘要】

1.一种三维高斯泼溅方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的三维高斯泼溅方法，其特征在于，所述根据若干个所述初始锚点和各所述初始锚点的特性信息进行多阶段训练优化，得到目标训练结果、多个最优锚点和各所述最优锚点的特性信息，包括：

3.根据权利要求2所述的三维高斯泼溅方法，其特征在于，所述根据预设掩码、若干个所述初始锚点和各所述初始锚点的特性信息进行第一阶段的训练优化处理，得到第一训练结果，包括：

4.根据权利要求2所述的三维高斯泼溅方法，其特征在于，所述根据预设三平面结构、预设预测模块和所述第一训练结果进行第二阶段的训练优化处理，得到第二训练结果，包括：

5.根据权利要求4所述的三维高斯泼溅方法，其特征在于，所述基于所述预设三平面结构进行锚点采样处理，得到各所述第二锚点的三平面特征集，包括：

6.根据权利要求4所述的三维高斯泼溅方法，其特征在于，所述根据第轮训练的渲染图像，结合各所述...

【专利技术属性】
技术研发人员：余梓彤，王韬睿，余梓荣，徐勇，
申请(专利权)人：大湾区大学筹，
类型：发明
国别省市：