基于三维高斯溅射和SAM二维分割模型的三维分割方法技术

本发明专利技术公开了一种基于三维高斯溅射和SAM二维分割模型的三维分割方法，属于三维图像处理领域，包括如下步骤：获取现有公开数据集的RGB图像，通过三维高斯溅射方法训练出三维高斯场景；构建新视角选择器，并通过新视角选择器挑选出用于三维分割的最优分割视角；借助SAM二维分割模型计算出二维分割掩膜，采用基于三维高斯空间信息的分离算法初始分割三维高斯场景，获得粗糙三维分割掩膜；构建联合三维高斯深度和颜色信息的背景滤波器，滤除粗糙三维分割掩膜中的背景高斯点，保留前景分割结果，进而得到最终的三维高斯场景；采用三维高斯溅射方法进行渲染，得到去除背景后的前景图像。本发明专利技术可以实现精准的前景‑背景分割。

【技术实现步骤摘要】

本专利技术属于三维图像处理领域，具体涉及一种基于三维高斯溅射和sam二维分割模型的三维分割方法。

技术介绍

1、三维场景分割的目的在于分割三维重建场景中的独立物体，在现有技术中，神经辐射场（nerf）是一种基于深度学习的三维重建方法，通过神经网络学习场景的体积表示来生成高质量的图像和视角。神经辐射场使用一个多层感知机（mlp）网络，将三维空间中的点坐标和视角信息映射到该点的颜色和透明度，从而实现逼真的光线传输模拟。通过优化网络参数，神经辐射场可以从一组稀疏的2d图像中重建出完整的三维场景。三维高斯溅射方法是一种基于高斯分布的三维点云表示方法，通过将三维空间中的点表示为具有特定形状和分布的高斯核来实现高效的三维重建与渲染；每个“溅射”点（即高斯点）被视为一个具有位置、颜色、透明度和协方差矩阵的三维高斯分布，能够捕捉局部的几何细节和光照信息。通过将这些高斯点进行优化和融合，可以生成高质量、连续的三维物体表面，尤其适用于处理复杂的三维场景、点云数据和快速渲染。

2、然而，现有的方法无论是通过神经辐射场还是三维高斯溅射将二维信息整合到三维空间时，都不可本文档来自技高网...

【技术保护点】

1.一种基于三维高斯溅射和SAM二维分割模型的三维分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于三维高斯溅射和SAM二维分割模型的三维分割方法，其特征在于，所述步骤1中，采用的公开数据集包括前向场景数据集LLFF和360度场景数据集Mip-NeRF360；其中，前向场景数据集LLFF包括八个场景，分别是蕨类树、花朵、塔、树叶、三角龙头骨、兰花、房间、霸王龙骨架，每个场景中的图像数目均不相同，均在20到62张之间；360度场景数据集Mip-NeRF360包含七个场景，分别是自行车、盆景、房间角落、花园、厨房、房间中的乐高、树桩，每个场景中的图像数目均不相同，均...

【技术特征摘要】

1.一种基于三维高斯溅射和sam二维分割模型的三维分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于三维高斯溅射和sam二维分割模型的三维分割方法，其特征在于，所述步骤1中，采用的公开数据集包括前向场景数据集llff和360度场景数据集mip-nerf360；其中，前向场景数据集llff包括八个场景，分别是蕨类树、花朵、塔、树叶、三角龙头骨、兰花、房间、霸王龙骨架，每个场景中的图像数目均不相同，均在20到62张之间；360度场景数据集mip-nerf360包含七个场景，分别是自行车、盆景、房间角落、花园、厨房、房间中的乐高、树桩，每个场...

【专利技术属性】
技术研发人员：王祎然，李豪杰，唐成杰，包永堂，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：