一种基于场景自适应局部体素多平面图像的三维场景表示模型构建方法技术

技术编号:43897316 阅读:19 留言:0更新日期:2025-01-03 13:10
本发明专利技术属于三维重建领域,具体涉及一种基于场景自适应局部体素多平面图像的三维场景表示模型构建方法,包括:对待表示的三维场景划分为体素网格,构建每个体素的全局多平面图像MPI;确定每个已知视角下不同光线分别与各体素MPI的交点,将每个光线对应的各交点的三维位置坐标分别编码为多维位置向量、方向分别编码为多维方向向量,该光线对应的多维位置向量集合、多维方向向量集合以及该光线在已采集场景图像中所对应像素的颜色标签构成一个训练样本;构建三维场景表示网络,包括每个体素的位置多层MLP网络、方向多层MLP网络和颜色计算单元;采用训练样本训练,得到三维场景表示模型。本发明专利技术能有效捕获局部区域的细节特征。

【技术实现步骤摘要】

本专利技术属于三维重建领域,更具体地,涉及一种基于场景自适应局部体素多平面图像的三维场景表示模型构建方法


技术介绍

1、现有基于全局多平面图像的三维场景表达方法,将三维场景分解为沿参考相机视锥方向的多个平行前向半透明平面mpi,即在参考相机下构建的垂直于参考相机的固定深度的一定数量的多平面,平面上的点分别由参考相机和目标相机观察到,这种视角一致性允许mpi用更少的采样光线表达某一视角下的整个场景。一个典型的例子是nex,它使用具有固定深度分布的全局mpi来表示3d场景,并使用大型mlp网络进行全局学习,以编码mpi的颜色和不透明度信息。然而,这种方法对于三维场景中的局部纹理渲染不够丰富,在合成某一视角下的三维场景图像时所合成的三维场景图像效果不佳。

2、最近的研究通过使用局部平面改善了场景中的局部纹理表现。例如,neurmips利用点云构建局部平面,具体的,采用sfm三维重建方法,基于colmap软件,得到三维点云(场景中的三维点云坐标),将三维点云聚类成多个局部平面,并利用大型全局的mlp网络学习局部平面的纹理和几何特征,最后通过小型的ml本文档来自技高网...

【技术保护点】

1.一种基于场景自适应局部体素多平面图像的三维场景表示模型构建方法,其特征在于,包括:

2.根据权利要求1所述的三维场景表示模型构建方法,其特征在于,采用频率长度为m的正弦函数进行m维向量编码,以得到所述多维位置向量和所述多维方向向量。

3.根据权利要求2所述的三维场景表示模型构建方法,其特征在于,所述多维位置向量的编码方式为:采用频率长度为20的正弦函数将每个光线对应的各交点的平面位置坐标分别编码成40维向量;采用频率长度为8的正弦函数将该光线对应的各交点的深度坐标分别编码成16维向量;将所述40维向量和16维向量拼接,得到对应交点的所述多维位置向量;

<...

【技术特征摘要】

1.一种基于场景自适应局部体素多平面图像的三维场景表示模型构建方法,其特征在于,包括:

2.根据权利要求1所述的三维场景表示模型构建方法,其特征在于,采用频率长度为m的正弦函数进行m维向量编码,以得到所述多维位置向量和所述多维方向向量。

3.根据权利要求2所述的三维场景表示模型构建方法,其特征在于,所述多维位置向量的编码方式为:采用频率长度为20的正弦函数将每个光线对应的各交点的平面位置坐标分别编码成40维向量;采用频率长度为8的正弦函数将该光线对应的各交点的深度坐标分别编码成16维向量;将所述40维向量和16维向量拼接,得到对应交点的所述多维位置向量;

4.根据权利要求1所述的三维场景表示模型构建方法,其特征在于,所述n的取值为2。

5.根据权利要求1所述的三维场景表示模型构建方法,其特征在于,采用基函数集合、颜色系数向量集合和基本颜色向量之间的预设线性关系,执行所述颜色和所述不透明度的计算。

6.一种三维场景新...

【专利技术属性】
技术研发人员:刘雨丁新刘琼杨铀
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1