System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 三维场景构建方法、装置、计算机设备和存储介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>湖南大学专利>正文

三维场景构建方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40949108 阅读:4 留言:0更新日期:2024-04-18 20:23
本申请涉及一种三维场景构建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:基于球面相机在位姿变换过程中针对同一场景拍摄得到的视频,对球面相机进行位姿分析,确定球面相机对应于视频中每一视频帧各自的位姿信息;分别确定每一位姿信息下,球面相机各自的球面深度信息;基于各球面深度信息进行球面场景重建,得到场景中所包含对象的三维表面;三维表面包括多个三角形面片;分别将每一三角形面片投影至三角形面片所属的视频帧内,得到各视频帧各自的投影结果;基于投影结果满足可视条件的目标视频帧对应的三角形纹理,对三维表面进行纹理映射,得到视频对应的三维场景,可以提高三维场景构建的质量。

【技术实现步骤摘要】

本申请涉及深度图像,特别是涉及一种三维场景构建方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着深度图像技术的发展,采用三维场景构建方法可以在单幅或多幅图像的基础上构建完整三维图像场景,客观真实地反映真实的图像场景模型。

2、传统的三维场景构建方法中,考虑到基于透视图像构建三维场景会造成很大的采集图像消耗,一般通过球面图像构建三维场景,但由于球面图像与透视头像在成像模型上有极大区别,导致三维场景的构建效果很不理想。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高三维场景构建效果的三维场景构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种三维场景构建方法。所述方法包括:基于球面相机在位姿变换过程中针对同一场景拍摄得到的视频,对所述球面相机进行位姿分析,确定所述球面相机对应于所述视频中每一视频帧各自的位姿信息;分别确定每一所述位姿信息下,所述球面相机各自的球面深度信息;基于各所述球面深度信息进行球面场景重建,得到所述场景中所包含对象的三维表面;所述三维表面包括多个三角形面片;分别将每一所述三角形面片投影至所述三角形面片所属的视频帧内,得到各所述视频帧各自的投影结果;基于投影结果满足可视条件的目标视频帧对应的三角形纹理,对所述三维表面进行纹理映射,得到所述视频对应的三维场景。

3、在其中一个实施例中,所述分别确定每一所述位姿信息下,所述球面相机各自的球面深度信息,包括:针对每一所述位姿信息,基于所述位姿信息的相邻位姿信息对所述位姿信息进行球面坐标矫正,得到所述位姿信息对应的位姿矫正信息;将所述位姿矫正信息和所述相邻位姿信息各自对应的球面图像进行横向圆柱投影,确定每一所述球面图像分别对应的矩形球面图像;将各所述矩形球面图像输入光流估计网络,得到各所述矩形球面图像之间的球面像素视差;根据所述矩形球面图像的图像宽度对所述球面像素视差进行运算,确定球面视差,并基于所述球面视差确定所述位姿信息的球面深度信息。

4、在其中一个实施例中,所述球面深度信息包括深度图像;所述基于各所述球面深度信息进行球面场景重建,得到所述场景中所包含对象的三维表面,包括:确定所述深度图像中包含的多个节点;针对每一所述深度图像,基于表面重建算法确定所述深度图像中每一所述节点各自的截断数值和权重系数;基于各所述视频帧各自的拍摄时间,确定每一所述深度图像各自的历史深度图像;针对所述深度图像中的每一所述节点,基于所述深度图像的历史深度图像中所述节点的截断数值和权重系数,确定所述节点对应于所述深度图像的更新截断数值;基于移动立方体法对各所述更新截断数值进行运算,确定所述场景中所包含对象的三维表面。

5、在其中一个实施例中,所述深度图像在初始状态下包括多个初始节点;所述确定所述深度图像中包含的多个节点,包括:基于所述初始节点的深度信息,判断所述初始节点是否满足平衡条件;若所述初始节点的深度值满足平衡条件,则确定所述初始节点的立体角数值;在所述立体角数值满足数值条件的情况下,将所述初始节点确定为所述深度图像中包含的节点;在所述立体角数值不满足所述数值条件的情况下,对所述初始节点进行八叉细分,得到所述初始节点对应的八个候选节点;将所述候选节点作为初始节点,并返回所述基于所述初始节点的深度信息,判断所述初始节点是否满足平衡条件的步骤,直至所有的候选节点均被确定为所述深度图像中包含的节点。

6、在其中一个实施例中,所述三维场景构建方法还包括:若所述初始节点的深度值不满足平衡条件,则将所述初始节点进行二叉细分,得到所述初始节点对应的两个候选节点;将所述候选节点作为初始节点,并返回所述基于所述初始节点的深度信息,判断所述初始节点是否满足平衡条件的步骤,直至所有的候选节点均被确定为所述深度图像中包含的节点。

7、在其中一个实施例中,所述三维场景构建方法还包括:基于所述投影结果确定所述视频帧的可视属性;所述可视属性包含未被遮挡和被遮挡;将可视属性为未被遮挡的视频帧确定为目标视频帧。

8、第二方面,本申请还提供了一种三维场景构建装置。所述装置包括:

9、位姿分析模块,用于基于球面相机在位姿变换过程中针对同一场景拍摄得到的视频,对所述球面相机进行位姿分析,确定所述球面相机对应于所述视频中每一视频帧各自的位姿信息;

10、球面深度信息确定模块,用于分别确定每一所述位姿信息下,所述球面相机各自的球面深度信息;

11、球面场景重建模块,用于基于各所述球面深度信息进行球面场景重建,得到所述场景中所包含对象的三维表面;所述三维表面包括多个三角形面片;

12、投影结果确定模块,分别将每一所述三角形面片投影至所述三角形面片所属的视频帧内,得到各所述视频帧各自的投影结果;

13、纹理映射模块,用于基于投影结果满足可视条件的目标视频帧对应的三角形纹理,对所述三维表面进行纹理映射,得到所述视频对应的三维场景。

14、第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。

15、第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。

16、第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。

17、上述三维场景构建方法、装置、计算机设备、存储介质和计算机程序产品,基于球面相机在位姿变换过程中针对同一场景拍摄得到的视频,对球面相机进行位姿分析,确定球面相机对应于视频中每一视频帧各自的位姿信息,可以确定球面相机的轨迹信息;分别确定每一位姿信息下,球面相机各自的球面深度信息,从而确定每一视频帧中球面相机拍摄到的场景深度情况;基于各球面深度信息进行球面场景重建,得到场景中所包含对象的三维表面,其中,三维表面包括多个三角形面片,可以实现对场景的三维构建,得到场景的三维模型;分别将每一三角形面片投影至三角形面片所属的视频帧内,得到各视频帧各自的投影结果,并基于该投影结果满足可视条件的目标视频帧对应的三角形纹理,对三维表面进行纹理映射,从而得到视频对应的三维场景,可以提高三维场景构建的质量。

本文档来自技高网...

【技术保护点】

1.一种三维场景构建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述分别确定每一所述位姿信息下,所述球面相机各自的球面深度信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述球面深度信息包括深度图像;所述基于各所述球面深度信息进行球面场景重建,得到所述场景中所包含对象的三维表面,包括:

4.根据权利要求3所述的方法,其特征在于,所述深度图像在初始状态下包括多个初始节点;所述确定所述深度图像中包含的多个节点,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述方法还包括:

7.一种三维场景构建装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种三维场景构建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述分别确定每一所述位姿信息下,所述球面相机各自的球面深度信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述球面深度信息包括深度图像;所述基于各所述球面深度信息进行球面场景重建,得到所述场景中所包含对象的三维表面,包括:

4.根据权利要求3所述的方法,其特征在于,所述深度图像在初始状态下包括多个初始节点;所述确定所述深度图像中包含的多个节点,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据...

【专利技术属性】
技术研发人员:李肯立蔡赵兴李瑞辉秦云川刘志中吴帆皮慧龙
申请(专利权)人:湖南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1