当前位置: 首页 > 专利查询>清华大学专利>正文

基于总体不确定度的三维场景重建方法及系统技术方案

技术编号:20391878 阅读:59 留言:0更新日期:2019-02-20 03:39
本发明专利技术实施例提供一种基于总体不确定度的三维场景重建方法及系统,该方法包括获取当前图像帧中深度数据点总体不确定度;并基于该总体不确定度,对当前图像帧和已有场景子图关键帧进行对准变换求解,得到当前图像帧与已有场景子图关键帧之间的相机位姿变化值;若相机位姿变化值在设定阈值内,则融合当前图像帧与对应场景子图得到新的场景子图;融合所有场景子图得到三维场景图。本发明专利技术实施例提供的基于总体不确定度的三维场景重建方法及系统采用深度数据测量点处邻域内的数据分布,在线估计深度数据点不确定度,利用该不确定度引导不同图像帧之间深度数据整合,提高三维场景重建系统对低质量彩色‑深度数据噪声的鲁棒性。

【技术实现步骤摘要】
基于总体不确定度的三维场景重建方法及系统
本专利技术涉及计算机视觉和计算机图形学
,尤其涉及一种基于总体不确定度的三维场景重建方法及系统。
技术介绍
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全,因此三维重建需要利用经验知识。而多视图的三维重建相对比较容易,其方法是先对摄像机进行标定,即计算出摄像机的图象坐标系与世界坐标系的关系。然后利用多个二维图象中的信息重建出三维信息。物体三维重建是CAGD(ComputerAidedGeometricDesign,计算机辅助几何设计)、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。无论是物体的高精度三维重建还是场景的高精度三维重建均是混合现实应用和下一代机器人技术中的关键组成部分。而三维重建过程中一般会用到相机进行实景拍摄,尤其在三维场景重建时,消费级彩色-深度相机更是得到广泛应用,其为大量用户访问已扫描三维模型提供了很大便利,同时也带动了彩色-深度扫描和三维重建系统研究的再次兴起。但现有技术中的三维重建系统一般都是基于消费级彩色-深度传感器提供的数据流,采用立体栅格化的隐式场景几何表示方法,即TSDF(TruncatedSignedDistanceFunction,截断符号距离函数),进行三维场景重建,这种场景表示方法对快速的相机位姿跟踪和帧数据融合很有帮助。但是消费级传感器获取到的深度数据总是含有大量的噪声,大量噪声的输入会使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。尤其在大型三维场景重建时,大量噪声的输入还会使得相机位姿跟踪的结果不可用,并恶化漂移误差,降低系统的鲁棒性。
技术实现思路
针对
技术介绍
中现有技术存在的缺陷,本专利技术提供了一种基于总体不确定度的三维场景重建方法及系统。第一方面,本专利技术提供的一种基于总体不确定度的三维场景重建方法,该方法包括:获取当前图像帧中每个深度数据点的总体不确定度;基于所述当前图像帧中每个所述深度数据点的所述总体不确定度,以及所述当前图像帧和已有的场景子图关键帧之间的对准变换矩阵,对所述当前图像帧和已有的所述场景子图关键帧进行对准变换求解,得到所述当前图像帧与所述场景子图关键帧之间的相机位姿变化值,其中所述场景子图关键帧为已有的所述场景子图的第一图像帧;若所述相机位姿变化值在设定阈值内,则将所述当前图像帧与对应场景子图进行深度数据点融合,得到融合后的场景子图;将所有场景子图进行融合,得到重建后的三维场景图。第二方面,本专利技术提供的一种基于总体不确定度的三维场景重建系统,该系统包括:第一处理模块,用于获取当前图像帧中每个深度数据点的总体不确定度;第二处理模块,用于基于所述当前图像帧中每个所述深度数据点的所述总体不确定度,以及所述当前图像帧和已有的场景子图关键帧之间的对准变换矩阵,对所述当前图像帧和已有的所述场景子图关键帧进行对准变换求解,得到所述当前图像帧与所述场景子图关键帧之间的相机位姿变化值,其中所述场景子图关键帧为已有的所述场景子图的第一图像帧;第三处理模块,用于若所述相机位姿变化值在设定阈值内,则将所述当前图像帧与对应场景子图进行深度数据点融合,得到融合后的场景子图;第四处理模块,用于将所有场景子图进行融合,得到重建后的三维场景图。本专利技术实施例提供的基于总体不确定度的三维场景重建方法及系统采用每个深度数据测量点处局部时间邻域内的数据分布,在线估计每个深度数据点的不确定度,并利用该不确定度引导不同图像帧之间深度数据整合,以提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性,并通过融合经过噪声处理后的场景子图得到重建后的三维场景图。附图说明图1为本专利技术实施例提供的基于总体不确定度的三维场景重建方法流程示意图;图2为本专利技术实施例提供的基于总体不确定度的三维场景重建方法中的场景子图融合为三维场景图的流程示意图;图3为本专利技术实施例提供的基于总体不确定度的三维场景重建系统结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。尤其三维场景图的重建在计算机图像处理领域有非常重要的应用。而现有技术中,三维场景图的重建一般基于消费级彩色-深度相机对实景进行拍照,然后通过计算机对图像进行处理,进行三维场景图的重建。但相机中的消费级传感器获取的深度图像中的深度数据会有大量的噪声,从而使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。大型三维场景重建时,大量噪声的输入还会使得相机位姿跟踪的结果不可用,并恶化漂移误差,降低系统的鲁棒性。因此,在三维场景图重建时,如何有效的去除噪声,提高系统的鲁棒性,成了三维场景重建亟待解决的问题。为了解决上述三维场景图重建时,噪声有效去除的技术问题,进一步提高系统鲁棒性,本专利技术实施例提供了一种基于总体不确定度的三维场景重建方法,结合每个深度数据测量点处局部时间邻域内的数据分布,在线估计逐点的不确定度,并利用该不确定度引导不同图像帧之间深度数据整合,以提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性;图1为本专利技术实施例提供的基于总体不确定度的三维场景重建方法流程示意图,如图1所示,该方法包括:步骤10、获取当前图像帧中每个深度数据点的总体不确定度;步骤11、基于当前图像帧中每个深度数据点的总体不确定度,以及当前图像帧和已有的场景子图关键帧之间的对准变换矩阵,对当前图像帧和已有的场景子图关键帧进行对准变换求解,得到当前图像帧与场景子图关键帧之间的相机位姿变化值,其中场景子图关键帧为已有的场景子图的第一图像帧;步骤12、若相机位姿变化值在设定阈值内,则将当前图像帧与对应场景子图进行深度数据点融合,得到融合后的场景子图;步骤13、将所有场景子图进行融合,得到重建后的三维场景图。具体地,上述本专利技术实施例提供的基于总体不确定度的三维场景重建方法具体为逐帧读取消费级彩色-深度相机捕获到的带有噪声的图像帧,通过深度数据处理得到每个深度数据点的总体不确定度,然后通过该总体不确定度引导不同图像帧之间深度数据整合,提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性,即通过当前图像帧中每个深度数据点的总体不确定度以及当前图像帧和已有的场景子图关键帧之间的对准变换矩阵,对当前图像帧和已有的场景子图的第一图像帧进行对准变换求解,得到当前图像帧与场景子图的第一图像帧之间的相机位姿变化值,并将得到的当前图像帧与场景子图的第一图像帧之间的相机位姿变化值与设定阈值进行比较,如果上述相机位姿变化值在设定阈值内,本文档来自技高网
...

【技术保护点】
1.一种基于总体不确定度的三维场景重建方法,其特征在于,包括:获取当前图像帧中每个深度数据点的总体不确定度;基于所述当前图像帧中每个所述深度数据点的所述总体不确定度以及所述当前图像帧和已有的场景子图关键帧之间的对准变换矩阵,对所述当前图像帧和已有的所述场景子图关键帧进行对准变换求解,得到所述当前图像帧与所述场景子图关键帧之间的相机位姿变化值,其中所述场景子图关键帧为已有的所述场景子图的第一图像帧;若所述相机位姿变化值在设定阈值内,则将所述当前图像帧与对应场景子图进行深度数据点融合,得到融合后的场景子图;将所有场景子图进行融合,得到重建后的三维场景图。

【技术特征摘要】
1.一种基于总体不确定度的三维场景重建方法,其特征在于,包括:获取当前图像帧中每个深度数据点的总体不确定度;基于所述当前图像帧中每个所述深度数据点的所述总体不确定度以及所述当前图像帧和已有的场景子图关键帧之间的对准变换矩阵,对所述当前图像帧和已有的所述场景子图关键帧进行对准变换求解,得到所述当前图像帧与所述场景子图关键帧之间的相机位姿变化值,其中所述场景子图关键帧为已有的所述场景子图的第一图像帧;若所述相机位姿变化值在设定阈值内,则将所述当前图像帧与对应场景子图进行深度数据点融合,得到融合后的场景子图;将所有场景子图进行融合,得到重建后的三维场景图。2.根据权利要求1所述的方法,其特征在于,所述获取当前图像帧中每个深度数据点的总体不确定度,具体为:获取所述当前图像帧中每个所述深度数据点的表面采样不确定度和获取所述当前图像帧中每个所述深度数据点的测量不确定度;基于所述表面采样不确定度以及所述测量不确定度,获取所述当前图像帧中每个所述深度数据点的所述总体不确定度。3.根据权利要求2所述的方法,其特征在于,所述获取所述当前图像帧中每个所述深度数据点的表面采样不确定度,具体为:对所述当前图像帧中每个所述深度数据点以及每个所述深度数据点相对应的领域点进行主成分分析,建立相应的局部坐标系以及协方差矩阵,根据所述深度数据点的坐标以及所述协方差矩阵获得所述深度数据点的表面采样不确定度。4.根据权利要求2所述的方法,其特征在于,所述获取所述当前图像帧中每个所述深度数据点的测量不确定度,具体为:基于迭代最近点方法ICP对所述当前图像帧与前后连续多个图像帧进行局部相对变换,得到所述当前图像帧的深度方差图,并基于所述深度方差图得到所述当前图像帧中每个深度数据点的测量不确定度。5.根据权利要求2所述的方法,其特征在于,在所述基于所述表面采样不确定度以及所述测量不确定度,获取所述当前图像帧中每个所述深度数据点的所述总体不确定度后,还包括:根据所述深度数据点的所述表面采样不确定度,建立所述深度数据点的表面采样不确定度模型;根据所述深度数据点的所述测量不确定度,建立所述深度数据点的测量不确定度模型;根据所述深度数据点的所述总体不确定度,建立所述深度数据点的总体不...

【专利技术属性】
技术研发人员:胡事民曹炎培莱夫·科伯特
申请(专利权)人:清华大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1