一种多视角立体对象重建方法与系统技术方案

本发明专利技术公开了一种利用多视角图像对三维物体进行重建的方法，包括：步骤1、特征点检测与匹配，步骤2、稀疏点云重建，步骤3、稠密点云重建，步骤4、表面重建，步骤5、表面清理，步骤6、纹理贴图。该发明专利技术还公开了一种利用多视角图像对三维物体进行重建的系统。该方法和系统可以利用物体的多视角图像，对该物体的立体对象进行重建，使得最终得到的带有纹理信息的三维模型可以用于零件定位和异常检测要求的复杂应用场景。

【技术实现步骤摘要】
一种多视角立体对象重建方法与系统
本专利技术涉及计算摄像学及三维重建领域，尤其涉及一种利用多视角图像进行立体对象重建的方法及系统。
技术介绍
多视角三维重建是借用一系列由已知参数的摄像机拍摄的图像来从中恢复物体三维信息的过程。其关键步骤有图像特征的提取与匹配，运动恢复结构，稠密匹配与多视角立体视觉，表面计算与重建，纹理贴图。立体对象重建是一种恢复被观测对象三维模型的过程，与工程实践结合十分紧密，目前在处理医学影像来辅助诊断，智能化工业检测，古建筑信息保存等领域已经有较多成果得到了应用。但实际上现有的许多基于多目视觉的三维重建方法面对大规模复杂场景的三维信息恢复仍然存在诸多问题，例如在存在视觉干扰的情况下，无法精确重建出可用于零部件定位和异常检测的高精度立体对象，其效率也得不到保证。目前已有的方法各有优劣，在其适用的特定的应用场景中在精度和效率上表现较好，有些适用于大规模场景，有些则适用于高精度的小规模场景，但多数需要依靠规整的数据才能够保证立体对象重建的效率和精度。然而面对场景特点复杂，视觉数据存在大量的环境噪音的大规模工业场景本文档来自技高网...

【技术保护点】
1.一种多视角立体对象重建方法，包括如下步骤：/n步骤1、特征点检测与匹配，获取被观测物体的多视角图片数据，进行特征点的检测与匹配，得到多视角图片中的特征点和图像间被匹配的特征点对。/n步骤2、稀疏点云重建，利用特征点对的匹配结果，估计摄像机的姿态，同时计算稀疏三维点的位置信息，据此完成被观测物体稀疏点云的重建，该阶段获得的稀疏三维点能够辨别出被观测物体的轮廓；/n步骤3、稠密点云重建，以被观测对象的稀疏三维点作为输入，通过估计深度图，对稀疏点云重建时获得的稀疏特征进行逐个视角的单独重建，最终完成稠密点云的重建，得到稠密三维点；/n步骤4、表面重建，对空间进行划分并构建符号距离场，最后通过面绘...

【技术特征摘要】
1.一种多视角立体对象重建方法，包括如下步骤：
步骤1、特征点检测与匹配，获取被观测物体的多视角图片数据，进行特征点的检测与匹配，得到多视角图片中的特征点和图像间被匹配的特征点对。
步骤2、稀疏点云重建，利用特征点对的匹配结果，估计摄像机的姿态，同时计算稀疏三维点的位置信息，据此完成被观测物体稀疏点云的重建，该阶段获得的稀疏三维点能够辨别出被观测物体的轮廓；
步骤3、稠密点云重建，以被观测对象的稀疏三维点作为输入，通过估计深度图，对稀疏点云重建时获得的稀疏特征进行逐个视角的单独重建，最终完成稠密点云的重建，得到稠密三维点；
步骤4、表面重建，对空间进行划分并构建符号距离场，最后通过面绘制算法生成物体的表面，得到被观测物体的网格模型；
步骤5、表面清理，去除表面重建中由于小面积遮挡引起的对遮挡物体的误重建结果，并进一步去除由于视觉干扰产生的错误三维点及与主体不相交的独立部分，得到清理后的被观测物体的网格模型；
步骤6、纹理贴图，以表面清理后的网格模型为输入，结合2D图像完成纹理的重建，在平滑网格模型的基础上增加纹理的信息，得到带有纹理信息的立体对象，能够应对零件定位和异常检测要求的复杂应用场景。


2.如权利要求1所述的多视角立体对象重建方法，其特征在于，步骤1具体包括：
步骤1.1、以无序图像为输入，构建尺度空间，即将原始图像与一个可变尺度的2维高斯函数进行卷积；
步骤1.2、将图像金字塔化，并结合金字塔化的图像和尺度空间，得到高斯拉普拉斯变换图像；
步骤1.3、将相邻的图像做差，得到高斯差；
步骤1.4、接着在像素点的26个邻域中搜索寻找极值点，得到离散空间上的极值点运用二阶泰勒展开式进行特征点的亚像素定位；
步骤1.4、去除边缘的点后，生成特征描述子和特征匹配点；
步骤1.5、根据最近邻搜索的结果匹配特征点对，设置筛选条件排除错误匹配，至此完成图像特征点的检测与匹配。


3.如权利要求1所述的多视角立体对象重建方法，其特征在于，在步骤2中，每个稀疏三维点X在空间中的三维坐标需要两对匹配点通过以下算法获得：
[xiPi3-Pi1，yiPi3-Pi2]TX＝0
其中X＝[x，y，z，1]T为给定的匹配点的三维坐标，Pi＝Ki[Ri，ti]＝[Pi1，Pi2，Pi3]T为已知的第i个相机的投影公式；Ki是第i个相机的内参矩阵，Ri是第i个相机的旋转矩阵，ti是第i个相机的平移向量，Pi1，Pi2，Pi3分别是投影矩阵Pi的第一列，第二列和第三列。


4.如权利要求1所述的多视角立体对象重建方法，其特征在于，在步骤3中，该步骤具体包括：
步骤3.1、给定一组稀疏三维点f，对稀疏特征进行逐视角的单独重建；接着根据一定的规则进行全局视角V的选择：



其中，f表示在运动恢复结构过程中得到的稀疏点，FR表示视角，FV表示候选的邻域视角；ωN与ωS分别为衡量三角量测夹角和图像尺度相似程度的度量函数；
步骤3.2、进行特征的处理并获得当前稀疏三维点fi投影到参考图像上的距离D，并对其进行优化此时将当前重建的稀疏三维点fi加入到队列Q中，作为种子点；
步骤3.3、进行区域生长的过程，从邻域像素Ni中选出点fj(fj∈Ni)加入队列Q，直至优先权队列Q中的所有点完成重建。


5.如权利要求1所述的多视角立体对象重建方法，其特征在于，步骤5中，表面清理的过程去除了环境噪声导致的退化的三角网格及与主体不相交的孤立网格。

【专利技术属性】
技术研发人员：赵曦滨，陈瑜峰，高跃，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11