【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体地说是基于多目视觉的三维重建方法及系统。
技术介绍
1、在计算机视觉中，三维重建是指根据单视图或者多视图图像重建三维信息的过程.由于单视图的信息不完全,因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系。然后利用多个二维图象中的信息重建出三维信息。因三维重建对图像、光学、成像理论以及一些重要数学公式的推导要求较高，三维重建也存如成本预算大、物体运动影响、纹理缺失、曝光、暗环境等痛点难点。
2、近年来，三维重建技术的运用越发广泛，其在物体建模、自动驾驶、运动目标检测、机器人导航、目标识别等科学领域和工程领域中有着广泛的应用需求。三维重建在现代化发展的高效率需求下有减少设计费用，缩短设计周期的优势。
3、在重建背景复杂、重建目标结构复杂、目标受遮挡的目标时，如何在较短时间内实现目标物体的三维重建，是需要解决的技术问题。
技术实现思路
1、本专利技术的技术任务是针对以上不足，提供基于多目视觉的三维重建方法，来解决如何在较短时间内实现目标物体的三维重建的技术问题。
2、第一方面，本专利技术一种基于多目视觉的三维重建方法，包括如下步骤：
3、二维图像采集：对于待重建三维目标，通过相机拍摄三维目标在不同视角下的多张二维图像；
4、特征提取与匹配：对于多张二维图像，通过sift算法提取图像特征点并进行特征
5、相机重定位：求解相机运动情况并对相机重定位；
6、稀疏点云重建：通过ba算法进行稀疏点云重建，得到稀疏点云；
7、三维稠密点云重建：基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
8、作为优选，通过sift算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
9、基于关键点描述子进行特征匹配时，执行如下：
10、对于特征点基于关键点描述子计算特征点与其它特征点的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与距离最近的作为与相匹配的特征点，得到与特征点匹配的特征点；
11、其中，m＝1,2,…,m，n＝1,2,…,n。
12、作为优选，当相机为双目相机时，通过icp算法或pnp算法求解相机的运动情况；
13、当相机为单目相机时，通过对极几何原理求解相机运动情况。
14、作为优选，基于稀疏点云，通过深度图融合算法进行三维稠密点云重建，包括如下步骤：
15、以一张参考图像和多张原始图像为输入；
16、对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；
17、根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足ncc的两个像素点作为种子点进行排序，建立优先队列等级；
18、从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；
19、计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；
20、优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
21、作为优选，进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列；
22、根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
23、第二方面，本专利技术一种基于多目视觉的三维重建系统，用于通过如第一方面任一项所述的基于多目视觉的三维重建方法实现目标物的三维重建，所述方法包括如下步骤：
24、二维图像采集模块，对于待重建三维目标，所述二维图像采集模块用于通过相机拍摄三维目标在不同视角下的多张二维图像；
25、特征提取与匹配模块，对于多张二维图像，所述特征提取与匹配模块用于通过sift算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系；
26、相机重定位模块，所述相机重定位模块用于求解相机运动情况并对相机重定位；
27、稀疏点云重建模块，所述稀疏点云重建模块用于通过ba算法进行稀疏点云重建，得到稀疏点云；
28、三维稠密点云重建模块，所述三维稠密点云重建模块用于基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
29、作为优选，所述特征提取与匹配模块用于通过sift算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
30、基于关键点描述子进行特征匹配时，所述特征提取与匹配模块用于执行如下：
31、对于特征点基于关键点描述子计算特征点与其它特征点的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与距离最近的作为与相匹配的特征点，得到与特征点匹配的特征点；
32、其中，m＝1,2,…,m，n＝1,2,…,n。
33、作为优选，当相机为双目相机时，所述相机重定位模块用于通过icp算法或pnp算法求解相机的运动情况；
34、当相机为单目相机时，所述相机重定位模块用于通过对极几何原理求解相机运动情况。
35、作为优选，所述三维稠密点云重建模块用于执行如下以实现基于稀疏点云、通过深度图融合算法进行三维稠密点云重建：
36、以一张参考图像和多张原始图像为输入；
37、对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；
38、根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足ncc的两个像素点作为种子点进行排序，建立优先队列等级；
39、从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；
40、计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；
41、优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
42、作为优选，进行三维稠密点云重建过程中，所述三维稠密点云重建模块用于根据像素块间颜色的相近度建立优先队列；
43、所述三维稠密点云重建模块用于根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
44、本专利技术的基于多目视觉的三维重建方法及系统本文档来自技高网...
【技术保护点】
1.一种基于多目视觉的三维重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
3.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，当相机为双目相机时，通过ICP算法或PnP算法求解相机的运动情况；
4.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，基于稀疏点云，通过深度图融合算法进行三维稠密点云重建，包括如下步骤：
5.根据权利要求4所述的基于多目视觉的三维重建方法，其特征在于，进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列；
6.一种基于多目视觉的三维重建系统，其特征在于，用于通过如权利要求1-5任一项所述的基于多目视觉的三维重建方法实现目标物的三维重建，所述方法包括如下步骤：
7.根据权利要求6所述的基于多目视觉的三维重建系统，其特征在于，所述特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配时
8.根据权利要求6所述的基于多目视觉的三维重建系统，其特征在于，当相机为双目相机时，所述相机重定位模块用于通过ICP算法或PnP算法求解相机的运动情况；
9.根据权利要求6所述的基于多目视觉的三维重建系统，其特征在于，所述三维稠密点云重建模块用于执行如下以实现基于稀疏点云、通过深度图融合算法进行三维稠密点云重建：
10.根据权利要求9所述的基于多目视觉的三维重建系统，其特征在于，
...【技术特征摘要】
1.一种基于多目视觉的三维重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，通过sift算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
3.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，当相机为双目相机时，通过icp算法或pnp算法求解相机的运动情况；
4.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，基于稀疏点云，通过深度图融合算法进行三维稠密点云重建，包括如下步骤：
5.根据权利要求4所述的基于多目视觉的三维重建方法，其特征在于，进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列；
6.一种基于多目视觉的三维重建系统，其特征在于...
【专利技术属性】
技术研发人员：张熠特，李照川，王冠军，孙源，董作肖，刘琪琪，李捷明，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。