基于视觉SLAM的三维场景重建方法和装置制造方法及图纸

本发明专利技术公开了一种基于视觉SLAM的三维场景重建方法和装置，其中所述方法包括如下步骤：视觉信息获取：使得移动机器人在三维场景中自由移动以采集图像，并利用SLAM算法来估计所述移动机器人的位姿信息；点云重建：利用SIFT算法提取采集到的图像中的特征点并进行匹配，并将匹配后的特征点和对应的所述移动机器人的位姿信息利用SFM算法进行稀疏点云重建，然后对重建的所述稀疏点云进行稠密点云重建；以及表面重建：对重建的稠密点云进行表面重建，从而完成对所述三维场景的重建。本发明专利技术运行速度高、对于硬件要求较低并且具有良好的尺度不变性。并且，本发明专利技术进一步重建出物体表面信息，从而使得重建的三维场景精度较高。

【技术实现步骤摘要】
基于视觉SLAM的三维场景重建方法和装置
本专利技术涉及三维场景重建的
，具体地，涉及一种基于视觉SLAM的三维场景重建方法和装置。
技术介绍
计算机视觉已经成为机器人领域的一个重大话题，实时定位和地图构建(SLAM)方法在过去十几年吸引了大量的研究人员。在基于摄像传感装置Kinect实现的单目视觉SLAM系统研究方面，尼古拉斯(Nikolas)等人利用Kinect实现了一个实时SLAM系统，并将这一系统集成到只读存储器(ROS)中。亨利(Henry)等人利用Kinect实现了一个交互的实时三维重建系统，即深度图像映射(RGB-DMapping)，该系统根据用户需要，选取不同的关键帧进行最近点迭代算法(ICP)配准，其重建出的点云能很好的与建筑俯视图相吻合，但该系统实际运行速度不高，未进行ICP配准运行帧率为5每秒帧数(fps)，而进行ICP配准后单帧处理时间至少需要500毫秒。微软研究院的推出的KinectFusion是一种基于图形处理单元(GPU)计算的实时定位与重建系统，实现了动态场景的增强显示。该系统利用GPU实现了实时ICP配准，并同步地生成三维环境地图。由于ICP算法计算复杂度高，而利用GPU加速的ICP算法对于硬件要求较高，制约了其使用范围。然而，现有技术中基于视觉SLAM的三维场景重建方法仅利用SLAM系统通过特征点匹配重建出点云，对于硬件要求较高，运行速度不高，SLAM算法的尺度不变性较差，并且对于物体表面信息也没有进行重建，从而重建的三维场景精度较差。
技术实现思路
鉴于以上问题，本专利技术结合了SLAM算法和运动恢复结构(SFM)算法，将图片信息用SLAM算法估计移动机器人的位姿信息，并用SFM算法进行特征点提取与匹配并重建出点云。此外，还通过泊松算法对物体表面信息进行重建。为了实现上述目的，本专利技术采用以下技术方案：本专利技术公开了一种基于视觉SLAM的三维场景重建方法，包括如下步骤：步骤S1：视觉信息获取：使得移动机器人在三维场景中自由移动以采集图像，并利用SLAM算法来估计所述移动机器人的位姿信息；步骤S2：点云重建：利用SIFT算法提取采集到的图像中的特征点并进行匹配，并将匹配后的特征点和对应的所述移动机器人的位姿信息利用SFM算法进行稀疏点云重建，然后进行稠密点云重建；以及步骤S3：表面重建：对重建的稠密点云进行表面重建，从而完成对所述三维场景的重建。优选地，在步骤S1中，利用机器人传感器Kinect相机来采集图像，采集的图像为彩色图像和深度图像。优选地，在步骤S1中，利用所述SLAM算法的后端非线性优化算法来估计所述移动机器人的位姿信息。优选地，在步骤S2中，利用所述SFM算法中的RANSAC算法进行稀疏点云重建，利用CMVS或PMVS算法进行稠密点云重建。优选地，在步骤S3中，利用泊松算法进行表面重建。优选地，在步骤S3中，对重建的稠密点云进行表面重建之前，先利用k-d树算法对重建的稠密点云进行双边滤波。本专利技术还公开了一种基于视觉SLAM的三维场景重建装置，包括如下模块：视觉信息获取模块，包括采集模块和估计模块，其中所述采集模块采集移动机器人在三维场景中自由移动所拍摄的图像，所述估计模块利用SLAM算法来估计所述移动机器人的位姿信息；点云重建模块，包括特征匹配模块、稀疏点云重建模块和稠密点云重建模块，其中所述特征匹配模块利用SIFT算法提取采集到的图像中的特征点并进行匹配，所述稀疏点云重建模块将匹配后的特征点和对应的移动机器人的位姿信息利用SFM算法进行稀疏点云重建，所述稠密点云重建模块对稀疏点云进行稠密点云重建；以及表面重建模块，包括后重建模块，所述后重建模块对重建的所述稠密点云进行表面重建，从而完成对所述三维场景的重建。优选地，所述采集模块包括机器人传感器Kinect相机模块，采集的图像为彩色图像和深度图像，所述估计模块利用所述SLAM算法的后端非线性优化算法来估计所述移动机器人的位姿信息。优选地，所述稀疏点云重建模块利用所述SFM算法中的RANSAC算法进行稀疏点云重建，所述稠密点云重建模块利用CMVS或PMVS算法进行稠密点云重建。优选地，所述后重建模块利用泊松算法进行表面重建，并且所述表面重建模块还包括滤波模块，所述滤波模块在对重建的稠密点云进行表面重建之前，先利用k-d树算法对重建的稠密点云进行双边滤波。与现有技术相比，本专利技术具有以下优点和有益效果：将SLAM算法与SFM算法应用到机器人中，从而运行速度高、对于硬件要求较低并且具有良好的尺度不变性。并且，本专利技术进一步重建出物体表面信息，从而使得重建的三维场景精度较高。附图说明图1是基于视觉SLAM的三维场景重建方法的流程图；图2是基于视觉SLAM的三维场景重建装置的结构图。具体实施方式下面将参考附图，对本专利技术做进一步详细的说明，以便于本专利技术更加清楚和易于理解。本领域的普通技术人员可以认识到，在不偏离本专利技术的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。参照图1，本专利技术公开了一种基于视觉SLAM的三维场景重建方法，包括如下步骤：步骤S1：视觉信息获取：使得移动机器人在三维场景中自由移动以采集图像，并利用SLAM算法来估计移动机器人的位姿信息；步骤S2：点云重建：利用尺度不变特征变换(SIFT)算法提取采集到的图像中的特征点并进行匹配，并将匹配后的特征点和对应的移动机器人的位姿信息利用SFM算法进行稀疏点云重建，然后对重建的稀疏点云进行稠密点云重建；步骤S3：表面重建：对重建的稠密点云进行表面重建，从而完成对三维场景的重建。在步骤S1中，优选地，利用机器人传感器Kinect相机来采集图像，采集的图像为彩色图像和深度图像。在步骤S1中，优选地，利用SLAM算法的后端非线性优化算法来估计移动机器人的位姿信息。在步骤S2中，优选地，利用SFM算法中的随机抽样一致性算法(RANSAC)进行稀疏点云重建，利用多视角密集匹配(CMVS或PMVS)进行稠密点云重建。在步骤S3中，优选地，利用泊松算法进行表面重建。泊松表面重建把所有的点都考虑在内，对噪声点有很好的弹性。它允许的层次结构支持局部的基函数，因此对稀疏线性系统的情况有很好的支持。在步骤S3中，优选地，对重建的稠密点云进行表面重建之前，先利用k维树(k-d树)算法对重建的稠密点云进行双边滤波。此外，本专利技术还公开了一种基于视觉SLAM的三维场景重建装置，包括如下模块：视觉信息获取模块，包括采集模块和估计模块，其中采集模块采集移动机器人在三维场景中自由移动所拍摄的图像，估计模块利用SLAM算法来估计移动机器人的位姿信息；点云重建模块，包括特征匹配模块、稀疏点云重建模块和稠密点云重建模块，其中特征匹配模块利用SIFT算法提取采集到的图像中的特征点并进行匹配，稀疏点云重建模块将匹配后的特征点和对应的移动机器人的位姿信息利用SFM算法进行稀疏点云重建，稠密点云重建模块对稀疏点云进行稠密点云重建；表面重建模块，包括后重建模块，对重建的稠密点云进行表面重建，从而完成对三维场景的重建。优选地，采集模块包括机器人传本文档来自技高网...

【技术保护点】
1.一种基于视觉SLAM的三维场景重建方法，包括如下步骤：步骤S1：视觉信息获取：使得移动机器人在三维场景中自由移动以采集图像，并利用SLAM算法来估计所述移动机器人的位姿信息；步骤S2：点云重建：利用SIFT算法提取采集到的图像中的特征点并进行匹配，并将匹配后的特征点和对应的所述移动机器人的位姿信息利用SFM算法进行稀疏点云重建，然后对重建的所述稀疏点云进行稠密点云重建；以及步骤S3：表面重建：对重建的稠密点云进行表面重建，从而完成对所述三维场景的重建。

【技术特征摘要】
1.一种基于视觉SLAM的三维场景重建方法，包括如下步骤：步骤S1：视觉信息获取：使得移动机器人在三维场景中自由移动以采集图像，并利用SLAM算法来估计所述移动机器人的位姿信息；步骤S2：点云重建：利用SIFT算法提取采集到的图像中的特征点并进行匹配，并将匹配后的特征点和对应的所述移动机器人的位姿信息利用SFM算法进行稀疏点云重建，然后对重建的所述稀疏点云进行稠密点云重建；以及步骤S3：表面重建：对重建的稠密点云进行表面重建，从而完成对所述三维场景的重建。2.根据权利要求1所述的三维场景重建方法，在步骤S1中，利用机器人传感器Kinect相机来采集图像，采集的图像为彩色图像和深度图像。3.根据权利要求1所述的三维场景重建方法，在步骤S1中，利用所述SLAM算法的后端非线性优化算法来估计所述移动机器人的位姿信息。4.根据权利要求1所述的三维场景重建方法，在步骤S2中，利用所述SFM算法中的RANSAC算法进行稀疏点云重建，利用CMVS或PMVS算法进行稠密点云重建。5.根据权利要求1所述的三维场景重建方法，在步骤S3中，利用泊松算法进行表面重建。6.根据权利要求1所述的三维场景重建方法，在步骤S3中，对重建的稠密点云进行表面重建之前，先利用k-d树算法对重建的稠密点云进行双边滤波。7.一种基于视觉SLAM的三维场景重建装置，包括如下模块：视觉信息获...

【专利技术属性】
技术研发人员：叶龙，王孟迪，钟微，方力，张勤，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：北京,11