一种基于双目视觉SLAM的动态场景密集建模方法技术

本发明专利技术公开了一种基于双目视觉SLAM的动态场景密集建模方法，包括：输入双目图像序列，对图像进行纠正，并对图像进行ORB特征点提取，并进行双目系列和时间序列上的匹配；基于多模型拟合进行运动分割，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，并估计出相机和动态物体的运动，进行局部光束法平差优化，得到相机和动态物体的轨迹；结合超像素分割，获得运动物体全部像素点分割结果，进而获得动态物体密集三维模型和静态背景密集点云地图，从而实现在动态场景中同时估计出相机和动态物体运动轨迹，也实现同时对静态背景和动态物体进行密集建模。

A dynamic scene intensive modeling method based on binocular vision slam

【技术实现步骤摘要】
一种基于双目视觉SLAM的动态场景密集建模方法
本专利技术涉及视觉导航
，更为具体地，涉及一种基于双目视觉SLAM的动态场景密集建模方法。
技术介绍
SLAM(simultaneouslocalizationandmapping)，即时定位与地图构建，或并发建图与定位。经过三十多年的不断发展，基于视觉的SLAM即VSLAM现在已经成为机器人领域和计算机视觉领域最火热的研究方向，是目前机器人智能自主导航、无人车自动驾驶、以及增强现实(AR)/虚拟现实(VR)等虚拟场景导航的核心技术。但是通常SLAM方法都是基于静态场景的假设，也就是整个场景都是静态的，不存在动态物体，依靠成对一致性进行工作，当场景中存在较为显著的动态物体时，难以对动态物体进行很好的处理，就难以工作，具体表现为相机位姿估计失败，同时，由于建图依赖于定位的效果，且动态物体会对背景造成遮挡，所以对静态背景建图尤其是密集建图影响很大。目前，通常的解决方法基于语义分割的方法，分割出带特定语义标签的动态物体，将其像素点作为外点完全剔除，消除动态物体的影响，实现精准的相机运动估计本文档来自技高网...

【技术保护点】
1.一种基于双目视觉SLAM的动态场景密集建模方法，其特征在于，包括以下步骤：/nS1，输入双目图像序列，根据已知的相机内参外参对图像进行纠正，对图像进行ORB特征点提取，在每个双目像对中对左右影像的特征点进行匹配，并在连续双目帧的像对中进行时间序列上的匹配；/nS2，基于多模型拟合进行运动分割，将相同运动的特征点聚类为一个运动模型参数，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，同时估计出相机和动态物体的运动；/nS3，对估计出的相机和动态物体的位姿，进行局部光束法平差优化，得到相机和动态物体的轨迹；/nS4，根据输入双目图像序列，进行超像素分割，并结合S2，获得运动物体全部...

【技术特征摘要】
1.一种基于双目视觉SLAM的动态场景密集建模方法，其特征在于，包括以下步骤：
S1，输入双目图像序列，根据已知的相机内参外参对图像进行纠正，对图像进行ORB特征点提取，在每个双目像对中对左右影像的特征点进行匹配，并在连续双目帧的像对中进行时间序列上的匹配；
S2，基于多模型拟合进行运动分割，将相同运动的特征点聚类为一个运动模型参数，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，同时估计出相机和动态物体的运动；
S3，对估计出的相机和动态物体的位姿，进行局部光束法平差优化，得到相机和动态物体的轨迹；
S4，根据输入双目图像序列，进行超像素分割，并结合S2，获得运动物体全部像素点分割结果，进而获得动态物体密集三维模型和静态背景密集点云地图。


2.根据权利要求1所述的基于双目视觉SLAM的动态场景密集建模方法，其特征在于，所述获得的静态背景密集点云地图，进一步包括：
输入图像序列；
根据超像素分割，并结合S2，获得运动物体全部像素点分割结果；
将属于运动物体全部像素点作为外点去除，只对静态背景像素点部分进行Rtabmap双目密集建图，最终得到静态背景密集点云地图。


3.根据权利要求1所述的基于双目视觉SLAM的动态场景密集建模方法，其特征在于，所述获得的动态物体密集三维模型，进一步包括：
输入图像序列；
根据图像序列进行Libelas双目立体匹配，匹配得到密集深度信息；
结合运动物体全部像素点分割结果和Libelas双目立体匹配得到的深度信息，获得单帧动态物体密集点云；
根据单帧动态物体密集点云，结合S3获得的帧间的变换矩阵，对单帧点云进行拼接，进而得到动态物体密集三维模型。

【专利技术属性】
技术研发人员：王晨捷，罗斌，王伟，赵青，尹露，李成源，张婧，李露，郝世伟，余启凯，
申请(专利权)人：武汉斌果科技有限公司，
类型：发明
国别省市：湖北;42