一种基于双目视觉SLAM的动态场景密集建模方法技术

本发明专利技术公开了一种基于双目视觉SLAM的动态场景密集建模方法，包括：输入双目图像序列，对图像进行纠正，并对图像进行ORB特征点提取，并进行双目系列和时间序列上的匹配；基于多模型拟合进行运动分割，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，并估计出相机和动态物体的运动，进行局部光束法平差优化，得到相机和动态物体的轨迹；结合超像素分割，获得运动物体全部像素点分割结果，进而获得动态物体密集三维模型和静态背景密集点云地图，从而实现在动态场景中同时估计出相机和动态物体运动轨迹，也实现同时对静态背景和动态物体进行密集建模。

A dynamic scene intensive modeling method based on binocular vision slam

【技术实现步骤摘要】
一种基于双目视觉SLAM的动态场景密集建模方法
本专利技术涉及视觉导航
，更为具体地，涉及一种基于双目视觉SLAM的动态场景密集建模方法。
技术介绍
SLAM(simultaneouslocalizationandmapping)，即时定位与地图构建，或并发建图与定位。经过三十多年的不断发展，基于视觉的SLAM即VSLAM现在已经成为机器人领域和计算机视觉领域最火热的研究方向，是目前机器人智能自主导航、无人车自动驾驶、以及增强现实(AR)/虚拟现实(VR)等虚拟场景导航的核心技术。但是通常SLAM方法都是基于静态场景的假设，也就是整个场景都是静态的，不存在动态物体，依靠成对一致性进行工作，当场景中存在较为显著的动态物体时，难以对动态物体进行很好的处理，就难以工作，具体表现为相机位姿估计失败，同时，由于建图依赖于定位的效果，且动态物体会对背景造成遮挡，所以对静态背景建图尤其是密集建图影响很大。目前，通常的解决方法基于语义分割的方法，分割出带特定语义标签的动态物体，将其像素点作为外点完全剔除，消除动态物体的影响，实现精准的相机运动估计，并且对静态场景进行建图，这种方式在动态场景中获得很好的工作效果，但未对动态物体的信息进行获取，即没有获得其轨迹，直接对动态物体进行密集建模。基于语义分割的动态SLAM方法可以很好的应对动态物体存在的场景，但是在实际应用中众多动态物体是语义无法识别的，使得该类方法的通用性不足、应用受限。另一类方法基于多运动分割，进而同时估计出相机和动态物体的运动轨迹，该类方法不依赖于语义信息，将相同运动的点聚类为一个运动模型参数实例，从而在动态场景中分割出多个运动模型。MVO将多模型拟合方法-CORAL应用于通常静态SLAM中，分割出动态场景中不同运动的运动模型，同时估计出相机和多个无语义动态物体的运动轨迹，但是该方法实验场景也是在一个房间中，相机和动态物体均是小范围的运动，并且相机和动态物体轨迹估计的误差较大，且未对静态背景和动态物体进行密集建模。综上所述，现有方法难以实现同时对静态背景进行密集建图和动态物体进行密集建模，且现有方法通用性不足、应用受限。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于双目视觉SLAM的动态场景密集建模方法，可以同时估计出相机和动态物体运动轨迹，并同时对静态背景和动态物体进行密集建模。本专利技术的目的是通过以下技术方案来实现的：一种基于双目视觉SLAM的动态场景密集建模方法，包括以下步骤：S1，输入双目图像序列，根据已知的相机内参外参对图像进行纠正，对图像进行ORB特征点提取，在每个双目像对中对左右影像的特征点进行匹配，并在连续双目帧的像对中进行时间序列上的匹配；S2，基于多模型拟合进行运动分割，将相同运动的特征点聚类为一个运动模型参数，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，同时估计出相机和动态物体的运动；S3，对估计出的相机和动态物体的位姿，进行局部光束法平差优化，得到相机和动态物体的轨迹；S4，根据输入双目图像序列，进行超像素分割，并结合S2，获得运动物体全部像素点分割结果，进而获得动态物体密集三维模型和静态背景密集点云地图。进一步的，所述获得的静态背景密集点云地图，进一步包括：输入图像序列；根据超像素分割，并结合S2，获得运动物体全部像素点分割结果；将属于运动物体全部像素点作为外点去除，只对静态背景像素点部分进行Rtabmap双目密集建图，最终得到静态背景密集点云地图。进一步的，所述获得的动态物体密集三维模型，进一步包括：输入图像序列；根据图像序列进行Libelas双目立体匹配，匹配得到密集深度信息；结合运动物体全部像素点分割结果和Libelas双目立体匹配得到的深度信息，获得单帧动态物体密集点云；根据单帧动态物体密集点云，结合S3获得的帧间的变换矩阵，对单帧点云进行拼接，进而得到动态物体密集三维模型。进一步的，所述基于多模型拟合进行运动分割包括单步运动分割，所述单步运动分割包括以下步骤：通过基于局部窗口的随机采样，获得多个假设模型；根据假设模型，利用量化残差对数据进行表示，判断假设模型的内点；利用层次聚类对内点进行分类；如果分类结果不收敛，则进行交替采样与聚类，直到最后结果收敛输出，输出场景中不同运动的运动模型。进一步的，所述基于多模型拟合进行运动分割还包括连续帧运动分割，所述连续帧运动分割包括以下步骤：首先将前后帧图像特征点进行关联，由于匹配精度和误匹配点带来的影响，属于同一运动模型的内点分割结果往往会参杂较少量其他模型内点；通过K-近邻算法投票对分割结果进行优化；根据连续帧中运动估计的结果，去除不属于相应运动模型的外点，实现场景中相机自身运动模型和动态物体运动模型的精确分割。进一步的，所述获得的运动物体全部像素点分割结果，进一步包括：通过slic方法对单帧影像进行超像素分割，之后对每个超像素块进行块内落的各个运动模型模型点的计数，该块的运动模型与块内模型点最多的模型一致，若块内没有落模型点，则与最近邻的超像素块一致，完成每个超像素块运动模型的判断，获得所述动态物体全部像素点分割结果。进一步的，所述超像素块为具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。本专利技术的有益效果是：(1)本专利技术结合多模型拟合运动分割和超像素分割方法，分割出场景中不同运动动态物体的运动模型和全部像素点，为运动估计和密集建图提供了前提。(2)本专利技术是目前为止已知第一个不依赖语义信息，实现在动态场景中同时估计出相机和动态物体运动轨迹，并对静态背景和动态物体进行密集建模的动态SLAM方法。(3)本专利技术不仅适用于小范围运动的情况，在相机和物体都在做大范围运动的情况下也可以很好工作，实现同时对静态背景和动态物体进行密集建模。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于双目视觉SLAM的动态场景密集建模方法的流程图；图2为本专利技术中超像素分割得到的中间结果的示意图；图3为本专利技术中单步运动分割和连续帧运动分割的流程图；图4为本专利技术中基于双目视觉SLAM的动态场景密集建模方法的中间结果的示意图。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。...

【技术保护点】
1.一种基于双目视觉SLAM的动态场景密集建模方法，其特征在于，包括以下步骤：/nS1，输入双目图像序列，根据已知的相机内参外参对图像进行纠正，对图像进行ORB特征点提取，在每个双目像对中对左右影像的特征点进行匹配，并在连续双目帧的像对中进行时间序列上的匹配；/nS2，基于多模型拟合进行运动分割，将相同运动的特征点聚类为一个运动模型参数，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，同时估计出相机和动态物体的运动；/nS3，对估计出的相机和动态物体的位姿，进行局部光束法平差优化，得到相机和动态物体的轨迹；/nS4，根据输入双目图像序列，进行超像素分割，并结合S2，获得运动物体全部像素点分割结果，进而获得动态物体密集三维模型和静态背景密集点云地图。/n

【技术特征摘要】
1.一种基于双目视觉SLAM的动态场景密集建模方法，其特征在于，包括以下步骤：
S1，输入双目图像序列，根据已知的相机内参外参对图像进行纠正，对图像进行ORB特征点提取，在每个双目像对中对左右影像的特征点进行匹配，并在连续双目帧的像对中进行时间序列上的匹配；
S2，基于多模型拟合进行运动分割，将相同运动的特征点聚类为一个运动模型参数，分割出场景中的相机自身运动模型和不同运动的动态物体运动模型，同时估计出相机和动态物体的运动；
S3，对估计出的相机和动态物体的位姿，进行局部光束法平差优化，得到相机和动态物体的轨迹；
S4，根据输入双目图像序列，进行超像素分割，并结合S2，获得运动物体全部像素点分割结果，进而获得动态物体密集三维模型和静态背景密集点云地图。


2.根据权利要求1所述的基于双目视觉SLAM的动态场景密集建模方法，其特征在于，所述获得的静态背景密集点云地图，进一步包括：
输入图像序列；
根据超像素分割，并结合S2，获得运动物体全部像素点分割结果；
将属于运动物体全部像素点作为外点去除，只对静态背景像素点部分进行Rtabmap双目密集建图，最终得到静态背景密集点云地图。


3.根据权利要求1所述的基于双目视觉SLAM的动态场景密集建模方法，其特征在于，所述获得的动态物体密集三维模型，进一步包括：
输入图像序列；
根据图像序列进行Libelas双目立体匹配，匹配得到密集深度信息；
结合运动物体全部像素点分割结果和Libelas双目立体匹配得到的深度信息，获得单帧动态物体密集点云；
根据单帧动态物体密集点云，结合S3获得的帧间的变换矩阵，对单帧点云进行拼接，进而得到动态物体密集三维模型。

【专利技术属性】
技术研发人员：王晨捷，罗斌，王伟，赵青，尹露，李成源，张婧，李露，郝世伟，余启凯，
申请(专利权)人：武汉斌果科技有限公司，
类型：发明
国别省市：湖北;42