一种基于多摄像机的协作式视觉SLAM方法技术

本发明专利技术提供了一种基于多摄像机的协作式视觉SLAM方法，具体涉及一种在动态环境中使用多个摄像机的协作式视觉SLAM方法。本发明专利技术所述方法允许摄像机间的相对位置和方向随时间变化，使得多个摄像机可独立地移动并可以安装在不同的平台上，解决了关于摄像机姿态估计、地图点分类和摄像机群组管理等问题，使得该方法可以在动态场景中稳健地工作，并且可以重建移动物体的三维轨迹。与现有基于单摄像机的SLAM方法相比，本发明专利技术的方法更加精确和健壮，可以适用于微型机器人和可穿戴的增强现实。

【技术实现步骤摘要】
201510031505

【技术保护点】
一种基于多摄像机的协作式视觉SLAM方法，其特征在于：包括以下步骤：1)初始化系统时假定所有的摄像机观测相同的初始场景，使用Kanade‑Lucas‑Tomasi(KLT)跟踪器对系统中摄像机的每一帧进行特征点的监测和跟踪；2)将上述经过监测和跟踪的特征点送到系统四大组件：2.1)摄像机姿态估计组件：该组件通过在每一帧将3D地图点与2D图像特征进行校准来计算摄像机的姿态，过程如下：2.1.1)摄像机内参姿态估计：a)如果摄像头的内部参数是已知的，通过最小化重投影误差，来计算摄像头姿态Θ＝(R，t)，公式如下：其中，是三维点Mi的图像投影，mi是与Mi校准的图像特征点，||·||计算两个图像点的距离，i是图像点的索引；M估计是Tukey biweight函数，定义如下：b)如果特征点的监测和跟踪的误差服从高斯分布摄像头姿态公式通过迭代加权最小二乘法进行最小化，其中Θ根据摄像机在前一帧的姿态进行初始化；2.1.2)摄像机外参姿态估计：每个摄像头独立工作，同时使用静态和动态的点来同步获取所有摄像机的姿态，公式如下：此处，c表示摄像机索引，S和D表示“静态”和“动态”地图点集合；表示c摄像机的第i个可见的地图点；2.2)三维地图点构建，用一个高斯函数表示三维地图点位置的一个可能的分布，协方差矩阵表示每个三维地图点位置的不确定性，Mi表示三角化的位置，通过测量每个三维地图点位置的不确定性来生成三维地图点并协助进行三维 地图点的校准和迭代更新；2.3)“点的分类”组件根据步骤(2.2)分析三维地图点位置的一致性，把每一帧的地图点分为动态和静态的点，具体方法如下：用“错误”点表示由不正确的关系生成的映射点，需要进一步观察的点标记为中间状态“不确定”；2.3.1)首先把所有的点都视为静态的，检查每一帧里所有“静态”点的重投影误差：一个静态地图点的投影位置服从高斯分布mi和其相应特征点间的马氏距离应该小于θ；如果所跟踪的特征点的马氏距离比较大，那么这个地图点可能是“动态的”或者“错误的”，标记为“不确定”点并在下一步继续分类；2.3.2)对不同摄像机的同一帧的三维位置和跟踪特征点重新进行三角测量：如果所有特征点跟Mi的投影的马氏距离都小于θ，则认为这个地图点是“动态的”；否则，认为它是一个摄像机外参离群点，视为由于不正确的特征匹配引起的“错误”点；2.3.3)由于动态点的三维位置在点的分类时是随着时间自然变化的，因此，本方法能够产生移动点的三维轨迹；如果物体停止运动，动态的点就会成为静态的点，将一个动态点当前的三维位置投影到前一帧，如果对于连续帧的最小值Nmin接近它的轨迹特征点(马氏距离<θ)，则认为这个点是“静态的”；2.4)“摄像机分组”组件使用步骤(2.3)中经过分类的动态和静态的点来估计所有具有视角重叠的摄像机的姿态，将具有视角重叠的摄像机分成同一组并协同工作来进行映射和定位；当摄像机相遇或分离时，摄像机组可以合并和拆分；2.4.1)合并：如果两个摄像机组群相遇并且具有相同的视角重叠，这两个组群将会被合并；由于漂移误差，在群组合并的过程中，通过纠正摄像机姿态和地图点来形成一个单一的全局的一致的地图；2.4.2)拆分：根据为每一个映射特征点存储的一个指向相应三维位置的指针，快速的计算出摄像机i,j之间共同地图点Nij的数量；建立一个无向图，无向图中的节点表示摄像机，如果Nij＞0，以Nij为边缘加权来连接摄像机i和j，在无向图中的连接组件形成了一个摄像机组群，摄像机外参操作仅应用于同一组群内的摄像机；用最大权重为每个摄像机组群提取一个生成树，只匹配在所选择的生成树的边所连接的摄像机间的特征点；当组群中任一个摄像机移走并且与其他摄像机间没有视角重叠时，这个摄像机组群会将其分离出去，完成摄像机组的拆分；3)经过上述四个组件协作，实现摄像机的姿态估计、静态点的地图构建及动态点的三维轨迹跟踪。...

【技术特征摘要】

【专利技术属性】
技术研发人员：廖鸿宇，孙放，
申请(专利权)人：北京雷动云合智能技术有限公司，
类型：发明
国别省市：北京;11