多摄像机即时定位与地图构建的三角化方法及其运动体技术

本发明专利技术提供一种用于多摄像机即时定位与地图构建的三角化方法，包括如下步骤：将由k个摄像机中的同一摄像机和不同摄像机在相邻关键帧的拍摄结果作为n组摄像机组合，其中k和n为大于1的整数；通过对所述拍摄结果进行图像处理，得到用于预测各组摄像机组合的三角化成功率的评测结果；和基于各组摄像机组合的评测结果，选取m组摄像机组合进行三角化，其中，k≤m＜n。本发明专利技术还提供这样的多摄像机即时定位与地图构建方法及采用上述方法的运动体。

Triangulation Method of Multi-Camera Real-time Location and Map Construction and Its Motion Body

【技术实现步骤摘要】
多摄像机即时定位与地图构建的三角化方法及其运动体
本专利技术总体涉及用于多摄像机即时定位与地图构建技术，具体地，涉及用于多摄像机即时定位与地图构建的三角化方法。
技术介绍
即时定位与地图构建(SimultaneousLocalizationAndMapping，下文简称为SLAM)指的是运动物体在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。换句话说，即时定位与地图构建的技术问题可以描述为：如何使运动物体在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。更具体地，SLAM是一种通过实时跟踪运动物体运动并在此过程中同时建立周围环境地图以达到定位导航等目标的技术。SLAM通过使用多种传感器如激光雷达、超声波传感器、GPS、惯性测量单元IMU以及摄像机等设备跟踪设备当前的位姿并利用采集到的激光雷达或者图像重构周围的环境以达到定位和地图构建的目标。SLAM以其实用性在无人机导航、自动驾驶等众多领域获得了广泛应用。其中摄像机以其低廉的成本获得了众多研究者和企业开发人员的青睐，而以摄像机为主要传感器的即时定位与地图构建技术——即视觉即时定位与地图构建技术(Visual即时定位与地图构建)也获得了前所未有的发展。视觉SLAM根据所采用的摄像机的数量可以分为单目SLAM(单个摄像机)、双目SLAM(两个摄像机)、多摄像机SLAM；同时根据所采用摄像机的种类又可以分为透视摄像机SLAM(perspectivecameraSLAM)以及采用鱼眼镜头的鱼眼摄像机SLAM(fisheyecameraSLAM)。由于采用多个摄像机可以获取到周围环境中更加丰富的信息，多摄像机SLAM获得了越来越多的关注；同时鱼眼摄像机拥有普通透视摄像机无法相比的大视角，可以看到更宽范围内的信息，因此获得了更多的研究；而多鱼眼摄像机SLAM(multiplefisheyecameraSLAM)也渐渐走进了人们的视野。围绕SLAM中定位与地图构建的两大目标，现有的视觉SLAM方案，例如ORBSLAM，一般将系统划分为跟踪(tracking)和地图构建(mapping)两个线程。视觉SLAM技术首先通过特征点法等方法跟踪摄像机当前的位姿，在求解到当前摄像机的位姿之后，再通过三角化图像中新匹配的特征点将新的地图点加入到地图中。通过不断重复以上跟踪和地图构建的环节，视觉SLAM就可以成功地跟踪摄像机的运动并同时恢复周围的环境。整个SLAM过程中，跟踪和地图构建相互依赖，互为支撑。具体而言，成功的跟踪能够保证地图构建过程中插入地图点的正确性；而在成功更新地图之后，新获取的图片才能通过与地图匹配获得更准确的位姿。在SLAM算法过程中，跟踪与图片的处理速度直接相关，而地图构建负责处理后端优化等问题则较慢无法实时，现有的SLAM方案通过将跟踪与地图构建分离，由此缓解了系统对于硬实时的需要，也就是说，跟踪线程在前端实时获取并处理获得的图像，地图构建线程则在后端以较慢的速度优化。然而这种方案只是一种表面上的实时，在摄像机朝向的场景变化不大，可以重复利用的特征点较多的时候，比如前向摄像机，不需要频繁插入关键帧，系统可以稳定工作；如果摄像机朝向的视野变化很快，比如像车辆行进中的左视或者右视摄像机，新的关键帧必须被及时创建，而关键帧的创建依赖于地图构建线程，但如上所述地图构建线程的运行速率较慢，并不能达到实时或者准实时的速率，这就导致跟踪线程要求插入新的关键帧时，地图构建线程仍然在忙于处理上一个关键帧，因此进一步导致关键帧无法插入，进而导致地图无法更新，从而跟踪线程因为没有可以用于更新当前位姿的最新地图而跟踪失败。因此降低地图构建线程的计算量至关重要。传统多摄像机三角化(triangulation)方法直接对当前关键帧与参考关键帧的多摄像机帧之间做全匹配并通过暴力搜索匹配特征点，需要的计算量会随着摄像机数量以指数激增。例如，如果车辆的多摄像机SLAM系统中包含三个摄像机，则需要考虑9种摄像机三角化组合，而如果包含四个摄像机，就需要考虑16种摄像机三角化组合。当然，现在的一种效率更高的方法是仅对同一个词袋(BoW)节点附近的特征点做匹配。然而，这种方法能够在一定程度上减少同一个摄像机组合之间特征点匹配的计算量，但是仍然不能够满足多摄像机SLAM三角化的效率需求。因此，需要一种能够提高多摄像机SLAM三角化效率的技术。
技术实现思路
鉴于上述情况，做出了本专利技术。根据本专利技术的一个方面，提供一种用于多摄像机即时定位与地图构建的三角化方法，包括如下步骤：将由k个摄像机中的同一摄像机和不同摄像机在相邻关键帧的拍摄结果作为n组摄像机组合，其中k和n为大于1的整数；对由每一组摄像机组合所拍摄到的相邻关键图像帧进行图像处理，得到用于预测各组摄像机组合的本次三角化成功率的评测结果，其中，所述评测结果通过如下方式获得：从每一关键图像帧提取相关的特征数据；根据所述特征数据计算至少一项评测参数；和根据所述至少一项评测参数进行评估计算，以得到用于预测该组摄像机组合的三角化成功率的评测结果；以及基于各组摄像机组合的评测结果，通过判断评测结果是否满足预定阈值条件和/或通过评测结果的大小排序来筛选出m组摄像机组合，仅选取所述m组摄像机组合进行三角化，其中，k≤m＜n，从而实现基于实时信息选择部分摄像机组合进行三角化。可选地，所述至少一项评测参数至少包括第一评测参数，所述第一评测参数为该组摄像机组合之间的共视面积A1，并且，通过如下公式(1)得到评测结果，预测可三角化的点数P＝该组摄像机组合之间的共视面积A1×单位面积内预测可跟踪的特征点数B，其中B＞0…(1)，其中，通过预测可三角化的点数P来预测摄像机组合的三角化成功率。可选地，所述至少一项评测参数还包括第二至第四评测参数中的至少一个：该组摄像机组合中的各摄像机所拍摄的关键图像帧中的特征点数量A21和A22、纹理丰富程度A31和A32、以及场景遮挡程度A41和A42。可选地，通过如下公式(2)得到单位面积内预测可跟踪特征点数B，单位面积内预测可跟踪特征点数B＝k1*min{A21，A22}+k2*min{A31，A32}+k3*min{A41，A42}，其中，k1,k2,k3≥0……(2)。可选地，所述特征数据包括第一特征数据，所述第一特征数据包括根据由所述相邻关键图像帧的特征点计算得到的各摄像机位姿、各摄像机视角、每一关键图像帧中的各特征点的场景深度的平均值、以及各特征点的场景深度的离散程度，并且所述第一评测参数通过根据所述第一特征数据计算得到的该组摄像机组合中的每一个摄像机所拍摄的场景的可视区域并且计算所述可视区域的重合程度而得到。可选地，采用卡尔曼滤波来估算所述各特征点的场景深度的平均值以及各场景深度的离散程度。可选地，对于透视摄像机，通过以当前摄像机中心为顶点，底边与当前摄像机成像平面平行的等腰三角形区域中到当前摄像机成像平面的垂直距离为场景深度的平均值±场景深度离散程度的梯形区域来描述所述可视区域，并且，对于鱼眼摄像机，通过以当前摄像机为中心、平均距离为半径且在场景深度的平均值±各场景深度的离散程度内分布的扇环区域来描述所述可视区域。可选地，所述特本文档来自技高网...

【技术保护点】
1.一种用于多摄像机即时定位与地图构建的三角化方法，包括如下步骤：将由k个摄像机中的同一摄像机和不同摄像机在相邻关键帧的拍摄结果作为n组摄像机组合，其中k和n为大于1的整数；对由每一组摄像机组合所拍摄到的相邻关键图像帧进行图像处理，得到用于预测各组摄像机组合的本次三角化成功率的评测结果，其中，所述评测结果通过如下方式获得：从每一关键图像帧提取相关的特征数据；根据所述特征数据计算至少一项评测参数；和根据所述至少一项评测参数进行评估计算，以得到用于预测该组摄像机组合的三角化成功率的评测结果；以及基于各组摄像机组合的评测结果，通过判断评测结果是否满足预定阈值条件和/或通过评测结果的大小排序来筛选出m组摄像机组合，仅选取所述m组摄像机组合进行三角化，其中，k≤m＜n。

【技术特征摘要】
1.一种用于多摄像机即时定位与地图构建的三角化方法，包括如下步骤：将由k个摄像机中的同一摄像机和不同摄像机在相邻关键帧的拍摄结果作为n组摄像机组合，其中k和n为大于1的整数；对由每一组摄像机组合所拍摄到的相邻关键图像帧进行图像处理，得到用于预测各组摄像机组合的本次三角化成功率的评测结果，其中，所述评测结果通过如下方式获得：从每一关键图像帧提取相关的特征数据；根据所述特征数据计算至少一项评测参数；和根据所述至少一项评测参数进行评估计算，以得到用于预测该组摄像机组合的三角化成功率的评测结果；以及基于各组摄像机组合的评测结果，通过判断评测结果是否满足预定阈值条件和/或通过评测结果的大小排序来筛选出m组摄像机组合，仅选取所述m组摄像机组合进行三角化，其中，k≤m＜n。2.根据权利要求1所述的三角化方法，其中，所述至少一项评测参数至少包括第一评测参数，所述第一评测参数为该组摄像机组合之间的共视面积A1，并且，通过如下公式(1)得到评测结果，预测可三角化的点数P＝该组摄像机组合之间的共视面积A1×单位面积内预测可跟踪的特征点数B，其中B＞0…(1)，其中，通过预测可三角化的点数P来预测摄像机组合的三角化成功率。3.根据权利要求2所述的三角化方法，其中，所述至少一项评测参数还包括第二至第四评测参数中的至少一个：该组摄像机组合中的各摄像机所拍摄的关键图像帧中的特征点数量A21和A22、纹理丰富程度A31和A32、以及场景遮挡程度A41和A42。4.根据权利要求3所述的三角化方法，其中，通过如下公式(2)得到单位面积内预测可跟踪特征点数B，单位面积内预测可跟踪特征点数B＝k1*min{A21，A22}+k2*min{A31，A32}+k3*min{A41，A42}，其中，k1,k2,k3≥0……(2)。5.根据权利要求2所述的三角化方法，其中，所述特征数据包括第一特征数据，所述第一特征数据包括根据由所述相邻关键图像帧的特征点计算得到的各摄像机位姿、各摄像机视角、每一关键图像帧中的各特征点的场景深度的平均值、以及各特征点的场景深度的离散程度，并且所述第一评测参数通过...

【专利技术属性】
技术研发人员：王亚慧，蔡少骏，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11