一种基于混合摄像机的室内场景定位方法技术

本发明专利技术公开了一种基于混合摄像机的室内场景定位方法，包括：(1)混合相机拍摄室内场景的深度图和彩色图；(2)追踪相机位置；(3)利用标准贪婪森林算法对拍摄的室内场景的深度图和彩色图进行训练，构建回归森林；(4)进行室内场景定位时，只需利用混合摄像机拍摄的当前帧的深度图和彩色图以及训练好的回归森林便可计算出当前摄像机对应的世界坐标，完成定位。本发明专利技术采用混合摄像机拍摄，采用回归森林算法来训练一个已知场景中的每个像素点，不需要使用稀疏特征点或者稠密特征点来进行场景定位；节省了特征点检测、描述、匹配的时间，使摄像机定位与状态无关；进而不必承受摄像机追踪的累积误差，有效提高场景定位的精度和效率。

【技术实现步骤摘要】
一种基于混合摄像机的室内场景定位方法
本专利技术属于室内场景定位
，具体涉及一种基于混合摄像机的室内场景定位方法。
技术介绍
随着数字图像数据的快速增长，让计算机自动理解图像成为越来越迫切的需求，作为图像理解的重要研究内容，场景定位得到了广泛关注，是当前计算机视觉领域的研究热点。目前主流的场景定位方法大多是基于彩色图像的。基于彩色图像的场景定位方法大体可以分为两类：第一类是基于稀疏特征点匹配的场景定位方法。该类算法采用的策略是在相机正常追踪时，从场景图像中提取一定数量的关键点，对这些关键点进行特征描述，然后将这些关键点的特征算子连同它们对应的三维坐标存储到特征点数据库中。当需要进行场景定位时，就从相机捕获的当前图像中提取特征点，和已有特征点数据库中的数据进行比较匹配，通过匹配上的那些特征点的三维信息计算出当前的相机姿态，完成场景定位。该类算法的优点在于只要能够匹配上足够数目的特征点，就可利用三点法计算出相机的姿态。由于该类方法对场景进行的是稀疏表达，加上有些场景的纹理信息过于单一以及相机移动过程中存在运动模糊等问题，进行场景定位却无法匹配上足够数量特征点的情况时有发生，严重影响了场景定位的精度。而且特征点的检测、描述、匹配等算法都要消耗大量的运算资源，为了不影响场景定位的速度，此类算法大部分都限制了特征点数据库的规模，进而影响了场景定位的范围。另一类是基于全局图像匹配的场景定位方法。和基于稀疏特征点匹配的场景定位算法不同，此类算法无需显式地进行特征点检测，而是使用整幅图像信息进行匹配比较。具体的做法是在在相机正常追踪时将一部分图像确定为关键帧，对这些关键帧进行编码并将每个关键帧对应的相机姿态一同存储到关键帧数据库中。当需要进行场景定位时，就对相机捕获的当前帧进行编码并和关键帧数据库中的数据进行比较，对匹配上的最相近的几个关键帧对应的相机姿态进行加权处理，就可还原出当前的相机姿态。该类算法的优点在于省去了特征点检测、描述、匹配的步骤，节约了大量的运算资源。不足之处在于每个关键帧在编码时通常都会采用下采样和亮度信息归一化等操作，随着关键帧数量的增加，关键帧之间的相似计算会变得越来越困难。而且对基于全局图像匹配的这类场景识别算法而言，识别结果只能依赖于数据库中存储的有限个相机姿态，严重制约了该类方法的可扩展性。
技术实现思路
针对现有技术所存在的上述技术问题，本专利技术提供了一种基于混合摄像机的室内场景定位方法，节省了特征点检测、描述、匹配的时间，使摄像机定位与状态无关，有效提高场景定位的精度和效率。一种基于混合摄像机的室内场景定位方法，包括如下步骤：(1)利用RGB-D(红绿蓝三原色加距离深度)混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并实时计算出混合摄像机参数；(3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，计算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图像中每个像素点的世界坐标；(4)根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回归森林模型；(5)针对当前利用RGB-D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的场景图像，并计算出该场景图像中每个像素点的特征值输入至所述的随机回归森林模型中得到对应的世界坐标；(6)对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐标计算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中选出最优的一个作为当前视点的位置信息。所述的步骤(2)中根据以下算式实时计算混合摄像机参数：其中：Mopt为当前的混合摄像机参数，M为混合摄像机姿态的变换矩阵且M＝[R|t]，其由混合摄像机的旋转矩阵R和平移向量t组成；si和di分别为前一帧三维点云图和当前帧三维点云图中第i个点的坐标，ni为坐标di处的切平面法向量，ωi为当前帧三维点云图中第i个点所对应的权重系数，T为深度图像的像素总数。所述的步骤(3)中根据以下算式计算每个像素点的特征值：其中：f(p)为任一帧RGB图像中第p个像素点的特征值，为向上取整函数，D(p)为任一帧RGB图像中第p个像素点对应的深度值，δ1和δ2均为二维偏移量，c1和c2均表示RGB任一分量，表示任一帧RGB图像中第个像素点在c1分量上的颜色值，表示任一帧RGB图像中第个像素点在c2分量上的颜色值。所述的步骤(4)中，以特征值作为自变量世界坐标作为因变量，利用标准贪婪森林训练算法构建随机回归森林模型。所述的步骤(6)中像素点的摄像机坐标即利用混合摄像机的内参数结合像素点的深度值计算求得。所述的步骤(6)中，利用每组像素点的世界坐标以及摄像机坐标通过奇异值分解算法计算出一个当前摄像机的世界坐标。所述的步骤(6)中，遍历得到多个当前摄像机的世界坐标后，利用RANSAC(随机抽样一致性)算法从中选出最优的一个作为当前视点的位置信息。本专利技术采用随机回归森林来训练一个已知场景，在进行场景定位时只需要利用训练好的回归模型和当前的一帧图像即可完成定位，不需要使用稀疏特征点或者稠密特征点来进行场景定位；节省了特征点检测、描述、匹配的时间；同时本专利技术采用的方案不必承受摄像机追踪的累积误差，可有效提高场景定位的精度和效率。附图说明图1为本专利技术室内场景定位方法的流程示意图。图2为摄像机姿态估计运动补偿的示意图。图3为带有权重的ICP点云配准的示意图。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案进行详细说明。如图1所示，本专利技术基于混合摄像机的室内场景定位方法，包括如下步骤：(1)利用RGB-D混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并实时计算出混合摄像机参数；本实施方式是在传统ICP(IterativeClosestPoint)算法估计摄像机姿态的基础上，对ICP算法进行具有针对性的优化，主要包括摄像机姿态运动补偿和带有权重的ICP点云配准。ICP算法最常用来估计两个三维点云之间配准的变换矩阵，根据前一帧的摄像机姿态估计当前帧的姿态。摄像机姿态的变换矩阵可表示为M＝[R|t]，平移向量t为线性变换，旋转矩阵R是非线性变换。算法中非线性优化问题通常转化为若干次线性变换迭代，迭代的初始值一般为前一帧的摄像机姿态，最终求得的是最优解的一个近似解。然而这样的线性近似要求旋转角度和移动距离不能过大，否则通过有限次的迭代得到的解会出现较大误差甚至导致跟踪失败。摄像机姿态采用运动补偿的方法，补偿两帧之间较大运动的差距，从而获得更接近当前姿态真实值的ICP迭代初始值，从而避免追踪失败。如果已知前一帧的摄像机姿态ξt-1，那么传统方法是将ξt-1作为ICP迭代的初始值，也就是在ξt-1周围进行线性搜索最优解(图2中的黑色虚线区域)。如果当前帧的实际姿态为ξt(图2中黑色实心三角)，并不在前一帧的搜索区域内，则有限次的迭代可能无法得到该最优解。因此，可以利用第i-1，i-2帧计算当前时刻的摄像机速度、加速度以及角本文档来自技高网...

【技术保护点】
一种基于混合摄像机的室内场景定位方法，包括如下步骤：(1)利用RGB‑D混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并实时计算出混合摄像机参数；(3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，计算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图像中每个像素点的世界坐标；(4)根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回归森林模型；(5)针对当前利用RGB‑D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的场景图像，计算出该场景图像中每个像素点的特征值输入至所述的随机回归森林模型中得到对应的世界坐标；(6)对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐标计算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中选出最优的一个作为当前视点的位置信息。

【技术特征摘要】
1.一种基于混合摄像机的室内场景定位方法，包括如下步骤：(1)利用RGB-D混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并根据以下算式实时计算出混合摄像机参数；其中：Mopt为当前的混合摄像机参数，M为混合摄像机姿态的变换矩阵且M＝[R|t]，其由混合摄像机的旋转矩阵R和平移向量t组成；si和di分别为前一帧三维点云图和当前帧三维点云图中第i个点的坐标，ni为坐标di处的切平面法向量，ωi为当前帧三维点云图中第i个点所对应的权重系数，T为深度图像的像素总数；(3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，根据以下算式计算出每个像素点的特征值；其中：f(p)为任一帧RGB图像中第p个像素点的特征值，为向上取整函数，D(p)为任一帧RGB图像中第p个像素点对应的深度值，δ1和δ2均为二维偏移量，c1和c2均表示RGB任一分量，表示任一帧RGB图像中第个像素点在c1分量上的颜色值，表示任一帧RGB图像中第个像素点在c2分量上的颜色值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图像中每个像素点的世界坐标；(4)根据...

【专利技术属性】
技术研发人员：李阳，王梁昊，李东晓，张明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33