一种基于支持向量机的相机跟踪失败检测方法技术

本发明专利技术公开了一种基于支持向量机的相机跟踪失败检测方法，包括如下步骤：步骤1：数据集选取与三维重建；步骤2：ICP匹配算法与特征获取；步骤3：计算当前样本特征对应的距离误差，并进行分类，构建用于支撑向量机数据集；步骤4：训练支持向量机模型；步骤5：通过训练好的多分类模型完成相机跟踪失败检测；本发明专利技术使用了在机器学习有监督学习分类问题中使用较为广泛的支持向量机来训练模型，具有良好的理论支持。本发明专利技术使用多分类而非二分类来训练模型，提高了准确率和精度，能够更好的设立阈值，优化重建结果。优化重建结果。优化重建结果。

【技术实现步骤摘要】
一种基于支持向量机的相机跟踪失败检测方法


[0001]本专利技术属于计算机图形学中的三维模型重建领域，具体涉及一种使用支持向量机来训练ICP输出特征的样本，并进行分类从而判断相机跟踪成功与否的方法，可以对场景进行正常的重建，不因为跟踪失败还继续重建导致重建效果不好。

技术介绍

[0002]同步定位与地图构建的实现大致流程为根据连接的相机在运动过程中拍摄场景图像，并进行逐帧处理，帧间比较，然后估计出相机的位姿的帧间相对变化，根据此估计出相机的运动轨迹，最后由新观测到的帧根据估计出的位姿对地图模型进行更新。相机跟踪是通过ICP迭代最近点算法求解来估计相机位姿，采用frame tomodel，将当前帧的点与上一帧得到的预测面点进行匹配。在建立测量面和预测面之间点的对应关系时，将测量面上的点投影到上一帧相机的位置，得到的图像平面上的坐标对应的预测面上的点就是要找的对应点。在度量测量面和预测面之间的误差时，使用的ICP中的点面误差度量，误差最小化求解非线性最小二乘得到相机位姿。
[0003]相机跟踪可能会因为环境问题或者相机运动幅度过大失败。许多当前的系统，没有明确管理这个问题。相机跟踪失败会降低三维重建精度或者严重破坏原有的三维重建结果。检测跟踪失败对于构建鲁棒的地图系统以及我们在子地图之间构建约束的方法都至关重要。本专利技术根据相机跟踪过程中获得相关特征值来训练模型从而通过该模型检测跟踪过程是否失败。如果失败了则系统停止重建，并立即执行重定位模块，持续移动相机，直到当前帧与关键帧的随机厥编码相似度高，从而进行ICP匹配估计出当前帧相机位姿，继续重建。
[0004]本专利技术使用了机器学习中的分类模型(也支持回归问题)支持向量机。支持向量机(SVM)是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM 的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

技术实现思路

[0005]针对现有技术中存在的不足，本专利技术提供一种基于支持向量机的相机跟踪失败检测方法。
[0006]本专利技术的目的是通过支持向量机训练ICP配准过程中获取的特征值来得到能检测相机跟踪成功与否的模型。
[0007]本专利技术创新性地使用机器学习方法来辅助检测跟踪结果。判定跟踪失败的基本方法是手动设置从跟踪过程中提取的度量的阈值。例如，要求残差、代价函数、误差项不应大于阈值。在这项工作中，我们训练一个分类器来分离跟踪失败案例和成功案例。对于ICP的
每次优化，我们测量内部像素的百分比、海塞的行列式和最终残差。接下来，使用SVM来进行跟踪成功和跟踪失败进行分类。这个训练过程是在7个场景数据集上进行的，从而获得需要的参数。
[0008]一种基于支持向量机的相机跟踪失败检测方法，步骤如下：
[0009]步骤1：数据集选取与三维重建；
[0010]采用的数据集为
‘
7scenes
’
数据集。对于
‘
7scenes
’
数据集中的每个场景，包含了多个序列，并且已经分成了训练集、测试集两个不同的评估集。一组用作稳定的跟踪帧流，用于模拟关键帧的采集，另一组用于误差计算。其中训练集正常使用现有系统(例如InfiniTAM)进行场景重建并保存每一帧的真实相机位姿，同时将一定数量(根据实际情况设置)的深度图帧作为关键帧进行随机厥编码用于重定位。随后测试集默认进行重定位操作，根据随机厥编码找到对应的位姿最相近的关键帧作为上一帧并进行ICP匹配。
[0011]步骤2：ICP匹配算法与特征获取；
[0012]在测试集重定位过程的ICP匹配迭代完成之后，进入下一个步骤(将当前帧融合到地图中)之前，对于每个ICP的优化，衡量计算出内部像素(当前帧关键点是否在上一帧中同样存在)的百分比，两种权重的海塞矩阵(偏导矩阵平方)行列式以及最终残差(最小化的收敛误差)，将每次ICP迭代完成后得到的这四个特征作为一个样本用于机器学习训练。所述的两种权重分别为内部像素百分比和内部像素关于总像素的百分比。
[0013]步骤3：计算当前样本特征对应的距离误差，并进行分类，构建用于支撑向量机数据集；
[0014]步骤4：训练支持向量机模型；
[0015]步骤5：通过训练好的多分类模型完成相机跟踪失败检测；
[0016]进一步的，步骤3具体方法如下；
[0017]上一帧(随机厥编码找到的关键帧)记录了真实位姿，当前帧根据ICP估计出当前相机位姿，计算出两帧间的距离差，根据距离差设定阈值进行分类并打标签。
[0018]将0
‑
9cm区间以每cm一类分为9类，9
‑
20cm作为一类，>20cm作为一类，因为0
‑
9cm样本数量多，可以准确计算出分割面，所以每1cm作为一类，9
‑
20cm样本不多，而且比较平均的被判断成当前区间内，>20cm同样样本多，并且准确率高，故独立当做一类，当出现端点值得情况，默认向下归类。
[0019]由包括四个特征和类别标签的样本组成的数据集用于支撑向量机的训练和测试，即用于支撑向量机数据集。
[0020]进一步的，步骤4具体方法如下；
[0021]将用于支撑向量机数据集按照82分的比例分为训练集和测试集，训练使用RBF核函数进行训练，根据实际情况设置惩罚系数、松弛变量和惩罚因子，训练出能使各个类收敛的支撑向量机模型。由于支持向量机是一个二分类模型，而本专利技术的方法采用的是多分类，支持向量机对于多分类的处理方式是一对一，将每两类当做一个二分类问题，多分类被分解为多个二分类问题，每个样本会进行多次训练和测试，将得到的类别进行计数，当跑完所有支撑向量机模型之后，数量最大的类别为当前样本的预测类别。通过训练完成后得到的所有训练好的支撑向量机模型构成多分类模型。
[0022]进一步的，步骤5具体方法如下；
[0023]在实时重建中，对于每次ICP优化，测量内部像素的百分比、两种权重的海塞矩阵的行列式和最终残差，并输入到训练好的多分类模型中，根据预测出的类别推出得到当前帧与上一帧的估计距离差，并根据设定的阈值判断跟踪成功与否。
[0024]本专利技术的特点及有益效果：
[0025](1)本专利技术在原有的三维重建系统基础上，在跟踪失败之后转入的重定位模块前加一失败检测模块，使得判断跟踪结果的精度变高，当超过设定阈值时就判定为跟踪失败，能使重建之后的模型更接近真实场景。
[0026](2)本专利技术使用了在机器学习有监督学习分类问题中使用较为广泛的支持向量机来训练模型，具有良好的理论支持。
[0027](本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于支持向量机的相机跟踪失败检测方法，其特征在于，步骤如下：步骤1：数据集选取与三维重建；采用的数据集为
‘
7scenes
’
数据集；对于
‘
7scenes
’
数据集中的每个场景，包含了多个序列，并且已经分成了训练集、测试集两个不同的评估集；一组用作稳定的跟踪帧流，用于模拟关键帧的采集，另一组用于误差计算；其中训练集正常使用现有系统进行场景重建并保存每一帧的真实相机位姿，同时将一定数量的深度图帧作为关键帧进行随机厥编码用于重定位；随后测试集默认进行重定位操作，根据随机厥编码找到对应的位姿最相近的关键帧作为上一帧并进行ICP匹配；步骤2：ICP匹配算法与特征获取；在测试集重定位过程的ICP匹配迭代完成之后，进入下一个步骤之前，对于每个ICP的优化，衡量计算出内部像素的百分比，两种权重的海塞矩阵行列式以及最终残差，将每次ICP迭代完成后得到的这四个特征作为一个样本用于机器学习训练；所述的两种权重分别为内部像素百分比和内部像素关于总像素的百分比；步骤3：计算当前样本特征对应的距离误差，并进行分类，构建用于支撑向量机数据集；步骤4：训练支持向量机模型；步骤5：通过训练好的多分类模型完成相机跟踪失败检测。2.根据权利要求1所述的一种基于支持向量机的相机跟踪失败检测方法，其特征在于，步骤3具体方法如下；上一...

【专利技术属性】
技术研发人员：颜成钢，傅晟，朱尊杰，胡冀，王鸿奎，孙垚棋，陈楚翘，高宇涵，殷海兵，张继勇，李宗鹏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：