一种PTAM摄像机跟踪方法及装置制造方法及图纸

本发明专利技术实施例提供一种PTAM摄像机跟踪方法及装置，所述方法包括：根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点匹配，计算所述摄像机在当前图像帧的实际姿态；利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。其可以提高摄像机系统在摄像机快速运动和光照变化下的跟踪能力，具有更高的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及摄像机跟踪与制图
，尤其涉及一种PTAM(Paralleltrackingandmapping，并行式跟踪与制图)摄像机跟踪方法及装置。
技术介绍
SLAM(SimultaneousLocalizationandMapping)，也称同步定位与制图技术，最早由Smith、Self和Cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键。SLAM问题可以描述为：机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。在SLAM框架中，有两个核心步骤，一个是根据场景的结构信息求取摄像机姿态，另一个是根据求取的摄像机姿态来重建场景的三维结构。我们将第一个步骤称为跟踪，将第二个步骤称为制图。在SLAM框架中，跟踪和制图的任务是交替进行的，跟踪依赖于制图得到的场景结构信息，而制图反过来又依赖于跟踪求取的摄像机姿态。尽管在机器人领域SLAM方法已被研究多年，但直到2003年才由AndrewDavison引入到计算机视觉领域，实现了第一个实时的基于视觉的SLAM系统。从此，SLAM方法在摄像机姿态估计领域被广泛的研究和采用。并行式跟踪与制图(Paralleltrackingandmapping，PTAM)技术将摄像机跟踪分为跟踪和制图两个独立的任务，在两个独立的线程上分别运行，这样可以在不影响摄像机跟踪实时性的条件下，将低时间效率、高精确性的运动求取结构(StructureFromMotion，SFM)技术引入到制图的任务中，并且通过捆集调整方法优化恢复的场景结构信息，这大幅度提高了摄像机跟踪算法的鲁棒性和精确性，同时减轻了系统运行时每帧图像的处理时间。在PTAM的摄像机跟踪线程中，特征点匹配搜索是摄像机姿态估计的重要环节，在PTAM技术的实现中，系统采用基于像素差平方和(SSD，SumofSquaredDifferences)描述方法的匹配进行特征点匹配，但是我们发现在摄像机快速运动或者光照变化情况下，该方法变得不可靠。
技术实现思路
本专利技术实施例提供一种PTAM摄像机跟踪方法及装置，以提高摄像机系统在摄像机快速运动和光照变化下的跟踪能力。一方面，本专利技术实施例提供了一种并行式跟踪与制图PTAM摄像机跟踪方法，所述方法包括：根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点匹配，计算所述摄像机在当前图像帧的实际姿态；利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。另一方面，本专利技术实施例提供了一种并行式跟踪与制图PTAM摄像机跟踪装置，所述装置包括：估计姿态获取单元，用于根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；I-BRIEF算法匹配单元，用于根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点匹配，计算所述摄像机在当前图像帧的实际姿态；利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；姿态调整单元，用于利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。上述技术方案具有如下有益效果：本专利技术实施例提出用I-BRIEF算法进行特征点匹配，从而大大提高摄像机系统在摄像机快速运动和光照变化下这两种复杂情况下的跟踪稳定性，具有更高的鲁棒性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种并行式跟踪与制图PTAM摄像机跟踪方法流程图；图2为本专利技术实施例一种并行式跟踪与制图PTAM摄像机跟踪装置结构示意图；图3a为本专利技术实施例I-BRIEF算法匹配单元组成结构示意图；图3b为本专利技术实施例姿态调整单元组成结构示意图；图4为本专利技术应用实例跟踪部分的算法流程示意图；图5为本专利技术应用实例给出了PTAM进行特征点搜索匹配的示意图；图6为本专利技术应用实例I-BRIEF算法计算过程示意图；图7为本专利技术应用实例根据I-BRIEF算法在两组用于测试特征描述方法在图片模糊(bikes图片序列)和光照较暗下(light图片序列)效果的两组图片；图8为本专利技术应用实例根据I-BRIEF算法在两组用于测试特征描述方法在图片模糊(bikes图片序列)和光照较暗下(light图片序列)效果的标准测试序列上的实验结果示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，为本专利技术实施例一种并行式跟踪与制图PTAM摄像机跟踪方法流程图，所述方法包括：101、根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；102、根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点匹配，计算所述摄像机在当前图像帧的实际姿态；103、利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；104、利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。优选的，所述通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点匹配的方法，包括：输入一个以特征点为中心的图像面片；在以所述特征点为中心的预设大小的图像面片上选取一系列的由两个像素位置组成的像素测试点对，这些测试点对组成一个测试点对集合；在所述测试点对集合中选取一个点对，在该点对的每个点先局部平滑滤波，然后测试比较该点对的两个像素的灰度值，获取测次结果；对所述测试本文档来自技高网...

【技术保护点】
一种并行式跟踪与制图PTAM摄像机跟踪方法，其特征在于，所述方法包括：根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I‑BRIEF算法进行特征点匹配，计算所述摄像机在当前图像帧的实际姿态；利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。

【技术特征摘要】
1.一种并行式跟踪与制图PTAM摄像机跟踪方法，其特征在于，所述方法包括：
根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；
根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点投影
到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点
匹配，计算所述摄像机在当前图像帧的实际姿态；
利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；
利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。
2.如权利要求1所述PTAM摄像机跟踪方法，其特征在于，所述通过改进的独立二
元鲁棒初级特征I-BRIEF算法进行特征点匹配的方法，包括：
输入一个以特征点为中心的图像面片；
在以所述特征点为中心的预设大小的图像面片上选取一系列的由两个像素位置组成
的像素测试点对，这些测试点对组成一个测试点对集合；
在所述测试点对集合中选取一个点对，在该点对的每个点先局部平滑滤波，然后测试
比较该点对的两个像素的灰度值，获取测次结果；对所述测试点对集合中每一个点对重复
上述操作过程，然后将测试结果串联在一起，组成对所述特征点的描述符；
输出所述特征点的描述符，以根据所述描述符中的测次结果进行特征点匹配。
3.如权利要求2所述PTAM摄像机跟踪方法，其特征在于，所述测次结果包括：暗、
亮、相似，分别用二进制数01表示暗，二进制数10表示亮，二进制数00表示相似。
4.如权利要求1所述PTAM摄像机跟踪方法，其特征在于，所述摄像机的姿态包括：
摄像机的视角信息。
5.如权利要求1所述PTAM摄像机跟踪方法，其特征在于，所述利用所述匹配结果
进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪，具体包括：
根据所述匹配结果中每帧图像中三维特征点在图像平面投影中特征点匹配的正确率，
估计所述摄像机的跟踪质量，根据跟踪质量进行所述摄像机的姿态调整：
如果正确匹配的正确率大于或等于预置的第一阈值，则确认跟踪质量好，不进行姿态
调整，跟踪照常进行；
如果正确匹配的正确率低于预置的第一阈值且不低于预置的第二阈值，则确认跟踪质
量一般，不进行姿态调整，跟踪照常进行，但是不允许再向跟踪的图像中添加新的关键帧，

\t其中，所述第一阈值高于所述第二阈值；
如果正确匹配的正确率低于预置的第二阈值，则确认跟踪质量差，根据匹配正确的特
征点进行所述摄像机的姿态调整；如果连续预置数量的多个图像帧的跟踪质量均为差，则
确认图像跟踪丢失，所述摄像机的系统搜索和当前图像最相似的关键帧，然后再利用找到
的所述最相似的关键帧，重新计算所述摄像机的姿态从而进行姿态调整。
6.一种并行式跟踪与制图PTAM摄像机跟踪装置，其特征在于，所述装置包括...

【专利技术属性】
技术研发人员：刘洁，
申请(专利权)人：新浪网技术中国有限公司，
类型：发明
国别省市：北京;11