基于快速定位图像尺度和区域的三维跟踪方法及系统技术方案

本发明专利技术提供一种基于快速定位图像尺度和区域的三维跟踪方法及系统，该方法包括：根据模板图像构建尺度金字塔；从金字塔中提取第一特征点；对金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据结构；从屏幕图像中提取第二特征点；估计摄像机的位姿，将关键帧区域边界投影到屏幕图像上；根据投影结果选择候选关键帧序列；根据屏幕图像的第二特征点和候选关键帧序列的第一特征点进行特征点的匹配；根据特征点的匹配结果计算摄像机的位姿。本发明专利技术实施例的方法具有三维跟踪速度快的优点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特别涉及一种基于快速定位图像尺度和区域的三维跟踪方法。
技术介绍
三维跟踪技术可以应用到虚拟现实，增强现实等热门领域中，其中，对二维平面自然图像进行三维跟踪是非常重要的一个方向。随着近几年移动设备的性能的快速发展，移动增强现实技术也取得了快速的发展。一方面，移动设备在计算能力，存储能力和续航能力等方面相比PC端存在着比较大的差距。另一方面，移动设备具有更好的便携性，并且配备了更多的传感设备，例如GPS，加速计，陀螺仪等。这些传感设备使得移动设备可以从外界获得更多的方位和移动信息。由于移动设备具有这样的优缺点，人们在移动设备上实现了三维跟踪算法，并对算法进行了计算上的优化，使得三维跟踪系统可以在移动设备上流畅的运行。传统的二维图像进行三维跟踪算法大体可以分为两个阶段，预处理阶段和实时跟踪阶段，预处理阶段从模板图像中提取特征点，并存放在一个特征点数组中。传统的三维跟踪算法为了实现特征的尺度不变性，对模板图像构建金字塔结构，对不同的尺度图像分别提取特征点。提取特征点之后，将各个不同尺度图像上提取到的特征点保存在一个特征点数组中。在实时跟踪阶段，对获取到的每一帧屏幕图像提取特征点，并与预处理阶段得到的模板特征点数组进行特征匹配，进而计算摄像机位姿。传统的二维图像跟踪算法都是将模板图像上提取到的特征点保存在一个数组中，没有按照特征点在模板上出现的位置和尺度分别存放管理。所以在实时跟踪过程中，屏幕图像特征点需要与模板图像上各尺度下的整个图像的特征点进行匹配。由于实现尺度不变性需要对模板图像构建尺度金字塔，并对不同尺度的图像分别提取特征点，会进一步降低三维跟踪的效率，所以很多传统的算法都因为效率原因没有加入尺度不变性。一些算法加入了尺度不变性，但是以降低了系统效率为代价。在实际中，屏幕图像可能只会与模板图像的某个尺度或某个区域匹配成功。其余的大部分特征匹配都是无效的。这无疑浪费了大量的计算资源。
技术实现思路
本专利技术的目的旨在解决上述的技术缺陷。为此，本专利技术的一个目的在于提出一种基于快速定位图像尺度和区域的三维跟踪方法。该方法具有三维跟踪速度快的优点。本专利技术的另一个目的在于提出一种基于快速定位图像尺度和区域的三维跟踪系统。为了实现上述目的，本专利技术的第一方面的实施例公开了一种基于快速定位图像尺度和区域的三维跟踪方法，包括以下步骤：获取模板图像，并根据所述模板图像构建尺度金字塔；从所述尺度金字塔中每一尺度下的图像中提取第一特征点；对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据结构；利用摄像机采集屏幕图像；从所述屏幕图像中提取第二特征点；估计所述摄像机的位姿，并判断位姿的估计值是否正确；如果正确，则将关键帧区域边界投影到所述屏幕图像上；根据关键帧投影到所述屏幕图像上的投影结果选择候选关键帧序列；根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一特征点进行特征点的匹配；根据特征点的匹配结果得到单应性矩阵；根据所述单应性矩阵计算所述摄像机的位姿。另外，根据本专利技术上述实施例的基于快速定位图像尺度和区域的三维跟踪方法还可以具有如下附加的技术特征：在一些示例中，在判断所述位姿的估计值是否正确之后，还包括：如果所述位姿的估计值不正确，则采用传统方法计算所述摄像机的位姿。在一些示例中，根据以下公式选择候选关键帧序列，其中，所述公式为： σ = s inter s kf + s inter s w 2 , ]]>其中，所述σ为所述屏幕图像和关键帧投影图像的重合因子。在一些示例中，在所述利用摄像机采集屏幕图像之后，还包括：获取前一帧图像的特征点集；根据所述前一帧图像的特征点集，利用光流算法求解所述屏幕图像与模板图像匹配的特征点；根据所述匹配特征点得到单应性矩阵；根据所述单应性矩阵计算所述摄像机的位姿。本专利技术第二方面的实施例公开了一种基于快速定位图像尺度和区域的三维跟踪系统，包括：尺度金字塔生成模块，用于根据模板图像构建尺度金字塔；特征点提取模块，用于从所述尺度金字塔中每一尺度下的图像中提取第一特征点，并从屏幕图像中提第二特征点；关键帧生成模块，用于对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据结构；位姿估计模块，用于估计所述摄像机的位姿，并判断位姿的估计值是否正确；关键帧投影模块，用于在所述位姿估计模块估计的位姿的估计值正确时，将关键帧投影到所述屏幕图像上；候选关键帧序列获取模块，用于根据关键帧区域边界投影到所述屏幕图像上的投影结果选择候选关键帧序列；特征点匹配模块，用于根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一特征点进行特征点的匹配；位姿计算模块，用于根据特征点的匹配结果得到单应性矩阵，并根据所述单应性矩阵计算所述摄像机的位姿。另外，根据本专利技术上述实施例的基于快速定位图像尺度和区域的三维跟踪系统还可以具有如下附加的技术特征：在一些示例中，所述位姿估计模块还用于：在判断所述位姿的估计值不正确时，采用传统方法计算所述摄像机的位姿。在一些示例中，所述候选关键帧序列获取模块根据以下公式选择候选关键帧序列，其中，所述公式为： σ = s inter s kf + s inter s w 2 , ]]>其中，所述σ为所述屏幕图像和关键帧投影图像的重合因子。在一些示例中，还包括：获取前本文档来自技高网...

【技术保护点】
一种基于快速定位图像尺度和区域的三维跟踪方法，其特征在于，包括以下步骤：获取模板图像，并根据所述模板图像构建尺度金字塔；从所述尺度金字塔中每一尺度下的图像中提取第一特征点；对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据结构；利用摄像机采集屏幕图像；从所述屏幕图像中提取第二特征点；估计所述摄像机的位姿，并判断位姿的估计值是否正确；如果正确，则将关键帧区域边界投影到所述屏幕图像上；根据关键帧投影到所述屏幕图像上的投影结果选择候选关键帧序列；根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一特征点进行特征点的匹配；根据特征点的匹配结果得到单应性矩阵；根据所述单应性矩阵计算所述摄像机的位姿。

【技术特征摘要】
1.一种基于快速定位图像尺度和区域的三维跟踪方法，其特征在于，包括以下步
骤：
获取模板图像，并根据所述模板图像构建尺度金字塔；
从所述尺度金字塔中每一尺度下的图像中提取第一特征点；
对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应
的第一特征点生成关键帧数据结构；
利用摄像机采集屏幕图像；
从所述屏幕图像中提取第二特征点；
估计所述摄像机的位姿，并判断位姿的估计值是否正确；
如果正确，则将关键帧区域边界投影到所述屏幕图像上；
根据关键帧投影到所述屏幕图像上的投影结果选择候选关键帧序列；
根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一特征点进行特征点
的匹配；
根据特征点的匹配结果得到单应性矩阵；
根据所述单应性矩阵计算所述摄像机的位姿。
2.根据权利要求1所述的基于快速定位图像尺度和区域的三维跟踪方法，其特征
在于，在判断所述位姿的估计值是否正确之后，还包括：
如果所述位姿的估计值不正确，则采用传统方法计算所述摄像机的位姿。
3.根据权利要求1所述的基于快速定位图像尺度和区域的三维跟踪方法，其特征
在于，根据以下公式选择候选关键帧序列，其中，所述公式为：
σ = s inter s kf + s inter s w 2 , ]]>其中，所述σ为所述屏幕图像和关键帧投影图像的重合因子。
4.根据权利要求1-3任一项所述的基于快速定位图像尺度和区域的三维跟踪方法，
其特征在于，在所述利用摄像机采集屏幕图像之后，还包括：
获取前一帧图像的特征点集；
根据所述前一帧图像的特征点集，利用光流算法求解所述屏幕图像与模板图像匹配
的特征点；
根据所述匹配特征点得到单应性矩阵；
根据所述单应性矩阵计算所述摄像机的位姿。
5.一种基于快速定位图像尺度和区域的三维跟踪系统，其特征在于，包...

【专利技术属性】
技术研发人员：孙延奎，赵奇可，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11