一种无标记的增强现实多目标注册跟踪方法技术

本发明专利技术公开了一种无标记的增强现实多目标注册跟踪方法，包括：1)离线阶段：通过分层k‑means聚类出词汇树模型，并为词汇树所有叶子节点的倒排索引注册对应的图像id，最后根据整棵树的叶子结点出现的频数和总共的待注册图像数更新为一棵带tf‑idf的词汇树；2)在线阶段：在线阶段是一个实时响应的系统，对摄像头实时输入的图像，根据训练好的词汇树，检索出最相似的图像，随后通过相机的位姿估计计算出待加载的3D物体初始位姿，并采用KLT的跟踪算法对此目标的运动进行跟踪，最后通过渲染线程搭建各目标的增强现实场景。本发明专利技术为无标记的多目标增强现实提供了高效、可靠的解决方案。

A markup less augmented reality multi target registration tracking method

The invention discloses an unmarked augmented reality multi-objective registration and tracking method, including: 1) off-line phase: clustering the vocabulary tree model by hierarchical K means, and registering the corresponding image ID for all the leaf nodes of the vocabulary tree, and finally the frequency and total registration according to the leaf node of the whole tree. The number of images is updated to a word tree with TF IDF; 2) online phase: the online phase is a real-time response system. The real-time input image of the camera, the most similar images are retrieved according to the trained vocabulary tree, and then the initial pose of the 3D object to be loaded is calculated by the position estimation of the camera, and KLT is used. The tracking algorithm tracks the movement of the target, and finally builds up the augmented reality scenes of the targets through the rendering thread. The invention provides an efficient and reliable solution for unmarked multi-target augmented reality.

【技术实现步骤摘要】
一种无标记的增强现实多目标注册跟踪方法
本专利技术涉及计算机图形学领域，尤其是指一种无标记的增强现实多目标注册跟踪方法。
技术介绍
增强现实是将虚拟世界和现实世界的信息无缝融合起来的技术，把原本超出现实世界中的体验信息通过电脑等科学技术，进行模拟仿真叠加在现实世界中，从而达到超越现实的感官体验，增强现实可作用于视觉、听觉以及味觉等感觉系统中。增强现实的起源可追溯于计算机技术的诞生，1968年哈弗大学电气工程副教授萨瑟兰专利技术的头戴式显示设备是增强现实的原型机，整套系统将显示设备放置在用户头顶的天花板，并通过连接杆和头戴设备相连，能够将简单线框图转换为3D效果的图像。本专利技术所涉及到的增强现实应用场景以视觉系统为主，传统的基于标记的增强现实技术已经跟不上时代的脚步，满足不了人们丰富的多元化世界需求，无标记的增强现实技术更为灵活，具有普遍适用性。本专利技术阐述了无标记的多目标增强现实注册跟踪所运用到的技术，主要包括视觉特征聚类，词汇树模型，倒排索引，摄像机位姿估计，目标跟踪等算法。21世纪，有大量的公司着手于增强现实的应用开发，所用到的开发平台由以下几个为主：(1)Vuforia；(2)EasyAR；(3)Wikitude；(4)ARToolKit；(5)Maxst；(6)Xzimg；以及苹果公司早期收购的Metaio公司，并于2017年6月发布了IOS系统的ARkit开发包供用户使用。其中，除了ARToolKit外，其他几个平台都只提供开放接口供用户进行应用开发，并且超出一定的限制后需要收费。虽然商业化的开放平台提供了较为完善的解决方案，但无法为研究员提供一套详尽、明确的算法理论基础。唯一开源算法代码的只有ARToolKit，其提供了基于有标记的多目标注册跟踪方法，但没有实现无标记的多目标注册跟踪方法，并且ArtoolKit在识别阶段遍历整个图像数据库，当注册图像较多的时候，其识别效率十分低下。同时，崔建竹等人专利技术的基于在图像上无标记增强现实的系统和方法在检索阶段依然是选择遍历整个图像数据库做比较。增强现实用到的核心技术主要包括三个方面：(1)图像检索；(2)相机位姿估计；(3)在线跟踪；在21世纪初，广泛应用的增强现实图像识别方法采用基于正方形标记的模版。一个基于标记的正方形模版由嵌入模式、白色背景、黑色边框组成，嵌入模式决定了标记的唯一性，黑色边框最先被识别出来，并进行跟踪检测，以及用来进行相机的位姿估计。然而，基于标记的模版其存储特征较少，所支持的模式有限，在海量的模式识别场景中并不适用。后续随着技术的发展，无标记的自然特征跟踪突破了传统基于标记方法的局限性，使得增强现实的应用场景更加灵活，存储容量也越大。基于无标记的增强现实由自然特征点组成，常用的特征点提取算法有SIFT，SURF，FAST，ORB等。基于无标记的增强现实所提取的特征点多、复杂，图像检索阶段有较为出名的基于BOW词袋模型的方法，然而实验表明，采用词袋模型在聚类阶段往往需要较大聚类中心数，如106以上才会有较好检索结果，并且随着注册图像的增加，检索阶段所花费的时间是线性相关的。NisterD,SteweniusH提出的运用词汇树的可扩展识别和基于光学流的KLT目标跟踪算法为本专利技术提供了基础。
技术实现思路
本专利技术的目的在于克服了增强现实中有标记的模版存储容量小，使用不灵活的不足，提出了一种无标记的增强现实多目标注册跟踪方法，该方法解决了有标记的增强现实方法的局限性，适用于自然特征场景中。且识别速度快，存储容量大，在多目标跟踪下效率和质量都有了保障。为实现上述目的，本专利技术所提供的技术方案为：一种无标记的增强现实多目标注册跟踪方法，包括以下步骤：1)离线阶段：通过分层k-means聚类出词汇树模型，并为词汇树所有叶子节点的倒排索引注册对应的图像id，最后根据整棵树的叶子结点出现的频数和总共的待注册图像数更新为一棵带tf-idf的词汇树。2)在线阶段：在线阶段是一个实时响应的系统，对摄像头实时输入的图像，根据1)中训练好的词汇树，检索出最相似的图像，随后通过相机的位姿估计计算出待加载的3D物体初始位姿，并采用KLT跟踪算法对此目标的运动进行跟踪，最后通过渲染线程搭建各目标的增强现实场景。在步骤1)中，离线阶段包括以下步骤：a)为待注册的图像集提取所有的SIFT特征点描述子；b)根据词汇树的分支数进行k-means分层聚类；c)依次为每一个分支下所有的SIFT特征点描述子重复b)的操作，直到叶子节点为止；d)最终为最底层的所有叶子节点分别链接一个倒排索引文件；e)重新为待注册的图像，提取SIFT特征点描述子，为每个特征点描述子根据训练的词汇树统计其在各叶子节点上的得分权重并为对应图像进行注册；f)根据整棵树叶子节点上倒排索引文件长度，重新计算带tf-idf权重的词汇树。设总共注册的图像数为N，对任一叶子节点i，共有Ni张图像注册到其倒排索引上，则此叶子节点i的tf-idf权重为对于已注册的图像d，若有mi个特征点落入到叶子节点i上，则此叶子节点的得分为di＝miwi，对于待检索的图像q，若有ni个特征点落入到叶子节点i上，则此叶子节点的得分为qi＝niwi。在步骤2)中，整个系统拥有一个识别线程、多个跟踪线程、一个渲染线程，具体情况如下：多目标追踪的表述形式：给定一组图像序列{I1,I2,...,It}，每幅图像中的目标个数为Mt，每个目标的状态有位置，姿态等信息，由一个3×4的矩阵表示，如下式：其中包括了一个3×3的旋转矩阵R和一个3×1平移矩阵t,一个世界坐标系的3D点能通过以下方程映射得到相机坐标系的2D点位置：其中u，v为相机投影的图像坐标系，xw，yw，zw为一个特征点的世界坐标系坐标，A为相机的内部参数，如下式：式中，∝x和∝y代表焦距，cx和cy代表主点的坐标，s代表倾斜系数，这些属于摄像机的内在参数，用来纠正光学形变的影响，能够在离线阶段完成；位姿估计就是通过n≥3个参考点的视角，计算出一个精准的摄像机外在参数st，用ICP迭代法计算出位姿矩阵R和t；那么每幅图像中所有目标状态表示为对应着第i个目标的运动轨迹表示为所有图像目标组成的状态序列S1:t＝{S1,S2,...,St}；识别线程的工作内容：与传统的单目标识别相比，多目标识别旨在尽可能多地识别出图像中的目标，设It中包含n个目标，步骤流程如下：a)根据摄像头的输入图像It，首先利用SIFT算法检测所有的特征点集合P，并为特征点集合P提取所有的SIFT特征点描述子；b)根据1)阶段训练好的词汇树，对每个描述子进行自上而下与词汇树的各层节点做内积，判定每一个特征点描述子所落入最终叶子节点，为对应叶子节点的得分加上此节点的tf-idf权重；c)取出此输入图像所有得分不为零的叶子节点倒排索引中的图像，利用下面相似度计算公式取得待检测图像集中最相似的参考图像R，考虑到图像中可能会包含多个相同的目标，采用欧式距离计算会导致越多的相似目标反而距离越远，因此多目标检测识别的相似度计算方法应采用余弦相似度计算公式；式中，q为查询图像在所有得分不为零的叶子节点得分向量，d为图像数据库中一张待对比图像的所有得分不为零的叶子结点得分向量。d)寻找单应性矩阵H，为一个3×3的矩阵，若存在则利用本文档来自技高网...

【技术保护点】
1.一种无标记的增强现实多目标注册跟踪方法，其特征在于，包括以下步骤：1)离线阶段：通过分层k‑means聚类出词汇树模型，并为词汇树所有叶子节点的倒排索引注册对应的图像id，最后根据整棵树的叶子结点出现的频数和总共的待注册图像数更新为一棵带tf‑idf的词汇树；2)在线阶段：在线阶段是一个实时响应的系统，对摄像头实时输入的图像，根据1)中训练好的词汇树，检索出最相似的图像，随后通过相机的位姿估计计算出待加载的3D物体初始位姿，并采用KLT的跟踪算法对此目标的运动进行跟踪，最后通过渲染线程搭建各目标的增强现实场景。

【技术特征摘要】
1.一种无标记的增强现实多目标注册跟踪方法，其特征在于，包括以下步骤：1)离线阶段：通过分层k-means聚类出词汇树模型，并为词汇树所有叶子节点的倒排索引注册对应的图像id，最后根据整棵树的叶子结点出现的频数和总共的待注册图像数更新为一棵带tf-idf的词汇树；2)在线阶段：在线阶段是一个实时响应的系统，对摄像头实时输入的图像，根据1)中训练好的词汇树，检索出最相似的图像，随后通过相机的位姿估计计算出待加载的3D物体初始位姿，并采用KLT的跟踪算法对此目标的运动进行跟踪，最后通过渲染线程搭建各目标的增强现实场景。2.根据权利要求1所述的一种无标记的增强现实多目标注册跟踪方法，其特征在于，在步骤1)中，离线阶段包括以下步骤：a)为待注册的图像集提取所有的SIFT特征点描述子；b)根据词汇树的分支数进行k-means分层聚类；c)依次为每一个分支下所有的SIFT特征点描述子重复b)的操作，直到叶子节点为止；d)最终为最底层的所有叶子节点分别链接一个倒排索引文件；e)重新为待注册的图像，提取SIFT特征点描述子，为每个特征点描述子根据训练的词汇树统计其在各叶子节点上的得分权重并为对应图像进行注册；f)根据整棵树叶子节点上倒排索引文件长度，重新计算带tf-idf权重的词汇树；设总共注册的图像数为N，对任一叶子节点i，共有Ni张图像注册到其倒排索引上，则此叶子节点i的tf-idf权重为对于已注册的图像d，若有mi个特征点落入到叶子节点i上，则此叶子节点的得分为di＝miwi，对于待检索的图像q，若有ni个特征点落入到叶子节点i上，则此叶子节点的得分为qi＝niwi。3.根据权利要求1所述的一种无标记的增强现实多目标注册跟踪方法，其特征在于，在步骤2)中，整个系统拥有一个识别线程、多个跟踪线程、一个渲染线程，具体情况如下：多目标追踪的表述形式：给定一组图像序列{I1,I2,...,It}，每幅图像中的目标个数为Mt，每个目标的状态有位置，姿态等信息，由一个3×4的矩阵表示，如下式：其中包括了一个3×3的旋转矩阵R和一个3×1平移矩阵t,一个世界坐标系的3D点能通过以下方程映射得到相机坐标系的2D点位置：其中u，v为相机投影的图像坐标系；xw，yw，zw为一个特征点的世界坐标系坐标；A为相机的内部参数，如下式：式中，∝x和∝y代表焦距，cx和cy代表主点的坐标，s代表倾斜系数，这些属于摄像机的内在参数，用来纠正光学形变的影响，能够在离线阶段完成；位姿估计就是通过n≥3个参考点的视角，计算出一个精准的摄像机外在参数st，用ICP迭代法计算出位姿矩阵R和t；那么每幅图像中所有目标状态表示为对应着第i个目标的运动轨迹表示为所有图像目标组成的状态序列S1:t＝{S1,S2,...,St}；识别线程的工作内容：与传统的单目标识别相比，多目标识别旨在尽可能多地识别出图像中的目标，设It中包含n个目标，步骤流程如下：a)根据摄像头的输入图像It，首先利用SIFT算法检测所有的特征点集合P，并为特征点集合P提取所有的SIFT特征点描述子；b)根据离线阶段训...

【专利技术属性】
技术研发人员：张宇，卢明林，李雯，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44