一种新的户外增强现实无标跟踪注册算法制造技术

本发明专利技术涉及增强现实技术领域，特别是涉及一种新的户外增强现实无标跟踪注册算法。首先，本发明专利技术利用二级空间位置信息约束将场景识别的检索范围进行缩小；其次，提出使用纹理和轮廓两种特征来对场景进行表达，并使用结构较为简单的分类器对两种特征的后验概率模型进行估计，实现了基于视觉的场景识别方法；再次，通过优化通用树方法的基图像块选择方式提高了图像特征的识别性能，并与帧间光流跟踪相结合，提出了基于混合特征跟踪的注册方法。本发明专利技术所使用的无标跟踪注册算法能够满足实时性、鲁棒性的要求，适用于户外环境下的增强现实应用。

【技术实现步骤摘要】

本专利技术涉及增强现实
，特别是涉及一种新的户外增强现实无标跟踪注册算法。
技术介绍
增强现实技术(Augmented Reality，简称AR)是一种随着虚拟现实技术的发展而 产生的新兴计算机应用和人机交互技术。该技术借助光电显示技术、交互技术、多传感器技 术、计算机图形与多媒体技术，将计算机生成的虚拟环境与用户周围的真实场景相融合，使 用户从感官效果上确信虚拟环境是其周围真实场景的组成部分。早期，通常增强现实系统的应用范围局限于室内或户外的小范围环境，研究对象 多是单一或较少目标的简单场景。近年来，随着增强现实技术的发展，其应用范围和领域也不断拓宽，研究人员逐渐 开始关注将增强现实技术应用于户外复杂的大范围、多目标环境，实现多种适用于不同应 用的系统。主要有如下系统和应用1.基于增强现实技术的城市导航系统。这一类系统通过GPS和罗盘测定用户在城 市中的位置和方位，并通过显示各条路所通往的地点来为用户进行导航，同时系统还能够 对用户的行进速度进行测量。2.博物馆导览系统。这一类系统使用GPS或蓝牙等技术定位参观者在博物馆中的 位置，利用罗盘确定用户朝向或利用视觉技术识别用户所感性的展品，通过向用户显示与 展品有关的各种信息来帮助用户更好的了解所参观的展品，使用户的参观过程变得丰富、 有趣。3.大范围古遗址导览及重现系统。由于，古遗址建筑的重建和修复是一项复杂、庞 大的工程，需消耗大量的人力、物力、财力，易造成对遗址的再次破坏，于是出现了采用增强 现实技术来实现遗址重现的技术系统。这一类系统通过GPS或蓝牙等技术定位参观者的位 置，通过罗盘或视觉技术来对用户姿态进行确定，并将与古遗址相关的信息进行增强显示， 通常包括古遗址的三维原貌模型、遗址历史介绍等。4.以智能手机为平台的户外增强现实应用。这一类应用使得增强现实技术摆脱了 大体积PC平台的限制，算法的功耗低、所需存储空间小。今年，荷兰一家公司推出了第一款 增强现实手机浏览器-LayAR。该浏览器可运行于Android手机平台之上。用户只需要将手 机的摄像头对准感兴趣场景，GPS首先定位用户所在位置，罗盘判断摄像头所面对的方向， 随后用户就能在手机的屏幕下方看到与所拍摄的场景相关的信息，甚至还包括周边房屋出 租、酒吧及餐馆的打折信息、招聘启事以及ATM等实用性的信息。苹果公司在Iphone手机 上的这一类应用开发也起步较早，目前，已有多款相应的软件运行于Iph0ne3代以及4代产 品之上，如LondonPipes，用户可以使用这一系统在伦敦街头进行游览，它可以自动识别建 筑物并向用户显示内容详细的指路信息。以上介绍的户外增强现实系统均采用GPS、罗盘等技术对用户位置进行初步定位，之后使用计算机视觉方法对场景进行精确识别并对用户的姿态进行注册，最终实现准确的 增强显示。物理传感器通常存在刷新频率和定位精度较低的问题，同时随着目标物体数量 的增多和视觉识别的检索范围会增大，视觉方法的识别准确率和实时性能都会逐渐下降。 因此，目前大多数系统采用软硬件技术相结合的定位方式来完成户外大范围环境下的场景 识别。
技术实现思路
本专利技术的主要目的在于针对户外环境范围大、场景数量多的特点，提出了一种户 外环境下的无标增强现实跟踪注册算法。首先，算法提出使用轮廓和纹理两种混合特征来 对场景进行表达，并通过结构简单的分类器对混合特征进行有监督学习。同时结合二级空 间地理位置信息约束，进一步缩小识别用户当前所处场景的检索范围，并在这一范围内使 用以上提出的视觉识别方法完成场景识别。其次，将基于模式分类思想的图像特征点识别 方法与光流跟踪方法相结合提出了混合特征跟踪算法，实现了快速、准确、对存储空间要求 更低的图像特征点跟踪。最后，与场景重建结果相结合构成了一个完整的户外增强现实无 标跟踪注册。本专利技术的技术方案是根据户外环境范围较大、场景种类和数量较多的特点，算法主要包括离线阶段和 在线阶段两个部分，具体步骤包括(1)离线准备阶段①、为每一个场景建立来自不同观察视点的关键帧图像数据库，进行场景稀疏重 建，并对每一个场景的二级空间地理位置信息进行标定；②、提取关键帧图像上的轮廓和纹理混合特征，使用分类器对混合特征集合进行 有监督学习；③、使用改进的通用树分类器对特征点进行有监督学习；(2)在线阶段，对每一幅当前帧图像做如下处理④、根据GPS定位结果以及离线标定的场景二级空间地理位置信息将用户当前所 处场景的检索范围进行缩小；⑤、提取轮廓和纹理混合特征，由分类器对混合特征进行识别，并在上一步得到的 较小范围内完成场景识别；⑥、由混合特征跟踪算法进行特征点匹配和跟踪，建立当前帧与其对应的关键帧 之间的2D-2D特征点匹配；⑦、将2D-2D对应信息与场景重建结果相结合得到2D-3D对应，计算摄像机姿态， 完成跟踪注册。本专利技术是一种新的用于户外增强现实系统的场景识别技术，具有以下优点(1)在本专利技术的技术方案中，二级空间位置信息约束的引入以及GPS信息的使用， 在很大程度上缩小了基于视觉方法的场景识别的检索范围，由此进一步缩短了后续场景识 别过程的处理时间、实现了较高的场景识别成功率。(2)在本专利技术的技术方案中，由于是首先通过使用纹理和轮廓两种混合特征来对 用户所在场景进行表达，因此与以往使用单一特征的表达方式相比，提高了对于户外复杂5场景的表达能力，Ferns分类器的引入更是实现了对于混合特征的有效的有监督学习和更 加快速、准确的识别。因此，可以为户外复杂的大范围环境下的增强现实系统提供较为高 效、准确的场景识别结果。(3)在本专利技术的技术方案中，通用树分类器的使用提高了图像特征点匹配的速度、 准确性和鲁棒性，保证了图像特征点匹配的性能不会受到场景数量多少的影响。(4)在本专利技术的技术方案中，图像特征点匹配和特征点的光流跟踪相结合，即确保 了无标跟踪注册的鲁棒性，又满足了增强现实对于跟踪注册的快速、准确的要求。附图说明图1为本专利技术中户外增强现实无标跟踪注册算法流程图。图2为本专利技术中场景关键帧图像以及基于序列图像的三维重建结果示意图。(a) 和(b)是从不同视角观察的三维点云重建结果。图3为本专利技术中针对一些物体提取得到的LoG特征点、部分纹理特征、轮廓特征提 取结果及其PHOG直方图。图4为本专利技术中Ferns分类器结构演化示意图。图5为本专利技术中对某一校园环境进行的submap空间地理位置信息标注示意图。图6为本专利技术中依据隐式和显式流型约束所选择的候选基图像块及每一类的聚 类中心示意图。图7为本专利技术中某一帧图像需要进行特征点的重新初始化情况下的示意图(a) 表示KLT跟踪过程中某一帧图像的特征点的数目较多；(b)示意跟踪过程中特征点数目减 少，需要重新初始化；(c)黄色点为重新初始化加入特征点后的点集。图8为本专利技术中算法对某一户外场景进行跟踪注册的精度测试结果，通过重建的 3D点的重投影误差来表示跟踪注册的精度，图中曲线所示的是每一时刻对应的所有被识别 3D点的重投影误差的平均值。图9为本专利技术中算法对某一户外场景进行跟踪注册时处理每一帧图像所需的时 间，其中曲线的各波峰所对应的是混合特征跟踪过程中的重新初始化情况，各波峰之间的 每个阶段对应两次重新初始化之间的光流跟踪过程。图10本文档来自技高网...

【技术保护点】

【技术特征摘要】
一种新的户外增强现实无标跟踪注册算法，其特征在于，包括以下步骤(1)离线准备阶段①、为每一个场景建立来自不同观察视点的关键帧图像数据库，进行场景稀疏重建，并对每一个场景的二级空间地理位置信息进行标定；②、提取关键帧图像上的轮廓和纹理混合特征，使用分类器对混合特征集合进行有监督学习；③、使用改进的通用树分类器对特征点进行有监督学习；(2)在线阶段，对每一幅当前帧图像④、根据GPS定位结果以及离线标定的场景二级空间地理位置信息将用户当前所处场景的检索范围进行缩小；⑤、提取轮廓和纹理混合特征，由分类器对混合特征进行识别，并在上一步得到的较小范围内完成场景识别；⑥、由混合特征跟踪算法进行特征点匹配和跟踪，建立当前帧与其对应的关键帧之间的2D 2D特征点匹配；⑦、将2D 2D对应信息与场景重建结果相结合得到2D 3D对应，计算摄像机姿态，完成跟踪注册。2.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在① 中，场景三维重建的方法不局限于序列帧图像的计算方法，可以使用目前已有的各种成熟 三维重建方法来进行。3.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在 ①中，使用二级空间地理位置信息来对环境中的每一个场景进行表示，这样一种二级位置 信息的表示方式是第一级信息为这一场景所在的空间区域信息，该信息的测量可以使用 GPS对其空间范围进行测量和标定，并采用经纬度来表示这一范围，这其中空间位置的测量 手段和方式不局限于GPS方法，还可以是通过蓝牙、Wifi等无线空间位置测量方式；第二级 信息为在这一场景在其所在的空间区域内，该场景与区域内的其他场景的相邻关系来表示 和确定。4.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在① 中，确定每个场景的二级空间地理位置信息时，依据整个环境范围的大小以及环...

【专利技术属性】
技术研发人员：王涌天，郭俊伟，陈靖，刘越，刘伟，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：11