基于无标记识别的增强现实方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于无标记识别的增强现实方法，涉及室内增强现实技术领域，能克服有标记增强现实的局限性，实现无标记增强现实的功能，且在光线变化较大和快速运动的情况下具有稳定的性能。该方法包括以下步骤：视觉信息和IMU信息的获取；实时视频流信息的标定；对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；计算虚拟3D模型的实时显示视角，在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。本发明专利技术还公开了一种基于无标记识别的增强现实装置、电子设备和计算机存储介质。本发明专利技术通过对IMU信息和视觉信息的结合，能获得更好的增强现实效果。

Augmented Reality Method, Device, Equipment and Media Based on Unmarked Recognition

【技术实现步骤摘要】
基于无标记识别的增强现实方法、装置、设备及介质
本专利技术涉及室内增强现实领域，尤其涉及一种基于无标记识别的增强现实方法、装置、设备及介质。
技术介绍
增强现实(AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术模拟仿真后再叠加，实现将虚拟的信息应用到真实世界，从而被人类感官所感知，达到超越现实的感官体验。简单地说，增强现实技术实现了将真实的环境和虚拟的物体实时地叠加到同一个画面或空间使其同时存在。目前，人们利用人工标识方法来获取虚实注册所需的AR系统中的相机机信息，包括位置信息、姿态信息。基于人工标识方法来获取相机信息，虽然能方便的进行识别跟踪，但是存在改变场景真实性的缺点，使得增强现实效果不自然。如当前流行的AR应用开发框架ARToolKit是此类方法的经典代表。而人工标识方法还存在需要显示场景始终位于用户视线范围之内的问题，为解决这一问题，研究人员选择利用显示场景中的自然特征，如平面、特征点、线段等来完成虚实注册的新方法。但随着AR技术应用范围更加广阔，在构建增强现实时需要应对更加复杂的未知环境以及变化的人眼视线。为增加AR技术的灵活性和实用性，需要在视觉定位技术上作出改进。而在Davision博士提出的基于单目视觉的实时同步定位和地图构建(SLAM)研究中，使用了全状态扩展卡尔曼滤波器跟踪少量Harris角点，以实现室内环境下逐帧更新相机的姿态，在视觉定位领域做出了重要贡献。但是该算法在光线变化较大和快速运动的情况下性能较不稳定，主要是因为单目视觉系统无法恢复绝对尺度，所以限制了它在虚拟现实世界中的应用。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种基于无标记识别的增强现实方法，克服了有标记增强现实的局限性，实现无标记增强现实的功能，且在光线变化较大和快速运动的情况下具有稳定的性能。本专利技术的目的之一采用以下技术方案实现：一种基于无标记识别的增强现实方法，包括以下步骤：接收视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；获取相机的实时视频流信息，并结合预处理后的IMU信息进行角速度偏置标定和速度向量、尺度、重量向量标定，得到标定后的IMU信息包括角速度标定信息、速度向量标定信息、绝对尺度标定信息和重量向量标定信息；对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；根据重量向量标定信息，计算出虚拟物体放置平面的法向量；根据所述相机的实时位姿，计算出虚拟3D模型的实时显示视角，最后在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。进一步地，所述视觉信息的预处理为：使用RGB相机获取实时的三维场景信息，提取图像中的特征点；所述IMU信息的预处理为：获取相机实时的IMU信息，对视觉两帧之间的时间内获得的IMU信息进行预计分，预估出相机的位置信息、速度信息、旋转信息。进一步地，获取相机的实时视频流信息的方法为：将实时视频流按照视觉SLAM算法运行若干时间，同时记录所述若干时间内的视频流信息，包括位置信息、速度信息、旋转信息；结合预处理后的IMU信息进行角速度偏置标定的方法为：将视觉SLAM算法得到若干时间内的旋转信息和IMU信息中的旋转信息进行手眼标定，以校正旋转偏置；结合预处理后的IMU信息进行速度向量、尺度、重量向量标定的方法为：令若干时间内的视觉SLAM算法得到速度信息、位置信息与所述IMU信息的速度信息、位置信息相等，补全视觉SLAM算法缺少的速度、尺度和重量信息。进一步地，利用视觉SLAM算法对标定后的IMU信息进行跟踪定位的具体步骤为：跟踪标定后的IMU信息和预处理后的视觉信息，计算出相机位姿，并跟踪局部地图，根据设定的阈值生成关键帧，并将所述关键帧加入关键帧序列；检查所述关键帧序列，并处理新生成的关键帧，剔除冗余的匹配点并生成新的匹配点，同时对局部地图进行优化并剔除冗余的关键帧；再次检查关键帧队列，使用预先建立的视觉词典进行回环检测，根据回环检测结果判断是否进行闭环校正和全局地图优。进一步地，当回环检测结果表明发生回环时，进行闭环校正和全局地图优化。本专利技术的目的之二在于提供一种基于无标记识别的增强现实装置，其通过融合IMU信息和视觉信息实现增强现实功能。本专利技术的目的之二采用以下技术方案实现：基于无标记识别的增强现实装置，其包括：信息获取模块，用于获取视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；视觉惯导联合初始化模块，基于预处理后的所述IMU信息进行角度偏置标定和速度向量、绝对尺度、重力向量标定；定位跟踪模块，跟踪所述视觉惯导联合初始化模块标定的信息，获取相机的实时位姿；合成显示模块，根据所述相机的实时位姿和重力向量标定，分别计算出显示虚拟3D模型的显示视角和虚拟物品放置平面的法向量，并绘制显示视角下的虚拟3D模型进行合成显示。进一步地，所述定位跟踪模块包括跟踪模块、局部地图模块和回环检测模块，所述跟踪模块用于计算相机位姿和跟踪局部地图，并构建关键帧序列；所述局部地图模块，用于对关键帧序列和局部地图进行优化；所述回环检测模块，用于对所述关键帧序列进行回环检测，并进行闭环校正和全局地图优化。本专利技术的目的之三在于提供执行专利技术目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的基于无标记识别的增强现实方法。本专利技术的目的之四在于提供存储专利技术目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于无标记识别的增强现实方法。相比现有技术，本专利技术的有益效果在于：本专利技术采用无标识的方法进行相机位姿识别跟踪，无需布置场景，不改变场景的真实性，且在视觉信息的基础上融合IMU信息，弥补了传统AR方法在光线变化较大和快速运动的情况下不稳定的缺点，采用视觉和惯导紧耦合的方式，可以直接计算出现实场景的绝对尺度，并根据重力向量标定来计算虚拟物体放置平面的法向量，实现精准构造虚拟3D模型，从而达到更好的增强现实效果。附图说明图1是本专利技术基于无标记识别的增强现实方法的流程图；图2是实施例2的基于无标记识别的增强现实装置的结构框图；图3是实施例3的电子设备的结构框图。具体实施方式以下将结合附图，对本专利技术进行更为详细的描述，需要说明的是，下参照附图对本专利技术进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。实施例1本实施例提供了一种基于无标记识别的增强现实方法，旨在通过视觉SLAM与IMU的融合，进行相机位姿的定位跟踪和虚拟场景平面的估计，在避免改动原有场景的基础上，获得更好的增强现实效果。根据上述原理，对基于无标记识别的增强现实方法进行介绍，如图1所示，基于无标记识别的增强现实方法，具体包括以下步骤：S1：接收视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；在S1中，视觉信息获取自视觉系统，IMU信息获取自惯性导航单元，视觉信息的预处理为：使用RGB相机获取实时的三维场景信息，提取图像中的特征点；IMU信息包括角速度和加速度，即相机的实时运动信息，对视觉两帧之间间本文档来自技高网...

【技术保护点】
1.一种基于无标记识别的增强现实方法，其特征在于，包括以下步骤：接收视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；获取相机的实时视频流信息，并结合预处理后的IMU信息进行角速度偏置标定和速度向量、尺度、重量向量标定，得到标定后的IMU信息包括角速度标定信息、速度向量标定信息、绝对尺度标定信息和重量向量标定信息；对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；根据重量向量标定信息，计算出虚拟物体放置平面的法向量；根据所述相机的实时位姿，计算出虚拟3D模型的实时显示视角，最后在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。

【技术特征摘要】
1.一种基于无标记识别的增强现实方法，其特征在于，包括以下步骤：接收视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；获取相机的实时视频流信息，并结合预处理后的IMU信息进行角速度偏置标定和速度向量、尺度、重量向量标定，得到标定后的IMU信息包括角速度标定信息、速度向量标定信息、绝对尺度标定信息和重量向量标定信息；对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；根据重量向量标定信息，计算出虚拟物体放置平面的法向量；根据所述相机的实时位姿，计算出虚拟3D模型的实时显示视角，最后在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。2.如权利要求1所述的基于无标记识别的增强现实方法，其特征在于，所述视觉信息的预处理为：使用RGB相机获取实时的三维场景信息，提取图像中的特征点；所述IMU信息的预处理为：获取相机实时的IMU信息后，对视觉两帧之间的时间内获得的IMU信息进行预计分，预估出相机的位置信息、速度信息、旋转信息。3.如权利要求1或2所述的基于无标记识别的增强现实方法，其特征在于，获取相机的实时视频流信息的方法为：将实时视频流按照视觉SLAM算法运行若干时间，同时记录所述若干时间内的视频流信息，包括位置信息、速度信息、旋转信息；结合预处理后的IMU信息进行角速度偏置标定的方法为：将视觉SLAM算法得到若干时间内的旋转信息和IMU信息中的旋转信息进行手眼标定，以校正旋转偏置；结合预处理后的IMU信息进行速度向量、尺度、重量向量标定的方法为：令若干时间内的视觉SLAM算法得到速度信息、位置信息与所述IMU信息的速度信息、位置信息相等，补全视觉SLAM算法缺少的速度、尺度和重量信息。4.如权利要求3所述的基于无标记识别的增强现实方法，其特征在于，利用视觉SLAM算法对标定后的IMU信息进行跟踪定位的具体步骤为：跟踪标定后的IMU信息...

【专利技术属性】
技术研发人员：嵇望，陈默，张羽，王哲，赵强，
申请(专利权)人：杭州远传新业科技有限公司，
类型：发明
国别省市：浙江,33