一种实现三维增强现实的方法及系统技术方案

本发明专利技术公开了一种实现三维增强现实的方法及系统，该方法具体包括：视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧；对视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行增强现实处理，得到处理后的虚拟图形帧；虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成，得到增强现实环境的合成视频帧。本发明专利技术能够更好的支持增强现实技术在计算资源相对有限的手持移动计算设备上的实施，拓展了增强现实技术的应用领域。

【技术实现步骤摘要】

本专利技术涉及增强现实技术，尤其涉及一种实现三维增强现实的方法及系统。
技术介绍
增强现实(AR，Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增强现实保留用户实际身处的物理环境作为用户的主要感知和交互环境，通过将文本、二维图像、三维模型等虚拟生成的信息标注在显示屏上所显示的物理环境中的物体上，从而实现对用户身处的现实物理环境的注释、说明，或者增强、强调现实环境的某些效果，比如用户戴上专用的增强现实显示眼镜，亲身到故宫实地游览，当参观到一个文物时，他不仅可以看到文物和其周围环境本身，还可以同时看到通过增强现实技术附加的多媒体方式呈现的对该文物的介绍信息。增强现实技术给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，实现用户与周围环境的交互。 文献《H.Billinghurst，M.Marker Tracking and HMD Calibration for avideo-based Augmented Reality Conferencing System.In Proceedings of the 2ndInternational Workshop on Augmented Reality.San Francisco，USA，October.1999》中提出了一种基于标志物的增强现实算法，并由此设计出一个开源软件包(ARToolkit)。ARToolkit使用计算机视觉技术来计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为输入实时捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该homography在标志物的黑框内部区域进行采样，采样模板一般为16×16，共得到256个采样点构成一个采样向量；将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值，就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物查找到相对应的虚拟物体，将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。 由于ARToolkit所采用的标志物中间区域内容是随意的，不是统一规范的。这带来以下主要问题模式匹配过程计算慢，随着标志物数据库中的数量增加而计算时间增长；误配率高；需要将虚拟物体与具体标志物图案直接关联，虚实匹配关系的建立与维护都不方便。 另一方面，二维可视编码是类似于条形码的一种编码图案。如图1所示，这种二维可视化编码可以贴在物品上作为识别物品的信息和功能的唯一的标志物。手机等移动平台很适合实现二维可视化编码，因为现在手机的使用已经非常普及，并且带有摄像头的手机也越来越流行。在手机等移动计算设备上集成的摄像头用作传感器可以让用户及时地在周围环境中检测到带有二维可视化编码的物体，然后解码得到相关的数字编号，并通过编号来提供相应的信息。目前已经有一些作为商务用途的二维可视化编码软件被开发出来。 文献《Michael Rohs.Real-World Interaction with Camera-Phones.2ndInternational Symposium on Ubiquitous Computing Systems，Tokyo，Japan，November 2004》提出了一种二维可视化编码(Visual Code)技术，其编码图案如图2所示，该文献中提到通过手机所带相机来识别该编码图案，同时计算得到手机与该编码图案的一些相对运动信息，手机的相机与编码的相对倾角等运动信息可以作为手机与数字信息交互的一个参数。 上述文献的目标是得到图像的编码，并利用手机的部分运动信息进行二维的交互，因此从编码检测中得到的是编码所对应的数字、及手机与编码图案的相应倾角信息。通过手机等移动计算设备上的相机捕捉到图2中的编码图案，可解析出该二维编码图案所唯一对应的一个76位的数字。然后，利用该数字来检索出一些二维图片与文字信息，显示在手机等移动计算设备的屏幕上。但上述二维可视化编码不支持类似于ARToolkit中的三维信息的增强现实功能。
技术实现思路
本专利技术要解决的第一技术问题是提供一种实现三维增强现实的方法，用于为虚实物体之间映射关系的建立，提供一种快速、可靠的方法。 本专利技术要解决的第二技术问题是提供一种实现三维增强现实的系统，用于为虚实物体之间映射关系的建立，提供一种快速、可靠的系统。 为解决上述第一技术问题，本专利技术的目的是通过以下技术方案实现的，提供一种实现三维增强现实的方法，该方法具体包括步骤 A获得二维可视编码标志物的视频帧； B对所述视频帧进行增强现实处理，得到虚拟图形帧； C将所述虚拟图形帧与视频帧进行合成，得到合成视频帧。 优选地，所述步骤A中标志物中包含图案，所述图案按照编码规则排布。 优选地，所述步骤A之前进一步包括步骤 A1初始化三维图形系统环境、相机内部参数以及标志物文件； A2抓取视频帧图像，并将该图像缩放使其作为图形系统中的纹理贴图； A3将纹理贴图绘制为背景并存储在图形系统提供的帧缓存中； A4对步骤A2中抓取的视频帧进行图像处理； A5将所述视频帧图像经过图像处理的标志物与标志物文件中规定的标志物进行比较，并判断误差是否小于设定值，如果是，则判定找到标志物； A6记录该标志物在标志物坐标系和图像坐标系中的顶点坐标，并计算与该标志物对应的编码值。 优选地，所述步骤A4具体包括步骤 A41对抓取的视频帧进行图像灰度处理和二值化； A42对抓取的视频帧进行图像标记； A43对抓取的视频帧进行轮廓提取。 优选地，所述步骤B具体包括步骤 B1获得标志物坐标系和图像坐标系中对应的标志物顶点坐标，并计算从标志物坐标系到相机坐标系的变换矩阵； B2采样二维可视编码中编码图案，得出编码值。 优选地，所述步骤B2后进一步包括步骤 B3检索对应于该编码的三维模型，获取该三维模型，并获得所述三维模型的顶点数组。 优选地，所述步骤B3后还包括步骤 B4获得顶点数组中的顶点与变换矩阵的乘积，所述乘积是该三维图形在相机坐标系下的坐标数组； B5绘制以该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。 为解决上述第二技术问题，本专利技术还提供一种实现三维增强现实的系统，该系统包括视频帧捕获模块、视频跟踪模块、虚拟图形系统模块、虚实合成模块以及视频显示模块； 视频帧捕获模块用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块； 虚拟图形系统模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形； 虚实合成模块用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成，得到合成视频帧。 优选地，视频跟踪模块用于计算处理获得本文档来自技高网...

【技术保护点】
一种实现三维增强现实的方法，其特征在于，具体包括步骤：Ａ：获得二维可视编码标志物的视频帧；Ｂ：对所述视频帧进行增强现实处理，得到虚拟图形帧；Ｃ：将所述虚拟图形帧与视频帧进行合成，得到合成视频帧。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨旭波，曹达，齐泉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：94[中国|深圳]