带有现实环境估算的增强现实的方法及其系统技术方案

带有现实环境估算的增强现实的方法及其系统，包括：初始化系统环境、配置系统参数；选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；计算标志物图像的相机内部参数并进行校正；对摄像头拍摄到的真实环境中的每一帧，进行校正，基于训练数据识别标志物，计算该标志物在摄像头坐标系中的相对位置矩阵；通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置，绘制虚拟模型，通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处环境的光照信息，进行现实环境光源估算，估算出现实光源的位置，生成阴影。本发明专利技术极大地减少了对标志物的限制，可用于对地图与复杂二维图像进行标示。

【技术实现步骤摘要】

本专利技术属于增强现实
，特别涉及增强现实的方法及系统，应用于虚拟现实与计 算机视觉领域，利用模式识别与虚拟现实技术对视频采集到的现实图像帧起到添加内容、增 强效果的作用。
技术介绍
增强现实(AR， Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增 强现实基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像、三维模型等 虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现 实物理环境的注释、说明，或者增强、强调现实环境的某些效果。比如用户戴上专用的增强 现实显示眼镜，观察某个复杂机械时，他不仅可以看到现实世界中存在的机械结构本身，还 可以同时看到通过增强现实技术附加的多媒体信息如机械各个部分的介绍等。增强现实技术 给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，增添 周围环境的信息，实现用户与周围环境的交互。"ARToolkit"是一种可用于增强现实的开源软件包。ARtoolkit使用计算机视觉技术来 计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为输入实时 捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜 色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出 四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计 算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该单应性矩阵在标志物 的黑框内部区域进行采样，采样模板一般为16X16，共得到256个采样点构成一个采样向量； 将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构 成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值， 就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物查找到相对应的虚拟物体， 将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。现有技术中，有基于ARToolKit包与二维可视编码技术实现三维增强现实的方法和系统， 用以实现虚实物体之间映射关系的建立。该系统具体包括视频帧捕获模块、视频跟踪模块、 虚拟图形系统模块、虚实合成模块以及视频显示模块，各个部分功能具体为A、 视频帧捕获模块，用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频 跟踪模块；B、 视频跟踪模块，用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物 坐标系到相机坐标系的变换矩阵；通过采样二维可视编码中编码图案，获得标志物编码值， 检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到 该三维图形在相机坐标系下的坐标数组。C、 虚拟图形系统模块，用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的 三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。D、 虚实合成模块，用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成， 得到合成视频帧。该技术方案的主要特点为1、 在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物， 以代替现有技术中ARToolkit采用的任意形状的标志物，从而提高了 ARToolkit中的跟踪算 法速度以及可靠性、并且加快了模式匹配处理速度。2、 在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取，检索出相应 的三维媒体信息并且三维注册合成的增强现实技术，该技术可识别出二维可视编码，还能将 得到的其对应的三维空间位置，通过编码检索到的三维模型实时地增强显示在编码图形上， 进而实现增强现实功能。3、 主要用于在计算资源相对有限的手持移动计算设备上实施增强现实技术，拓展增强 现实技术的应用领域。其缺点是，对标志物的要求较高，要求标志物形态简单，形状边沿与背景色的反差非常 清晰明显，并且必须有四条直边组成的四边形边框作为清晰边界，否则会影响识别效果。
技术实现思路
本专利技术的目的在于，提供一种带有现实环境估算的增强现实的方法及其系统，通过判断特 定标志物区域是否被覆盖的方式改变虚拟物体与真实场景的合成效果，增强与用户的交互性。 本专利技术采用如下技术方案一种带有现实环境估算的增强现实的方法，包括以下步骤 步骤10)、初始化系统环境、配置系统参数；步骤20)、选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；步骤30)、计算标志物图像的相机内部参数并进行校正；步骤40)、对摄像头拍摄到的真实环境中的每一帧，利用步骤30)中的数据进行校正，再 基于步骤20)中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中 的相对位置矩阵；步骤50)、通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模 型的位置；步骤60)、在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型； 步骤70)、通过对己识别标志物和标志物正视图的亮度进行比对来估算标志物所处环境的 光照信息，进行现实环境光源估算，估算出现实光源的位置，生成阴影。 进一步地，所述步骤70)具体包括以下步骤 步骤71)、将标志物平面转向各个方向，获取识别出标志物的帧； 步骤72)、保存该帧中当前标志物的亮度及法向量坐标值；步骤73)、判断识别到标志物并保存亮度信息的帧的总数是否达到一定数目，若达到，则 进入步骤74)，若未达到，转步骤71);步骤74)、找到满足一定数目的帧，这些帧的标志物法向量指向同一个方向，并且其亮度 值均值为最大，将这些帧的法向量坐标的均值作为光源方向的估算位置；步骤75)、根据光源估算的位置，生成阴影。进一步地，所述步骤20)具体包括以下步骤步骤21)、将彩色图转化为灰度步骤22)、初步提取特征点，具体提取特征点的方法如下-对于图片上的每个象素m，若以ra为中点、围绕着m的八个象素中的任意两个满足以下两 个条件，则排除这个像素m:a、 这两个像素处于以ra为中点的这圈像素的某条直径两端，b、 这两个像素的灰度值均与m接近；步骤23)、把灰度图进行正视图视角变换，在变换后的视图中提取特征点，用来得到更为 稳定的特征点；步骤24)、将所有经不同角度的透视变换的正视图中的同一个特征点取出，构成一个"特 定视点集合"，得到N个"特定视点集合"，每个"特定视点集合"对应一个稳定特征点； 步骤25)、构建随机树用以特征点分类和识别。 进一步地，所述步骤24)中"特定视点集合"的构成方法为7将原始正视图分别绕x轴、y轴按(-;r， +;r)的范围旋转进行透视变换，将绕x轴的转 向均分为Lx个角度，将绕y轴的转向均分为Ly个角度，得L=LxXLy幅变换视图，将所有变 换视图中编号相同的特征点取出，得到N个集合V ={Vnl， v 2……vj， l《n《N,每个Vn就是对 应一个特征点的"特定视点集合"，该集合中的每个元素包含了在不同视角变换下同一特征点 的不同位置。进一步地，所述步骤23)具体为对于一幅给定的标志物的正视图，用步骤22)中的方法提取出M个特征点，按特征点的 坐标位置顺序编号，构成一个特征点集合KHk" k2……kM}，集合中每本文档来自技高网...

【技术保护点】
一种带有现实环境估算的增强现实的方法，其特征在于包括以下步骤：　步骤１０）、初始化系统环境、配置系统参数；　步骤２０）、选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；　步骤３０）、计算标志物图像的相机内部参数 并进行校正；　步骤４０）、对摄像头拍摄到的真实环境中的每一帧，利用步骤３０）中的数据进行校正，再基于步骤２０）中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的相对位置矩阵；　步骤５０）、通过识别出的标志物寻 找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置；　步骤６０）、在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型；　步骤７０）、通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处环境的光照信息，进行现实环 境光源估算，估算出现实光源的位置，生成阴影。

【技术特征摘要】

【专利技术属性】
技术研发人员：季斐翀，陆涛，周暖云，潘晋，
申请(专利权)人：上海水晶石信息技术有限公司，
类型：发明
国别省市：31[中国|上海]