基于图像特征点提取与随机树分类的增强现实系统技术方案

基于图像特征点提取与随机树分类的增强现实的系统，包括：视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；视频帧校正模块，与所述视频帧训练模块相连接；视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频帧训练模块中的训练数据识别标志物，虚实合成模块，与视频帧捕获模块相连接，在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型。本实用新型专利技术极大地减少了对标志物的限制，可用于对地图与复杂二维图像进行标示，也可在任意二维图像上合成三维模型，形成立体、生动的效果。（*该技术在2019年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术属于增强现实
，特别涉及一种增强现实的系统，应用于虚拟现实与 计算机视觉领域，利用模式识别与虚拟现实技术对视频采集到的现实图像帧起到添加内容、 增强效果的作用。
技术介绍
增强现实(AR， Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增 强现实基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像、三维模型等 虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现 实物理环境的注释、说明，或者增强、强调现实环境的某些效果。比如用户戴上专用的增强 现实显示眼镜，观察某个复杂机械时，他不仅可以看到现实世界中存在的机械结构本身，还 可以同时看到通过增强现实技术附加的多媒体信息如机械各个部分的介绍等。增强现实技术 给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，增添 周围环境的信息，实现用户与周围环境的交互。ARToolkit是一种可用于增强现实的开源软件包。ARtoolkit使用计算机视觉技术来 计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为输入实时 捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜 色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出 四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计 算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该单应性矩阵在标志物 的黑框内部区域进行采样，采样模板一般为16X16，共得到256个采样点构成一个采样向量； 将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构 成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值， 就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物査找到相对应的虚拟物体， 将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。现有技术中，有基于ARToolKit包与二维可视编码技术实现三维增强现实的方法和系统， 用以实现虚实物体之间映射关系的建立。该系统具体包括视频帧捕获模块、视频跟踪模块、 虚拟图形系统模块、虚实合成模块以及视频显示模块，各个部分功能具体为A、 视频帧捕获模块，用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频 跟踪模块；B、 视频跟踪模块，用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物 坐标系到相机坐标系的变换矩阵；通过采样二维可视编码中编码图案，获得标志物编码值， 检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到 该三维图形在相机坐标系下的坐标数组。C、 虚拟图形系统模块，用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的 三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。D、 虚实合成模块，用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成， 得到合成视频帧。该技术方案的主要特点为1、 在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物， 以代替现有技术中ARToolkit采用的任意形状的标志物，从而提高了 ARToolkit中的跟踪算 法速度以及可靠性、并且加快了模式匹配处理速度。2、 在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取，检索出相应 的三维媒体信息并且三维注册合成的增强现实技术，该技术可识别出二维可视编码，还能将 得到的其对应的三维空间位置，通过编码检索到的三维模型实时地增强显示在编码图形上， 进而实现增强现实功能。3、 主要用于在计算资源相对有限的手持移动计算设备上实施增强现实技术，拓展增强 现实技术的应用领域。其缺点是，对标志物的要求较高，要求标志物形态简单，形状边沿与背景色的反差非常 清晰明显，并且必须有四条直边组成的四边形边框作为清晰边界，否则会影响识别效果。
技术实现思路
本技术的目的在于，提供一种基于图像特征点提取与随机树分类的增强现实系统，以 减少标志物的限制条件。本技术采用如下技术方案一种基于图像特征点提取与随机树分类的增强现实的系统，包括视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据； 视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并进行校正；视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍 摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频 帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的 相对位置矩阵，并通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处环 境的光照信息；虚实合成模块，与视频帧捕获模块相连接，用于通过识别出的标志物寻找对应虚拟模型， 利用提取出的标志物位置矩阵确定模型的位置，在真实拍摄的视频帧上根据计算出的相对位 置绘制虚拟模型。进一步地，还包括现实环境光源估算模块，与所述虚实合成模块相连接，用于进行现实环境光源估算，根据 估算出的现实光源位置，生成阴影。 进一步地，还包括交互模块，与所述虚实合成模块相连接，用于在标志物附近设置交互区域，通过检测交互 区域内是否被手覆盖，实现与用户的交互。相对于已有的其他技术，如ARToolkit开发包与华为的系统，本系统极大地减少了对 标志物的限制，这些限制主要包括以下几条(1) 、要求标志物色彩深而单一，与背景色反差大。(2) 、标志物形态为简单图形。(3) 、标志物四周有四边形的清晰边框作为识别的边界。 而本系统所对应标志物无需任何边界，可截取任意二维图像中包含一定纹理特征的任意四边形区域，主要面向真实环境中用摄像头、照相机等摄取的含真实景物、具有照片特性的二 维图像，图形内容可以极为复杂。系统的这些特性极大地扩展了增强现实的使用范围。本系 统可用于对地图与复杂二维图像进行标示，也可在任意二维图像上合成三维模型，形成立体、 生动的效果。以下结合附图及实施例进一步说明本技术。附图说明图1为本技术基于图像特征点提取与随机树分类的增强现实的系统实施例示意图；图2为本技术基于图像特征点提取与随机树分类的增强现实方法实施例流程图; 图3为本技术方法实施例中对标志物进行训练的流程图； 图4为一页书上特征点对应的实际情况；图5为本技术实施例中现实环境光源估算模块的工作流程图； 图6为本技术实施例中交互模块的工作流程图； 图7为确定交互式区域的示意图。具体实施方式如图1所示， 一种基于图像特征点提取与随机树分类的增强现实的系统，包括 视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据； 视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并 进行校正；视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍 摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频 帧训练模块中的训练数本文档来自技高网...

【技术保护点】
一种基于图像特征点提取与随机树分类的增强现实的系统，其特征在于包括：　视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；　视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数 并进行校正；　视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物 在摄像头坐标系中的相对位置矩阵；　虚实合成模块，与视频帧捕获模块相连接，用于通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置，在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型。

【技术特征摘要】
1、一种基于图像特征点提取与随机树分类的增强现实的系统，其特征在于包括视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并进行校正；视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的相对位置矩阵；虚实合成模块，与视频帧捕获模块相连接，用于通过识...

【专利技术属性】
技术研发人员：季斐翀，陆涛，周暖云，潘晋，
申请(专利权)人：上海水晶石信息技术有限公司，
类型：实用新型
国别省市：31[中国|上海]