基于图像特征点提取与随机树分类的增强现实方法及系统技术方案

基于图像特征点提取与随机树分类的增强现实方法及系统，包括：初始化系统环境、配置系统参数；选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；计算标志物图像的相机内部参数并进行校正；对摄像头拍摄到的真实环境中的每一帧，进行校正，基于训练数据识别标志物，计算该标志物在摄像头坐标系中的相对位置矩阵；通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置，绘制虚拟模型。本发明专利技术极大地减少了对标志物的限制，可用于对地图与复杂二维图像进行标示，也可在任意二维图像上合成三维模型，形成立体、生动的效果。

【技术实现步骤摘要】

本专利技术属于增强现实
，特别涉及一种增强现实的方法及系统，应用于虚拟现实与计算机视觉领域，利用模式识别与虚拟现实技术对视频采集到的现实图像帧起到添加内容、增强效果的作用。
技术介绍
增强现实(AR， Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增强现实基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像、三维模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现实物理环境的注释、说明，或者增强、强调现实环境的某些效果。比如用户戴上专用的增强现实显示眼镜，观察某个复杂机械时，他不仅可以看到现实世界中存在的机械结构本身，还可以同时看到通过增强现实技术附加的多媒体信息如机械各个部分的介绍等。增强现实技术给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，增添周围环境的信息，实现用户与周围环境的交互。"ARToolkit"是一种可用于增强现实的开源软件包。ARtoolkit使用计算机视觉技术来计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为输入实时捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该单应性矩阵在标志物的黑框内部区域进行采样，采样模板一般为16X16，共得到256个采样点构成一个采样向量；将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值，就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物查找到相对应的虚拟物体，将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。现有技术中，有基于ARToolKit包与二维可视编码技术实现三维增强现实的方法和系统，用以实现虚实物体之间映射关系的建立。该系统具体包括视频帧捕获模块、视频跟踪模块、虚拟图形系统模块、虚实合成模块以及视频显示模块，各个部分功能具体为A、 视频帧捕获模块，用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块；B、 视频跟踪模块，用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物坐标系到相机坐标系的变换矩阵；通过采样二维可视编码中编码图案，获得标志物编码值，检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到该三维图形在相机坐标系下的坐标数组。C、 虚拟图形系统模块，用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。D、 虚实合成模块，用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成，得到合成视频帧。该技术方案的主要特点为1、 在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物，以代替现有技术中ARToolkit采用的任意形状的标志物，从而提高了 ARToolkit中的跟踪算法速度以及可靠性、并且加快了模式匹配处理速度。2、 在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取，检索出相应的三维媒体信息并且三维注册合成的增强现实技术，该技术可识别出二维可视编码，还能将得到的其对应的三维空间位置，通过编码检索到的三维模型实时地增强显示在编码图形上，进而实现增强现实功能。3、 主要用于在计算资源相对有限的手持移动计算设备上实施增强现实技术，拓展增强现实技术的应用领域。其缺点是，对标志物的要求较高，要求标志物形态简单，形状边沿与背景色的反差非常清晰明显，并且必须有四条直边组成的四边形边框作为清晰边界，否则会影响识别效果。
技术实现思路
本专利技术的目的在于，提供一种基于图像特征点提取与随机树分类的增强现实方法及系统，以减少标志物的限制条件。本专利技术采用如下技术方案一种基于图像特征点提取与随机树分类的增强现实方法，包括以下步骤步骤10)、初始化系统环境、配置系统参数；步骤20)、选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；6步骤30)、计算标志物图像的相机内部参数并进行校正；步骤40)、对摄像头拍摄到的真实环境中的每一帧，利用步骤30)中的数据进行校正，再基于步骤20)中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的相对位置矩阵；步骤50)、通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置；步骤60)、在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型。进一步地，所述步骤20)具体包括以下步骤步骤21)、将彩色图转化为灰度步骤22)、初步提取特征点，具体提取特征点的方法如下对于图片上的每个象素m，若以m为中点、围绕着m的八个象素中的任意两个满足以下两个条件，则排除这个像素m-a、 这两个像素处于以m为中点的这圈像素的某条直径两端，b、 这两个像素的灰度值均与m接近；步骤23)、把灰度图进行正视图视角变换，在变换后的视图中提取特征点，用来得到更为稳定的特征点；步骤24)、将所有经不同角度的透视变换的正视图中的同一个特征点取出，构成一个"特定视点集合"，得到N个"特定视点集合"，每个"特定视点集合"对应一个稳定特征点；步骤25)、构建随机树用以特征点分类和识别。进一步地，所述步骤24)中"特定视点集合"的构成方法为将原始正视图分别绕x轴、y轴按(-兀，+兀)的范围旋转进行透视变换，将绕x轴的转向均分为U个角度，将绕y轴的转向均分为Ly个角度，得L-LxXLy幅变换视图，将所有变换视图中编号相同的特征点取出，得到N个集合V ={Vnl, v 2……vnlj， 1《n《N，每个V。就是对应一个特征点的"特定视点集合"，该集合中的每个元素包含了在不同视角变换下同一特征点的不同位置。进一步地，所述步骤23)具体为对于一幅给定的标志物的正视图，用步骤22)中的方法提取出M个特征点，按特征点的坐标位置顺序编号，构成一个特征点集合K^b， k2……kM}，集合中每个元素表示相应编号的一个特征点；对该标志物原始正视图进行多个不同角度的透视变换，并给变换后的正视图加上白噪声，之后再利用步骤22)争的方法提取变换后的视图的特征点，再利用反变换将提取出的特征点还原为相应的正视图特征点；统计多个经过不同角度变换的视图经上述"变换-提取-还原"后的特征点仍能找到原始正视图相对应特征点的概率，概率最高的N个点被确认为"稳定"的特征点，集合K的元素数由M减为N，即IHK!， K2……KN}。进一步地，所述步骤25)中构建随机树用以特征点分类和识别，具体如下随机树采用二叉树结构，输入的数据为32X32像素的面片，在训练时将大量包含"特定视点集合"中的特征点的面片输入随机树，让每个面片进入某一片树叶，当所有的面片都进入树叶后，计算每片叶子对应所有"稳定"的特征点的概率分布，某片树叶包含的概率分布可由如下公式表示其中，p代表32X32像素的本文档来自技高网...

【技术保护点】
一种基于图像特征点提取与随机树分类的增强现实方法，其特征在于包括以下步骤：　步骤１０）、初始化系统环境、配置系统参数；　步骤２０）、选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；　步骤３０）、计算标志物图像的 相机内部参数并进行校正；　步骤４０）、对摄像头拍摄到的真实环境中的每一帧，利用步骤３０）中的数据进行校正，再基于步骤２０）中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的相对位置矩阵；　步骤５０）、通过识别 出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置；　步骤６０）、在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：季斐翀，陆涛，周暖云，潘晋，
申请(专利权)人：上海水晶石信息技术有限公司，
类型：发明
国别省市：31[中国|上海]