一种增强现实的方法技术

本发明专利技术公开了一种增强现实系统，包括头戴显示器、摄像头和计算机，所述的头戴显示器和摄像头分别和计算机相连，摄像头选用鱼眼摄像头。一种基于权利要求1所述的系统的增强现实的方法，在C++中建立数据库，使用haar算法提取目标物体的特征点信息和虚拟物体的模型信息，将目标物体的特征点信息和虚拟物体的模型信息以相同ID形式存入数据库中，启动增强现实系统，初始化摄像头参数，使用openCV调用摄像头对摄像头捕捉范围内出现的物体进行识别，识别到目标物体时，利用计算机视觉算法计算虚拟物体的待渲染位置；在得到的虚拟物体的待渲染位置处，调用OPENGL函数将虚拟物体渲染到目标物体上。

An augmented reality approach

The invention discloses an augmented reality system, which comprises a head mounted display, a camera and a computer, wherein the head mounted display and the camera are respectively connected with a computer, and the camera adopts a fisheye camera. A practical method to strengthen the system of claim 1 wherein based on the establishment of the database in the C++ model, information of feature point information and virtual objects to extract the target object using the Haar algorithm, the model information of object feature information and virtual objects in the same ID form into the database, start the augmented reality system initialization, camera parameters, the camera capture range of object recognition using openCV call camera, recognition to the target object, using the computer vision algorithm of virtual objects to be rendered in the position; the virtual object to be rendered at the position, call the OPENGL function to render the virtual objects to the target object.

【技术实现步骤摘要】
一种增强现实的方法
本专利技术属于增强现实
，具体涉及一种增强现实的方法。
技术介绍
增强现实(AugmentedReality：AR)技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段，增强现实提供了在一般情况下，不同于人类可以感知的信息。AR技术的实现主要通过摄像头获取现实环境再通过处理器将虚拟的物体合成与渲染到显示屏上，而目前系统只能识别简单的自然物体以及特制的标志物，对体积较大，形状比较复杂的自然物体的识别率还有待提高。现有的AR系统主要采用手机作为实现设备，但是这些设备不仅运算能力有限，无法渲染出精致的虚拟物体，同时手机开放的显示环境也无法带来浸入式的体验。目前，采用计算机视觉技术通过手机摄像头捕捉现实环境被广泛使用，但由于摄像头的局限性，视角与精度有限，无法提供人眼般真实的显示效果。
技术实现思路
针对以上现有技术、产品的不足，本专利技术提供一种基于鱼眼摄像头与头戴显示器的增强现实系统和方法。为实现上述目的，本专利技术采用以下技术方案予以实现：一种基于权利要求1所述的系统的增强现实的方法，包括以下步骤：步骤1，确定目标物体和虚拟物体，获取目标物体和虚拟物体的图片，从图片中提取目标物体的特征点信息和虚拟物体的特征点信息，建立数据库，将目标物体的特征点信息和虚拟物体的特征点信息以相同ID的形式存入数据库中；步骤2，初始化摄像头参数，摄像头参数包括摄像头分辨率和帧率；实时获取真实环境影像每一帧并提取每一帧的特征点，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；获取目标物体在该帧目标图像B中的二维空间信息矩阵P；步骤3，根据步骤2获得的目标物体在该帧目标图像B中的二维空间信息矩阵P，在头戴显示器的显示视口中绘制步骤2所述的该帧目标图像B，再将虚拟物体绘制在其对应的目标物体上。步骤2具体包括，2.1，利用摄像头获取真实环境影像，获取真实环境影像的每一帧；2.2，提取步骤3.1中获取的真实环境影像的每一帧图像的特征点，分别将每一帧影像的特征点与数据库中存放的目标物体的特征点进行比较，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；2.3，根据步骤3.2检测到的目标图像B的特征点信息，计算目标物体在步骤3.2所述的该帧目标图像B中的坐标点矩阵M；2.4，获取相机的内部参数矩阵A；2.5，利用公式：P＝A*[R|T]*M，得到目标物体在步骤3.2中所述的该帧目标图像B中的二维空间信息矩阵P，其中，M表示目标物体在该帧目标图像B中的坐标点矩阵；[R|T]表示欧氏变换，其中矩阵R表示目标物体的旋转信息矩阵，T表示目标物体的平移信息矩阵，A表示相机内部参数矩阵。步骤3具体包括，3.1，根据步骤2.5中获得的目标物体在该帧目标图像B中的二维空间信息矩阵P，绘制步骤2.2中获取的该帧目标图像B；3.2，在步骤3.1绘制的该帧目标图像B上，根据数据库中存放的虚拟物体的特征点信息将虚拟物体绘制在其对应的目标物体上。本专利技术和现有技术相比具有以下技术效果：1、本专利技术弥补了目前市场上AR系统只支持手机端的局限性，通过头戴显示器和鱼眼摄像头结合，为体验者提供沉浸式的增强现实体验。2、本专利技术提供的增强现实方法，可以支持识别多个目标物体，即可放置多个目标物体，在建立数据库的时候，存入多个目标物体的特征点信息，将使增强现实的体验更加丰富和多样化。3、本专利技术使用电脑来进行数据处理与虚拟物体渲染，在数据处理过程更加迅速准确，具有较高的性能，通过针对不同环境可渲染不同的虚拟物体且保持较高的精度，整个系统具有较高的扩展性和移植性。附图说明图1为本专利技术方法的流程图；图2为本专利技术方法得到的增强现实效果图；图3为本专利技术选取的目标物体图；图4为本专利技术选取的虚拟物体图；图5为本专利技术获取的目标图像B的图像。具体实施方式本专利技术提供一种增强现实的方法，在本实施例中，本专利技术提供的的增强现实方法基于本实施例中提供的增强现实系统来实现；本实施例中提供的增强现实系统，包括头戴显示器、摄像头和计算机，其中头戴显示器和摄像头分别和计算机相连，其中摄像头选用鱼眼摄像头。本专利技术提供的增强现实的方法，包括以下步骤：步骤1，确定目标物体和虚拟物体模型，提取目标物体的特征点信息和虚拟物体的模型信息，建立数据库，将目标物体的特征点信息和虚拟物体的模型信息以相同ID的形式存入数据库中；如图3，本实施例中选用实验室桌子作为目标物体，如图4为本实施例中将青花瓷盘作为虚拟物体，分别根据桌子和青花瓷盘的图片，使用haar算法提取目标物体的特征点信息和虚拟物体模型信息，在C++中建立数据库，以相同ID的形式将目标物体的特征点信息和虚拟物体的模型信息存入建立的数据库中。为了特征点信息提取的完整性，效果更好，从不同角度拍摄多张目标物体的照片，使用haar算法分别提取每一张照片的特征点信息，其中特征点信息包括目标物体的形状及几何特征。步骤2，初始化摄像头参数(包括摄像头分辨率和帧率)；本专利技术中设置摄像头参数分辨率维1280*1024，帧率为每秒30帧。实时获取真实环境影像每一帧并提取每一帧的特征点，此处的真实环境影像是摄像头获取的存在目标物体的现实环境中的影像，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；其中B表示大于等于1的正整数，目标图像B获取目标物体在该帧目标图像B中的二维空间信息矩阵P；具体包括，2.1，利用摄像头获取真实环境影像，通过调用artoolkit中的函数arVideoGetImage来获取摄像头获取的真实环境影像的每一帧；2.2，用haar算法提取步骤2.1中获取的真实环境影像的每一帧图像的特征点，使用RANSAC算法分别将每一帧图像的特征点与数据库中存放的目标物体的特征点进行比较，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，同时将该帧图像标记为目标图像B，如图5，为本实施例摄像头获取的真实环境影像的第80帧图像，通过提取该第80帧图像的特征点，通过计算该第80帧图像的与数据库中存储的目标物体的特征点的欧式距离为0.02，则该第80帧图像标记为目标图像B。优选的，建立数据库提取目标物体特征点时，从不同角度拍摄多张图片，对于每一张图片分别对其特征点进行提取，这样就可以获得目标物体的多个特征点，当检测目标图像B时，对于每一帧图像的特征点分别求得与目标物体的多个特征点之间的欧式距离，求得这些距离值的均值，当距离的均值大于0.01时，则认为检测到目标物体本文档来自技高网...

【技术保护点】
一种增强现实的方法，其特征在于，包括以下步骤：步骤1，确定目标物体和虚拟物体，获取目标物体和虚拟物体的图片，从图片中提取目标物体的特征点信息和虚拟物体的特征点信息，建立数据库，将目标物体的特征点信息和虚拟物体的特征点信息以相同ID的形式存入数据库中；步骤2，初始化摄像头参数，摄像头参数包括摄像头分辨率和帧率；实时获取真实环境影像每一帧并提取每一帧的特征点，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；获取目标物体在该帧目标图像B中的二维空间信息矩阵P；步骤3，根据步骤2获得的目标物体在该帧目标图像B中的二维空间信息矩阵P，在头戴显示器的显示视口中绘制步骤2所述的该帧目标图像B，再将虚拟物体绘制在其对应的目标物体上。

【技术特征摘要】
1.一种增强现实的方法，其特征在于，包括以下步骤：步骤1，确定目标物体和虚拟物体，获取目标物体和虚拟物体的图片，从图片中提取目标物体的特征点信息和虚拟物体的特征点信息，建立数据库，将目标物体的特征点信息和虚拟物体的特征点信息以相同ID的形式存入数据库中；步骤2，初始化摄像头参数，摄像头参数包括摄像头分辨率和帧率；实时获取真实环境影像每一帧并提取每一帧的特征点，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；获取目标物体在该帧目标图像B中的二维空间信息矩阵P；步骤3，根据步骤2获得的目标物体在该帧目标图像B中的二维空间信息矩阵P，在头戴显示器的显示视口中绘制步骤2所述的该帧目标图像B，再将虚拟物体绘制在其对应的目标物体上。2.如权利要求1所述的增强现实的方法，其特征在于,所述的步骤2具体包括，2.1，利用摄像头获取真实环境影像，获取真实环境影像的每一帧；2.2，提取步骤3.1中获取的真实环境影像的每一帧图像的特征点，分别将每一帧...

【专利技术属性】
技术研发人员：彭进业，张少博，赵万青，刘鑫昱，王珺，罗迒哉，赵烜，李展，王琳，范建平，
申请(专利权)人：西北大学，西安文景通信息科技有限公司，
类型：发明
国别省市：陕西,61