一种基于智能移动终端的实时增强虚拟现实系统及方法技术方案

技术编号:11113903 阅读:182 留言:0更新日期:2015-03-05 18:37
本发明专利技术涉及一种基于智能移动终端的实时增强虚拟现实系统及方法,包括:处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏,利用深度信息采集卡获得客观环境的三维深度信息;利用RGB信息采集卡获得客观环境基本信息;将上述三维深度信息和客观环境基本信息输入处理器进行处理,创建客观世界的三维模型;将处理的结果数据即客观世界的三维模型数据存储在存储单元中;利用接口电路进行增强虚拟现实的显示,实现人机交互。本发明专利技术系统设计合理,结构简单,实时性高,所需设备少,场景信息丢失少,可操作性强,应用范围广,成本较低等,能使用户真正体会到增强虚拟现实给人们带了的无穷魅力,构建的三维模型与实际客观环境模型误差小。

【技术实现步骤摘要】

本专利技术涉及一种虚拟现实系统生成技术,具体的说是一种基于智能移动终端的实时增强虚拟现实系统及方法
技术介绍
增强现实技术(Augmented Reality,AR),是通过电脑技术将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了生成一种逼真的视、听、力、触和动等感觉的虚拟环境,不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象有机融入真实环境中,借助显示设备将虚拟对象与真实环境融为一体,实现用户和环境直接进行自然交互。它是一种全新的人机交互技术,利用这样一种技术,可以模拟真实的现场景观,它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性,而且能够突破空间、时间以及其它客观限制,感受到在真实世界中无法亲身经历的体验。因此,AR具有三个基本要素,即现实与虚拟的结合、实时互动和三维定位。要达到AR的虚实结合,用户需要通过某种装置来观看。目前流行的技术主要有透明装置和不透明装置两类,前者是利用透明装置,如3D眼镜和3D投影等装置,将虚拟影像投影到装置上,使用户感受增强虚拟现实的场景,但需要多个特殊设备配合使用,使用的场所、环境等都受到限制,已经逐渐不能满足人们随时随地进行增强虚拟现实要求的需要;后者是利用计算机等处理器将处理好的已经虚拟现实结合的影像,如智能手机、平板电脑等智能移动终端。由于智能移动终端具有复杂计算能力、录影、影像显示,还有GPS、网路连线、触控、倾斜度侦测等的多项功能,价格也逐渐降低,于是在智能移动终端为平台的AR研究越来越多。目前基于不透明装置的增强虚拟现实技术主流方法是通过图像视频采集卡进行客观环境信息的采集,主要有单目、双目和多目摄像机进行同一场景的采集,然后利用图像处理技术对不同摄像机采集到的同一场景进行特征提取,再利用特征匹配等算法进行场景匹配,得到客观环境的三维信息,进行三维重建得到客观环境的三维模型,最后再进行增强虚拟现实的实现。这样的方法缺点是:计算量巨大,需要进行大量的云数据处理与计算,三维信息的获取对于处理器的能力要求非常高,且该方法几乎不能进行实时三维建模,且在场景特征提取和三维重构过程中要丢失很多客观环境中有用的信息。为了进行实时三维模型建立,本专利技术采用RGB+D模型进行三维模型构建,直接利用深度信息采集卡获取客观环境的三维深度信息(Depth Information),利用CCD视频图像采集卡获取客观环境的基本信息(如色彩(RGB,Red,Green and Blue)、纹理信息、灰度信息和强度信息等),这样将客观环境信息中的三维深度信息的计算从处理器中解放出来,大大提高了增强虚拟现实的实时性。在增强现实的环境中,使用者可以在看到周围真实环境的同时,还可以看到计算机产生的增强信息。由于增强现实在虚拟现实与真实世界之间的沟壑上架起了一座桥梁,因此,增强现实的应用潜力是相当巨大的,它可以广泛应用于智能机器人导航与避障、军事、模式驾驶、三维导航、医学、制造与维修、游戏与娱乐等众多领域。
技术实现思路
针对现有技术中三维信息的获取及计算对于处理器的能力要求非常高且、几乎不能进行实时三维建模,且在场景特征提取和三维重构过程中会丢失很多客观环境中有用的信息等不足,本专利技术要解决的技术问题是提供一种可将客观环境信息中的三维深度信息的计算从处理器中解放出来,大大提高增强虚拟现实的实时性的基于智能移动终端的实时增强虚拟现实系统及方法。为解决上述技术问题,本专利技术采用的技术方案是:本专利技术一种基于智能移动终端的实时增强虚拟现实系统包括:处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏,其中处理器接收由深度信息采集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进行处理、三维模型构建,将处理的结果数据存储至存储单元中;处理器通过接口电路连接显示屏。 所述深度信息采集卡为具有深度信息直接运算能力的摄像头,能够直接读取客观环境的三维深度信息。本专利技术一种基于智能移动终端的实时增强虚拟现实方法包括以下步骤:利用深度信息采集卡获得客观环境的三维深度信息;利用RGB信息采集卡获得客观环境基本信息;将上述三维深度信息和客观环境基本信息输入处理器进行处理,创建客观世界的三维模型;将处理的结果数据即客观世界的三维模型数据存储在存储单元中;利用接口电路进行增强虚拟现实的显示,实现人机交互。创建客观世界的三维模型包括以下步骤:信息滤波:对三维深度信息和客观环境基本信息即RGB+D图像即同时进行滤波,去除噪声图像;信息的跟踪算法:基于去噪后的RGB+ D信息的全部信息进行下一图像的估计;基于RGB+ D信息的三维重构:利用三维世界信息的估计参数和典型的三角拼接法对                                                进行插值拼接,得到最终的客观世界三维模型。对RGB+D图像同时进行滤波通过以下公式实现:                       (1)其中,为滤波去噪后的RGB+D图像;为图像像素的邻域,为滤波器的权重系数;为含噪声的RGB+D图像,m,n分别为邻域中每一点的坐标值。采用典型高斯滤波器,即                                   (2)其中,为图像每个像素点坐标,为滤波器在像素点采用邻域的集合,为高斯函数的标准差。对于去噪后的三维世界信息的全部信息进行下一图像的估计为:采用极大似然估计,即                                                                   (3)          式中,                                   (4)                                                      (5)其中,为当前RGB+D图像;为估计新RGB+D图像;为当前图像和估计图像的李群代数算子;为图像元素,;为位姿估计模型;为深度信息采集卡获取的深度信息;为的标准差;为范数,且定义                                                     (6)其中,为参数,s为变量,式中,。    通过以下公式进行基于RGB+ D信息的三维重构:                   (7)其中,(p)为三维重构的最小单元;为能量函数,且满足最小;为智能移动终端三维重构的地平面估计,这里采用简单的低通滤波器,即利用RGB+D信息的进行本文档来自技高网
...
一种基于智能移动终端的实时增强虚拟现实系统及方法

【技术保护点】
一种基于智能移动终端的实时增强虚拟现实系统,其特征在于包括:处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏,其中处理器接收由深度信息采集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进行处理、三维模型构建,将处理的结果数据存储至存储单元中;处理器通过接口电路连接显示屏。

【技术特征摘要】
1. 一种基于智能移动终端的实时增强虚拟现实系统,其特征在于包括:
处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏,其中处理器接收由深度信息采集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进行处理、三维模型构建,将处理的结果数据存储至存储单元中;处理器通过接口电路连接显示屏。
2.按权利要求1所述的基于智能移动终端的实时增强虚拟现实系统,其特征在于:所述深度信息采集卡为具有深度信息直接运算能力的摄像头,能够直接读取客观环境的三维深度信息。
3.一种基于智能移动终端的实时增强虚拟现实方法,其特征在于包括以下步骤:
利用深度信息采集卡获得客观环境的三维深度信息;
利用RGB信息采集卡获得客观环境基本信息;
将上述三维深度信息和客观环境基本信息输入处理器进行处理,创建客观世界的三维模型;
将处理的结果数据即客观世界的三维模型数据存储在存储单元中;
利用接口电路进行增强虚拟现实的显示,实现人机交互。
4.按权利要求1所述的基于智能移动终端的实时增强虚拟现实方法,其特征在于:创建客观世界的三维模型包括以下步骤:
信息滤波:对三维深度信息和客观环境基本信息即RGB+D图像即同时进行滤波,去除噪声图像;
信息的跟踪算法:基于去噪后的RGB+ D信息的全部信息进行下一图像的估计;
基于RGB+ D信息的三维重构:利用三维世界信息的估计参数和典型的三角拼接法对                                                进行插值拼接,得到最终的客观世界三维模型。
5.按权利要求4所述的基于智能移动终端的实时增强虚拟现实方法,其特征在于对RGB+D图像同时进行滤波通过以下公式实现:
                          (1)
其中,为滤波去噪后的RGB+D图像;为图像像素的邻域,为滤波器的权重系数;为含噪声的RGB+D图像,m,n分别为邻域中每一点的坐标值。
6.按权利要求5所述的基于智能移动终端的实时增强虚拟现实方法,其特征在于:采用典型高斯滤波器,即
                                     (2)
其中,为图像每个像素点坐标,为滤波...

【专利技术属性】
技术研发人员:夏兴华
申请(专利权)人:沈阳建筑大学
类型:发明
国别省市:辽宁;21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1