基于增强虚拟现实与异型屏的实时人机互动方法及系统技术方案

本发明专利技术提供了一种基于增强虚拟现实与异型屏的实时人机互动方法及系统。本方法的操作步骤为：１）对要交互的虚拟物体进行建模，对统计平均的人手模型进行建模；２）由Ｎ台摄像头对人手进行视频采集，获得原始图像；３）在计算机内进行处理。本系统包括实现实时光透式增强显示的系统、实时虚实抓握、抛物动作检测与实时抛物动画生成算法及系统、以及实时多异型屏交互系统。在大型异型屏场景中做各种虚实变换，在立体眼镜中嵌入表现互动内容的三维动画或者三维图像，加之视音频设备、灯光控制设备等展示将构建一整套大型的特殊效果。

【技术实现步骤摘要】

本专利技术涉及一种虚拟现实的实时人机互动方法及系统，特别是一种增强虚拟现实与异型 屏的实时人机互动技术方法及系统。
技术介绍
增强现实技术(AR—-Augmented Reality)系统就是把VR放在真实的环境中去检查。从 目前发展趋势来看，这种与实际环境相结合的虚拟体验方式是虚拟现实技术发展最有效的实 施技术之一。国外在AR技术研究和应用上还是领先的，并在技术上拥有多项知识产权和技术 标准。美国、欧洲和日本等国家目前在AR的关键技术获得了许多突破，并在关键设备上也具 备了设计和制造能力，且获得了预期的效果。如2000年英国牛津大学的Simon等人研究基于 共面自然特征点的跟踪方法并应用于建筑设计，将新建筑物或建筑装饰物的三维模型与实景 的录像融合在一起，通过这种方式可以对新建筑物和周围的环境是否和谐提供了直观的和重 要的判据。英国Fraunhofer学院还开发了适用于城市规划的AR系统，使得建筑设计人员能 够在现场预视方案的效果。日本在2005年爱知世博会上，日立企业馆就应用了一套AR系统 来演示人与自然、人与动物的亲密关系。在国内，AR技术还处于起步阶段。如北方交通大学 信息科学研究所提出了基于分布式增强现实系统中计算机视觉与虚拟现实系统集成的算法。 西安交通大学周建龙等基于仿射投影变换的理论提出了一种增强现实系统的三维匹配方法。 上海大学于2001年上半年开始启动基于PC平台的AR系统的研究，设计了基于PC平台的AR 系统的结构，实现了适合AR系统的、简便的、自动的、高精度和鲁棒的摄像头定标方法。所谓异型屏技术就是把投影投在非平面的异型造型屏幕上，这样的屏幕可以使模型和场 景，将结合特殊的图形处理技术，利用多投影机拼接和图像合成控制技术，在一个异型的屏 幕上变幻各种场景的变化，从而造成一种多视角、多屏幕显示的环境由于利用多个小屏幕组 成一个大屏幕，控制软件就要保证各个屏幕播放的内容是同步的，这就要求控制端有可靠的 同步播放技术。当前的同步技术可以分为两种 一种是利用一个统一硬件时钟作为各个单元 的同步时钟，这种方法实现的同步效果好，而且速度快。但需要另外的硬件设备，造价比较 高。另外一种方法就是利用软件控制同步。使用多线程技术，异歩反馈技术都可以实现同歩 的效果。本专利技术采用的就是软件控制同步的方法。要实现大型场景异型屏投影无缝拼接，光 有垂直和水平方向的梯形矫正是不够的，因此对画面的变形矫正技术就是多屏幕无缝拼接的 关键技术之一。本课题采用软件的方法，用计算机对图像进行变形矫正处理，并不依赖于具 体的投影仪。基于桌面的小规模AR应用已取得很大进展，但尚没有与大剧场式多投影系统应用的示例 支持多投影源的虚拟网络投影系统及方法，AR专利方面，专利200710304245. 3，提出了一种 视频增强现实辅助操作的焊接防护头盔，用于机械加工制造方面。专利200710303603. 9,提 出了一种基于多个固是定摄像机的增强现实飞行模拟器，用于飞行训练模拟。专利 200680029773.6，提出了一种用于终端用户编程的增强现实眼镜的系统、设备和方法。专利 200610101229. X，提出了一种实现三维增强现实的方法及系统，捕获真实环境中二维可视编 码标志物的视频帧；进行增强现实处理，合成视频帧。但敞没有在展览展示方面的应用。在 多投影系统方面，专利(申请号200710064616.5)将连接计算机的普通显示设备虚拟成可 供网络使用的投影设备，从而通过网络，方便了来自多个投影源的投影内容在相同屏幕上的 同时显示或者切换显示。但仅使用了按钮等方式作为人机交互方式，用户几乎无沉浸感可言， 对于多投影系统的优点亦不能很好的利用。专利(申请号200710071105.6)基于转台的 多投影大屏拼接方法，公开了一种基于转台的多投影大屏拼接方法，能够完成几何校正和几 何对齐，同时还能够进行重叠区的定位，为亮度一致化做准备。但是对于与多投影图像内容 进行交互以及可能引起的问题没有考虑。目前AR技术的研究主要在应用系统中进行研究，并结合其它技术一起构建一种新的研究 应用。把增强虚拟现实技术与异型屏技术集成在一起还未见诸报道。目前在展览展示上的研 究成果和应用还很少。根据调研和査找资料，把增强虚拟现实技术和异型屏技术有机地集成 在一起，在展示上应用更是没有先例。
技术实现思路
鉴于以上所述现有技术的存在的问题和不足，本专利技术的目的在于提供一种基于增强虚拟 现实的实时人机互动技术方法及系统，利用AR技术与多投影系统交互。能够通过网络控制 AR设备、多投影系统的工作，完成多用户、AR与多投影系统的协同交互工作，使用户获得深 入的沉浸感。为达到上述目的，本专利技术采用下述技术构思根据人机工程学的原理，利用计算机视觉、网络通信技术与多投影互动技术将摄像头与 跟踪设备提供的传感器信息进行融合，并进行动作识别与响应，利用网络同步机制等完成多 用户的协同交互工作。系统运行初期，先进行初始化工作，完成摄像头的标定和定位用户的 起始视点，读入可变换的异型拼接的多媒体图像与真实实物融合为一体化的场景模型。系统 运行时，跟踪系统通过对视频信息和磁力传感器的信息计算出视点的位置和方向，图形数据 管理系统对应视点的变化对场景模型进行变换和渲染，其中计算任务自动分配到各个计算结5点上。合成显示系统将虚拟场景的画面和真实场景的画面合成并生成立体图像对，将立体图 像对中的画面分别传送到头盔上的左右屏幕上，用户就能感受到具有沉浸感的虚实结合的世 界。在运行过程中，系统还能接受用户的交互动作，变化交互目标物(虚拟的物体)的各种 属性，如形状、位置、颜色和运动速度等，让用户体验更多主题内容在现实中无法感受的奇 妙变幻和对未来的某种畅想。本专利技术采用以下技术方案实现一种基于增强虛拟现实的实时人机互动方法、其特征在于操作步骤如下1. 一种基于增强虚拟现实与异型屏的实时人机互动方法、其特征在于操作步骤如下1) 对要交互的虚拟物体进行建模；对统计平均的人手模型进行建模；2) 由N台摄像头对人手进行视频采集，获得原始图像；3) 在计算机内进行处理，步骤为① 实现实时光透式增强显示的方法对拍摄的人手原始图像，经过分割处理后，进行三 维重构，转换到与虚拟物体相同的坐标系，进行碰撞检测。先利用包围盒方法进行粗步检测， 如果有碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实碰 撞检测。对碰撞后的虛拟模型进行变形处理，进行注册后显示在光透式头盔显示器上。② 实时虚实抓握、抛物动作检测与实时抛物动画生成算法对拍摄的原始图像，经过肤 色统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进行筛 选，确定动作类型。在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等 系数进行抛物动作检测判断，如果大于试验统计平均值，则为拋物成功。在抛物成功后实时 生成相应的抛物动画。③ 实时多屏交互方法对生成的实时抛物动画进行跨屏处理，对于从一个投影屏幕飞出 到另一投影屏幕的情况进行图像融合。利用网络平台实现分布式预处理。一种用于上述基于增强虚拟现实与异型屏的实时人机互动方法用的系统，包括实现实时 光透式增强显示的系统(4)、实时虚实本文档来自技高网...

【技术保护点】
一种基于增强虚拟现实与异型屏的实时人机互动方法、其特征在于操作步骤如下：　Ａ．对要交互的虚拟物体进行建模；对统计平均的人手模型进行建模；　Ｂ．由Ｎ台摄像头对人手进行视频采集，获得原始图像；　Ｃ．在计算机内进行处理，步骤为： 　ａ．实现实时光透式增强显示：对拍摄的人手原始图像，经过分割处理后，进行三维重构，转换到与虚拟物体相同的坐标系，进行碰撞检测；先利用包围盒方法进行粗步检测，如果有碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实 碰撞检测；对碰撞后的虚拟模型进行变形处理，进行注册后显示在光透式头盔显示器上；　ｂ．实时虚实抓握、抛物动作检测与实时抛物动画生成计算：对拍摄的原始图像，经过肤色统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进 行筛选，确定动作类型；在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等系数进行抛物动作检测判断，如果大于试验统计平均值，则为抛物成功；在抛物成功后实时生成相应的抛物动画；　ｃ．实时多屏交互：对生成的实时抛物动画进行跨屏处 理，对于从一个投影屏幕飞出到另一投影屏幕的情况进行图像融合；利用网络平台实现分布式预处理。...

【技术特征摘要】

【专利技术属性】
技术研发人员：许永顺，陈一民，陈明，姚争为，胡俊，俞晓明，陆涛，邹一波，陆意骏，黄诗华，陈伟，李启明，刘燕，谭志鹏，
申请(专利权)人：上海大学，
类型：发明
国别省市：31[中国|上海]