基于摄像头投影仪技术的交互系统技术方案

一种计算机技术领域的基于摄像头投影仪技术的交互系统，包括：摄像头、投影仪、计算机、交互识别模块、渲染模块。所述投影仪将渲染的画面投影到设定区域上。所述摄像头捕捉固定场景，这里固定场景指的是包含投影仪投射出来画面在内的一块区域，摄像头拍摄到这块区域后，在拍摄的图像中识别出投影画面的区域，然后再由交互识别模块进一步分析。所述交互识别模块分析出当前人的位置和动作信息之后向渲染模块发送消息。所述渲染模块对交互识别模块输入的消息做出响应，完成相应的动画生成与实时绘制。本发明专利技术用计算机视觉和图形技术实现了一种更加自然的人机交互方式，在节约成本的同时，大大提高了系统的适用范围。

【技术实现步骤摘要】

本专利技术涉及一种计算机
的系统，具体是一种基于摄像头投影仪技 术的交互系统。
技术介绍
虚拟现实技术，是将模拟环境、视景系统和仿真系统合三为一，并利用头 盔显示器、图形眼镜、数据服、立体声耳机、数据手套及脚踏板等传感装置。 把操作者与计算机生成的三维虚拟环境连结在一起，操作者通过传感器装置与虚拟环境交互作用，可获得视觉、听觉、触觉等多种感知，并按照自己的意愿 去改变"不随心"的虚拟环境，利用这种虚拟现实技术进行建筑、机械、兵器 等设计修改，实施技术操作训练和军事演习活动要容易得多，也便宜得多。随 着计算机图形硬件的飞速发展，实时渲染的画质越来越高。比如水面渲染，主 要分为两大类， 一类是在时域中进行的， 一类是在频域中进行。前者主要有用 柏林噪声加在一系列球面波上，并用这些结果对平面法向量进行干扰来产生最 后的渲染结果。这样做法比较便捷，使得不需对网格进行变形就能够得到一定 的效果，但这样简化的结果是水不够逼真，且不是三维的。傅里叶和Reeves等 人对这个模型进行了大量的改进，水面节点的位置也开始变化，而不再是仅仅 改变表面法向量，他们是通过快速傅里叶变换在频域中对网格点进行一定噪声 的干扰，再用逆快速傅里叶变化回到时域中，这样来产生水波纹。Thon等人在 2000年将水的主体用一些摆线的叠加来表示，水的细节用三维的扰动来添加上 去。在水面实时渲染的研究中，实时的水模拟一般是在是时域中直接进行，由 于计算机对于FFT (快速傅立叶变换)计算的消耗还是很大。所以这些方法很少 实时。比如Schineider等人使用OpenGL (—个三维图形开发包)在顶点程序中 组合两组八个梯度噪声干扰高度数据来生成水面网格，能够实时交互。作为虚拟现实中一种新颖的交互方式，同时伴随着设备成本的降低，摄像头投影仪技术在近几年发展得很快。通过投影仪成像可有效地扩大人机交互的 空间范围。摄像头投影仪技术主要通过摄像头来对投影图像进行定位、跟踪和 标定，将许多虚拟现实与增强现实中的关键技术运用到交互系统中。目前为止， 对摄像头投影仪技术的研究与开发主要集中在投影图像的校正(包括几何校正 与光学校正)、多投影仪的校准与协同工作等领域。通过结合计算机视觉中的物 体跟踪技术，摄像头投影仪技术同样可实现对前景物体的监控、识别与跟踪。经对现有技术的文献检索发现，J. Rekimoto等人在《Perc印tual User Interfaces(知觉用户界面)》(97年30-32页)上发表的"Perc印tual surfaces: Towards a human and object sensitive interactive display" (感知表面 一种人物感知交互显示)，该文中提出 一种用投影仪和红外摄像机来捕捉人物 动作来进行交互的系统，系统结构为投影仪将画面投影到一面普通的墙面上， 在墙后面有一台红外摄影机，用这台红外摄像机来捕捉人们在墙前面的动作， 然后将识别结果会发应在投在墙上的画面上，其不足在于l.使用了昂贵的红 外摄像机，成本高；2.因为依赖红外识别，算法简陋，所以识别目标局限，只 能识别有一定温度的物体，用其他道具就不能识别了。
技术实现思路
本专利技术针对现有技术的不足，提供一种基于摄像头投影仪技术的交互系统， 使其改进了传统人机交互模式，利用计算机视觉和图形技术实现了一种更加自 然的人机交互方式，并将其应用到艺术品、商业产品、及娱乐的交互展示中去。 本专利技术使用了普通的摄像头，大大降低了成本了，用分析拍摄的图像来进行交 互物体识别的，这样识别范围就不局限于有温度的物体，也可以是其他道具， 在节约成本的同时，大大提高了系统的适用范围。本专利技术是通过以下技术方案实现的。本专利技术包括摄像头、投影仪、计算 机、交互识别模块、渲染模块。交互识别模块和渲染模块都安装在计算机上。 所述投影仪将渲染的画面投影到设定区域上。所述摄像头捕捉固定场景，这里 固定场景指的是包含投影仪投射出来画面在内的一块区域，摄像头拍摄到这块 区域后，首先会在拍摄的图像中，识别出投影画面的区域，然后再由交互识别 模块进一步分析。所述交互识别模块分析出当前人的位置和动作信息之后向渲 染模块发送消息。所述渲染模块对交互识别模块输入的消息做出响应，完成相应的动画生成与实时绘制。渲染模块、交互识别模块通信通过进程间通信实现。所述交互识别模块，借鉴了目前广泛用于交通监控中的"背景消除"技术。 交互识别模块启动时需要先捕捉一帧背景图像作为参考帧，之后的每帧图像与 参考帧进行图像差运算，获得差图像。通过图像二值化运算将差图像转换为二 值图像。由于摄像头捕捉图像本身存在噪声的影响，差图像中的区域会出现空 洞。这里需要对二值差图像再进行闭运算，以填补这些空洞。由于背景图像事 实上一直在发生变化(比如背景图像中包含图形动画等实时变化的元素)，单纯 采用二值差图像提取前景物体往往会错误地将这些发生变化的背景图像元素归 类为前景物体。为了区分背景元素和前景物体(人)，需要利用两者之间在尺寸 上的差别对它们进行区分。本专利技术采用连通区域检测的方法，将二值差图像中的连通区域全部提取出 来，计算其覆盖面积，利用事先设定的面积阈值对其进行过滤，可以将背景中 面积较小(面积小于整幅图像面积0.5%)的背景元素过滤掉。通过对剩下的连 通区域计算中心点的方法，确定前景物体分别所在的位置，再以坐标点的形式 发送给渲染模块，做出相应的动画响应和实时绘制。所述渲染模块，包括几何变换模块、资源管理器模块、特效库模块、光 照和纹理模块以及底层渲染抽象层，这几个模块分工合作一起作为整个渲染管 道的一个个节点，其中所述资源管理器模块统一加载和释放在渲染过程中用到的资源包括几何 数据、纹理数据、材质数据，几何变换模块和光照和纹理模块会给资源管理器 模块提供一些资源需求的信息，然后资源管理器模块就按照最近最少使用和预 取的策略进行管理；所述几何变换模块资源加载到资源管理器模块之后，几何变换模块会首 先去资源管理器模块申请模型几何数据包括三角片、四边形片数据，并把申请 到数据按照自己的格式组织成符合这个渲染器能识别的自定义的模型数据，包 括顶点位置、顶点法向量、顶点纹理坐标，转换好格式之后就是进行三个坐标 系变换，首先是将模型坐标转换到用户定义的世界坐标系，其中包括平移、旋 转、縮放，这些数据通过输入设备进行输入，接下来根据用户输入的摄像机位 置，将几何数据转换到摄像机空间，再将几何数据进行透视变换转换到标准的裁剪空间；所述光照和纹理模块对经过资源管理器模块的加载和几何变换模块处理 过的数据进行渲染，根据用户设定的要求，光照和纹理模块进行各种技术和各 种精度的全局光照计算，支持以下渲染技术最简单的光线跟踪，利用光子树 来求解蒙特卡罗积分来进行的光子跟踪，根据用户提出的图像误差要求，对渲 染的视频进行bilateral (考虑多种因素一起作用影响的滤波方式)的视频滤波， 从而达到运动模糊、景深、抗锯齿效果，如果误差过大，对一些像素点进行重 采样；所述特效库模块用各种硬件特性来实现光照和纹理模块中要用的算法， 这个模块里面有一些包装好的技术，每个技术里面又是一些图形处理单元的渲染过程，这样将一些渲染流程的技本文档来自技高网...

【技术保护点】
一种基于摄像头投影仪技术的交互系统，包括：摄像头、投影仪、计算机、交互识别模块、渲染模块，其特征在于，所述交互识别模块和渲染模块都安装在计算机上，所述投影仪将渲染的画面投影到设定区域上，所述摄像头捕捉固定场景，这里固定场景指的是包含投影仪投射出来画面在内的一块区域，摄像头拍摄到这块区域后，会在拍摄的图像中识别出投影画面的区域，然后再由交互识别模块进一步分析，所述交互识别模块分析出当前人的位置和动作信息之后向渲染模块发送消息，所述渲染模块对交互识别模块输入的消息做出响应，完成相应的动画生成与实时绘制，渲染模块、交互识别模块通信通过进程间通信实现。

【技术特征摘要】

【专利技术属性】
技术研发人员：肖双九，杨旭波，张辉，金明，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]