自然交互的交互真实性增强制造技术

本发明专利技术的实施例提供了用于增强交互真实性的装置和方法，包括二维摄像机（36）和三维摄像机（38）、相关的深度投影仪和内容投影仪(48)、及连接到三维摄像机和二维摄像机的处理器(40)。使用三维摄像机的输出产生场景的深度图，并使之与二维摄像机捕获的二维图像协作，以识别出场景中的满足在其上投影图像的预定标准的三维对象。内容投影仪响应于处理器的指令将内容图像投影到三维对象上，其可通过用户手势的自动识别进行调节。

【技术实现步骤摘要】
【国外来华专利技术】自然交互的交互真实性增强相关申请的交叉引用本申请要求于2010年7月20日提交的美国临时申请第61/365788号的权益，该美国临时申请据此以引用方式并入。
技术介绍
I.专利
本专利技术大体上涉及自然交互系统，特别地涉及自适应真实性增强和三维输入接 □。2.相关技术的描述自然的用户界面在娱乐界和计算机产业中蓄势待发，手势控制正在补充和替代更传统和不太自然的界面，如键盘、鼠标、游戏控制器和远程控制。然而，用户交互仍然继续大量涉及电脑显示器，从而限制了这类界面使用的适用性和易用性。有些手势控制依赖光学三维映射。各种方法在光学三维映射技术中很著名，例如，通过处理对象的光学图像生成对象表面的三维轮廓。这种轮廓也被称为深度图或深度图像，三维映射也称被称为深度映射。有些方法是基于将一个激光散斑图投影到对象上，然后再分析对象上的散斑图的图像。例如，PCT国际公布文件WO 2007/043036，其内容在此以引入方式并入，其描述了用于对象重建的系统和方法，其中，相干光源和随机散斑图的发生器在对象上投影相干的随机散斑图。成像单元检测照明区的光反应，并生成图像数据。对象图像中的散斑图相对于与图样的参照图像的移动被用于对象的3-D地图的实时重建。其他使用散斑图进行3-D映射的方法，在例如PCT国际公布文件WO 2007/105205的文件中有详细描述，其公开内容在此以引入方式并入。
技术实现思路
在某些实施例中，本专利技术旨在提供一种改进的内容投影设备，该设备能够察觉到其视野内的对象，辨别出该对象适合于在其上投影内容。通过控制投影内容的比例、失真和焦点以及改变投影内容本身，投影设备可适应对象的几何形状和特性。此外或可选地，投影设备可根据观看者和投影内容的关系调整投影内容，例如，其注视向量、到投影内容表面的距离，以及其他类似的参数。用于分析投影的几何形状的2D和3D输入设备也可用于与投影内容进行交互。根据本专利技术公开的实施例，提供了用于投影内容的方法和装置，例如，输入设备接口，使用三维输入设备作为确定用作该内容投影的基底的最佳对象的手段。根据本专利技术的实施例，提供一种数据处理装置，包括用于获取场景的传感元件，包括二维摄像机和三维摄像机，与三维摄像机和二维摄像机相连的处理器，以及该处理器被编程以使用该三维摄像机的输出生成场景的深度图，以及将深度图与通过由二维摄像机捕获的二维图像相协调，从而识别场景中的满足在其上投影图像的预定标准的三维对象，以及内容投影仪，其用于响应于处理器的指示在三维对象上建立投影图像。根据该装置的一方面，协调深度图包括识别三维对象关于参考坐标系的具有6个自由度的位置，其中所述内容投影仪可操作以用于补偿三维对象的比例、俯仰、横摆和角位移。根据装置的另一方面，协调深度图包括参考三维对象定义的数据库和将三维对象与数据库中的定义比较。设备的一个方面包括可佩戴的监控器，其中所述内容投影仪可操作以在可佩戴的监控器或虚拟空间中建立投影图像作为虚拟图像，如虚拟映像。传感元件、处理器和内容投影仪可并入可佩戴的监控器中。根据装置的另一方面，内容投影仪可操作以在虚拟表面上建立投影图像，供用户交互使用。 根据装置的另一方面，处理器可操作以响应于手势来控制计算机应用，其中投影图像包括用于控制计算机应用的用户界面。根据装置的一方面，投影图像包括文字内容。本专利技术的其他实施例提供了执行上述装置的功能的方法。附图简述为更好地理解本专利技术，参考本专利技术的详细描述，其通过举例的方式，可结合附图阅读详细描述，其中相同的元件被给出相同的参考数字，其中图I为交互式三维视频显示系统的示意性立体图，其根据本专利技术公开的实施例构建和操作；图2为图I所示系统的方框图，其根据本专利技术的实施例构建和操作；图3为方框图，其示出了示例的处理设备的一部分的功能元件，其根据本专利技术的实施例构建和操作；图4为根据本专利技术的实施例，识别场景中的三维对象的示例性流程图；图5示出了根据本专利技术的实施例的投影到虚拟表面上的移动设备的屏幕；以及图6示出了根据本专利技术的实施例的交互式三维视频显示系统，该系统包括可佩戴的监控器。专利技术的详细描述为全面理解本专利技术的各种原理，在以下描述中列出了许多具体细节。然而，对本领域技术人员显而易见的是，并非所有细节对于实践本专利技术都是必须的。在本实例中，公知的电路、控制逻辑以及传统算法和流程的计算机程序指令的细节不会列出，以免不必要地混淆基本概念。此处使用的术语“内容投影”可包括在可佩戴的透明监控器例如透视眼镜上建立内容的图像，因此，除了戴眼镜的人之外，其他人是看不到的；或将内容的图像建立到对与该对象交互的任何人可见的物理对象上。该术语不限于上述示例。其可包括通过多种手段形成图像，包括，视网膜投影、在透视眼镜上投影、将图像投影到虚拟空间中，例如，作为全息图，以及用于提高图像的真实性的其他技术。系统构架现在转到附图，首先参考附图说明图1，图I为交互式三维视频显示系统10的示意性立体图，此图根据本专利技术公开的实施例建立和操作。系统10包含三维(3-D)摄像机12，其可包括红外(IR)投影仪和相应的投影仪的带宽可用的CMOS/CXD摄像机。3-D摄像机12捕获3-D信息，其可包括用户身体(或至少身体的某些部分)，用户使用或操作的用于控制计算机应用的真实的实体，以及3-D摄像机12的视野内的其他对象。此类3-D成像组件的细节在例如PCT国际公布文件WO 2010/004542号和美国专利申请公布文件第2009/0183125号中描述，这两个文件在此以引入方式并入。3-D摄像机12通常在近红外光谱中操作。然而，本专利技术的原理同样也适用于其变型体，该变型体使3-D摄像机12能够获取在近红外线光谱之外的电磁能量，例如，远红外线或紫外线能量。系统10也可包括二维(2-D)摄像机14，其在可见光谱操作，且能够获取具有足够的分辨率的场景，其允许自动解释 场景中的文字信息，并通常生成红绿蓝(RGB)输出信号。在处理器如计算机18的控制下，3-D摄像机12和2_D摄像机14可与内容投影仪16协作。系统10集3-D摄像机12和2_D摄像机14为一体，适合该系统10的设备为PrimeSensor 参考设计，该设计可从PrimeSense公司购得，该公司位于美国北卡罗来纳州Cambay Ct 104号，邮政编码27513。内容投影仪16可为picop 显示引擎，其可从MicroVision有限公司购得，该公司位于美国华盛顿州雷德蒙东北185大街6222号，邮政编码98052。在一些实施例中，3-D摄像机12和2-D摄像机14可与内容投影仪16集成，作为PrimeSensor参考设计的修改型式。在一个实施例中，3-D摄像机12为一个集成模块，其包括红外投影仪，此投影仪将现场图投影到对象上并获取投影图的图像。可选地，红外投影仪可嵌入单独的模块中(未示出)，其可根据美国临时申请第61/372，729号(2010年8月11日提交)和61/425，788 (2010年12月22日提交)的内容实现，这些临时申请以引用方式并入。本临时申请也教导用户如何重新使用扫描硬件将深度映射所需的红外线和可见内容投影。处理器可使用共同转让的待决的美国专利申请第12/854，187号文件中的教导分析场景，该申请题为“Analysis o本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：阿维亚德·梅泽尔斯，亚历山大·什蓬特，塔米尔·贝利纳，
申请(专利权)人：普莱姆森斯有限公司，
类型：
国别省市：