用于沉浸式和交互式多媒体生成的系统和方法技术方案

本发明专利技术公开一种设备。所述设备包括光学感测系统，其包括至少一个相机，所述至少一个相机被配置为获取物理环境的图像。所述设备还包括处理系统。所述处理系统包括取向和位置确定模块，其被配置为从所述图像检测显著特征，并且基于所述所检测到的显著特征确定所述设备相对于所述物理环境的取向和/或位置变化。所述处理系统还包括渲染模块，其被配置为基于所述图像和所述设备的所述所确定的取向和/或位置变化来确定所述物理环境的渲染，并且将与所述物理环境的所述渲染有关的数据提供给显示系统。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2014年10月24日提交的美国第62/068,423号临时申请的权益，在此通过援引的方式并入本申请。
本公开涉及人机交互的
，并且具体地，涉及沉浸式和交互式多媒体生成。
技术介绍
沉浸式多媒体通常包括提供与环境有关的多媒体数据(以音频和视频的形式)，其使得接收多媒体数据的人员能够具有身在那个环境中的体验。沉浸式多媒体的生成通常是交互式的，使得提供给人员的多媒体数据能够基于(例如)人员的物理位置、人员所执行的活动等来自动更新。交互式沉浸式多媒体能够通过(例如)使得体验更逼真来改进用户体验。存在两种主要类型的交互式沉浸式多媒体。第一种类型是虚拟现实(VR)，其中多媒体数据复制模拟在(例如)真实世界或想象世界中的各地方处的物理存在的环境。对环境的渲染还反映了用户所执行的动作，从而使得用户能够与环境交互。用户的动作(例如，身体移动)可通常由运动传感器来检测。虚拟现实人工地创建感官体验，其可包括视觉、听觉、触摸等。第二种类型的交互式沉浸式多媒体是增强现实(AR)，其中多媒体数据包括人员所位于的物理环境的实时图形图像以及额外数字信息。额外数字信息通常位于实时图形图像之上，但不更改或增强对物理环境的实时图形图像的渲染。额外数字信息还可以是虚拟对象的图像，然而，虚拟对象的图像通常仅仅位于实时图形图像之上，而非混合到物理环境中来创建真实感渲染。对物理环境的渲染还可反映用户所执行的动作和/或人员的位置以实现交互。用户的动作(例如，身体移动)可通常通过运动传感器来检测，而人员的位置可通过从图形图像检测并跟踪物理环境的特征来确定。增强现实可复制人员在存在于物理环境中时的一些感官体验，同时向人员提供额外数字信息。当前不存在这样一种系统，其可提供创建虚拟对象的图像与物理环境的图像的逼真混合的虚拟现实与增强现实的组合。此外，尽管当前增强现实系统可复制用户的感官体验，但此类系统通常无法增强用户的感知能力。
技术实现思路
本公开的实施例的其他方面和优点将部分地在以下详细描述中进行陈述，并且部分地将从所述描述内容看出，或者可通过本公开实施例的实践来认识到。根据一些实施例，一种设备包括光学感测系统，所述光学感测系统包括至少一个相机，所述至少一个相机被配置为获取物理环境的图像。所述设备还包括处理系统。所述处理系统包括取向和位置确定模块，其被配置为从所述图像检测显著特征，并且基于所检测到的显著特征确定设备相对于物理环境的取向和/或位置变化。处理系统还包括渲染模块，其被配置为基于图像和设备的所确定的取向和/或位置变化来确定物理环境的渲染，并且将与物理环境的渲染有关的数据提供给显示系统。根据一些实施例，所述光学感测系统包括第一相机和第二相机，所述第一相机被配置为获取所述物理环境的第一图像，并且所述第二相机被配置为获取所述物理环境的第二图像。所述取向和位置确定模块被配置为当所述设备在所述物理环境中处于第一位置时，从所述第一图像和第二图像检测第一显著特征，确定与所述第一显著特征相关联的第一组坐标，当所述设备在所述物理环境中处于第二位置时，从所述第一图像和第二图像检测第二显著特征，确定与所述第二显著特征相关联的第二组坐标，并且响应于确定所述第一显著特征和第二显著特征彼此对应，基于所述第一组和第二组坐标来确定所述设备相对于所述物理环境的取向和/或位置变化。所述渲染模块被配置为基于所述第一图像和第二图像并且基于所述设备的所述所确定的取向和/或位置变化来确定所述物理环境的立体渲染。根据一些实施例，所述第一相机和第二相机中的每一者包括红-绿-蓝-红外(RGB-IR)像素传感器。根据一些实施例，所述光学感测系统包括第一相机、第二相机和反射镜，所述第一相机被配置为获取红外(IR)图像，所述第二相机被配置为获取红-绿-蓝(RGB)图像，并且所述反射镜被配置为将IR光反射离开所述第二相机并且将所述IR图像与所述RGB图像对齐。在一些实施例中，所述第一相机是飞行时间相机。在一些实施例中，所述第一相机是IR相机。根据一些实施例，所述光学感测系统包括IR照明器，其被配置为将一个或多个图案投射到所述物理环境中；其中所述所检测到的显著特征包括所述一个或多个图案。根据一些实施例，所述处理系统还包括手势确定模块，其被配置为从所述图像检测手势，并且确定与所述手势相关联的用户指令。所述渲染模块被配置为基于所述所确定的用户指令确定所述物理环境的所述渲染。在一些实施例中，所述手势确定模块被配置为确定所述用户指令与被渲染的对象的选择相关联；并且所述渲染模块被配置为基于所述用户指令确定所述对象的所述渲染的变化。在一些实施例中，所述对象是虚拟对象。在一些实施例中，所述对象是存在于所述物理环境中的物理对象。根据一些实施例，所述渲染模块被配置为在所述物理环境的所述渲染中将虚拟对象的图像与位于所述物理环境中的物理对象的图像混合；其中所述混合是基于与所述虚拟对象相关联的第一组坐标和与所述物理对象相关联的第二组坐标。在一些实施例中，所述混合包括与所述虚拟对象相关联的音频数据和源自所述物理环境的音频信号的渲染。根据一些实施例，所述设备还包括被配置为连接到智能电话的连接器。在一些实施例中，所述智能电话包括所述处理系统的至少一部分。在一些实施例中，所述智能电话被配置为提供附加内容；并且所述渲染模块被配置为基于所述图像和所述附加内容确定所述物理环境的渲染。附图说明现将参考附图，附图示出了本申请的实例性实施例，并且在附图中：图1是可用以实施本公开的实施例的示例性计算装置的框图。图2A至2B是根据本公开实施例的示出沉浸式多媒体生成的示例性渲染的图解。图3是根据本公开实施例的用于沉浸式和交互式多媒体生成的示例性系统的框图。图4A至4E是根据本公开实施例的用于支持沉浸式和交互式多媒体生成的示例性相机系统的示意图。图5是根据本公开实施例的用于感测相机的位置和姿势以支持沉浸式和交互式多媒体生成的示例性方法的流程图。图6是根据本公开实施例的用于基于手势更新多媒体渲染的示例性方法的流程图。图7A至7B是根据本公开实施例的将3D虚拟对象的图像混合到物理环境的实时图形图像中的图解。图8是根据本公开实施例的用于将3D虚拟对象的图像混合到物理环境的实时图形图像中的示例性方法的流程图。图9A至9B是示出根据本公开实施例的示例性头戴式交互式沉浸式多媒体生成系统的示意图。具体实施方式下面将详细参考实施例，并参考附图描述示例性实施例。尽可能地，附图通篇将使用相同参考标号来指代相同或相似部分。实施例的描述仅仅是示例性的，并非出于限制目的。图1是可用以实施本公开的实施例的示例性计算装置100的框图。如图1所示，计算装置100包括处理器121和主存储器122。处理器121可为对从主存储器122取出的指令做出响应并进行处理的任何逻辑电路。处理器221可为单个或多个通用微处理器、现场可编程门阵列(FPGA)或数字信号处理器(DSP)，其能够执行存储在存储器(例如，主存储器122)中的指令，或专用集成电路(ASIC)，使得处理器221被配置为执行特定任务。存储器122包括有形和/或非暂态计算机可读媒体，诸如软盘、硬盘、CD-ROM(紧致磁盘只读存储器)、MO(磁光)驱动器、DVD-ROM(数字多用本文档来自技高网...

【技术保护点】
一种设备，包括：光学感测系统，其包括至少一个相机，所述至少一个相机被配置为获取物理环境的图像；处理系统，其包括：取向和位置确定模块，其被配置为：从所述图像检测显著特征，并且基于所述所检测到的显著特征确定所述设备相对于所述物理环境的取向和/或位置变化；以及渲染模块，其被配置为：基于所述图像和所述所确定的所述设备的取向和/或位置变化来确定所述物理环境的渲染，并且将与所述物理环境的所述渲染有关的数据提供给显示系统。

【技术特征摘要】
【国外来华专利技术】2014.10.24 US 62/0684231.一种设备，包括：光学感测系统，其包括至少一个相机，所述至少一个相机被配置为获取物理环境的图像；处理系统，其包括：取向和位置确定模块，其被配置为：从所述图像检测显著特征，并且基于所述所检测到的显著特征确定所述设备相对于所述物理环境的取向和/或位置变化；以及渲染模块，其被配置为：基于所述图像和所述所确定的所述设备的取向和/或位置变化来确定所述物理环境的渲染，并且将与所述物理环境的所述渲染有关的数据提供给显示系统。2.根据权利要求1所述的设备，其中：所述光学感测系统包括第一相机和第二相机，所述第一相机被配置为获取所述物理环境的第一图像，并且所述第二相机被配置为获取所述物理环境的第二图像；所述取向和位置确定模块被配置为：当所述设备在所述物理环境中处于第一位置时，从所述第一图像和第二图像检测第一显著特征，确定与所述第一显著特征相关联的第一组坐标，当所述设备在所述物理环境中处于第二位置时，从所述第一图像和第二图像检测第二显著特征，确定与所述第二显著特征相关联的第二组坐标，并且响应于确定所述第一显著特征和第二显著特征彼此对应，基于所述第一组和第二组坐标来确定所述设备相对于所述物理环境的取向和/或位置变化；并且所述渲染模块被配置为基于所述第一图像和第二图像并且基于所述设备的所述所确定的取向和/或位置变化来确定所述物理环境的立体渲染。3.根据权利要求2所述的设备，其中所述第一相机和第二相机中的每一者包括红-绿-蓝-红外(RGB-IR)像素传感器。4.根据权利要求1所述的设备，其中所述光学感测系统包括第一相机、第二相机和反射镜，所述第一相机被配置为获取红外(IR)图像，所述第二相机被配置为获取红-绿-蓝(RGB)图像，并且...

【专利技术属性】
技术研发人员：费越，何安莉，
申请(专利权)人：何安莉，费越，
类型：发明
国别省市：美国;US