用于沉浸式和交互式多媒体生成的系统和方法技术方案

公开了一种方法。可以由沉浸式和交互式多媒体生成系统实现该方法。该方法可以包括由该系统的第一组件将多个图案投影到该系统的第二组件所在的物理环境中；由该系统的第二组件获取至少一部分物理环境的第一图像和第二图像，该第一图像和第二图像分别包括对应于该多个投影图案其中的至少一些第一和第二像素数据；以及，由该系统的该第二组件基于该第一和第二像素数据之间的关系确定在物理环境中的该第二组件的至少一个方向或位置的变化。

【技术实现步骤摘要】
【国外来华专利技术】用于沉浸式和交互式多媒体生成的系统和方法相关申请的交叉引用本申请主张2015年3月4日提交的申请号为62/127,947的美国临时专利申请，2015年3月10日提交的申请号为62/130,859的美国临时专利申请和2015年10月23日提交的申请号为PCT/US2015/000116的国际专利申请的优先权。以上提到的所有专利申请的内容以引用其全文的方式并入本文中。
本专利技术涉及人机交互
，尤其是涉及沉浸式和交互式多媒体生成。
技术介绍
沉浸式多媒体通常包括提供与环境相关的多媒体数据(以音频和视频的形式)，使接收到多媒体数据的人具有身临其境的感受。沉浸式多媒体的生成通常是交互式的，因此提供给人的多媒体数据可以基于例如人的物理位置，人进行的动作等等动态更新。交互式和沉浸式多媒体可以通过例如使体验更加栩栩如生来改善用户体验。交互式和沉浸式多媒体的主要类型有两种。第一种类型是虚拟现实(VR)，其中多媒体数据复制模拟在真实世界或想象世界中的地方的物理存在的环境。环境的呈现也反映用户进行的动作，从而使用户与环境交互。用户的动作(例如，身体的移动)通常可以被运动传感器检测到。虚拟现实人为地创造包括视觉、听觉和触觉的感官体验。交互式和沉浸式多媒体的第二种类型是增强现实(AR)，其中多媒体数据包括人所位于的物理环境中的实时图形图像，以及附加数字信息。附加数字信息通常被置于实时图形图像的顶部，但是不改变或增强物理环境的实时图形图像的呈现。附加数字信息还可以是虚拟物体的图像，然而虚拟物体的图像通常只被置于实时图形图像的顶部，而不是被融入到物理环境中以创造逼真的呈现。物理环境的呈现也可以反映用户进行的动作和/或人的位置，从而支持交互。用户的动作(例如，身体的移动)通常可以被运动传感器检测到，而人的位置可以通过检测和跟踪来自图形图像的物理环境的特征而被确定。当人正处于物理环境中时，增强现实可以复制人的某些感官体验，同时为人提供附加数字信息。目前，没有能够提供组合虚拟现实和增强现实的系统，以创造虚拟物体的图像和物理环境的图像的逼真混合。而且，虽然现有的增强现实系统可以复制用户的感官体验，但是这样的系统通常不能增强用户的感知能力。此外，在虚拟和增强现实呈现中，没有反映用户进行的动作和/或人的位置的物理环境的呈现，以支持交互。此外，现有的基于虚拟现实设备的移动式头戴显示器笨重且不方便携带。由于带有传感器和电子设备，HDM设备需要充足的供电。而且，不同的人具有不同的视力和不同的瞳孔间距。为了给用户提供最好的观看质量和舒适性，HDM设备需要可调整的结构，用于针对视力和IPD的用户定制。
技术实现思路
本专利技术的实施例的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中显而易见，或通过本专利技术的实施例的实践了解到。根据一些实施例，可以通过沉浸式和交互式多媒体生成系统实现方法。该方法可包括：由该系统的第一组件将多个图案投影到该系统的第二组件所在的物理环境中；由该系统的第二组件获取至少一部分物理环境的第一图像和第二图像，该第一图像和第二图像分别包括对应于该多个投影图案其中的至少一些第一和第二像素数据；以及，由该系统的第二组件基于第一和第二像素数据之间的关系确定在物理环境中的第二组件的至少一个方向或位置的变化。根据一些实施例，该物理环境可以是室内环境。根据一些实施例，该第一组件和第二组件可以同时连接到该系统的用户。根据一些实施例，该第一组件可以被设置在固定位置，并且该第二组件可以被连接到在物理环境中移动的用户。根据一些实施例，该图案可以是红外图案，并且该第二组件可能对该图案没有预先了解。根据一些实施例，该方法进一步可以包括从第一和第二图像检测手势，确定与该手势相关联的用户指令，并且基于所确定的用户指令确定物理环境的呈现。根据一些实施例，该图案可以包括转角。根据一些实施例，该图案可以是“L”形。根据一些实施例，该方法可以进一步包括实时监控与物理环境中的物体相对应的系统用户的位置，基于所监控的位置确定用户是否将与物理环境中的一个物体碰撞，并为用户提供指令以显示覆盖于该物理环境呈现上的警告。根据一些实施例，该方法可以进一步包括实时监控该物理环境中的物体，生成该物理环境的3D模型，该3D模型包括真实世界物体的位置，并提供指令以显示在该物理环境的呈现中的该真实世界物体的位置上的虚拟物体。根据一些实施例，沉浸式和交互式多媒体生成系统可以包括：第一装置，被配置于将多个图案投影到该系统的第二组件所在的物理环境中；和第二装置，被配置于获取至少一部分物理环境的第一图像和第二图像，该第一图像和第二图像分别包括对应于该多个投影图案的至少一些的第一和第二像素数据，并基于第一和第二像素数据之间的关系确定在该物理环境中的第二组件的至少一个方向或位置的变化。根据一些实施例，该物理环境可以是室内环境。根据一些实施例，该第一装置和第二装置可以均连接到该系统的用户。根据一些实施例，该第一装置可以被设置在固定位置，并且该第二装置可以连接到在物理环境中移动的用户。根据一些实施例，该图案可以是红外图案，并且该第二装置可能对该图案没有预先了解。根据一些实施例，该第二装置进一步可以被配置于从第一和第二图像检测手势，确定与该手势相关联的用户指令，并且基于所确定的用户指令确定物理环境的呈现。根据一些实施例，该图案可以包括转角。根据一些实施例，该图案可以是“L”形。根据一些实施例，该第二装置可以进一步被配置于实时监控与物理环境中的物体相对应的系统用户的位置，基于所监控的位置确定用户是否将与物理环境中的一个物体碰撞，并为用户提供指令以显示覆盖于该物理环境呈现上的警告。根据一些实施例，该第二装置可以进一步被配置于实时监控该物理环境中的物体，生成该物理环境的3D模型，该3D模型包括真实世界物体的位置，并提供指令以显示在该物理环境的呈现中的该真实世界物体的位置上的虚拟物体。根据一些实施例，可折叠装置可以包括：至少一个摄像机，被配置于获取物理环境的图像；方向和位置确定模块，被配置于基于所获得的图像来确定该装置相对于物理环境的方向和/或位置的变化；外壳，被配置于容纳至少一个摄像机和方向和位置确定模块；和连接到该外壳的第一带子，被配置于将外壳连接到该装置的用户头部。根据一些实施例，该至少一个摄像机可以被进一步配置于实时监控与物理环境中的物体相对应的用户的位置，该方向和位置确定模块可以进一步被配置于基于所监控的位置确定用户是否将与物理环境中的一个物体碰撞，并提供指令以显示覆盖于该物理环境呈现上的警告。根据一些实施例，该至少一个摄像机可以被进一步配置于实时监控该物理环境中的真实世界物体，该方向和位置确定模块可以进一步被配置于生成该物理环境的3D模型，该3D模型包括真实世界物体的位置，并提供指令以显示在该物理环境的呈现中的位置上的虚拟物体。根据一些实施例，该外壳可以包括可拆卸的背板，用于当该装置折叠时将该第一带子包含在该外壳内。根据一些实施例，该装置进一步可以包括连接在该外壳上的第二带子，其被配置于当该装置展开时将外壳连接到装置的用户头部，并将该背板连接到该外壳上以折叠该装置。根据一些实施例，该背板或第一带子中的至少一个可以包括电池和用于为电池充电的充电触点或无线充电接收电路中的至少一个。根据一些本文档来自技高网...

【技术保护点】
一种通过沉浸式和交互式多媒体生成系统实现的方法，包括：由所述系统的第一组件将多个图案投影到所述系统的第二组件所在的物理环境中；由所述系统的第二组件获取至少一部分物理环境的第一图像和第二图像，所述第一图像和第二图像分别包括对应于所述多个投影图案其中的至少一些第一和第二像素数据；以及，由所述系统的所述第二组件基于所述第一和第二像素数据之间的关系确定在物理环境中的所述第二组件的至少一个方向或位置的变化。

【技术特征摘要】
【国外来华专利技术】2015.03.04 US 62/127,947;2015.03.10 US 62/130,859;1.一种通过沉浸式和交互式多媒体生成系统实现的方法，包括：由所述系统的第一组件将多个图案投影到所述系统的第二组件所在的物理环境中；由所述系统的第二组件获取至少一部分物理环境的第一图像和第二图像，所述第一图像和第二图像分别包括对应于所述多个投影图案其中的至少一些第一和第二像素数据；以及，由所述系统的所述第二组件基于所述第一和第二像素数据之间的关系确定在物理环境中的所述第二组件的至少一个方向或位置的变化。2.如权利要求1所述的方法，其中所述物理环境是室内环境。3.如权利要求1所述的方法，其中所述第一组件和所述第二组件同时连接到所述系统的用户。4.如权利要求1所述的方法，其中：该第一装置被设置在固定位置；并且，该第二装置被连接到在所述物理环境中移动的用户。5.如权利要求1所述的方法，其中所述图案是红外图案，并且所述第二组件对所述图案没有预先了解。6.如权利要求1所述的方法，进一步包括：从所述第一和第二图像检测手势；确定与所述手势相关联的用户指令；并且基于所述确定的用户指令确定物理环境的呈现。7.如权利要求1所述的方法，其中所述图案包括转角。8.如权利要求7所述的方法，其中所述图案是“L”形。9.如权利要求1所述的方法，进一步包括：实时监控与所述物理环境中的物体相对应的所述系统的用户的位置；基于所述监控的位置确定所述用户是否将与所述物理环境中的一个所述物体碰撞；并且为所述用户提供指令以显示覆盖于所述物理环境呈现上的警告。10.如权利要求1所述的方法，进一步包括：实时监控所述物理环境中的物体；生成所述物理环境的3D模型，所述3D模型包括真实世界物体的位置；并且提供指令以显示在所述物理环境的呈现中的所述真实世界物体的所述位置上的虚拟物体。11.一种沉浸式和交互式多媒体生成系统，包括：第一装置，被配置于将多个图案投影到所述系统的第二组件所在的物理环境中；和第二装置，被配置于：获取至少一部分所述物理环境的第一图像和第二图像，所述第一图像和第二图像分别包括对应于所述多个投影图案至少一些的第一和第二像素数据，并且基于所述第一和第二像素数据之间的关系确定在该物理环境中的第二组件的至少一个方向或位置的变化。12.如权利要求11所述的系统，其中所述物理环境是室内环境。13.如权利要求11所述的系统，其中所述第一装置和所述第二装置均连接到该系统的用户。14.如权利要求11所述的系统，其中：所述第一装置被设置在固定位置；并且所述第二装置被连接到在所述物理环境中移动的用户。15.如权利要求11所述的系统，其中所述图案是红外图案，并且所述第二装置对所述图案没有预先了解。16.如权利要求11所述的系统，其中所述第二装置进一步被配置于：从所述第一和第二图像检测手势；确定与所述手势相关联的用户指令；并且基于所述确定的用户指令确定所述物理环境的呈现。17.如权利要求11所述的系统，其中所述图案包括转角。18.如权利要求17所述的系统，其中所述图案是“L”形。19.如权利要求17所述的系统，其中所述第二装置进一步被配置于：实时监控与所述物理环境中的物体相对应的所述系统的用户位置；基于所述监控的位置确定所述用户是否将与所述物理环境中的一个物体碰撞；并且为所述用户提供指令以显示覆盖于所述物理环境的呈现上的警告。20.如权利要求11所述的系统，其中所述第二装置进一步被配置于：实时监控所述...

【专利技术属性】
技术研发人员：何安莉，费越，
申请(专利权)人：杭州凌感科技有限公司，
类型：发明
国别省市：浙江,33