用于将物理环境的视觉图像集成到虚拟实境的空间关系制造技术

本发明专利技术提供一种供物理环境中的头戴式显示器使用的方法，其包含获得所述物理环境的深度信息及俘获所述物理环境的视觉图像。所述方法还包含基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的一或多个物理对象之间的空间关系。接着基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以在所述头戴式显示器上显示所述虚拟图像及所述一或多个物理对象两者。

【技术实现步骤摘要】
【国外来华专利技术】用于将物理环境的视觉图像集成到虚拟实境的空间关系
本专利技术的方面大体上涉及虚拟实境，且特定地说，涉及将物理环境的视觉图像集成到在头戴式显示器上呈现的虚拟图像。
技术介绍
虚拟实境(VR)为向用户提供沉浸式多媒体或计算机模拟环境的新兴技术。此类环境可模拟用户在虚构世界或在真实地点之后模型化的世界中的物理存在。VR技术可向用户呈现图形、音频及其它感觉增强以改进用户在虚拟环境内的体验。然而，当今VR技术中的一些仍具有挑战性。举例来说，许多VR耳机遮挡用户对真实世界(即，物理环境)的视野。即，为了向用户呈现更具沉浸感的视觉外观，VR耳机可完全或大部分遮挡用户对除VR耳机的显示器以外的所有事物的检视。因此，在穿戴VR耳机及参与VR模拟时，用户常常被阻止对其现实世界环境进行视觉感测及与其现实世界环境交互。在穿戴VR耳机时对现实世界的视觉感测的此缺少可对用户造成若干困难及/或问题。举例来说，可阻止或至少阻碍用户尝试在计算机键盘上定向其手。在另一实例中，用户可能不能够着所要对象，例如饮料或电话。在又一实例中，用户可能不会注意到进入房间或来到其附近的另一个人。甚至，用户可甚至太晚才能够看见其将撞上墙壁。一些常规VR系统提供跟踪用户的手且接着提供其手在VR模拟内的表示(例如，化身)的跟踪系统。然而，此类系统通常限于向用户提供与存在于VR模拟中的仅虚拟对象交互的机制，且对上文所论述问题有极少帮助。
技术实现思路
在一个方面中，一种供物理环境中的头戴式显示器使用的方法包含获得物理环境的深度信息及俘获物理环境的视觉图像。所述方法还包含基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系。接着基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以通过头戴式显示器显示虚拟图像及一或多个物理对象两者。在另一方面中，一种头戴式显示器包含用于俘获物理环境的深度信息的装置及用于俘获物理环境的视觉图像的视觉摄像机。所述头戴式显示器还包含用于基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系的装置。用于基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像的装置及用于通过头戴式显示器显示虚拟图像的装置进一步包含于头戴式显示器中。所述头戴式显示器进一步包含用于将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者的装置。另一方面涉及一种头戴式显示器。所述头戴式显示器包含视觉摄像机及显示器。所述头戴式显示器还包含至少一个处理器及耦合到所述至少一个处理器的至少一个存储器。所述至少一个处理器及所述至少一个存储器经配置以指导头戴式显示器执行以下操作：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。在又一方面中，一种非暂时性计算机可读媒体包含存储于其上的程序码。所述程序码包含在经执行时使得头戴式显示器执行以下操作的指令：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过头戴式显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。此[
技术实现思路
]在具有以下理解的情况下提交：其将不用于解译或限制权利要求书的范围或意义。此[
技术实现思路
]既不打算识别所要求标的物的关键或基本特征，也不打算在确定所要求标的物的范围时用作辅助。附图说明图1为说明能够执行本文中所论述的过程的头戴式显示器的功能框图。图2说明根据本文中所描述的技术的一或多项实施的在物理环境中的头戴式显示器的用户。图3说明根据本文中所描述的技术的一或多项实施的基于深度信息将用户手的视觉图像集成到虚拟图像的过程。图4为说明根据本文中所描述的技术的一或多项实施的利用空间关系用于将物理环境的视觉图像集成到虚拟实境的过程的流程图。图5说明根据本文中所描述的技术的一或多项实施的基于用户与物理对象之间的空间关系将物理对象的视觉图像集成到虚拟图像的过程。图6说明根据本文中所描述的技术的一或多项实施的基于距离确定用户与物理对象之间的空间关系的实例实施。图7说明根据本文中所描述的技术的一或多项实施的基于第一手示意动作确定用户与物理对象之间的空间关系的实例实施。图8说明根据本文中所描述的技术的一或多项实施的基于第二手示意动作确定用户与物理对象之间的空间关系的实例实施。图9说明根据本文中所描述的技术的一或多项实施的基于物理环境的过去模型将物理对象的视觉图像集成到虚拟图像的过程。图10为说明组件的若干样本方面的简化框图，所述组件可用于经配置以集成物理环境的视觉图像(如本文中所教示)的用户装置中。[实施方式]参考附图。在诸图中，参考数字的最左数字识别首次出现所述参考数字的图。贯穿图式使用相同数字参考相似特征及组件。具体实施方式图1为说明能够执行本文中所论述的过程的头戴式显示器(HMD)100的功能框图。在一个实例中，HMD100为能够将物理环境的视觉图像集成到虚拟实境图像(例如，下文描述的过程400)的用户装置。一般来说，控制单元106经耦合以从视觉摄像机102接收物理环境的视觉图像103。控制单元106经配置以接着将视觉图像103集成到由VR引擎122产生的虚拟图像。接着借助于显示器126向用户显示虚拟图像。在一项实施中，显示器126、视觉摄像机102、深度摄像机104、控制单元106、传感器105及/或用户接口108经集成到可由HMD100的用户穿戴的单一单元中。在另一实施中，控制单元106与HMD100分离。即，控制单元106可通过计算机、电话、平板计算机、“平板手机(电话+平板计算机)”计算机、智能型手机、膝上型计算机及台式计算机及借助于有线或无线连接耦合到HMD100的类似者而实施。因而，控制单元106可包含应用程序设计接口(API)或用于与HMD100通信的其它接口。无关于控制单元106与HMD100集成抑或单独地实施，在某些方面中，视觉摄像机102、可选深度摄像机104及传感器107在HMD100内与显示器126集成，如下文将更详细论述。在一项实施中，视觉摄像机102为彩色摄像机，例如RGB摄像机。视觉摄像机102经配置以俘获现实世界场景(即，物理环境)的视觉图像103且将视觉图像103提供到控制单元106。视觉摄像机102可包含单一单目摄像机、立体摄像机及/或全向摄像机。在一个方面中，视觉摄像机102经校正，以使得摄像机参数(例如，焦距、光学中心的位移、径向失真、切向失真等)为吾人所知。此外，如上文所论述，视觉摄像机1本文档来自技高网...

【技术保护点】
1.一种供物理环境中的头戴式显示器使用的方法，所述方法包括：获得所述物理环境的深度信息，其中所述物理环境包含一或多个物理对象；通过视觉摄像机俘获所述物理环境的视觉图像；基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系；基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像；在所述头戴式显示器上显示虚拟图像；及将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者。

【技术特征摘要】
【国外来华专利技术】2016.03.24 US 15/080,3631.一种供物理环境中的头戴式显示器使用的方法，所述方法包括：获得所述物理环境的深度信息，其中所述物理环境包含一或多个物理对象；通过视觉摄像机俘获所述物理环境的视觉图像；基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系；基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像；在所述头戴式显示器上显示虚拟图像；及将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者。2.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括确定所述用户与所述一或多个物理对象之间的距离，且其中将所述视觉图像分段包括仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象。3.根据权利要求2所述的方法，其中所述阈值的值使得如果所述用户正触碰所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。4.根据权利要求2所述的方法，其中所述阈值的所述值使得如果所述用户至少靠近所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。5.根据权利要求2所述的方法，其中所述用户与所述一或多个物理对象之间的所述距离为所述用户的手与所述一或多个物理对象之间的距离。6.根据权利要求2所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括基于所述用户与所述一或多个物理对象之间的所述距离调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度。7.根据权利要求6所述的方法，其中调节所述一或多个物理对象的所述透明度包括与所述用户与所述一或多个物理对象之间的所述距离的减小成比例地减小所述透明度。8.根据权利要求1所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度，以使得所述虚拟图像不完全由所述一或多个物理对象遮挡。9.根据权利要求8所述的方法，其进一步包括在一段时间内增加所述虚拟图像中的所述一或多个物理对象的所述透明度直到所述一或多个物理对象完全透明。10.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括辨识所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象。11.根据权利要求10所述的方法，其中所述深度信息包括所述物理环境的3维3D点云，所述方法进一步包括：响应于辨识所述手示意动作而产生在所述3D点云内且接近所述用户的所述手的空间区域，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象。12.根据权利要求11所述的方法，其中产生所述空间区域包括响应于辨识所述手示意动作而产生闭合3D形状，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述闭合3D形状内的情况下才在所述经分段图像中包含所述一或多个物理对象。13.根据权利要求12所述的方法，其中所述手示意动作为张开手示意动作，且其中所述闭合3D形状为球体。14.根据权利要求13所述的方法，其中所述球体围绕所述用户的所述手而定向且具有与所述用户的所述手的手指的伸展量成比例的直径。15.根据权利要求11所述的方法，其中产生所述空间区域包括响应于辨识所述手示意动作而产生从所述用户的所述手延伸到所述3D点云中的敞开式空间区域，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述敞开式空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象。16.根据权利要求15所述的方法，其中所述手示意动作为手指指向手示意动作，其中所述敞开式空间区域为由具有在所述用户的所述手的手指处的顶点的圆锥体形状界定的区域，且其中所述圆锥体形状基于所述手指的定向远离所述手指延伸到所述物理环境中。17.根据权利要求1所述的方法，其中基于所述空间关系将所述视觉图像分段以产生经分段图像包括根据所述虚拟图像的虚拟场景照明调节所述经分段图像。18.根据权利要求17所述的方法，其中所述深度信息包括所述物理环境的3维3D点云，且其中根据所述虚拟图像的虚拟场景照明调节所述经分段图像包括：基于所述3D点云产生所述一或多个物理对象的3D网格；及将所述视觉图像的一部分映射到所述一或多个物理对象的所述3D网格上。19.根据权利要求1所述的方法，其中将所述视觉图像分段包括基于所述深度信息将所述一或多个物理对象与包含于所述物理环境中的一或多个其它物理对象分段。20.根据权利要求1所述的方法，其中将所述视觉图像分段包括产生所述经分段图像以包含由所述视觉摄像机俘获的所述一或多个物理对象及所述用户的手。21.根据权利要求1所述的方法，其中由所述视觉摄像机俘获的所述物理环境的视野为由所述头戴式显示器阻挡的所述用户的视野。22.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括：获得所述物理环境的过去模型；及基于所述过去模型确定所述一或多个物理对象对于所述物理环境是否为新物理对象，其中将所述视觉图像分段包括响应于确定所述一或多个物理对象对于所述物理环境为新物理对象而在所述经分段图像中包含所述一或多个物理对象。23.一种头戴式显示器，其包括：用于获得物理环境的深度信息的装置，其中所述物理环境包含一或多个物理对象；视觉摄像机，其用于俘获所述物理环境的视觉图像；用于基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系的装置；用于基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像的装置；用于在所述头戴式显示器上显示虚拟图像的装置；及用于将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者的装置。24.根据权利要求23所述的头戴式显示器，其中用于确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述装置包括用于确定所述用户与所述一或多个物理对象之间的距离的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。25.根据权利要求24所述的头戴式显示器，其中所述用户与所述一或多个物理对象之间的所述距离为所述用户的手与所述一或多个物理对象之间的距离。26.根据权利要求23所述的头戴式显示器，其中用于确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述装置包括用于辨识所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象的装置。27.根据权利要求26所述的头戴式显示器，其中所述深度信息包括所述物理环境的3维3D点云，所述头戴式显示器进一步包括：用于响应于辨识所述手示意动作而产生在所述3D点云内且接近所述用户的所述手的空间区域的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。28.根据权利要求27所述的头戴式显示器，其中用于产生所述空间区域的所述装置包括用于响应于辨识所述手示意动作而产生闭合3D形状的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述一或多个物理对象至少部分位于所述闭合3D形状内的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。29.根据权利要求27所述的...

【专利技术属性】
技术研发人员：埃文·罗伯特·希尔德雷特，弗朗西斯·伯纳德·麦克杜格尔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US