用于将物理环境的视觉图像集成到虚拟实境的空间关系制造技术

本发明专利技术提供一种供物理环境中的头戴式显示器使用的方法，其包含获得所述物理环境的深度信息及俘获所述物理环境的视觉图像。所述方法还包含基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的一或多个物理对象之间的空间关系。接着基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以在所述头戴式显示器上显示所述虚拟图像及所述一或多个物理对象两者。两者。两者。

【技术实现步骤摘要】
用于将物理环境的视觉图像集成到虚拟实境的空间关系
[0001]本申请是申请日为2017年1月23日、申请号为201780017168.5、专利技术名称为“用于将物理环境的视觉图像集成到虚拟实境的空间关系”的中国专利申请的分案申请。


[0002]本专利技术的方面大体上涉及虚拟实境，且特定地说，涉及将物理环境的视觉图像集成到在头戴式显示器上呈现的虚拟图像。

技术介绍

[0003]虚拟实境(VR)为向用户提供沉浸式多媒体或计算机模拟环境的新兴技术。此类环境可模拟用户在虚构世界或在真实地点之后模型化的世界中的物理存在。VR技术可向用户呈现图形、音频及其它感觉增强以改进用户在虚拟环境内的体验。
[0004]然而，当今VR技术中的一些仍具有挑战性。举例来说，许多VR耳机遮挡用户对真实世界(即，物理环境)的视野。即，为了向用户呈现更具沉浸感的视觉外观，VR耳机可完全或大部分遮挡用户对除VR耳机的显示器以外的所有事物的检视。因此，在穿戴VR耳机及参与VR模拟时，用户常常被阻止对其现实世界环境进行视觉感测及与其现实世界环境交互。在穿戴VR耳机时对现实世界的视觉感测的此缺少可对用户造成若干困难及/或问题。举例来说，可阻止或至少阻碍用户尝试在计算机键盘上定向其手。在另一实例中，用户可能不能够着所要对象，例如饮料或电话。在又一实例中，用户可能不会注意到进入房间或来到其附近的另一个人。甚至，用户可甚至太晚才能够看见其将撞上墙壁。
[0005]一些常规VR系统提供跟踪用户的手且接着提供其手在VR模拟内的表示(例如，化身)的跟踪系统。然而，此类系统通常限于向用户提供与存在于VR模拟中的仅虚拟对象交互的机制，且对上文所论述问题有极少帮助。

技术实现思路

[0006]在一个方面中，一种供物理环境中的头戴式显示器使用的方法包含获得物理环境的深度信息及俘获物理环境的视觉图像。所述方法还包含基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系。接着基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以通过头戴式显示器显示虚拟图像及一或多个物理对象两者。
[0007]在另一方面中，一种头戴式显示器包含用于俘获物理环境的深度信息的装置及用于俘获物理环境的视觉图像的视觉摄像机。所述头戴式显示器还包含用于基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系的装置。用于基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像的装置及用于通过头戴式显示器显示虚拟图像的装置进一步包含于头戴式显示器中。所述头戴式显示器进一步包含用于将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者的装置。
[0008]另一方面涉及一种头戴式显示器。所述头戴式显示器包含视觉摄像机及显示器。所述头戴式显示器还包含至少一个处理器及耦合到所述至少一个处理器的至少一个存储器。所述至少一个处理器及所述至少一个存储器经配置以指导头戴式显示器执行以下操作：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。
[0009]在又一方面中，一种非暂时性计算机可读媒体包含存储于其上的程序码。所述程序码包含在经执行时使得头戴式显示器执行以下操作的指令：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过头戴式显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。
[0010]此[
技术实现思路
]在具有以下理解的情况下提交：其将不用于解译或限制权利要求书的范围或意义。此[
技术实现思路
]既不打算识别所要求标的物的关键或基本特征，也不打算在确定所要求标的物的范围时用作辅助。
附图说明
[0011]图1为说明能够执行本文中所论述的过程的头戴式显示器的功能框图。
[0012]图2说明根据本文中所描述的技术的一或多项实施的在物理环境中的头戴式显示器的用户。
[0013]图3说明根据本文中所描述的技术的一或多项实施的基于深度信息将用户手的视觉图像集成到虚拟图像的过程。
[0014]图4为说明根据本文中所描述的技术的一或多项实施的利用空间关系用于将物理环境的视觉图像集成到虚拟实境的过程的流程图。
[0015]图5说明根据本文中所描述的技术的一或多项实施的基于用户与物理对象之间的空间关系将物理对象的视觉图像集成到虚拟图像的过程。
[0016]图6说明根据本文中所描述的技术的一或多项实施的基于距离确定用户与物理对象之间的空间关系的实例实施。
[0017]图7说明根据本文中所描述的技术的一或多项实施的基于第一手示意动作确定用户与物理对象之间的空间关系的实例实施。
[0018]图8说明根据本文中所描述的技术的一或多项实施的基于第二手示意动作确定用户与物理对象之间的空间关系的实例实施。
[0019]图9说明根据本文中所描述的技术的一或多项实施的基于物理环境的过去模型将物理对象的视觉图像集成到虚拟图像的过程。
[0020]图10为说明组件的若干样本方面的简化框图，所述组件可用于经配置以集成物理环境的视觉图像(如本文中所教示)的用户装置中。
[0021][实施方式]参考附图。在诸图中，参考数字的最左数字识别首次出现所述参考数字的图。贯穿图式使用相同数字参考相似特征及组件。
具体实施方式
[0022]图1为说明能够执行本文中所论述的过程的头戴式显示器(HMD)100的功能框图。在一个实例中，HMD 100为能够将物理环境的视觉图像集成到虚拟实境图像(例如，下文描述的过程400)的用户装置。一般来说，控制单元106经耦合以从视觉摄像机102接收物理环境的视觉图像103。控制单元106经配置以接着将视觉图像103集成到由VR引擎122产生的虚拟图像。接着借助于显示器126向用户显示虚拟图像。在一项实施中，显示器126、视觉摄像机102、深度摄像机104、控制单元106、传感器105及/或用户接口108经集成到可由HMD 100的用户穿戴的单一单元中。在另一实施中，控制单元106与HMD 100分离。即，控制单元106可通过计算机、电话、平板计算机、“平板手机(电话+平板计算机)”计算机、智能型手机、膝上型计算机及台式计算机及借助本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种供物理环境中的设备使用的方法，所述方法包括：获得所述物理环境的深度信息，其中所述物理环境包含一或多个物理对象，且其中所述深度信息包含所述物理环境的3维，3D，点云；通过视觉摄像机俘获所述物理环境的视觉图像；及基于所述深度信息将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像，其中将所述视觉图像分段包含：基于所述3D点云产生所述一或多个物理对象的3D网格；及将所述视觉图像的与所述一或多个物理对象相对应的一部分映射到所述3D网格上。2.根据权利要求1所述的方法，其进一步包括：基于所述深度信息确定所述设备与包含于所述物理环境中的所述一或多个物理对象之间的空间关系。3.根据权利要求2所述的方法，其中确定所述设备与所述一或多个物理对象之间的所述空间关系包括确定所述设备与所述一或多个物理对象之间的距离，且其中将所述视觉图像分段包括：如果所述距离小于阈值，那么在所述经分段图像中包含所述一或多个物理对象。4.根据权利要求3所述的方法，其中所述阈值的值使得如果所述设备的用户正触碰所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。5.根据权利要求3或4中任一项所述的方法，其中所述设备与所述一或多个物理对象之间的所述距离为所述设备的所述用户的手与所述一或多个物理对象之间的距离。6.根据权利要求1所述的方法，其进一步包括：在所述设备的显示器上显示虚拟图像；及将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者。7.根据权利要求3至6中任一项所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括基于所述设备与所述一或多个物理对象之间的所述距离调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度。8.根据权利要求7所述的方法，其中调节所述一或多个物理对象的所述透明度包括与所述设备与所述一或多个物理对象之间的所述距离的减小成比例地减小所述透明度。9.根据权利要求1至8中任一项所述的方法，其进一步包括在一段时间内增加所述虚拟图像中的所述一或多个物理对象的所述透明度直到所述一或多个物理对象完全透明。10.根据权利要求1至9中任一项所述的方法，其中确定所述设备与所述一或多个物理对象之间的所述空间关系包括...

【专利技术属性】
技术研发人员：埃文，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：