用现实世界内容增强虚拟现实内容制造技术

提供了用于利用现实世界内容来增强虚拟现实场景的方法、设备和计算机程序。一个示例方法包括以下操作：从用户的HMD获得传感器数据以确定满足将一个或多个现实世界对象覆盖到虚拟现实场景中以提供增强的虚拟现实场景的标准。在某些示例中，所述标准对应于在用户佩戴所述HMD并被呈现虚拟现实场景时暗示用户迷失方向的预定指示符。在某些其他示例中，基于所述一个或多个现实世界对象在使迷失方向的用户重新定向时的有效性来选择它们。

【技术实现步骤摘要】
【国外来华专利技术】用现实世界内容增强虚拟现实内容
本专利技术涉及用于改变虚拟现实内容的方法，且更具体地，涉及用于利用现实世界内容来增强虚拟现实内容以及基于检测到的用户交互来切换和混合内容的方法和系统。
技术介绍
虚拟现实(VR)作为消费者与内容进行交互的方式以及作为内容创作者与受众进行交互的方式正变得越来越普遍。随着VR的普及，其强度和沉浸感也在不断提高。虚拟现实场景(VRS)导致观看者迷失方向并不罕见。迷失方向的程度可以从轻微的不适到严重的不愉快。因此，从可用性和安全性的角度来看，迷失方向都是一个问题。例如，迷失方向会导致整体用户体验受损，并降低VR体验的质量。此外，用户迷失方向的可能性可能会限制内容创作者为了防止可能迷失方向的场景而愿意产生的内容。因此，随着VR沉浸感和强度持续增强，可以提供减轻可能会引起的迷失方向和/或不适的措施的系统和方法具有优点。正是在这种背景下，出现了本专利技术的实施方案。
技术实现思路
本专利技术的实施方案提供用于改变虚拟现实场景的方法和系统，且更具体地，用于利用现实世界内容来增强虚拟现实场景的方法和系统。该方法和系统还定义了用于在VR内容和现实世界内容之间进行切换以及管理两者之间的转换的实施方案。应当理解，本专利技术可以以多种方式实现，例如进程、装置、系统、设备或计算机可读介质上的方法。下面描述本专利技术的若干创造性实施方案。在一个实施方案中，一种方法包括用于从HMD上的传感器获得数据的操作。处理传感器数据以确定是否满足从虚拟现实场景(VRS)转换到要在HMD上显示的增强VRS的第一标准，其中第一标准对应于在用户佩戴HMD并被呈现VRS时暗示用户迷失方向的预定指示符。一旦确定满足第一标准，该方法包括用于将第一现实世界对象插入VRS以产生增强VRS的操作，其中第一现实世界对象来自由设置在虚拟现实交互空间中的摄像机提供的现实世界视图。在这些实施方案的背景中，“增强的VRS”或“增强的VR”指的是已经从原始状态修改为包括来自现实世界的内容的VR。增强的VR或VRS也可以称为“混合视图”或“混合HMD视图”。在另一实施方案中，用于提供VRS的系统包括用于从HMD获得传感器数据的过程。该系统还包括处理所述数据以确定是否满足第一标准的处理器。第一标准对应于在用户佩戴HMD并被呈现VRS时暗示用户迷失方向的预定指示符。该系统还包括将现实世界对象插入VRS的渲染部件。现实世界对象是从设置在虚拟现实交互空间中的摄像机提供的现实世界视图中捕获的。在又一个实施方案中，体现在非暂时性计算机可读存储介质中的计算机程序在由一个或多个处理器执行时改变HMD的虚拟现实内容。介质中包括用于获得HMD传感器数据和处理所述数据以确定满足第一标准的程序指令，第一标准对应于在用户佩戴HMD并被呈现虚拟现实场景时暗示用户迷失方向的预定指示符。此外，介质还包括用于将第一现实世界对象插入VRS的程序指令，第一现实世界对象来自虚拟现实交互空间中的摄像机提供的现实世界视图。根据下面结合附图的详细描述，通过示例说明了本专利技术的原理，本专利技术的其他方面将变得明显。附图说明通过参考以下结合附图的描述，可以最好地理解本专利技术，其中：图1示出了能够向用户提供VRS并增强VRS的实施方案。图2示出了根据一个实施方案的HMD的某些部件，其允许呈现VRS并检测用户迷失方向。图3示出了在一个实施方案中用于使迷失方向的用户重新定向的方法的流程。图4示出了根据一个实施方案的能够检测用户迷失方向并使用户重新定向的计算机的一些部件。图5A示出了根据一个实施方案的在房间中佩戴HMD并被呈现VRS的现实世界中的用户。图5B-5H示出了根据一些实施方案的可以向用户显示的各种视图，包括VRS、具有一个或多个现实世界对象的增强VRS以及现实世界视图。图6示出了根据一个实施方案的用户体验迷失方向并向其呈现增强的VRS的示例。图7A-7B示出了根据一些实施方案的增强VRS的不同方式。图8示出了根据一些实施方案的由计算机实现的用于将VRS增强或改变为增强的VRS或现实世界视图的算法的流程图。图9示出了根据一个实施方案的用逐渐增加的现实世界对象来增强VRS的方法的流程。图10示出了根据一个实施方案的由计算机执行的用于确定如何从多个现实世界对象中选择要增强到VRS中的现实世界对象的方法的流程。图11A示出了根据一个实施方案的用于增强VRS的方法的表示，其中首先满足第一标准并然后不再满足第一标准。图11B示出了根据一个实施方案的用于增强VRS的方法的表示，其中首先满足第一标准并且随后满足第二标准。图12示出了根据一个实施方案的用于根据预期的重新定向有效性来选择和排序要增强到VRS的现实世界对象的方法。图13示出了根据一个实施方案的头戴式显示器的一些部件的实施方案。具体实施方式以下实施方案描述了用于改变头戴式显示器(HMD)中显示的虚拟现实场景的方法、计算机程序和装置。然而，对于本领域技术人员来说，将明显的是，本专利技术可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，没有详细描述众所周知的过程操作，以免不必要地模糊本专利技术。由HMD提供的虚拟现实场景通常是如此沉浸式，以至于它们导致一些用户迷失方向。用户的迷失方向可以表现为平衡感、着地感、重力感、空间内位置感、安全感等的丧失。类似地，用户对这些类型的迷失方向中的任何一种的体验可以从轻微至严重。迷失方向的瞬间不仅会带走虚拟现实场景体验，而且还可能会妨碍用户欣赏内容或欣赏独特内容。此外，HMD用户在完全参与虚拟现实场景(VRS)时通常并不会察觉到他们自己的迷失方向状态。因此，用户的迷失方向可能会在不被察觉的情况下继续加重，直到用户感觉到有必要完全停止VRS为止。结果，不仅用户遭受了相当程度的迷失方向，在虚拟现实场景内取得的任何进展也可能被实质性地丢失。因此，存在通过检测用户迷失方向并帮助用户在原位重新定向以增强体验以及用户安全性的技术需求，特别是当正在开发VRS体验以变得更易于访问、更沉浸式、并且交互性更强时。另外，在原位检测并纠正迷失方向，而不是在某个早期点重新启动虚拟现实场景，可能在计算上更有效。如本文所用，“原位”意味着在用户与VRS交互时处理迷失方向的检测，并且在与VRS交互期间动态地进行内容呈现的改变。在一个实施方案中，改变包括将现实世界对象混合到VRS中，并且能够混合现实世界对象直到迷失方向减轻，然后切换回VRS。在一些实施方案中，可以进行切换以将HMD中的视图完全带到现实世界，直到检测到用户重新定向，然后逐渐地移回到VRS中。在某些其他实施方案中，可以在HMD上提供部分现实世界视图的叠加(例如，覆盖到VRS上)，以便可以向用户提供重新定向的机会。检测用户迷失方向可以以多种方式完成。当用户迷失方向时，她可能表现出许多可由传感器测量的身体的线索。例如，迷失方向的用户可能会表现出不稳定的眼睛运动(例如，眼球震颤)、异常的头部运动(例如倾斜)、姿势(倚靠)、步态等。其他伴随的身体症状可能包括出汗、发烧、可听见的发声等。这些身体的线索可以由HMD中和HMD上以及虚拟现实交互空间中的其他地方的传感器定量地测量和跟踪。例如，可以从位于虚拟现实交互空间内的摄像机获得推断图像。如本文所使用的，“虚拟现实交互空间”指的是三维现实世界空间，其中用户可以经由本文档来自技高网...

【技术保护点】
1.一种用于改变头戴式显示器(HMD)中显示的虚拟现实场景的方法，其包括：从所述HMD上的传感器获得传感器数据，所述传感器包括惯性传感器；处理所述传感器数据以确定满足从所述虚拟现实场景转换到要由所述HMD呈现的增强的虚拟现实场景的标准，所述标准对应于在用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示用户迷失方向的预定指示符，所述增强的虚拟现实场景是所述虚拟现实场景的修改版本；以及基于所述确定满足所述标准，将现实世界视图中的现实世界对象的至少一部分覆盖到所述虚拟现实场景中，获得所述增强的虚拟现实场景，所述现实世界视图是由所述HMD的一个或多个摄像机捕获的。

【技术特征摘要】
【国外来华专利技术】2016.06.30 US 62/357,323;2016.12.20 US 15/385,7941.一种用于改变头戴式显示器(HMD)中显示的虚拟现实场景的方法，其包括：从所述HMD上的传感器获得传感器数据，所述传感器包括惯性传感器；处理所述传感器数据以确定满足从所述虚拟现实场景转换到要由所述HMD呈现的增强的虚拟现实场景的标准，所述标准对应于在用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示用户迷失方向的预定指示符，所述增强的虚拟现实场景是所述虚拟现实场景的修改版本；以及基于所述确定满足所述标准，将现实世界视图中的现实世界对象的至少一部分覆盖到所述虚拟现实场景中，获得所述增强的虚拟现实场景，所述现实世界视图是由所述HMD的一个或多个摄像机捕获的。2.如权利要求1所述的方法，其还包括：在将所述现实世界对象覆盖到所述虚拟现实场景中以提供所述增强的虚拟现实场景之后，确定仍然满足所述标准；在仍然满足所述标准的同时，继续覆盖来自所述现实世界视图的附加现实世界对象，其中所述继续覆盖附加现实世界对象使得所述增强的虚拟现实场景能够逐渐以现实世界对象填充。3.如权利要求1所述的方法，其还包括，在将一个或多个现实世界对象覆盖到所述虚拟现实场景中之后暂停所述虚拟现实场景；以及当确定不再满足所述标准时，恢复所述虚拟现实场景。4.如权利要求2所述的方法，其中所述附加现实世界对象包括所述现实世界对象的展开视图。5.一种用于修改用于在头戴式显示器(HMD)中显示的虚拟现实场景的方法，其包括：从所述HMD上的传感器获得传感器数据，所述传感器包括眼睛注视检测器和惯性传感器；处理所述数据以确定满足从所述虚拟现实场景转换到要由所述HMD呈现的增强的虚拟现实场景的第一标准，所述第一标准对应于在用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示用户迷失方向的预定指示符；以及基于所述确定满足所述第一标准，将第一现实世界对象插入所述虚拟现实场景，所述第一现实世界对象来自设置在虚拟现实交互空间中的一个或多个摄像机提供的现实世界视图。6.如权利要求5所述的方法，其中进一步获得和处理来自所述HMD上的所述传感器的数据，以确定在将所述第一现实世界对象插入所述虚拟现实场景以提供所述增强的虚拟现实场景之后，仍然满足所述第一标准，其中逐渐插入附加的现实世界对象，直到确定不再满足所述第一标准。7.如权利要求5所述的方法，其中进一步获得并处理来自所述HMD上的所述传感器的数据，以确定满足将所述虚拟现实场景切换到所述现实世界视图的第二标准，所述第二标准对应于在所述用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示所述用户迷失方向的预定指示符，其中所述切换包括淡出所述虚拟现实场景和淡入所述现实世界视图。8.如权利要求5所述的方法，其中在所述虚拟现实场景内的位置插入所述第一现实世界对象，所述位置对应于所述第一现实...

【专利技术属性】
技术研发人员：R陈，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本,JP