用于将真实世界声音添加到虚拟现实场景的方法和系统技术方案

公开了用于将媒体提示集成到头戴式显示器(HMD)上呈现的虚拟现实场景中的方法和系统。所述方法包括在HMD的显示器上呈现虚拟现实场景。所述方法还包括从HMD所在的真实世界空间中的一个或多个传感器接收传感器数据。然后，识别真实世界空间中产生声音的对象的对象位置。所述方法包括在HMD中呈现的虚拟现实场景中生成媒体提示。媒体提示呈现在与真实世界空间中的对象的对象位置相关的虚拟位置中。空间中的对象的对象位置相关的虚拟位置中。空间中的对象的对象位置相关的虚拟位置中。

【技术实现步骤摘要】
用于将真实世界声音添加到虚拟现实场景的方法和系统
1.

[0001]本公开总体上涉及将媒体提示集成到虚拟现实场景中以传达真实世界环境对象和声音。

技术介绍

[0002]2.相关技术描述
[0003]多年来，视频游戏行业发生了许多变化，包括头戴式显示器(HMD)技术的许多进步。HMD的使用通常包括头戴式设备和耳机，所述头戴式设备和耳机允许用户完全沉浸在显示在HMD屏幕上的虚拟现实内容中。在一些情况下，虚拟现实内容可能非常激烈，并且可能导致用户在心理上将自己与真实世界隔离开来。
[0004]虽然推动越来越多的现实内容是一件好事，但也存在用户无法与真实世界环境联系的潜在问题。例如，完全沉浸在虚拟现实内容中的用户可能无法对出现在他们空间中的人或物做出反应。
[0005]正是在这个背景下产生了本公开的实施方式。

技术实现思路

[0006]本公开的实施方式包括用于将媒体提示集成到虚拟现实场景中以传达真实世界环境对象和声音的方法、系统和装置。
[0007]在一个实施方案中，公开了一种用于将媒体提示集成到头戴式显示器(HMD)上呈现的虚拟现实场景中的方法。所述方法包括在HMD的显示器上呈现虚拟现实场景。所述方法还包括从HMD所在的真实世界空间中的一个或多个传感器接收传感器数据。然后，识别真实世界空间中产生声音的对象的对象位置。所述方法包括在HMD中呈现的虚拟现实场景中生成媒体提示。媒体提示呈现在与真实世界空间中的对象的对象位置相关的虚拟位置中。
[0008]在一些实施方案中，媒体提示的虚拟位置是相对于HMD用户的HMD的视点(POV)呈现的。
[0009]在一些实施方案中，媒体提示是用于传达声音的图像数据，并且图像数据提供声音相对于HMD的POV的方向的指示符。
[0010]在一些实施方案中，媒体提示是用于传送声音的音频数据，并且音频数据提供声音相对于HMD的POV的方向的指示符。
[0011]在一些实施方案中，媒体提示是以图形形式传达对象身份的图像数据。
[0012]在一些实施方案中，媒体提示是从真实世界空间捕获并与来自虚拟现实场景的原生音频集成的音频数据。
[0013]在一些实施方案中，媒体提示是音频数据和图像数据的组合，用于传达对象的身份和声音的背景。
[0014]在一些实施方案中，媒体提示的虚拟位置基于真实世界空间中对象的变化或移动而动态变化。
[0015]在一些实施方案中，媒体提示的虚拟位置基于真实世界空间中对象的移动而移动，并且媒体提示包括音频数据和图像数据以用于更新对象在真实世界空间中相对于HMD的POV的对象位置的相关性。
[0016]在一些实施方案中，HMD包括呈现与虚拟现实空间相关的音频的耳机，并且耳机包括用于减少来自真实世界空间的声音的噪声消除过程。
[0017]在一些实施方案中，媒体提示是音频数据，音频数据是从真实世界空间捕获的声音并且所述声音与和虚拟现实空间相关的音频混合以经由所述耳机输出。
[0018]在一些实施方案中，媒体提示是音频数据，音频数据是表示从真实世界空间捕获的声音的计算机生成的声音，并且所述计算机生成的音频与和虚拟现实空间相关的音频混合以经由所述耳机输出。
[0019]从结合附图进行的以示例方式示出本公开的原理的以下详细描述中，本公开的其他方面和优点将变得显而易见。
附图说明
[0020]通过参考结合附图进行的以下描述，可更好地理解本公开，在附图中：
[0021]图1示出了根据本公开的实施方式的用于经由头戴式显示器(HMD)与虚拟环境交互的系统的实施方案。
[0022]图2示出了根据一个实施方案的用于生成与提供给HMD显示器的虚拟现实场景集成的媒体提示的过程的框图。
[0023]图3A示出了根据一个实施方案的用户利用HMD和控制器来与虚拟现实场景交互的示例。
[0024]图3B示出了根据本公开的实施方式的媒体提示继续显示在虚拟现实场景中的示例。
[0025]图4示出了可以用于执行本公开的各种实施方案的各方面的示例性装置的部件。
具体实施方式
[0026]本公开的以下实施方式提供了用于将媒体提示集成到虚拟现实场景中以传达真实世界环境对象和声音的方法、系统和装置。
[0027]虚拟现实场景通常经由头戴式显示器(HMD)呈现。佩戴HMD的用户通常能够让自己沉浸在虚拟现实场景中。虽然这是与虚拟现实场景交互的优选方式，但是用户缺乏与真实世界环境交互的能力。有时，真实世界环境包括产生声音的人或物。这些其他声音可以包括其他人、正在移动的对象、可能接近用户的对象或固定的对象。
[0028]出于安全目的，如果HMD用户仍然没有意识到这些声音，则用户可能处于不安全的位置。在一个实施方案中，在HMD用户的环境中使用传感器。传感器可以包括环境中的单独传感器或与HMD相关联的传感器或与HMD一起使用的外围设备。在一些实施方案中，传感器可以包括传声器、相机、运动检测器、接近传感器、红外传感器、声音传感器或它们的组合。有时，传感器内置于HMD或外围设备中，诸如面向外的相机、运动传感器、接近传感器等。
[0029]在一个实施方案中，所述传感器中的一个或多个可以用于在HMD使用期间连续映射真实世界空间。真实世界空间的映射将包括：使用所述传感器中的一个或多个来识别声
音的位置；识别对象；识别一个或多个人的身份等。为了不以尴尬的方式打断HMD用户，可以通过添加真实世界声音的图像提示、添加示出声音在真实世界中相对于HMD的真实世界用户来自何处的视觉指示符以及它们的组合来向HMD用户提供通知信号。
[0030]在一个示例中，如果人从左侧进入房间并试图与HMD用户交谈，则可以生成声音并将所述声音与虚拟现实音频混合。声音可以是生成的开门声或来自左侧的脚步声。在一些配置中，HMD的头戴式设备可以结合噪声消除处理。如果HMD用户无法听到真实世界声音(视觉/图形提示到虚拟世界和/或音频中的结合)，则HMD用户可以自然地听到混合或共混到虚拟现实音频中的真实世界声音。在一个实施方案中，与虚拟现实音频混合的声音将类似于发生在真实世界中的那些声音，但是以对虚拟环境而言逼真的方式添加。
[0031]在一些实施方案中，视觉提示可以集成到出现在虚拟现实空间中的弹窗、图标、图形或图像。集成视觉提示的位置放置在VR场景中与真实世界声音来源相关或对应的位置。如果声音来自右侧，则视觉提示可以向屏幕右侧或用户交互环境的右侧发出声波或声音提示。这提供了以一种对HMD环境更自然的方式向HMD用户通知真实世界空间中正在发生的声音的自然方式。在一些实施方案中，可以添加滤波器以移除在真实世界空间中出现的某些声音并且用模仿那些声音的计算机生成的声音替换那些真实世界声音。在右侧开门的示例中，真实世界中的门声使用噪声消除或过滤滤除了。代替可能有背景噪声的真实世界声音，可以提供新的计算机生成的开门声和从右侧发出的声音并将它们混合以传送到HMD的头戴式设备。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于将媒体提示集成到头戴式显示器(HMD)上呈现的虚拟现实场景中的方法，其包括：在HMD的显示器上呈现虚拟现实场景；从所述HMD所在的真实世界空间中的一个或多个传感器接收传感器数据；识别所述真实世界空间中产生声音的对象的对象位置；以及在所述HMD中呈现的所述虚拟现实场景中生成媒体提示，所述媒体提示呈现在与所述真实世界空间中的所述对象的所述对象位置相关的虚拟位置中。2.如权利要求1所述的方法，其中所述媒体提示的所述虚拟位置相对于HMD用户的HMD的视点(POV)而呈现。3.如权利要求1所述的方法，其中所述媒体提示是用于传达所述声音的图像数据，所述图像数据提供所述声音相对于所述HMD的POV的方向的指示符。4.如权利要求1所述的方法，其中所述媒体提示是用于传达所述声音的音频数据，所述音频数据提供所述声音相对于所述HMD的POV的方向的指示符。5.如权利要求1所述的方法，其中所述媒体提示是以图形形式传达所述对象的身份的图像数据。6.如权利要求1所述的方法，其中所述媒体提示是从所述真实世界空间捕获并与来自所述虚拟现实场景的原生音频集成的音频数据。7.如权利要求1所述的方法，其中所述媒体提示是音频数据和图像数据的组合，用于传达所述对象的身份和所述声音的背景。8.如权利要求1所述的方法，其中所述媒体提示的所述虚拟位置基于所述真实世界空间中所述对象的变化或移动而动态变化。9.如权利要求1所述的方法，其中所述媒体提示的所述虚拟位置基于所述真实世界空间中所述对象的移动而移动，并且所述媒体提示包括音频数据和图像数据以用于更新所述对象在所述真实世界空间中相对于所述HMD的POV的所述对象位置的相关性。10.如权利要求1所述的方法，其中所述HMD包括呈现与虚拟现实空间相关的音频的耳机，并且所述耳机包括用于减少来自所述真实世界空间的所述声音的噪声消除过程。11.如权利要求10所述的方法，其中所述媒体提示是音频数据，所述音频数据是从所述真实世界空间捕获的所述声音，并且所述声音与和所述虚拟现实空间相关的所述音频混合以经由所述耳机输出。12.如权利要求10所述的方法，其中所述媒体提示是音频数据，所述音频数据是表示从所述真实世界空间捕获的...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：