几何声学在沉浸式虚拟现实（VR）中的应用制造技术

本发明专利技术公开了几何声学在沉浸式虚拟现实(VR)中的应用。虚拟现实(VR)音频渲染系统和方法包括：根据VR设置对麦克风捕获的真实世界声音进行空间化。在游戏流式传输系统中，当玩家通过麦克风讲话时，语音将通过为虚拟场景配置的几何声学(GA)模拟进行处理，从而添加特定于该场景的空间化的音频效果。GA仿真可以包括使用声音传播模拟和基于动态HRTF的听者方向性来生成脉冲响应。在播放经过GA处理的玩家声音时，本地玩家或其他玩家可以听到该声音，好像该声音在场景中行进，并根据虚拟场景中的几何形状行进一样。该机制可以有利地将玩家的聊天置于与内置游戏音频相同的虚拟世界中，从而有利地为用户提供增强的沉浸式VR体验。

Application of geometric acoustics in immersive virtual reality

【技术实现步骤摘要】
几何声学在沉浸式虚拟现实(VR)中的应用
本专利技术的实施例涉及音频数据处理，并且更具体地，涉及用于计算机应用程序(诸如虚拟现实应用程序)的几何声学数据处理。
技术介绍
尽管虚拟现实(VR)在包括内容创作、体育、娱乐和游戏广播在内的多个领域中提供了令人兴奋的机会，但是当试图向广大用户提供沉浸式体验时，VR应用也带来了新的挑战。几何声学(GA)处理是声音射线在特定空间模型中传播的模拟(例如，在VR游戏中设定的虚拟场景)，其可以例如通过GA处理管线执行。基于关于该设置的几何信息，GA处理可以自动地确定声波围绕环境如何行进和反弹，并在设置中到达角色或另一种类型的对象(例如，其受玩家实时控制)，从而产生3D空间化的音频数据。通常，GA处理管线通过使用射线追踪算法和音频渲染算法来处理虚拟场景的几何形状以及声源和接收器位置的知识。射线追踪算法被用于计算空间声学模型和生成脉冲响应(IR)，其编码通过表示透射、反射和衍射的不同传播路径从声源对象行进到声音接收器对象的声波的延迟和衰减。跟踪射线(或声波)以生成脉冲响应，该脉冲响应表示声音能量在声音本文档来自技高网...

【技术保护点】
1.一种渲染与虚拟现实应用程序相关联的音频的计算机实现的方法，所述方法包括：/n在执行所述虚拟现实应用程序的过程中，接收通过通信网络发送并表示在第一麦克风处捕获的第一音频信号的第一音频数据；/n将表示虚拟环境的几何声学模型应用于所述第一音频数据，以生成结果音频数据，其中所述应用包括：/n基于所述几何模型和所述虚拟环境中的第一对象的位置生成脉冲响应；以及/n将所述脉冲响应与所述第一音频数据进行卷积；以及/n将所述结果音频数据发送到音频渲染设备。/n

【技术特征摘要】
20181107 US 16/183,3961.一种渲染与虚拟现实应用程序相关联的音频的计算机实现的方法，所述方法包括：
在执行所述虚拟现实应用程序的过程中，接收通过通信网络发送并表示在第一麦克风处捕获的第一音频信号的第一音频数据；
将表示虚拟环境的几何声学模型应用于所述第一音频数据，以生成结果音频数据，其中所述应用包括：
基于所述几何模型和所述虚拟环境中的第一对象的位置生成脉冲响应；以及
将所述脉冲响应与所述第一音频数据进行卷积；以及
将所述结果音频数据发送到音频渲染设备。


2.根据权利要求1所述的计算机实现的方法，其中，在所述虚拟现实应用程序的所述执行期间：
所述第一麦克风通信地耦合到第一客户端设备；
所述音频渲染设备通信地耦合到第二客户端设备；
所述第一对象由所述第一客户端设备的第一用户控制，并被配置为所述结果音频数据的声源对象；以及
所述第一客户端设备和所述第二客户端设备经由所述通信网络通信地耦合到服务器设备。


3.根据权利要求1所述的计算机实现的方法，其中所述虚拟现实应用程序包括多人游戏，所述多人游戏在包括所述第一客户端设备和所述第二客户端设备的多个客户端设备上执行。


4.根据权利要求2所述的计算机实现的方法，还包括由所述第二客户端设备接收如从所述服务器设备提供的在所述虚拟环境中的所述第一对象的所述位置。


5.根据权利要求4所述的计算机实现的方法，还包括在所述第二客户端设备处：
接收与所述第二客户端设备相关联的玩家的经更新的位置信息；以及
将所述虚拟环境中的第二对象的位置发送至所述服务器设备；
其中所述经更新的位置信息由头戴式设备检测；
其中所述第二对象由所述第二客户端设备控制，以及
其中进一步地，所述生成所述脉冲响应还基于所述经更新的位置信息和所述第二对象的所述位置。


6.根据权利要求2所述的计算机实现的方法，其中所述生成所述脉冲响应包括处理基于听者的射线跟踪算法，并且其中所述第二客户端设备还控制第二对象作为声音听者对象。


7.根据权利要求6所述的计算机实现的方法，其中所述生成所述脉冲响应还包括：执行声音传播模拟，并且应用基于动态的头部相关传递函数(HRTF)的听者方向性。


8.根据权利要求2所述的计算机实现的方法，还包括在所述第二客户端设备处：
向所述服务器设备发送表示由与所述第二客户端设备相关联的第二麦克风捕获的第二音频信号的第二音频数据；以及
进一步将所述几何声学模型应用于所述第二音频数据以生成所述结果音频数据，其中在所述虚拟现实应用程序的所述执行期间，将所述第二麦克风通信地耦合到所述第二客户端设备。


9.一种在虚拟现实计算机游戏的执行期间渲染音频的计算机实现的方法，所述方法包括：
接收表示在耦合到第一计算机设备的第一麦克风处捕获的第一音频信号的第一音频数据，所述第一音频数据由第二计算机设备接收；
在所述第二计算机设备处，将虚拟环境的几何声学模型应用于所述第一音频数据以生成结果音频数据，其中所述应用包括：
基于所述几何模型和所述虚拟环境中的第一对象的位置生成脉冲响应，其中所述第一对象由所述第一计算机设备控制；以及
将所述脉冲响应与所述第一音频数据进行卷积；以及
在耦合到所述第二计算机设备的音频渲染设备处渲染所述结果音频数据，其中所述第一计算机设备和所述第二计算机设备由所述虚拟现实计算机游戏的不同玩家控制。
...

【专利技术属性】
技术研发人员：A·当特莱，A·古谱塔，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US