具有减少的音频延迟的沉浸式VR流式传输的方法和系统技术方案

本发明专利技术公开了具有减少的音频延迟的沉浸式VR流式传输的方法和系统。一种响应于用户相对于声音系统的位置变化，使用HRTF函数来快速捕获预先计算的音频帧的新的位置提示的虚拟现实(VR)音频渲染系统和方法。在客户端‑服务器VR系统中，当检测到用户位置改变时，客户端会基于新位置确定适当的HRTF，并将它们与服务器基于先前位置生成的一组音频帧进行卷积，从而产生修改的帧以用于渲染。同时，客户端将新位置传播到服务器，以生成用于校正后的位置的后续音频帧。由于HRTF卷积在计算上耗费少，因此可以显著减少由用户感知的用户位置变化与由此导致的声音变化之间的延迟。因此，可以保持用户的沉浸式VR体验。

【技术实现步骤摘要】
具有减少的音频延迟的沉浸式VR流式传输的方法和系统
本专利技术的实施例涉及音频数据处理，并且更具体地，涉及用于减少感知的虚拟现实应用中的音频延迟的机制。
技术介绍
尽管虚拟现实(VR)在包括内容创作、体育、娱乐和游戏广播在内的多个领域中提供了令人兴奋的机会，但是当试图向广大用户提供沉浸式体验时，VR应用也带来了新的挑战。当前的VR行业面临的最困难的挑战之一就是延迟。例如，头部运动与显示图像的最终变化之间的视频延迟超过50毫秒(ms)，可能会导致分离的感觉体验，并可能导致用户晕动和头晕。理想情况下，VR系统的视觉延迟应小于15毫秒，以避免视频延迟问题，从而提供沉浸式虚拟现实体验。类似于视频延迟，音频延迟可以是破坏性的和破坏沉浸的。在典型的客户端-服务器游戏系统中，远程主机服务器通过考虑用户头部(例如，由头戴式设备(HMD)检测到的)和音频渲染设备(例如一组扬声器和/或头戴式耳机)之间的相对位置来执行游戏执行并生成音频帧。主机代表仅发送输入和显示输出帧的一个或更多个客户端进行渲染。一旦检测到用户的头部运动后，远程主机会基于新的头部位置和VR场景内容重新计算要渲染的音频帧，并将其流式传输以进行实时渲染。但是，音频帧的重新计算需要密集的实时计算。以这种方式应用和渲染音频帧可能会大大增加端到端音频延迟，从而给用户带来不好的体验。根据主机系统和下面的音频层的计算速度，在使用高端、低延迟音频接口的高性能PC中，从缓冲区提交到可听输出的延迟可能短至2ms，或者在最差的情况下，长至几百毫秒。随着音频源和收听者头部之间相对速度的增加，这样大的延迟成为问题。人类收听者可以检测到相距小到3度(3°)的两个声源之间的差异，大约是一个人在相距10米的宽度。头部远侧的耳朵比近侧耳朵稍晚听到声音，这是因为其与声源的距离更大。根据典型的头部尺寸(约22cm)和声速(约340m/s)，3°的角度辨别需要约30ms的定时精度。低音频延迟和位置音频提示对于维持逼真的沉浸式VR体验非常重要。如果头部运动和生成的音频渲染之间的音频延迟较大，则不希望地破坏了沉浸式VR体验。不幸的是，所有音频系统都很难提供低音频延迟，并且位置音频提示在参考用户头部位置时也可能不准确。
技术实现思路
本专利技术提供了一种机制和方法，该机制和方法减少了与用户头部位置相对于虚拟现实(VR)流中的声源的变化有关的音频延迟，从而增强了用户的沉浸式VR体验。在VR内容(例如游戏)流式传输中，音频数据可以由服务器生成，并流式传输到用户控制的本地客户端设备，以例如通过扬声器系统进行播放。为了提供沉浸式VR体验，渲染的声音会向用户传递适当的位置提示。因此，音频数据是针对相对于扬声器系统的用户头部位置生成的。当用户的头部移动时，将修改音频数据以向用户提供相应适应的位置提示，以维持沉浸式VR体验。本公开的实施例包括：响应于检测到用户玩家的新的头部位置，基于新位置，通过修改已经基于先前玩家头部位置生成的现有音频数据来生成音频数据。更具体地，在接收到新的玩家头部位置时，相应地生成头部相关传递函数(HRTF)，并将其应用于线中(inline)下一个要渲染的一组音频帧上，其中已经基于玩家的先前或最后已知位置生成了该组音频帧。HRTF提供有关耳朵如何感知来自不同方向的传入声音的不同频率的信息。因此，经修改的音频帧可操作以基于新的头部位置向玩家提供准确的位置提示。同时，新位置也用于生成后续音频帧。与使用常规计算过程重新生成音频帧(考虑虚拟内容以及新位置)相比，HRTF生成以及与现有音频帧的卷积从计算方面讲耗费较少。因此，可以以非常低的延迟有利地生成和渲染经修改的帧，并且以这种方式生成的音频听起来自然。在示例性客户端-服务器VR系统中的音频流式传输期间，客户端设备负责响应于新的头部位置来生成HRTF，并将其应用于由服务器基于先前位置而生成的一组音频帧上。然后，可以在音频渲染设备处以低延迟渲染所得到的经修改的音频帧，而不受服务器的计算延迟或来自服务器的数据传输中的网络延迟的影响。因此，在用户运动的情况下，可以保持沉浸式VR体验。同时，新的头部位置也提供给服务器，并用于生成后续的音频帧。由于可以通过使客户端设备参与音频帧生成来实现低音频延迟，因此服务器可以使用更多计算密集型音频处理算法来实现，从而进一步改善沉浸式VR音频体验。在一些其他实施例中，服务器配置成响应于接收到关于新头部位置的信息而生成HRTF，并对一组现有音频帧执行卷积以生成经修改的帧，然后将其发送到客户端以进行渲染。并行地，服务器计算后续的音频帧。由于应用HRTF修改音频帧比基于VR内容重新计算音频数据要快得多，因此仍然可以通过这种方式有利地并显著减少由位置变化引起的任何音频延迟。因此，本专利技术的实施例可以显著减少VR流式传输系统中的音频延迟。通过减少VR流的延迟，视频游戏广播商和内容提供商将能够实时流式传输音频，从而提供增强的用户体验。附图的简要说明在附图中，通过示例而非限制的方式示出了本专利技术的实施例，并且在附图中，相似的附图标记指代相似的元件。图1是示出根据本公开的实施例的示例性VR流式传输计算机系统的框图，其中客户端设备配置成响应于用户位置更新来修改音频帧。图2是描绘根据本公开的实施例的使用客户端设备通过对音频帧执行HRTF卷积来生成音频帧的示例性计算机实现的过程的流程图。图3是示出根据本公开的实施例的示例性VR流式传输计算机系统的框图，其中服务器设备配置成响应于基于用户头部位置的用户位置更新来修改音频帧。图4是描绘根据本公开的实施例的响应于检测到新的位置服务器设备生成HRTF修改的帧以在客户端设备处进行渲染的示例性计算机实现的过程的流程图。图5是示出了用于生成HRTF函数的相对于玩家的多声道扬声器系统的示例性布置的图。图6是示出根据本公开的实施例的示例性计算设备的框图，该示例性计算设备配置为执行HRTF卷积以基于新的用户位置来修改音频帧。专利技术的详细描述现在将详细参考本专利技术的优选实施例，其示例在附图中示出。尽管将结合优选实施例描述本专利技术，但是应当理解，它们并不旨在将本专利技术限制于这些实施例。相反，本专利技术旨在覆盖替代、修改和等同物，其可以包括在由所附权利要求限定的本专利技术的精神和范围之内。此外，在本专利技术的实施例的以下详细描述中，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，本领域普通技术人员将认识到，本专利技术可以在没有这些具体细节的情况下实践。在其他情况下，没有详细描述公知的方法、过程、组件和电路，以免不必要地模糊本专利技术的实施例的各方面。符号和术语：下面的详细描述的某些部分是根据过程、步骤、逻辑块、处理以及对计算机存储器内的数据位的操作的其他符号表示来呈现的。这些描述和表示是数据处理领域的技术人员用来将其工作的实质最有效地传达给本领域其他技术人员的手段。此处，通常将程序、计算机执行的步骤、逻辑块、过程等视为导致所需结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操纵的步骤。通常，尽管不是必须的，这些本文档来自技高网...

【技术保护点】
1.一种在虚拟现实(VR)计算机应用程序中渲染音频的计算机实现的方法，所述方法包括：/n由客户端设备从服务器设备接收音频帧数据的第一序列，所述音频帧数据的第一序列被生成为与所述客户端设备的用户的第一位置信息相对应；/n由所述客户端设备接收与所述用户有关的经更新的位置信息，其中，与所述客户端设备相关联的音频渲染设备从所述音频帧数据的第一序列渲染第一组音频帧的同时，所述客户端设备接收所述经更新的位置信息；/n由所述客户端设备基于所述经更新的位置信息，对所述第一组音频帧进行修改，以生成第一组经修改的音频帧；以及/n在所述音频渲染设备处渲染所述第一组经修改的音频帧。/n

【技术特征摘要】
20181107 US 16/183,3781.一种在虚拟现实(VR)计算机应用程序中渲染音频的计算机实现的方法，所述方法包括：
由客户端设备从服务器设备接收音频帧数据的第一序列，所述音频帧数据的第一序列被生成为与所述客户端设备的用户的第一位置信息相对应；
由所述客户端设备接收与所述用户有关的经更新的位置信息，其中，与所述客户端设备相关联的音频渲染设备从所述音频帧数据的第一序列渲染第一组音频帧的同时，所述客户端设备接收所述经更新的位置信息；
由所述客户端设备基于所述经更新的位置信息，对所述第一组音频帧进行修改，以生成第一组经修改的音频帧；以及
在所述音频渲染设备处渲染所述第一组经修改的音频帧。


2.根据权利要求1所述的计算机实现的方法，其中所述经更新的位置信息由一个或更多个传感器生成，所述一个或更多个传感器对应于通信地耦合到所述客户端设备的头戴式显示器。


3.根据权利要求1所述的计算机实现的方法，其中所述修改包括：通过应用头部相关传递函数(HRTF)，对所述第一组音频帧执行卷积。


4.根据权利要求3所述的计算机实现的方法，其中所述HRTF配置成具有通过特定于所述音频渲染设备的传播介质的声音传播延迟，并且配置成基于参考所述用户的所述第一位置信息的所述经更新的位置信息。


5.根据权利要求1所述的计算机实现的方法，还包括：
从所述客户端设备向所述服务器设备发送所述经更新的位置信息；
由所述客户端设备接收所述服务器设备基于所述经更新的位置信息生成的音频帧数据的第二序列；以及
在所述渲染所述第一组经修改的音频帧之后，在所述音频渲染设备处基于所述音频帧数据的第二序列来渲染第二组音频帧。


6.根据权利要求1所述的计算机实现的方法，其中所述第一组音频帧具有预定义数量的音频帧。


7.根据权利要求1所述的计算机实现的方法，其中在所述客户端设备处缓存所述第一组音频帧。


8.根据权利要求1所述的计算机实现的方法，其中响应于所述客户端设备接收由所述服务器设备基于所述经更新的位置信息而生成的音频帧的延迟大于预定义的音频延迟阈值的指示，执行所述修改。


9.一种装置，包括：
处理器；
一个或更多个网络电路，能够操作为通过网络将所述装置通信地耦合到服务器设备；和
存储器，耦合到所述处理器并存储指令，所述指令在由所述处理器执行时，使所述处理器执行生成音频信号的方法，其中所述方法包括：
从所述服务器设备接收音频帧数据的第一序列，其中所述装置配置成所述服务器设备的客户端，并且所述音频帧数据的第一序列对应于用户的第一位置信息；
接收与所述用户有关的经更新的位置信息，其中在音频渲染设备从所述音频帧数据的第一序列渲染第一组音频帧的同时，接收所述经更新的位置信息；
...

【专利技术属性】
技术研发人员：A·当特莱，A·帕泰特，U·帕坦卡，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US