预测性的头部跟踪的双耳音频渲染制造技术

公开了用于预测性的头部跟踪的双耳音频渲染的方法和装置，其中渲染设备基于从头戴式耳机接收的头部跟踪数据来渲染用于不同的可能头部位置的多个音频流，例如用于最后已知位置和一个或多个所预测或可能的位置的音频流，并且将所述多个音频流传输给头戴式耳机。所述头戴式耳机然后基于当前头部跟踪数据来选择和播放所述音频流中最靠近实际头部位置的一个音频流。如果所述音频流中没有任何一个音频流紧密地匹配实际头部位置，则可混合两个最靠近的音频流。向头戴式耳机传输多个音频流以及在头戴式耳机上选择或混合音频流可减轻或消除感知到的头部跟踪延迟。

Binaural audio rendering for predictive head tracking

【技术实现步骤摘要】
【国外来华专利技术】预测性的头部跟踪的双耳音频渲染
技术介绍
虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图组合，以增强用户的世界视图或向用户的世界视图添加内容，或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的视图组合。因此，虚拟现实的模拟环境和/或混合现实的混合环境可用于为多种应用提供交互式用户体验。
技术实现思路
本文描述了用于预测性的头部跟踪的双耳音频渲染的方法和装置的各种实施方案。本文描述了音频渲染系统和音频渲染方法的实施方案，其可例如由移动多用途设备诸如智能电话、平板设备和平板电脑设备实施，所述移动多用途设备渲染并经由无线技术(例如，蓝牙)传输头部跟踪的双耳音频给用户所穿戴的双耳音频设备(例如，耳机、耳塞等)。实施方案也可在包本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n渲染设备，所述渲染设备被配置为通过连接与双耳音频设备通信，/n所述渲染设备包括：/n一个或多个处理器；/n一个或多个接收器，所述一个或多个接收器被配置为经由所述连接从所述双耳音频设备接收跟踪数据，其中所述跟踪数据指示所述双耳音频设备的位置；/n存储器，所述存储器包括程序指令，所述程序指令能够由所述一个或多个处理器执行以：/n分析所述跟踪数据以预测所述双耳音频设备的多个潜在位置；以及/n渲染与所述双耳音频设备的所述多个潜在位置对应的多个音频流；和/n一个或多个发射器，所述一个或多个发射器被配置为经由所述连接将所述多个音频流传输给所述双耳音频设备。/n

【技术特征摘要】
【国外来华专利技术】20170927 US 62/564,1951.一种系统，包括：
渲染设备，所述渲染设备被配置为通过连接与双耳音频设备通信，
所述渲染设备包括：
一个或多个处理器；
一个或多个接收器，所述一个或多个接收器被配置为经由所述连接从所述双耳音频设备接收跟踪数据，其中所述跟踪数据指示所述双耳音频设备的位置；
存储器，所述存储器包括程序指令，所述程序指令能够由所述一个或多个处理器执行以：
分析所述跟踪数据以预测所述双耳音频设备的多个潜在位置；以及
渲染与所述双耳音频设备的所述多个潜在位置对应的多个音频流；和
一个或多个发射器，所述一个或多个发射器被配置为经由所述连接将所述多个音频流传输给所述双耳音频设备。


2.根据权利要求1所述的系统，其中所述连接是无线连接或有线连接中的一者。


3.根据权利要求1所述的系统，其中所述双耳音频设备被配置为选择所述多个音频流中最佳地匹配所述双耳音频设备的实际当前位置的一个音频流以用于回放。


4.根据权利要求1所述的系统，其中所述双耳音频设备被配置为选择并混合所述多个音频流中的两个音频流以匹配所述双耳音频设备的实际当前位置。


5.根据权利要求1所述的系统，其中所述双耳音频设备包括一个或多个运动传感器，所述一个或多个运动传感器用于跟踪所述双耳音频设备的运动。


6.根据权利要求1所述的系统，其中所述多个音频流各自包括左音频声道和右音频声道，并且其中在渲染与所述双耳音频设备的所述多个潜在位置对应的所述多个音频流时，虚拟声音源相对于所述双耳音频设备的所述潜在位置的方向性和距离是通过衰减所述左音频声道和所述右音频声道的一个或多个方面来控制的。


7.根据权利要求1所述的系统，其中所述双耳音频设备是音频头戴式耳机或耳塞，并且其中所述渲染设备是移动多用途设备。


8.根据权利要求1所述的系统，其中所述双耳音频设备是虚拟现实或混合现实系统的头戴式显示器(HMD)的部件，并且其中所述渲染设备是所述虚拟现实或混合现实系统的基站。


9.根据权利要求1所述的系统，其中所述渲染设备被配置为利用多声道音频压缩技术来压缩所述多个音频流。


10.一种系统，包括：
双耳音频设备，所述双耳音频设备包括：
一个或多个运动传感器，所述一个或多个运动传感器用于跟踪所述双耳音频设备的运动；
一个或多个处理器；
一个或多个发射器，所述一个或多个发射器被配置为经由连接将由所述一个或多个运动传感器收集的跟踪数据传输给渲染设备，其中所述跟踪数据指示所述双耳音频设备的位置；
一个或多个接收器，所述一个或多个接收器被配置为经由所述连接从所述渲染设备接收多个音频流，其中所述多个音频流与所述双耳音频设备的多个潜在位置对应；和
存储器，所述存储器包括程序指令，所述程序指令能够由所述一个或多个处理器执行以：
基于来自所述运动传感器的当前跟踪数据来确定所述双耳音频设备的实际位置；以及
在确定所述双耳音频设备的所述实际位置匹配所述多个音频流中一个音频流的位置时，选择匹配的音频流以用于回放。


11.根据权利要求10所述的系统，其中所述连接是无线连接或有线连接中的一者。

【专利技术属性】
技术研发人员：J·O·玛丽玛，C·T·尤班克，M·E·约翰逊，S·J·伍德，D·纳塔拉简，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US