当前位置: 首页 > 专利查询>苹果公司专利>正文

预测性的头部跟踪的双耳音频渲染制造技术

技术编号:24255109 阅读:15 留言:0更新日期:2020-05-23 01:32
公开了用于预测性的头部跟踪的双耳音频渲染的方法和装置,其中渲染设备基于从头戴式耳机接收的头部跟踪数据来渲染用于不同的可能头部位置的多个音频流,例如用于最后已知位置和一个或多个所预测或可能的位置的音频流,并且将所述多个音频流传输给头戴式耳机。所述头戴式耳机然后基于当前头部跟踪数据来选择和播放所述音频流中最靠近实际头部位置的一个音频流。如果所述音频流中没有任何一个音频流紧密地匹配实际头部位置,则可混合两个最靠近的音频流。向头戴式耳机传输多个音频流以及在头戴式耳机上选择或混合音频流可减轻或消除感知到的头部跟踪延迟。

Binaural audio rendering for predictive head tracking

【技术实现步骤摘要】
【国外来华专利技术】预测性的头部跟踪的双耳音频渲染
技术介绍
虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互,使得用户感觉他们好像身处于该环境中。例如,虚拟现实系统可向用户显示立体场景以产生深度错觉,并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时,用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地,混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图组合,以增强用户的世界视图或向用户的世界视图添加内容,或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的视图组合。因此,虚拟现实的模拟环境和/或混合现实的混合环境可用于为多种应用提供交互式用户体验。
技术实现思路
本文描述了用于预测性的头部跟踪的双耳音频渲染的方法和装置的各种实施方案。本文描述了音频渲染系统和音频渲染方法的实施方案,其可例如由移动多用途设备诸如智能电话、平板设备和平板电脑设备实施,所述移动多用途设备渲染并经由无线技术(例如,蓝牙)传输头部跟踪的双耳音频给用户所穿戴的双耳音频设备(例如,耳机、耳塞等)。实施方案也可在包括计算设备(称为基站)的VR/AR系统中实施,所述计算设备渲染并经由无线技术将头部跟踪的双耳音频传输给提供双耳音频输出的头戴式显示器(HMD)或提供给与HMD一起使用的单独的双耳音频设备。用户所穿戴的提供双耳音频输出的设备(例如,HMD、耳机、耳塞等)在本文中可称为“头戴式耳机”。渲染并传输音频给头戴式耳机的设备在本文中可被称为“渲染设备”。头戴式耳机可包括头部跟踪技术(例如,IMU(惯性测量单元)、陀螺仪、姿态传感器、罗盘等)。头部跟踪的双耳音频渲染是可用于包括但不限于VR/AR应用的应用中来创建虚拟音频源的技术,该虚拟音频源在环境中看起来是稳定的,而与收听者的实际取向/位置无关。头部跟踪的双耳音频渲染方法可将双耳音频流(包括左音频声道和右音频声道)输出给头戴式耳机,使得收听者以空间音频感听到声音。换句话说,收听者听到的声音就好像声音是以精确的距离和方向来自真实世界位置一样。在对头部运动进行响应时,所感知到的延迟可能在头部跟踪、渲染和回放音频方面是一个问题。当头部跟踪数据和音频在渲染设备和头戴式耳机之间通过无线链路传输时,延迟可能是个特别的问题,可能会增加300ms或更长的延迟。在实施方案中,为了缓解所感知到的延迟的问题,渲染设备不是基于预测的头部位置生成单个音频流,而是基于头部跟踪数据渲染用于多个不同头部位置的多个音频流,例如用于最后已知位置和一个或多个所预测或可能位置的音频流,并且在多个音频流中将用于这些不同位置的音频传输给头戴式耳机。标识不同流的位置的元数据可以与音频流包括在一起。然后头戴式耳机基于当前头部跟踪数据和所述元数据来选择所述音频流中最靠近实际头部位置的一个音频流。选择音频流是一种相对简单且低成本的操作,因此在头戴式耳机上只需要最小的处理能力。在一些实施方案中,如果音频流中没有任何一个音频流与实际头部位置紧密匹配,则头戴式耳机可选择两个最靠近的音频流并混合所述音频流。向头戴式耳机发送多个音频流以及在头戴式耳机上选择(或混合)匹配音频流可缓解或消除感知到的头部跟踪延迟。在一些实施方案中,如果存在单个虚拟音频源,则渲染设备可基于由头戴式耳机接收的头部跟踪数据所指示的头部位置来渲染单个音频流。在头戴式耳机处,头戴式耳机可基于由当前头部跟踪数据确定的用户的头部的实际位置来改变左音频声道和/或右音频声道以调节虚拟音频源的感知位置,例如通过向左音频声道或右音频声道添加延迟。在一些实施方案中,当多个音频流被渲染和被传输时,渲染设备可使用多声道音频压缩技术,该技术利用音频信号的相似性来压缩音频信号并因此减少无线带宽使用。虽然参考通过无线技术连接到用户所穿戴的头戴式耳机或HMD的移动多用途设备或基站来描述实施方案,但实施方案也可在其他系统中实施,例如在家用娱乐系统中实施,家用娱乐系统渲染并经由无线技术将双耳音频传输给用户所穿戴的头戴式耳机。另外,实施方案也可在使用有线技术而不是无线技术来将双耳音频传输给头戴式耳机的系统中实现。更一般地,实施方案可在任何包括双耳音频输出并且提供头部运动和取向跟踪的系统中实施。附图说明图1A和图1B例示了可实施本文所述音频渲染方法的实施方案的示例性移动多用途设备的实施方案。图2A和图2B例示了可实施本文所述音频渲染方法的实施方案的示例性VR/AR系统的实施方案。图2C例示了与VR/AR系统一起使用以实施本文所述音频渲染方法的实施方案的移动多用途设备。图3例示了根据一些实施方案的音频渲染系统的部件。图4为根据一些实施方案的可由图1A至图3所示系统实施的音频渲染方法的流程图。图5是可由图1A至图3所示系统实施的其中音频流可被混合的音频渲染方法的流程图。图6A和图6B例示了通过双耳音频设备的传统音频输出。图6C和图6D例示了根据一些实施方案的预测性的头部跟踪的双耳音频渲染。图7A和图7B例示了根据一些实施方案的为不同的可能头部位置渲染的多个音频流。图8例示了根据一些实施方案的在多个维度中提供声音的方向性。本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。“包括”,该术语是开放式的。如在权利要求书中所使用的,该术语不排除附加结构或步骤。考虑以下引用的权利要求:“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如,网络接口单元、图形电路等)。“被配置为”,各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中,“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如,电路)来暗指该结构。如此,单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如,未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外,“被配置为”可包括由软件或固件(例如,FPGA或执行软件的通用处理器)操纵的通用结构(例如,通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如,半导体制作设施),以制造适用于实现或执行一项或多项任务的设备(例如,集成电路)。“第一”“第二”等。如本文所用,这些术语充当它们所在之前的名词的标签,并且不暗指任何类型的排序(例如,空间的、时间的、逻辑的等)。例如,缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。“基于”或“取决于”,如本文所用,这些术语用于描述影本文档来自技高网...

【技术保护点】
1.一种系统,包括:/n渲染设备,所述渲染设备被配置为通过连接与双耳音频设备通信,/n所述渲染设备包括:/n一个或多个处理器;/n一个或多个接收器,所述一个或多个接收器被配置为经由所述连接从所述双耳音频设备接收跟踪数据,其中所述跟踪数据指示所述双耳音频设备的位置;/n存储器,所述存储器包括程序指令,所述程序指令能够由所述一个或多个处理器执行以:/n分析所述跟踪数据以预测所述双耳音频设备的多个潜在位置;以及/n渲染与所述双耳音频设备的所述多个潜在位置对应的多个音频流;和/n一个或多个发射器,所述一个或多个发射器被配置为经由所述连接将所述多个音频流传输给所述双耳音频设备。/n

【技术特征摘要】
【国外来华专利技术】20170927 US 62/564,1951.一种系统,包括:
渲染设备,所述渲染设备被配置为通过连接与双耳音频设备通信,
所述渲染设备包括:
一个或多个处理器;
一个或多个接收器,所述一个或多个接收器被配置为经由所述连接从所述双耳音频设备接收跟踪数据,其中所述跟踪数据指示所述双耳音频设备的位置;
存储器,所述存储器包括程序指令,所述程序指令能够由所述一个或多个处理器执行以:
分析所述跟踪数据以预测所述双耳音频设备的多个潜在位置;以及
渲染与所述双耳音频设备的所述多个潜在位置对应的多个音频流;和
一个或多个发射器,所述一个或多个发射器被配置为经由所述连接将所述多个音频流传输给所述双耳音频设备。


2.根据权利要求1所述的系统,其中所述连接是无线连接或有线连接中的一者。


3.根据权利要求1所述的系统,其中所述双耳音频设备被配置为选择所述多个音频流中最佳地匹配所述双耳音频设备的实际当前位置的一个音频流以用于回放。


4.根据权利要求1所述的系统,其中所述双耳音频设备被配置为选择并混合所述多个音频流中的两个音频流以匹配所述双耳音频设备的实际当前位置。


5.根据权利要求1所述的系统,其中所述双耳音频设备包括一个或多个运动传感器,所述一个或多个运动传感器用于跟踪所述双耳音频设备的运动。


6.根据权利要求1所述的系统,其中所述多个音频流各自包括左音频声道和右音频声道,并且其中在渲染与所述双耳音频设备的所述多个潜在位置对应的所述多个音频流时,虚拟声音源相对于所述双耳音频设备的所述潜在位置的方向性和距离是通过衰减所述左音频声道和所述右音频声道的一个或多个方面来控制的。


7.根据权利要求1所述的系统,其中所述双耳音频设备是音频头戴式耳机或耳塞,并且其中所述渲染设备是移动多用途设备。


8.根据权利要求1所述的系统,其中所述双耳音频设备是虚拟现实或混合现实系统的头戴式显示器(HMD)的部件,并且其中所述渲染设备是所述虚拟现实或混合现实系统的基站。


9.根据权利要求1所述的系统,其中所述渲染设备被配置为利用多声道音频压缩技术来压缩所述多个音频流。


10.一种系统,包括:
双耳音频设备,所述双耳音频设备包括:
一个或多个运动传感器,所述一个或多个运动传感器用于跟踪所述双耳音频设备的运动;
一个或多个处理器;
一个或多个发射器,所述一个或多个发射器被配置为经由连接将由所述一个或多个运动传感器收集的跟踪数据传输给渲染设备,其中所述跟踪数据指示所述双耳音频设备的位置;
一个或多个接收器,所述一个或多个接收器被配置为经由所述连接从所述渲染设备接收多个音频流,其中所述多个音频流与所述双耳音频设备的多个潜在位置对应;和
存储器,所述存储器包括程序指令,所述程序指令能够由所述一个或多个处理器执行以:
基于来自所述运动传感器的当前跟踪数据来确定所述双耳音频设备的实际位置;以及
在确定所述双耳音频设备的所述实际位置匹配所述多个音频流中一个音频流的位置时,选择匹配的音频流以用于回放。


11.根据权利要求10所述的系统,其中所述连接是无线连接或有线连接中的一者。

【专利技术属性】
技术研发人员:J·O·玛丽玛C·T·尤班克M·E·约翰逊S·J·伍德D·纳塔拉简
申请(专利权)人:苹果公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1