基于预测位置数据的空间化音频输出制造技术

在特定方面，一种音频处理装置包含经配置以基于位置数据确定预测位置数据的位置预测器。所述音频处理装置进一步包含处理器，其经配置以基于所述预测位置数据产生输出空间化音频信号。

【技术实现步骤摘要】
【国外来华专利技术】基于预测位置数据的空间化音频输出相关申请的交叉引用本申请要求2016年4月8日申请的共同拥有的第15/094,620号美国非临时专利申请的优先权，其内容明确地以全文引用的方式并入本文中。
本公开大体上涉及产生空间化音频输出的装置和方法。
技术介绍
技术的进步已产生更小且更强大的计算装置。举例来说，各种便携式个人计算装置(包含例如移动和智能电话的无线电话、平板计算机和笔记本计算机)体积小、重量轻且便于用户携带。这些装置可通过无线网络传达语音和数据包。此外，许多此类装置并入有额外功能，例如数字静态相机、数码摄像机、数字记录器和音频文件播放器。另外，此类装置可处理可执行指令，包含可用以接入因特网的软件应用程序，例如网络浏览器应用程序。由此，这些装置可包含相当大的计算和联网能力。空间化音频再现系统可输出实现三维音频空间的用户感知的声音。举例来说，用户可戴上头戴式耳机或虚拟现实(VR)头戴式显示器(HMD)，且用户的(例如用户头部的)移动(例如平移或旋转移动)可使声音的所感知方向或距离改变。执行空间化音频处理可能花费大量时间，从而导致音频时延。如果音频时延过大，声音的所感知方向或距离的改变就可能滞后于用户的移动，这可能对于用户来说可觉察。另外，执行空间化音频处理可能使用大量的处理资源。此类处理资源可能在至少一些电子装置(例如一些移动电话)中不可用，由此限制此类装置的空间化音频处理功能。
技术实现思路
在特定方面，一种音频处理装置包含经配置以基于位置数据确定预测位置数据的位置预测器。所述音频处理装置进一步包含处理器，其经配置以基于所述预测位置数据产生输出空间化音频信号。在特定方面，一种音频处理方法包含在处理器处接收来自一或多个传感器的位置数据。所述方法包含在所述处理器处基于所述位置数据来确定预测位置数据。所述方法进一步包含在所述处理器处基于所述预测位置数据来产生输出空间化音频信号。在特定方面，一种设备包含用于基于位置数据而确定预测位置数据的装置。所述设备进一步包含用于基于所述预测位置数据而产生输出空间化音频信号的装置。在特定方面，一种非暂时性计算机可读媒体存储指令，所述指令在由处理器执行时使所述处理器从一或多个传感器接收位置数据。所述指令使所述处理器基于所述位置数据来确定预测位置数据。所述指令进一步使所述处理器基于所述预测位置数据来产生输出空间化音频信号。本公开的其它方面、优点和特征将在审阅整个申请之后变得显而易见，所述整个申请包含以下部分：附图说明、具体实施方式和权利要求书。附图说明图1A是经配置以基于预测位置数据而产生输出空间化音频信号的音频处理装置的第一实施方案的框图；图1B是经配置以基于预测位置数据而产生输出空间化音频信号的音频处理装置的第二实施方案的框图；图1C是经配置以基于预测位置数据而产生输出空间化音频信号的音频处理装置的第三实施方案的框图；图2是包含或耦合到虚拟现实系统的头戴式显示器的音频处理装置的说明性实施方案的框图；图3是包含或耦合到扬声器阵列的音频处理装置的说明性实施方案的框图；图4是经配置以使用预测位置数据执行音频空间化的音频处理装置的说明性实施方案的框图；图5是示出音频处理的特定方法的流程图；图6是说明基于预测位置数据产生输出空间化音频信号的特定方法的流程图；以及图7是可操作以根据图1A到C和2到6的系统和方法执行操作的无线装置的框图。具体实施方式下文参考图式描述本公开的特定方面。在描述中，贯穿图式由共同附图标记指示共同特征。如本文所使用，各种术语仅出于描述特定实施方案的目的而使用，且并非意在进行限制。举例来说，除非上下文另作明确指示，否则单数形式“一”和“所述”也意欲包含复数形式。可进一步理解，词语“包括”可与“包含”互换使用。另外，应理解，词语“其中(wherein)”可与“其中(where)”互换使用。如本文所使用，“示范性”可指示实例、实施方案和/或方面，且不应理解为限制或指示偏好或优选实施方案。如本文所使用，用于修饰例如结构、组件、操作等元件的序数词(例如“第一”、“第二”、“第三”等)自身并不指示所述元件相对于另一元件的任何优先权或次序，而是仅仅区别所述元件与具有相同名称(但所用序数词不同)的另一元件。如本文所使用，词语“组”是指一或多个元件的分组，且词语“多个”是指多个元件。公开用于基于预测位置数据产生空间化音频信号的系统、装置和方法。位置数据可指示音频装置的位置或用户的位置。音频处理装置可基于位置数据确定预测位置数据，所述预测位置数据指示音频装置(或用户)在特定(例如未来)时间的预测位置。举例来说，音频处理装置可存储历史位置数据，且位置数据和历史位置数据可经分析以确定预测移动路径的速度、所估计轨迹或其它指示。预测位置数据可指示沿着预测移动路径(例如轨迹)在特定时间的预测位置。所述特定时间可经选择以考虑与处理空间化音频信号相关联的时延(例如延迟)。作为说明，音频处理装置可将空间化音频信号提供到为用户产生音频输出(例如听觉声音)的音频装置。在特定实施方案中，音频处理装置可集成在虚拟现实(VR)系统或扩增现实(AR)系统中。音频输出可以是三维(3D)音频输出，其使用户能够感知3D音频空间中的声音相对于用户位置(在游戏(或其它虚拟现实环境)或现实中)的方向或距离。举例来说，如果用户在玩游戏且在游戏中汽车驶到用户左侧，那么音频输出使用户能够感知来自用户左侧的汽车声音。如果用户在游戏中右转以使得汽车在用户后方，那么音频处理装置会处理空间化音频信号以使得音频输出改变，使得用户体会到来自用户后方的汽车声音。然而，与处理空间化音频信号相关联的时延(例如延迟)可能导致音频输出的改变滞后于用户位置或定向的改变，这对于用户来说可能可觉察。为了防止或减小音频输出滞后于用户移动的可能性，音频处理装置可基于预测位置数据而非基于位置数据(例如指示用户“当前”、“实际”或“实时”位置的数据)来产生输出空间化音频信号。作为说明，音频处理装置可估计时延大约为10毫秒(ms)，且作为响应，音频处理装置可确定指示用户的预测位置(例如，预测用户或用户头部在未来10ms中将在何处)的预测位置数据。音频处理装置可基于预测位置数据处理空间化音频信号，使得空间化音频信号改变声音的所感知方向或距离以对应于预测位置数据。作为特定的非限制性实例，音频处理装置可基于预测位置数据产生旋转矩阵，且音频处理装置可将旋转矩阵应用于空间化音频信号以产生输出空间化音频信号。因此，当空间化音频信号的处理完成时(例如在时延之后)，输出空间化音频信号与用户的位置和定向同步，这可防止或减小音频滞后的可能性且改进用户体验。作为进一步说明，音频处理装置可从一或多个传感器接收位置数据，所述一或多个传感器经配置以跟踪用户(或用户穿戴的音频装置)的位置和定向，或跟踪用户在虚拟环境中的位置和定向。举例来说，音频处理装置可从集成于VR系统的头戴式显示器(HMD)内的一或多个位置传感器、一或多个运动传感器或其组合接收位置数据。作为另一实例，音频处理装置可从跟踪用户位置和定向的一或多个相机或其它光学传感器接收位置数据。作为另一实例，音频处理装置可从VR系统的控制器、姿势捕捉装置、运动捕捉装置或用于VR系统或AR系统的某一其它控制装置接收位置数据。在特定实施方本文档来自技高网...

【技术保护点】
1.一种音频处理装置，其包括：位置预测器，其经配置以基于位置数据确定预测位置数据；以及处理器，其经配置以基于所述预测位置数据产生输出空间化音频信号。

【技术特征摘要】
【国外来华专利技术】2016.04.08 US 15/094,6201.一种音频处理装置，其包括：位置预测器，其经配置以基于位置数据确定预测位置数据；以及处理器，其经配置以基于所述预测位置数据产生输出空间化音频信号。2.根据权利要求1所述的音频处理装置，其中所述处理器进一步经配置以基于所述预测位置数据处理输入空间化音频信号以产生所述输出空间化音频信号。3.根据权利要求2所述的音频处理装置，其中所述处理器进一步经配置以基于所述预测位置数据确定旋转且将所述旋转应用于所述输入空间化音频信号以产生所述输出空间化音频信号。4.根据权利要求1所述的音频处理装置，其中所述处理器包含所述位置预测器。5.根据权利要求1所述的音频处理装置，其中所述处理器进一步经配置以基于所述预测位置数据、所述位置数据或这两者确定预测轨迹，其中所述处理器进一步经配置以存取对应于所述预测轨迹的经处理空间化音频信号，且其中所述输出空间化音频信号对应于所述经处理空间化音频信号。6.根据权利要求1所述的音频处理装置，其进一步包括耦合到所述处理器的无线接口，其中所述处理器进一步经配置以经由所述无线接口将针对所述经处理空间化音频信号的请求发送到至少一个其它装置。7.根据权利要求1所述的音频处理装置，其进一步包括耦合到所述处理器的存储器，其中所述处理器进一步经配置以从所述存储器检索所述经处理空间化音频信号。8.根据权利要求1所述的音频处理装置，其进一步包括音频装置，其中所述处理器进一步经配置以基于所述输出空间化音频信号而在所述音频装置处起始音频输出。9.根据权利要求8所述的音频处理装置，其中所述音频装置包括头戴装置或虚拟现实系统的头戴式显示器。10.根据权利要求8所述的音频处理装置，其中所述音频装置包括扬声器阵列。11.根据权利要求8所述的音频处理装置，其中所述音频装置包含一或多个传感器，其经配置以确定所述位置数据，且其中所述位置数据包含平移位置数据、定向数据或这两者。12.根据权利要求11所述的音频处理装置，其中所述一或多个传感器包含所述位置预测器。13.根据权利要求1所述的音频处理装置，其中所述处理器进一步经配置以比较可用资源与一或多个阈值，且基于所述比较来基于所述预测位置数据处理输入空间化音频信号或从存储器检索经处理空间化音频信号。14.根据权利要求1所述的音频处理装置，其进一步包括：音频空间化电路，其经配置以基于输入空间化音频信号和所述预测位置数据来产生数字空间化音频信号；以及数/模转换器DAC，其经配置以将所述数字空间化音频信号转换到所述输出空间化音频信号，其中所述预测位置数据对应于未来特定时间量，且其中所述特定时间量对应于与使用至少所述音频空间化电路和所述DAC产生空间化音频信号相关联的所估计时延。15.一种音频处理方法，所述方法包括：在处理器处从一或多个传感器接收位置数据；在所述处理器处基于所述位置数据确定预测位置数据；以及在所述处理器处基于所述预测位置数据产生输出空间化音频信号。16.根据权利要求15所述的方法，其中所述位置数据表示用户头部的位置、所述头部的定向或这两者。17.根据权利要求15所述的方法，其中所述位置数据表示用户在虚拟环境内的位置，且其中从虚拟现实VR系统的控制器接收所述位置数据。18.根据权利要求1...

【专利技术属性】
技术研发人员：S·塔加迪尔·施瓦帕，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US