用于双耳音频渲染的协调跟踪的方法、系统和介质技术方案

本发明专利技术题为“用于双耳音频渲染的协调跟踪的方法、系统和介质”。本发明专利技术描述了双耳声音再现系统，以及使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统可包括参考设备，例如移动设备，其具有参考传感器以提供与参考设备的方向对应的参考取向数据，以及头戴式设备，例如耳机，其具有设备传感器以提供与头戴式设备的方向对应的设备取向数据。系统可使用参考取向数据来确定头戴式设备是正在静态使用情形中还是在动态使用情形中使用，并且可调整音频输出以基于所确定的使用情形在经调整的源方向上渲染虚拟声源。还描述了其他实施方案并要求对其进行保护。护。护。

【技术实现步骤摘要】
用于双耳音频渲染的协调跟踪的方法、系统和介质
[0001]本申请要求2016年9月23日提交的美国临时专利申请No.62/399,250的优先权的权益，并且通过引用将该临时专利申请并入本文。
[0002]本申请是国际申请日为2017年8月18日、国际申请号为PCT/US2017/047592、国家申请号为CN201780052292.5A、专利技术名称为“用于双耳音频渲染的协调跟踪的方法、系统和介质”的专利技术专利申请的分案申请。


[0003]公开了涉及双耳声音再现系统的实施方案。更具体地，公开了涉及具有与电子设备通信的头戴式设备的双耳声音再现系统的实施方案。

技术介绍

[0004]双耳耳机模拟虚拟声源。为了实现逼真的虚拟声源，可使用头部跟踪来将虚拟声源锚定到参照系，例如房间。头部跟踪系统可包括方向传感器，以允许音频引擎预测双耳耳机相对于参照系的取向，从而在收听者的头部转动时在适当的方向上模拟虚拟声源。

技术实现思路

[0005]现有的具有头部跟踪的双耳耳机可在参照系不移动时实现逼真的虚拟声源。即，当前的双耳耳机假设虚拟声源在空间上锚定到固定参照系，因此，头部跟踪器的移动归因于收听者的头部转动。然而，当参照系是移动参照系或者当收听者的整个身体相对于前向方向移动时，这种假设可能是不合适的。例如，当收听者沿着蜿蜒的城市街道慢跑或者当收听者在汽车或飞机的机舱中旅行时，该假设可能是不正确的。当参照系和用户的头部经历类似的运动时，例如，当飞机从旧航向向右偏航到新航向并导致乘客头部向右转弯时，逼真的虚拟声源应该相对于新的航向定位在相同的方向上，而不是相对于旧航向保持固定。应当理解，这在现有的双耳耳机中不会发生，因为如收听者所感知到的，从转动平面传递给头部跟踪器的移动将导致虚拟声源向左移动，即使收听者的头部和移动的机舱之间没有取向变化。
[0006]在实施方案中，双耳声音再现系统执行动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统包括：参考设备，该参考设备具有用于输出参考取向数据的参考传感器；以及头戴式设备，该头戴式设备具有用于输出设备取向数据的设备传感器。参考取向数据对应于参考设备的参考方向，并且设备取向数据对应于头戴式设备的设备方向。因此，双耳声音再现系统具有系统取向数据，该系统取向数据可用于重新定中头戴式设备的参照系。
[0007]在一个实施方案中，头戴式设备包括音频处理器，该音频处理器被配置为输出音频输出以在与前向设备方向成偏移角度的源方向上渲染虚拟声源。因此，头戴式设备的用户可将虚拟声源感知为来自源方向。可根据头戴式设备的使用情形动态地移动虚拟声源。更具体地，可基于确定的使用情形来调整音频输出。因此，音频处理器可被配置为基于参考
取向数据确定头戴式设备是处于静态使用情形(例如，当参考方向的参考角度变化在预先确定的运动范围内时)还是动态使用情形(例如，当参考角度变化在预先确定的运动范围之外时)。
[0008]在实施方案中，当头戴式设备处于静态使用情形时，头戴式设备的参照系被手动重新定中。例如，头戴式设备可包括重新定中输入开关，以接收来自用户的重新定中输入。音频处理器可响应于接收到重新定中输入而调整音频输出，例如，响应于用户按下物理按钮，以重新定中头戴式设备的参照系。更具体地说，音频处理器可在与当前前向设备方向成偏移角度的经调整的源方向上渲染虚拟声源。偏移角度可为与用户转动他的头部之前虚拟声源先前从初始前向设备方向偏移的角度相同的角度。因此，在静态使用情形中，用户可手动移动虚拟声源。
[0009]在实施方案中，当头戴式设备处于动态使用情形时，头戴式设备的参照系根据动态时间常数自动地重新定中。为了实现自动重新定中，音频处理器可确定头戴式设备的设备方向的设备角度变化的量，例如用户头部旋转的程度。当设备角度变化的量大于预先确定的角度变化阈值时，音频处理器可确定设备角度变化的速率。可在预先确定的持续时间内确定速率。例如，预先确定的持续时间可与设备角度变化的量成反比。即，当设备角度变化的量较小时，预先确定的持续时间可更长。在一个实施方案中，当所确定的速率小于预先确定的速率阈值(指示用户现在正在面向新的前向方向)时，音频处理器可调整音频输出以在调整的源方向上渲染虚拟声源。经调整的源方向可从初始源方向偏移设备角度变化的量。因此，基于头戴式设备的移动自动重新定中头戴式设备的参照系可将用户对虚拟声源的感知保持为来自相同方向。
[0010]在实施方案中，当头戴式设备处于动态使用情形时，头戴式设备的参照系基于参考设备的移动自动重新定中。为了实现自动重新定中，音频处理器可确定参考设备的参考方向的参考角度变化的量，例如，当参考设备由于用户围绕拐角慢跑或行驶而旋转时。音频处理器可调整音频输出以在经调整的源方向上渲染虚拟声源。在一个实施方案中，经调整的源方向从初始源方向偏移参考角度变化的量。因此，头戴式设备的参照系的重新定中基于参考设备的移动。经协调的重新定中可将用户对虚拟声源的感知保持为来自相同方向。
[0011]上面的概述不包括本专利技术的所有方面的详尽列表。设想本专利技术包括可从上面概述的各个方面以及在下面的具体实施方式中公开且在随该专利申请提交的权利要求书中特别指出的各个方面的所有合适的组合而实践的所有系统和方法。此类组合具有未在上面的概述中具体叙述的特定优点。
附图说明
[0012]图1是根据实施方案的在静态使用情形中消费音频或视频内容的用户的图示。
[0013]图2是根据实施方案的在动态使用情形中消费音频或视频内容的用户的图示。
[0014]图3是根据实施方案的双耳声音再现系统的图示。
[0015]图4是根据实施方案的双耳声音再现系统的框图。
[0016]图5是根据实施方案的在静态使用情形和动态使用情形期间双耳声音再现系统的取向数据的图形表示。
[0017]图6是根据实施方案的使用双耳声音再现系统来动态地重新定中虚拟声源的参照
系的方法的流程图。
[0018]图7是根据实施方案的在静态或动态使用情形中使用的双耳声音再现系统的图形表示。
[0019]图8是根据实施方案的在静态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。
[0020]图9A
‑
9C是根据实施方案的在静态使用情形中的双耳声音再现系统的图示。
[0021]图10是根据实施方案的在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。
[0022]图11是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。
[0023]图12是根据实施方案的在动态使用情形中的双耳声音再现系统的头戴式设备的角度变化的图形视图。
[0024]图13A
‑
13C是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。
[0025]图14是根据实施方案的在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在具有参考方向的参考设备上呈现视频内容；输出与所述视频内容相关联的初始音频信号，以使具有设备方向的头戴式设备在与所述设备方向成偏移角度的初始源方向上渲染虚拟声源；确定所述参考方向在调整角度上的的移动；以及响应于所述参考方向的所述移动，输出经调整的音频信号，以使所述头戴式设备在与所述初始源方向偏移所述调整角度的经调整的源方向上渲染所述虚拟声源。2.根据权利要求1所述的方法，还包括接收与所述参考设备的所述参考方向相对应的参考取向数据，其中基于所述参考取向数据来确定所述参考方向的所述移动。3.根据权利要求1所述的方法，其中确定所述参考方向的所述移动包括确定所述调整角度在预先确定的运动范围之外。4.根据权利要求1所述的方法，还包括确定所述参考方向的参考角度变化的速率，其中输出所述经调整的音频信号还响应于所述参考角度变化的速率小于预先确定的参考速率阈值。5.根据权利要求1所述的方法，还包括确定所述设备方向的设备角度变化的速率，其中输出所述经调整的音频信号还响应于所述设备角度变化的速率小于预先确定的设备速率阈值。6.根据权利要求1所述的方法，其中所述头戴式设备与所述参考设备物理地分离。7.根据权利要求6所述的方法，其中所述头戴式设备在用户上，并且其中所述参考设备不所述用户上。8.一种双耳声音再现系统，包括：参考设备，具有参考方向和用以呈现视频内容的显示器；头戴式设备，具有设备方向和用以播放与所述视频内容相关联的音频扬声器；以及音频处理器，被配置为：输出与所述音频内容相关联的初始音频信号，以使所述头戴式设备播放所述音频并且在与所述设备方向成偏移角度的初始源方向上渲染虚拟声源；确定所述参考方向在调整角度上的的移动；以及响应于所述参考方向的所述移动，输出经调整的音频信号，以使所述头戴式设备在与所述初始源方向偏移所述调整角度的经调整的源方向上渲染所述虚拟声源。9.根据权利要求8所述的双耳声音再现系统，其中所述音频处理器还被配置为：接收与所述参考设备的所述参考方向相对应的参考取向数据，其中基于所述参考取向数据来确定所述参考方向的所述移动。10.根据权利要求8所述的双耳声音再现系统，其中确定所述参考方向的所述移动包括确定所述调整角度在预先确定的运...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：苹果公司，
类型：发明
国别省市：