用于双耳音频渲染的协调跟踪制造技术

本发明专利技术题为“用于双耳音频渲染的协调跟踪”。本发明专利技术描述了双耳声音再现系统，以及使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统可包括参考设备，例如移动设备，其具有参考传感器以提供与参考设备的方向对应的参考取向数据，以及头戴式设备，例如耳机，其具有设备传感器以提供与头戴式设备的方向对应的设备取向数据。系统可使用参考取向数据来确定头戴式设备是正在静态使用情形中还是在动态使用情形中使用，并且可调整音频输出以基于所确定的使用情形在经调整的源方向上渲染虚拟声源。还描述了其他实施方案并要求对其进行保护。

【技术实现步骤摘要】
【国外来华专利技术】用于双耳音频渲染的协调跟踪本申请要求2016年9月23日提交的美国临时专利申请No.62/399,250的优先权的权益，并且通过引用将该临时专利申请并入本文。
技术介绍

公开了涉及双耳声音再现系统的实施方案。更具体地，公开了涉及具有与电子设备通信的头戴式设备的双耳声音再现系统的实施方案。
技术介绍
双耳耳机模拟虚拟声源。为了实现逼真的虚拟声源，可使用头部跟踪来将虚拟声源锚定到参照系，例如房间。头部跟踪系统可包括方向传感器，以允许音频引擎预测双耳耳机相对于参照系的取向，从而在收听者的头部转动时在适当的方向上模拟虚拟声源。
技术实现思路
现有的具有头部跟踪的双耳耳机可在参照系不移动时实现逼真的虚拟声源。即，当前的双耳耳机假设虚拟声源在空间上锚定到固定参照系，因此，头部跟踪器的移动归因于收听者的头部转动。然而，当参照系是移动参照系或者当收听者的整个身体相对于前向方向移动时，这种假设可能是不合适的。例如，当收听者沿着蜿蜒的城市街道慢跑或者当收听者在汽车或飞机的机舱中旅行时，该假设可能是不正确的。当参照系和用户的头部经历类似的运动时，例如，当飞机从旧航向向右偏航到新航向并导致乘客头部向右转弯时，逼真的虚拟声源应该相对于新的航向定位在相同的方向上，而不是相对于旧航向保持固定。应当理解，这在现有的双耳耳机中不会发生，因为如收听者所感知到的，从转动平面传递给头部跟踪器的移动将导致虚拟声源向左移动，即使收听者的头部和移动的机舱之间没有取向变化。在实施方案中，双耳声音再现系统执行动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统包括：参考设备，该参考设备具有用于输出参考取向数据的参考传感器；以及头戴式设备，该头戴式设备具有用于输出设备取向数据的设备传感器。参考取向数据对应于参考设备的参考方向，并且设备取向数据对应于头戴式设备的设备方向。因此，双耳声音再现系统具有系统取向数据，该系统取向数据可用于重新定中头戴式设备的参照系。在一个实施方案中，头戴式设备包括音频处理器，该音频处理器被配置为输出音频输出以在与前向设备方向成偏移角度的源方向上渲染虚拟声源。因此，头戴式设备的用户可将虚拟声源感知为来自源方向。可根据头戴式设备的使用情形动态地移动虚拟声源。更具体地，可基于确定的使用情形来调整音频输出。因此，音频处理器可被配置为基于参考取向数据确定头戴式设备是处于静态使用情形(例如，当参考方向的参考角度变化在预先确定的运动范围内时)还是动态使用情形(例如，当参考角度变化在预先确定的运动范围之外时)。在实施方案中，当头戴式设备处于静态使用情形时，头戴式设备的参照系被手动重新定中。例如，头戴式设备可包括重新定中输入开关，以接收来自用户的重新定中输入。音频处理器可响应于接收到重新定中输入而调整音频输出，例如，响应于用户按下物理按钮，以重新定中头戴式设备的参照系。更具体地说，音频处理器可在与当前前向设备方向成偏移角度的经调整的源方向上渲染虚拟声源。偏移角度可为与用户转动他的头部之前虚拟声源先前从初始前向设备方向偏移的角度相同的角度。因此，在静态使用情形中，用户可手动移动虚拟声源。在实施方案中，当头戴式设备处于动态使用情形时，头戴式设备的参照系根据动态时间常数自动地重新定中。为了实现自动重新定中，音频处理器可确定头戴式设备的设备方向的设备角度变化的量，例如用户头部旋转的程度。当设备角度变化的量大于预先确定的角度变化阈值时，音频处理器可确定设备角度变化的速率。可在预先确定的持续时间内确定速率。例如，预先确定的持续时间可与设备角度变化的量成反比。即，当设备角度变化的量较小时，预先确定的持续时间可更长。在一个实施方案中，当所确定的速率小于预先确定的速率阈值(指示用户现在正在面向新的前向方向)时，音频处理器可调整音频输出以在调整的源方向上渲染虚拟声源。经调整的源方向可从初始源方向偏移设备角度变化的量。因此，基于头戴式设备的移动自动重新定中头戴式设备的参照系可将用户对虚拟声源的感知保持为来自相同方向。在实施方案中，当头戴式设备处于动态使用情形时，头戴式设备的参照系基于参考设备的移动自动重新定中。为了实现自动重新定中，音频处理器可确定参考设备的参考方向的参考角度变化的量，例如，当参考设备由于用户围绕拐角慢跑或行驶而旋转时。音频处理器可调整音频输出以在经调整的源方向上渲染虚拟声源。在一个实施方案中，经调整的源方向从初始源方向偏移参考角度变化的量。因此，头戴式设备的参照系的重新定中基于参考设备的移动。经协调的重新定中可将用户对虚拟声源的感知保持为来自相同方向。上面的概述不包括本专利技术的所有方面的详尽列表。设想本专利技术包括可从上面概述的各个方面以及在下面的具体实施方式中公开且在随该专利申请提交的权利要求书中特别指出的各个方面的所有合适的组合而实践的所有系统和方法。此类组合具有未在上面的概述中具体叙述的特定优点。附图说明图1是根据实施方案的在静态使用情形中消费音频或视频内容的用户的图示。图2是根据实施方案的在动态使用情形中消费音频或视频内容的用户的图示。图3是根据实施方案的双耳声音再现系统的图示。图4是根据实施方案的双耳声音再现系统的框图。图5是根据实施方案的在静态使用情形和动态使用情形期间双耳声音再现系统的取向数据的图形表示。图6是根据实施方案的使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法的流程图。图7是根据实施方案的在静态或动态使用情形中使用的双耳声音再现系统的图形表示。图8是根据实施方案的在静态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。图9A-9C是根据实施方案的在静态使用情形中的双耳声音再现系统的图示。图10是根据实施方案的在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。图11是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。图12是根据实施方案的在动态使用情形中的双耳声音再现系统的头戴式设备的角度变化的图形视图。图13A-13C是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。图14是根据实施方案的在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。图15A-15C是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。具体实施方式实施方案描述了双耳声音再现系统，以及使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统可包括参考设备，诸如膝上型计算机、平板电脑、移动设备或可穿戴计算机；以及头戴式设备，诸如头戴式受话器或耳机。然而，双耳声音再现系统可包含其他设备和装置。例如，头戴式设备可是非头戴式设备，例如，该设备可是与用户所佩戴的计算机同步的机动车的扬声器系统。同样，参考设备可是机动车辆的车载计算机。在各个实施方案中，参考附图进行描述。然而，某些实施方案可在不存在这些具体细节中的一个或多个具体细节或者不与其他已知的方法和构型相结合的情况下被实施。在以下的描述中，阐述多个具体细节诸如具体构型、尺寸和过程，以便提供对实施方案的透彻理解。在其他实例中，没有特别详细地描述众所周知的过程和制造技术，以便不会不必要地模糊该描述。整个本说明书中对“一个实施方案”、“实施方案”等的引用意味着所描述的特定特征、结本文档来自技高网...

【技术保护点】
1.一种方法，包括：从参考设备接收与所述参考设备的参考方向对应的参考取向数据；从头戴式设备接收与所述头戴式设备的设备方向对应的设备取向数据；由所述头戴式设备输出音频输出以在与所述设备方向成偏移角度的源方向上渲染虚拟声源；基于所述参考取向数据确定所述头戴式设备是处于静态使用情形中还是动态使用情形中；以及由所述头戴式设备基于所确定的使用情形来调整所述音频输出。

【技术特征摘要】
【国外来华专利技术】2016.09.23 US 62/399,250;2017.03.21 US 15/465,5401.一种方法，包括：从参考设备接收与所述参考设备的参考方向对应的参考取向数据；从头戴式设备接收与所述头戴式设备的设备方向对应的设备取向数据；由所述头戴式设备输出音频输出以在与所述设备方向成偏移角度的源方向上渲染虚拟声源；基于所述参考取向数据确定所述头戴式设备是处于静态使用情形中还是动态使用情形中；以及由所述头戴式设备基于所确定的使用情形来调整所述音频输出。2.根据权利要求1所述的方法，其中所述参考取向数据包括所述参考方向的参考角度变化，其中当所述参考角度变化在预先确定的运动范围内时，确定所述头戴式设备处于所述静态使用情形中，并且其中当所述参考角度变化在所述预先确定的运动范围之外时确定所述头戴式设备处于所述动态使用情形中。3.根据权利要求2所述的方法，还包括当所述头戴式设备具有当前设备方向时接收重新定中输入；其中调整所述音频输出包括响应于确定所述头戴式设备处于所述静态使用情形中并且响应于接收到所述重新定中输入而在与所述当前设备方向成偏移角度的经调整的源方向上渲染所述虚拟声源。4.根据权利要求3所述的方法，其中所述重新定中输入包括来自用户的手动输入。5.根据权利要求2所述的方法，还包括：确定所述设备方向的设备角度变化的量；以及响应于所述设备角度变化的所述量大于第一预先确定的角度变化阈值而确定在预先确定的持续时间内所述设备角度变化的速率；其中调整所述音频输出包括响应于确定所述头戴式设备处于所述动态使用情形中并且响应于所述设备角度变化的所述速率小于预先确定的速率阈值而在从所述源方向偏移所述设备角度变化的所述量的经调整的源方向上渲染所述虚拟声源。6.根据权利要求5所述的方法，其中所述预先确定的持续时间基于所述设备角度变化的所述量，其中所述预先确定的持续时间是在所述设备角度变化的所述量小于第二预先确定的角度变化阈值时的第一持续时间，其中所述预先确定的持续时间是在所述设备角度变化的所述量大于所述第二预先确定的角度变化阈值时的第二持续时间，并且其中所述第二持续时间小于所述第一持续时间。7.根据权利要求2所述的方法，还包括确定所述参考方向的所述参考角度变化的量；其中调整所述音频输出包括响应于确定所述头戴式设备处于所述动态使用情形中而在从所述源方向偏移所述参考角度变化的所述量的经调整的源方向上渲染所述虚拟声源。8.根据权利要求7所述的方法，还包括响应于所述参考角度变化的量大于预先确定的角度变化阈值而确定预先确定的持续时间内所述参考角度变化的速率；其中调整所述音频输出是响应于所述参考角度变化的所述速率小于预先确定的速率阈值的。9.一种双耳声音再现系统，包括参考设备，所述参考设备具有参考传感器以输出与所述参考设备的参考方向对应的参考取向数据；以及头戴式设备，所述头戴式设备包括：设备传感器，所述设备传感器用于输出与所述头戴式设备的设备方向对应的设备取向数据，以及音频处理器，所述音频处理器被配置为输出音频输出以在与所述设备方向成偏移角度的源方向上渲染虚拟声源，基于所述参考取向数据确定所述头戴式设备是处于静态使用情形还是动态使用情形，以及基于所确定的使用情形调整所述音频输出。10.根据权利要求9所述的双耳声音再现系统，其中所述参考取向数据包括所述参考方向的参考角度变化，并且其中所述音频处理器被进一步配置为：当所述参考角度变化在预先确定的运动范围内时确定所述头戴式设备处于所述静态使用情形中，并且当所述参考角度变化在所述预先确定的运动范围之外时确定所述头戴式设备处于所述动态使用情形中。11.根据权利要求10所述的双耳声音再现系统，其中所述头戴式设备还包括重新定中输入开关以在所述头戴式设备具有当前设备方向时接收来自用户的重新定中输入，并且其中所述音频处理器被进一步配置为：从所述重新定中输入开关接收所述重新定中输入，以及响应...

【专利技术属性】
技术研发人员：D·A·萨同加尔，A·法米利，S·J·乔瑟尔，J·O·玛丽玛，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US