用于双耳音频渲染的耳间时间差交叉渐变器制造技术

本公开的示例描述了用于向可穿戴头部装置的用户呈现音频信号的系统和方法。根据示例方法，接收第一输入音频信号，该第一输入音频信号对应于经由可穿戴头部装置被呈现给用户的虚拟环境中的第一源位置。处理第一输入音频信号以生成左输出音频信号和右输出音频信号。经由与可穿戴头部装置相关联的左扬声器向用户的左耳呈现左输出音频信号。经由与可穿戴头部装置相关联的右扬声器向用户的右耳呈现右输出音频信号。输出音频信号。输出音频信号。

【技术实现步骤摘要】
用于双耳音频渲染的耳间时间差交叉渐变器
[0001]本申请是申请日为2019年10月4日、PCT国际申请号为PCT/US2019/054895、中国国家阶段申请号为201980080146.2、专利技术名称为“用于双耳音频渲染的耳间时间差交叉渐变器”的申请的分案申请。
[0002]相关申请的引用
[0003]本申请要求于2018年10月5日提交的美国临时申请No.62/742,254、2019年3月1日提交的美国临时申请No.62/812,546和2018年10月5日提交的美国临时申请No.62/742,191的优先权益，其内容通过引用整体合并于此。


[0004]本公开大体上涉及用于音频信号处理的系统和方法，具体地，涉及用于在混合现实环境中呈现音频信号的系统和方法。

技术介绍

[0005]沉浸式的和可信的虚拟环境需要以与用户的期望一致的方式呈现音频信号——例如，该期望指与虚拟环境中的对象对应的音频信号将与对象在虚拟环境中的位置和该对象的视觉呈现一致。在虚拟现实、增强现实和混合现实环境中创建丰富且复杂的声音景观(soundscape)(声音环境)需要对大量数字音频信号的高效呈现，每一个数字音频信号显得来自用户环境中的不同位置/接近度和/或方向。收听者的大脑适于识别用户的两个耳朵之间的声音到达时间的差异(例如，通过检测两个耳朵之间的相移)；以及根据时间差推断声音的空间原点。因此，对于虚拟环境，准确地呈现用户的左耳与右耳之间的耳间时间差(ITD)对于用户在虚拟环境中识别音频源的能力而言可能是关键的。然而，调整声音景观以可信地反映对象和用户的位置和取向可能需要对音频信号的快速改变，该音频信号可能导致不期望的声音伪像(sonic artifact)，诸如“点击”声音，这损害了虚拟环境的沉浸感。期望的是，向虚拟环境的用户呈现声音景观以准确地向用户的耳朵呈现耳间时间差，同时使声音伪像最小化并且保持在计算上是高效的系统和方法。

技术实现思路

[0006]本公开的示例描述了用于向可穿戴头部装置的用户呈现音频信号的系统和方法。根据示例方法，接收第一输入音频信号，该第一输入音频信号对应于经由可穿戴头部装置被呈现给用户的虚拟环境中的源位置。处理第一输入音频信号以生成左输出音频信号和右输出音频信号。经由与可穿戴头部装置相关联的左扬声器向用户的左耳呈现左输出音频信号。经由与可穿戴头部装置相关联的右扬声器向用户的右耳呈现右输出音频信号。处理第一输入音频信号包括：将延迟过程应用于第一输入音频信号以生成左音频信号和右音频信号；调整左音频信号的增益；调整右音频信号的增益；将第一头相关传递函数(HRTF)应用于左音频信号以生成左输出音频信号；以及将第二HRTF应用于右音频信号以生成右输出音频信号。将延迟过程应用于第一输入音频信号包括：将耳间时间延迟(ITD)应用于第一输入音
频信号，ITD基于源位置来确定。
附图说明
[0007]图1示出了根据本公开的一些实施例的示例音频空间化系统。
[0008]图2A
‑
2C示出了根据本公开的一些实施例的示例延迟模块。
[0009]图3A
‑
3B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及示例性的对应延迟模块。
[0010]图4A
‑
4B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及示例性的对应延迟模块。
[0011]图5A
‑
5B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及示例性的对应延迟模块。
[0012]图6A示出了根据本公开的一些实施例的示例交叉渐变器。
[0013]图6B
‑
6C示出了根据本公开的一些实施例的用于交叉渐变器的示例控制信号。
[0014]图7A
‑
7B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0015]图8A
‑
8B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0016]图9A
‑
9B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0017]图10A
‑
10B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0018]图11A
‑
11B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0019]图12A
‑
12B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0020]图13A
‑
13B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0021]图14A
‑
14B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0022]图15A
‑
15B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0023]图16A
‑
16B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
[0024]图17示出了根据本公开的一些实施例的示例延迟模块。
[0025]图18A
‑
18E示出了根据本公开的一些实施例的示例延迟模块。
[0026]图19
‑
22示出了根据本公开的一些实施例的用于在延迟模块之间转变(transition)的示例过程。
[0027]图23示出了根据本公开的一些实施例的示例可穿戴系统。
[0028]图24示出了根据本公开的一些实施例的可以与示例可穿戴系统结合使用的示例
手持式控制器。
[0029]图25示出了根据本公开的一些实施例的可以与示例可穿戴系统结合使用的示例辅助单元。
[0030]图26示出了根据本公开的一些实施例的用于示例可穿戴系统的示例功能框图。
具体实施方式
[0031]在下面的示例描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践的具体示例。应当理解，在不脱离所公开示例的范围的情况下，可以使用其他示例，并且可以进行结构上的改变。
[0032]示例可穿戴系统
[0033]图23示出了示例可穿戴式头部装置2300，其被配置为佩戴在用户的头部上。可穿戴式头部装置2300可以是更广泛的可穿戴系统的一部分，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种向可穿戴头部装置的用户呈现音频信号的方法，所述方法包括：接收第一输入音频信号，所述第一输入音频信号对应于经由所述可穿戴头部装置被呈现给所述用户的虚拟环境中的第一源位置，其中，所述第一源位置对应于所述虚拟环境中的虚拟对象在第一时间的第一位置；处理所述第一输入音频信号以生成左输出音频信号和右输出音频信号，其中处理所述第一输入音频信号包括：将延迟过程应用于所述第一输入音频信号以生成左音频信号和右音频信号；确定所述左音频信号的增益；确定所述右音频信号的增益；将第一头相关传递函数(HRTF)应用于所述左音频信号以生成所述左输出音频信号；以及将第二HRTF应用于所述右音频信号以生成所述右输出音频信号；经由与所述可穿戴头部装置相关联的第一扬声器向所述用户的第一耳朵呈现所述左输出音频信号；经由与所述可穿戴头部装置相关联的第二扬声器向所述用户的第二耳朵呈现所述右输出音频信号；以及确定与所述虚拟环境中的所述虚拟对象在第二时间的第二位置对应的第二源位置，其中：所述虚拟对象在所述第一时间处于所述虚拟环境中的所述第一位置，以及所述虚拟对象在所述第二时间处于所述虚拟环境中的所述第二位置，所述可穿戴头部装置在所述第一时间处具有第一取向矢量，所述可穿戴头部装置在所述第二时间处具有第二取向矢量，以及相对于所述第一取向矢量的所述虚拟环境中的所述第一位置不同于相对于所述第二取向矢量的所述虚拟环境中的所述第二位置；确定第一耳朵延迟，所述确定包括：确定与所述第一时间对应的先前第一耳朵延迟，确定与所述第二时间对应的后续第一耳朵延迟，以及在所述先前第一耳朵延迟与所述后续第一耳朵延迟之间进行交叉渐变；以及确定第二耳朵延迟，所述确定包括：确定与所述第一时间对应的先前第二耳朵延迟，确定与所述第二时间对应的后续第二耳朵延迟，以及在所述先前第二耳朵延迟与所述后续第二耳朵延迟之间进行交叉渐变，其中，将所述延迟过程应用于所述第一输入音频信号包括：将耳间时间延迟(ITD)应用于所述第一输入音频信号，所述ITD基于所述第一源位置、所述第一耳朵延迟和所述第二耳朵延迟来确定。2.根据权利要求1所述的方法，其中，所述第一耳朵延迟为零。3.根据权利要求1所述的方法，其中，应用所述延迟过程还包括：将滤波器应用于所述第一输入音频信号。4.根据权利要求1所述的方法，其中，应用所述延迟过程还包括：
将第一滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第一一个或多个，以及将第二滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第二一个或多个。5.根据权利要求1所述的方法，其中，所述第一源位置是距所述第一耳朵比距所述第二耳朵更近的位置，以及所述第二源位置是距所述第二耳朵比距所述第一耳朵更近的位置。6.根据权利要求1所述的方法，其中，所述第二源位置是距所述第一耳朵比距所述第二耳朵更近的位置，以及所述第一源位置是距所述第二耳朵比距所述第一耳朵更近的位置。7.根据权利要求1所述的方法，其中，所述第一源位置是比所述第二源位置更靠近所述第一耳朵的位置，所述第一源位置是距所述第一耳朵比距所述第二耳朵更近的位置，以及所述第二源位置是距所述第一耳朵比距所述第二耳朵更近的位置。8.根据权利要求1所述的方法，其中，所述第二源位置是比所述第一源位置更靠近所述第一耳朵的位置，所述第一源位置是距所述第一耳朵比距所述第二耳朵更近的位置，以及所述第二源位置是距所述第一耳朵比距所述第二耳朵更近的位置。9.一种系统，包括：可穿戴头部装置，其具有第一扬声器和第二扬声器；以及一个或多个处理器，其被配置为执行一种方法，所述方法包括：接收第一输入音频信号，所述第一输入音频信号对应于经由所述可穿戴头部装置被呈现给用户的虚拟环境中的第一源位置，其中，所述第一源位置对应于所述虚拟环境中的虚拟对象在第一时间的第一位置；处理所述第一输入音频信号以生成左输出音频信号和右输出音频信号，其中处理所述第一输入音频信号包括：将延迟过程应用于所述第一输入音频信号以生成左音频信号和右音频信号；确定所述左音频信号的增益；确定所述右音频信号的增益；将第一头相关传递函数(HRTF)应用于所述左音频信号以生成所述左输出音频信号；以及将第二HRTF应用于所述右音频信号以生成所述右输出音频信号；经由与所述第一扬声器向所述用户的第一耳朵呈现所述左输出音频信号；经由与所述第二扬声器向所述用户的第二耳朵呈现所述右输出音频信号；以及确定与所述虚拟环境中的所述虚拟对象在第二时间的第二位置对应的第二源位置，其中：所述虚拟对象在所述第一时间处于所述虚拟环境中的所述第一位置，以及所述虚拟对象在所述第二时间处于所述虚拟环境中的所述第二位置，所述可穿戴头部装置在所述第一时间处具有第一取向矢量，所述可穿戴头部装置在所述第二时间处具有第二取向矢量，以及相对于所述第一取向矢量的所述虚拟环境中的所述第一位置不同于相对于所述第二取向矢量的所述虚拟环境中的所述第二位置；确定第一耳朵延迟，所述确定包括：
确定与所述第一时间对应的先前第一耳朵...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：