近场音频渲染制造技术

一种近场音频渲染。根据示例方法，识别与音频信号对应的源位置。确定与音频信号对应的声轴。对于用户的相应左耳和右耳中的每一个，确定声轴与相应耳朵之间的角度、确定与源位置和相应耳朵的位置共线的虚拟扬声器位置，其中虚拟扬声器位置位于与用户的头部同心的球体的表面上，该球体具有第一半径。确定与虚拟扬声器位置对应并与相应耳朵对应的头相关传递函数(HRTF)；基于所确定的角度来确定源辐射滤波器；处理音频信号以针对相应耳朵生成输出音频信号；以及经由与可穿戴头部装置相关联的一个或多个扬声器向用户的相应耳朵呈现输出音频信号。频信号。频信号。

【技术实现步骤摘要】
近场音频渲染
[0001]本申请是申请日为2019年10月4日、PCT国际申请号为PCT/US2019/054893、中国国家阶段申请号为201980080065.2、专利技术名称为“近场音频渲染”的申请的分案申请。
[0002]相关申请的引用
[0003]本申请要求于2018年10月5日提交的美国临时申请No.62/741,677和2019年3月1日提交的美国临时申请No.62/812,734的优先权益，其内容通过引用整体合并于此。


[0004]本公开基本上涉及用于音频信号处理的系统和方法，具体地，涉及用于在混合现实环境中呈现音频信号的系统和方法。

技术介绍

[0005]增强现实和混合现实系统将对双耳音频信号的呈现的独特需求置于用户。一方面，以逼真的方式呈现音频信号——例如，以与用户的期望一致的方式——对于创建沉浸式的和可信的增强或混合现实环境是至关重要的。另一方面，处理这种音频信号的计算费用可能是昂贵的，特别是对于可能具有有限的处理能力和电池容量的移动系统。
[0006]一个特定挑战是近场音频效应的模拟。近场效应对于重新创建非常接近用户的头部的声源的印象是重要的。近场效应可以使用头相关传递函数(HRTF)的数据库来计算。然而，典型的HRTF数据库包括在距用户的头部的远场(例如，距用户的头部多于1米)中的单个距离处测量的HRTF，并且可能缺少在适合于近场效应的距离处的HRTF。即使HRTF数据库包括针对距用户的头部的不同距离(例如，距用户的头部小于1米)的测量的或模拟的HRTF，但是直接使用大量HRTF用于实时音频渲染应用可能是计算上昂贵的。因此，期望以计算上高效的方式使用远场HRTF对近场音频效应建模的系统和方法。

技术实现思路

[0007]本公开的示例描述了用于向可穿戴头部装置的用户呈现音频信号的系统和方法。根据示例方法，识别与音频信号对应的源位置。确定与音频信号对应的声轴。对于用户的相应左耳和右耳中的每一个，确定声轴与相应耳朵之间的角度。对于用户的相应左耳和右耳中的每一个，确定虚拟扬声器阵列中的虚拟扬声器位置，该虚拟扬声器位置与源位置和相应耳朵的位置共线。虚拟扬声器阵列包括多个虚拟扬声器位置，多个中的每个虚拟扬声器位置位于与用户的头部同心的球体的表面上，该球体具有第一半径。对于用户的相应左耳和右耳中的每一个，确定与虚拟扬声器位置对应并与相应耳朵对应的头相关传递函数(HRTF)；基于所确定的角度来确定源辐射滤波器；处理音频信号以针对相应耳朵生成输出音频信号；以及经由与可穿戴头部装置相关联的一个或多个扬声器向用户的相应耳朵呈现输出音频信号。处理音频信号包括将HRTF和源辐射滤波器应用于音频信号。
附图说明
[0008]图1示出了根据本公开的一些实施例的示例可穿戴系统。
[0009]图2示出了根据本公开的一些实施例的可以与示例可穿戴系统结合使用的示例手持式控制器。
[0010]图3示出了根据本公开的一些实施例的可以与示例可穿戴系统结合使用的示例辅助单元。
[0011]图4示出了根据本公开的一些实施例的用于示例可穿戴系统的示例功能框图。
[0012]图5示出了根据本公开的一些实施例的双耳渲染系统。
[0013]图6A
‑
6C示出了根据本公开的一些实施例的对来自虚拟声源的音频效应建模的示例几何形状。
[0014]图7示出了根据本公开的一些实施例的计算由点声源发出的声音所行进的距离的示例。
[0015]图8A
‑
8C示出了根据本公开的一些实施例的相对于收听者的耳朵的声源的示例。
[0016]图9A
‑
9B示出了根据本公开的一些实施例的示例头相关传递函数(HRTF)幅度响应。
[0017]图10示出了根据本公开的一些实施例的用户相对于声源的声轴的源辐射角度。
[0018]图11示出了根据本公开的一些实施例的在用户的头部内部摇移(pan)的声源的示例。
[0019]图12示出了根据本公开的一些实施例的可以被实现以渲染远场中的声源的示例信号流。
[0020]图13示出了根据本公开的一些实施例的可以被实现以渲染近场中的声源的示例信号流。
[0021]图14示出了根据本公开的一些实施例的可以被实现以渲染近场中的声源的示例信号流。
[0022]图15A
‑
15D示出了根据本公开的一些实施例的与用户对应的头部坐标系和与装置对应的装置坐标系的示例。
具体实施方式
[0023]在下面的示例描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践的具体示例。应当理解，在不脱离所公开示例的范围的情况下，可以使用其他示例，并且可以进行结构上的改变。
[0024]示例可穿戴系统
[0025]图1示出了示例可穿戴式头部装置100，其被配置为佩戴在用户的头部上。可穿戴式头部装置100可以是更广泛的可穿戴系统的一部分，该系统包括一个或多个组件，例如头部装置(例如，可穿戴式头部装置100)、手持式控制器(例如，下面描述的手持式控制器200)和/或辅助单元(例如，下面描述的辅助单元300)。在一些示例中，可穿戴式头部装置100可以用于虚拟现实、增强现实或混合现实系统或应用。可穿戴式头部装置100可以包括一个或多个显示器，例如显示器110A和110B(其可以包括左和右透射显示器以及用于将光从显示器耦合到用户的眼睛的相关联的组件，例如正交光瞳扩展(OPE)光栅组112A/112B和出射光
瞳扩展(EPE)光栅组114A/114B)；左和右声学结构，例如扬声器120A和120B(其可以被安装在镜腿122A和122B上，并分别位于用户的左耳和右耳附近)；一个或多个传感器，例如红外传感器、加速度计、GPS单元，惯性测量单元(IMU，例如，IMU 126)、声学传感器(例如，麦克风150)；正交线圈电磁接收器(例如，被示出为安装到左镜腿122A的接收器127)；背离用户定向的左和右相机(例如，深度(飞行时间)相机130A和130B)；以及朝向用户定向的左眼和右眼相机(例如，用于检测用户的眼睛运动)(例如，眼睛相机128A和128B)。然而，在不脱离本公开的范围的情况下，可穿戴式头部装置100可以并入任何合适的显示技术以及传感器或其他组件的任何合适的数量、类型或组合。在一些示例中，可穿戴式头部装置100可以并入一个或多个麦克风150，该麦克风150被配置为检测由用户的语音产生的音频信号；这样的麦克风可以放置为与用户的嘴相邻。在一些示例中，可穿戴式头部装置100可以并入联网特征(例如，Wi
‑
Fi功能)以与包括其他可穿戴系统的其他装置和系统通信。可穿戴式头部装置100还可以包括诸如电池、处理器、存储器、存储单元或各种输入装置(例如，按钮、触摸板)的组件；或者可以被耦接到包括一个或多个这样的组件的手持式控制器(例如，手持式控制器200)或辅助单元(例如，辅助单元300)。在一些示例中，传感器可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种向可穿戴头部装置的用户呈现音频信号的方法，所述方法包括：识别与所述音频信号对应的源位置；确定与所述音频信号对应的声轴；确定参考点；对于所述用户的相应左耳和右耳中的每一个：确定所述声轴与相应耳朵之间的角度；确定虚拟扬声器阵列中与所述源位置和所述相应耳朵的位置基本上共线的虚拟扬声器位置，其中所述虚拟扬声器阵列包括多个虚拟扬声器位置，所述多个虚拟扬声器位置中的每个虚拟扬声器位置位于与所述参考点同心的球体的表面上，所述球体具有第一半径；确定与所述虚拟扬声器位置对应并与所述相应耳朵对应的头相关传递函数(HRTF)；基于所确定的角度来确定源辐射滤波器；处理所述音频信号以针对所述相应耳朵生成输出音频信号，其中处理所述音频信号包括将所述HRTF和所述源辐射滤波器应用于所述音频信号；基于所述源位置与所述相应耳朵之间的距离来衰减所述音频信号，其中，所述距离被箝制到最小值；以及经由与所述可穿戴头部装置相关联的一个或多个扬声器向所述用户的所述相应耳朵呈现所述输出音频信号，其中，确定所述参考点包括：基于所述可穿戴头部装置的传感器来确定所述可穿戴头部装置的位置，以及基于所述可穿戴头部装置与所述用户的头部之间的空间关系，将变换应用于所述可穿戴头部装置的所确定的位置。2.根据权利要求1所述的方法，其中，所述源位置与所述参考点分开小于所述第一半径的距离。3.根据权利要求1所述的方法，其中，所述源位置与所述参考点分开大于所述第一半径的距离。4.根据权利要求1所述的方法，其中，所述源位置与所述参考点分开等于所述第一半径的距离。5.根据权利要求1所述的方法，还包括：将耳间时间差应用于所述音频信号。6.根据权利要求1所述的方法，其中，确定与所述虚拟扬声器位置对应的所述HRTF包括从多个HRTF中选择所述HRTF，其中所述多个HRTF中的每个HRTF描述收听者与音频源之间的关系，所述音频源与所述收听者分开基本上等于所述第一半径的距离。7.根据权利要求1所述的方法，其中，所述可穿戴头部装置包括所述一个或多个扬声器。8.一种系统，包括：可穿戴头部装置；一个或多个扬声器；以及一个或多个处理器，其被配置为执行一种方法，所述方法包括：识别与音频信号对应的源位置；确定与所述音频信号对应的声轴；
确定参考点；对于所述可穿戴头部装置的用户的相应左耳和右耳中的每一个：确定所述声轴与相应耳朵之间的角度；确定虚拟扬声器阵列中与所述源位置和所述相应耳朵的位置基本上共线的虚拟扬声器位置，其中所述虚拟扬声器阵列包括多个虚拟扬声器位置，所述多个虚拟扬声器位置中的每个虚拟扬声器位置位于与所述参考点同心的球体的表面上，所述球体具有第一半径；确定与所述虚拟扬声器位置对应并与所述相应耳朵对应的头相关传递函数(HRTF)；基于所确定的角度来确定源辐射滤波器；处理所述音频信号以针对所述相应耳朵生成输出音频信号，其中处理所述音频信号包括将所述HRTF和所述源辐射滤波器应用于所述音频信号；基于所述源位置与所述相应耳朵之间的距离来衰减所述音频信号，其中，所述距离被箝制到最小值；以及经由所述一个或多个扬声器向所述用户的所述相应耳朵呈现所述输出音频信号，其中，确定所述参考点包括：基于所述可穿戴头部装置的传感器...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：