使用元数据处理的耳机的双耳呈现制造技术

描述了对于呈现音频以供通过耳机回放的方法的实施例，所述方法包括：接收数字音频内容，接收由对接收的数字音频内容进行处理的制作工具产生的双耳呈现元数据，接收由回放设备产生的回放元数据，以及组合双耳呈现元数据和回放元数据以优化数字音频内容通过耳机的回放。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2013年10月31日提交的美国临时专利申请No.61/898,365的优先权，该申请的全部内容特此通过引用并入。
一个或多个实现一般涉及音频信号处理，并且更具体地涉及用于耳机回放的基于声道和对象的音频的双耳呈现。
技术介绍
空间音频通过一对扬声器的虚拟呈现通常涉及立体声双耳信号的创建，所述立体声双耳信号表示到达收听者的左耳和右耳的期望声音，并且被合成以模拟可能包含在不同位置处的众多源的三维(3D)空间中的特定音频场景。对于通过耳机、而不是扬声器的回放，双耳处理或呈现可以被定义为一组信号处理操作，这些信号处理操作旨在通过仿真人类主体的自然空间收听线索来通过耳机再现声源的预期3D位置。双耳呈现器的典型的核心组件是头部相关滤波以再现方向相关的线索以及距离线索处理，这些可能涉及对真实的或虚拟的收听房间或环境的影响进行建模。目前的双耳呈现器的一个示例将基于声道的音频展现(presentation)中的5.1或7.1环绕的5或7个声道中的每一个处理为围绕收听者的2D空间中的5/7个虚拟声源。双耳再现也通常在游戏或游戏音频硬件中找到，在这种情况下，处理可以基于游戏中的单个音频对象的单个3D位置而被应用于这些音频对象。传统地，双耳呈现是应用于基于多声道或对象的音频内容的盲后处理的形式。双耳呈现中涉及的处理中的一些可能对内容的音色具有不期望的和负面的影响，诸如瞬态的平滑或者添加到对话或一些效果和音乐元素的过度的混响。随着耳机收听的重要性增长以及基于对象的内容(诸如AtmosTM系统)带来的附加的灵活性，存在更大的机会和需要使混合器在内容创建时创建和编码该双耳呈现元数据，例如，指示呈现器用不同的算法或不同的设置对内容的部分进行处理。目前的系统的特征不在于该能力，它们也不允许这样的元数据在编解码器中被作为附加的特定的耳机有效载荷输送。只要内容未被配置为与可以被即时提供给双耳呈现器的附加元数据一起在设备上被接收，目前的系统在流水线的回放端也未被优化。虽然实时头部跟踪先前已经被实现并且被显示出改进了双耳呈现，但是这一般阻止了其它特征，诸如自动化的连续头部大小感测和房间感测、以及将双耳呈现的质量改进得在基于耳机的回放系统中被有效地、高效率地实现的其它定制特征。因此，需要在回放设备上运行的将制作元数据与实时地局部地产生的元数据组合以当通过耳机收听基于声道和对象的音频时为终端用户提供最好的可能的体验的双耳呈现器。此外，对于基于声道的内容，一般要求艺术意图通过合并音频分段分析而被保留。背景部分中讨论的主题不应仅由于其在背景部分中被提及就被假定为是现有技术。类似地，背景部分中提及的或者与背景部分的主题相关联的问题不应被假定为先前在现有技术中就已经被认识到。背景部分中的主题仅代表不同的方法，这些方法本身也可以是专利技术。
技术实现思路
描述了关于在基于耳机的回放系统中虚拟呈现基于对象的音频内容并且改进均衡的系统和方法的实施例。实施例包括一种用于呈现音频以供通过耳机回放的方法，该方法包括：接收数字音频内容；接收由对接收的数字音频内容进行处理的制作工具产生的双耳呈现元数据；接收由回放设备产生的回放元数据；并且组合双耳呈现元数据和回放元数据以优化数字音频内容通过耳机的回放。数字音频内容可以包括基于声道的音频和基于对象的音频，基于对象的音频包括用于再现相应的声源在三维空间中相对于收听者的预期位置的位置信息。该方法还包括基于内容类型将数字音频内容分成一个或多个成分，并且其中，内容类型选自由以下项构成的组：对话、音乐、音效、瞬态信号以及周围环境信号。双耳呈现元数据控制多个声道和对象特性，包括：位置、大小、增益调整以及内容相关的设置或处理预设；回放元数据控制多个收听者特定特性，包括头部位置、头部朝向、头部大小、收听房间噪声水平、收听房间性质以及回放设备或屏幕相对于收听者的位置。该方法还可以包括接收修改双耳呈现元数据的一个或多个用户输入命令，这些用户输入命令控制一个或多个特性，包括：提升强调，其中，提升的对象和声道可以接收增益提高；用于对象或声道定位的优选1D(一维)声音半径或3D缩放因子；以及处理模式启用(例如，以在传统立体声或内容的全处理之间切换)。回放元数据可以响应于由容纳多个传感器的使能(enabled)耳麦提供的传感器数据而产生，所述使能耳麦构成回放设备的一部分。该方法还可以包括：例如通过内容类型将输入音频分为单独的子信号，或者将(基于声道的和基于对象的)输入音频去混合为组成的直接内容和扩散内容，其中，扩散内容包括混响的或反射的声音元素；并且独立地对单独的子信号执行双耳呈现。实施例还涉及一种用于通过以下步骤呈现音频以供通过耳机回放的方法：接收决定内容元素如何通过耳机呈现的内容相关元数据；从耦合到耳机的回放设备和包括耳机的使能耳麦中的至少一个接收传感器数据；并且利用传感器数据修改内容相关元数据以相对于一个或多个回放特性和用户特性优化呈现的音频。内容相关元数据可以由内容创建者操作的制作工具产生，并且其中，内容相关元数据决定包含音频声道和音频对象的音频信号的呈现。内容相关元数据控制选自由以下项构成的组的多个声道和对象特性：位置、大小、增益调整、提升强调、立体声/全切换、3D缩放因子、内容相关设置、以及呈现的声场的其它的空间和音色性质。该方法还可以包括将传感器数据格式化为与内容相关元数据兼容的元数据格式以生成回放元数据。回放元数据控制选自由以下项构成的组的多个收听者特定特性：头部位置、头部朝向、头部大小、收听房间噪声水平、收听房间性质以及声源设备位置。在实施例中，元数据格式包括容器，该容器包括符合定义的语法的一个或多个有效载荷分组，并且对相应的音频内容元素的数字音频定义进行编码。该方法还可以包括将组合的回放元数据和内容相关元数据与源音频内容一起编码为用于在呈现系统中处理的比特流；并且对编码的比特流进行解码以提取从内容相关元数据和回放元数据得到的一个或多个参数以产生修改用于通过耳机回放的源音频内容的控制信号。所述方法还可以包括在通过耳机回放之前对源音频内容执行一个个或多个后处理功能；其中，后处理功能包括以下中的至少一个：从多个环绕声声道到双耳混合或立体声混合之一的下混、水平管理、均衡、音色校正以及噪声消除。实施例进一步涉及执行或实施执行或实现上述方法等的处理命本文档来自技高网...

【技术保护点】
一种用于呈现音频以供通过耳机回放的方法，包括：接收数字音频内容；接收由对接收的数字音频内容进行处理的制作工具产生的双耳呈现元数据；接收由回放设备产生的回放元数据；以及响应于所述双耳呈现元数据和回放元数据的组合以优化所述数字音频内容通过耳机的回放来呈现所述数字音频内容。

【技术特征摘要】
【国外来华专利技术】2013.10.31 US 61/898,3651.一种用于呈现音频以供通过耳机回放的方法，包括：
接收数字音频内容；
接收由对接收的数字音频内容进行处理的制作工具产生的双耳呈
现元数据；
接收由回放设备产生的回放元数据；以及
响应于所述双耳呈现元数据和回放元数据的组合以优化所述数字
音频内容通过耳机的回放来呈现所述数字音频内容。
2.根据权利要求1所述的方法，其中，所述数字音频内容包括基
于声道的音频和基于对象的音频，所述基于声道的音频和基于对象的
音频包括用于再现相应的声源在三维空间中相对于收听者的预期位置
的空间线索。
3.根据权利要求1-2中的任何一项所述的方法，还包括基于内容
类型将所述数字音频内容分成一个或多个成分，并且其中，所述内容
类型选自由以下项构成的组：对话、音乐、音效、瞬态信号以及周围
环境信号。
4.根据权利要求1-3中的任何一项所述的方法，其中，所述双耳
呈现元数据控制选自由以下项构成的组的多个声道和对象特性：位置、
大小、增益调整、提升强调、立体声/全切换、3D缩放因子、空间和
音色性质、以及内容相关设置。
5.根据权利要求4所述的方法，其中，所述内容相关设置包括以
下中的至少一个：指示立体声而不是双耳呈现的旁路标志、指示耳间
时间差线索对于定位的专用的旁路标志；用于低频管理的交叉点、以
及直接/混响房间建模。
6.根据权利要求1-5中的任何一项所述的方法，其中，所述回放
元数据控制选自由以下项构成的组的多个收听者特定的特性：头部位
置、头部朝向、头部大小、收听房间噪声水平、收听房间性质、以及
声源设备位置。
7.根据权利要求1-6中的任何一项所述的方法，还包括修改所述
双耳呈现元数据的一个或多个用户输入命令，所述用户输入命令控制
选自由以下项构成的组的一个或多个特性：提升强调、优选声音半径、
以及双耳模型启用。
8.根据权利要求1-7中的任何一项所述的方法，其中，所述回放
元数据响应于由容纳多个传感器的使能耳麦提供的传感器数据而产
生，所述使能耳麦构成所述回放设备的一部分。
9.根据权利要求8所述的方法，其中，所述多个传感器包括以下
中的至少一个：测距传感器、头部大小传感器、陀螺仪传感器、内部
麦克风、以及外部麦克风。
10.根据权利要求1-9中的任何一项所述的方法，其中，所述耳
机通过有线或无线链路耦合到所述回放设备，所述回放设备获取所述
数字音频内容，并且包括提供音频位置线索的一个或多个传感器。
11.根据权利要求1-10中的任何一项所述的方法，其中，所述回
放设备是选自由以下项构成的组的便携式电子设备：音频播放器、视
频游戏播放器、移动电话、便携式计算机、以及平板计算机。
12.根据权利要求2所述的方法，还包括将所述基于声道的音频
和基于对象的音频中的至少一个去混合为组成的直接内容和扩散内
容，其中，所述扩散内容包括混响的或反射的声音元素。
13.根据权利要求12所述的方法，还包括与对所述扩散内容的双
耳呈现分开地对所述直接内容执行双耳呈现。
14.根据权利要求13所述的方法，还包括对所述双耳呈现的直接
或扩散内容执行动态音色均衡或耳机均衡中的至少一个。
15.根据权利要求1-14中的任何一项所述的方法，其中，所述回
放元数据由呈现组件利用一个或多个对象信号在三维空间中相对于收
听者的期望位置的头部相关传递函数(HRTF)产生。
16.根据权利要求1-15中的任何一项所述的方法，还包括通过统
计处理来执行内容分类，所述统计处理测量一组对象内的最主导的对
象或者单个对象随着时间的内容类型概率。
17.根据权利要求2所述的方法，其中，数字音频内容包括被配
置用于在环绕系统中回放的旧有多声道内容，所述环绕系统包括以定
义的环绕声配置而设置的扬声器阵列，并且其中，所述旧有内容的固
定声道位置包括所述一个或多个对象信号的相应的对象。
18.根据权利要求17所述的方法，还包括在编码器中对所述旧有
多声道内容和基于对象的音频进行处理，所述编码器包括产生双耳呈
现元数据的耳机仿真组件。
19.一种用于呈现音频以供通过耳机回放的方法，包括：
接收决定内容元素如何通过耳机呈现的内容相关元数据；
从耦合到所述耳机的回放设备和包括所述耳机的使能耳麦中的至
少一个接收传感器数据；以及
响应于所述内容相关元数据来呈现音频内容，所述内容相关元数
据被传感器数据修改以相对于一个或多个回放特性和用户特性优化呈

\t现的音频。
20.根据权利要求19所述的方法，其中，所述传感器数据从选自...

【专利技术属性】
技术研发人员：N·R·茨恩高斯，R·威尔森，S·布哈里特卡，C·P·布朗，A·J·希菲尔德，R·奥德弗雷伊，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US