使用元数据处理的耳机的双耳呈现制造技术

技术编号:19267293 阅读:25 留言:0更新日期:2018-10-27 04:30
本发明专利技术公开了使用元数据处理的耳机的双耳呈现。描述了对于呈现音频以供通过耳机回放的方法的实施例,所述方法包括:接收数字音频内容,接收由对接收的数字音频内容进行处理的制作工具产生的双耳呈现元数据,接收由回放设备产生的回放元数据,以及组合双耳呈现元数据和回放元数据以优化数字音频内容通过耳机的回放。

【技术实现步骤摘要】
使用元数据处理的耳机的双耳呈现本申请是基于申请号为201480060042.2、申请日为2014年10月28日、专利技术名称为“使用元数据处理的耳机的双耳呈现”的专利申请的分案申请。相关申请的交叉引用本申请要求2013年10月31日提交的美国临时专利申请No.61/898,365的优先权,该申请的全部内容特此通过引用并入。
一个或多个实现一般涉及音频信号处理,并且更具体地涉及用于耳机回放的基于声道和对象的音频的双耳呈现。
技术介绍
空间音频通过一对扬声器的虚拟呈现通常涉及立体声双耳信号的创建,所述立体声双耳信号表示到达收听者的左耳和右耳的期望声音,并且被合成以模拟可能包含在不同位置处的众多源的三维(3D)空间中的特定音频场景。对于通过耳机、而不是扬声器的回放,双耳处理或呈现可以被定义为一组信号处理操作,这些信号处理操作旨在通过仿真人类主体的自然空间收听线索来通过耳机再现声源的预期3D位置。双耳呈现器的典型的核心组件是头部相关滤波以再现方向相关的线索以及距离线索处理,这些可能涉及对真实的或虚拟的收听房间或环境的影响进行建模。目前的双耳呈现器的一个示例将基于声道的音频展现(presentation)中的5.1或7.1环绕的5或7个声道中的每一个处理为围绕收听者的2D空间中的5/7个虚拟声源。双耳再现也通常在游戏或游戏音频硬件中找到,在这种情况下,处理可以基于游戏中的单个音频对象的单个3D位置而被应用于这些音频对象。传统地,双耳呈现是应用于基于多声道或对象的音频内容的盲后处理的形式。双耳呈现中涉及的处理中的一些可能对内容的音色具有不期望的和负面的影响,诸如瞬态的平滑或者添加到对话或一些效果和音乐元素的过度的混响。随着耳机收听的重要性增长以及基于对象的内容(诸如AtmosTM系统)带来的附加的灵活性,存在更大的机会和需要使混合器在内容创建时创建和编码该双耳呈现元数据,例如,指示呈现器用不同的算法或不同的设置对内容的部分进行处理。目前的系统的特征不在于该能力,它们也不允许这样的元数据在编解码器中被作为附加的特定的耳机有效载荷输送。只要内容未被配置为与可以被即时提供给双耳呈现器的附加元数据一起在设备上被接收,目前的系统在流水线的回放端也未被优化。虽然实时头部跟踪先前已经被实现并且被显示出改进了双耳呈现,但是这一般阻止了其它特征,诸如自动化的连续头部大小感测和房间感测、以及将双耳呈现的质量改进得在基于耳机的回放系统中被有效地、高效率地实现的其它定制特征。因此,需要在回放设备上运行的将制作元数据与实时地局部地产生的元数据组合以当通过耳机收听基于声道和对象的音频时为终端用户提供最好的可能的体验的双耳呈现器。此外,对于基于声道的内容,一般要求艺术意图通过合并音频分段分析而被保留。背景部分中讨论的主题不应仅由于其在背景部分中被提及就被假定为是现有技术。类似地,背景部分中提及的或者与背景部分的主题相关联的问题不应被假定为先前在现有技术中就已经被认识到。背景部分中的主题仅代表不同的方法,这些方法本身也可以是专利技术。
技术实现思路
描述了关于在基于耳机的回放系统中虚拟呈现基于对象的音频内容并且改进均衡的系统和方法的实施例。实施例包括一种用于呈现音频以供通过耳机回放的方法,该方法包括:接收数字音频内容;接收由对接收的数字音频内容进行处理的制作工具产生的双耳呈现元数据;接收由回放设备产生的回放元数据;并且组合双耳呈现元数据和回放元数据以优化数字音频内容通过耳机的回放。数字音频内容可以包括基于声道的音频和基于对象的音频,基于对象的音频包括用于再现相应的声源在三维空间中相对于收听者的预期位置的位置信息。该方法还包括基于内容类型将数字音频内容分成一个或多个成分,并且其中,内容类型选自由以下项构成的组:对话、音乐、音效、瞬态信号以及周围环境信号。双耳呈现元数据控制多个声道和对象特性,包括:位置、大小、增益调整以及内容相关的设置或处理预设;回放元数据控制多个收听者特定特性,包括头部位置、头部朝向、头部大小、收听房间噪声水平、收听房间性质以及回放设备或屏幕相对于收听者的位置。该方法还可以包括接收修改双耳呈现元数据的一个或多个用户输入命令,这些用户输入命令控制一个或多个特性,包括:提升强调,其中,提升的对象和声道可以接收增益提高;用于对象或声道定位的优选1D(一维)声音半径或3D缩放因子;以及处理模式启用(例如,以在传统立体声或内容的全处理之间切换)。回放元数据可以响应于由容纳多个传感器的使能(enabled)耳麦提供的传感器数据而产生,所述使能耳麦构成回放设备的一部分。该方法还可以包括:例如通过内容类型将输入音频分为单独的子信号,或者将(基于声道的和基于对象的)输入音频去混合为组成的直接内容和扩散内容,其中,扩散内容包括混响的或反射的声音元素;并且独立地对单独的子信号执行双耳呈现。实施例还涉及一种用于通过以下步骤呈现音频以供通过耳机回放的方法:接收决定内容元素如何通过耳机呈现的内容相关元数据;从耦合到耳机的回放设备和包括耳机的使能耳麦中的至少一个接收传感器数据;并且利用传感器数据修改内容相关元数据以相对于一个或多个回放特性和用户特性优化呈现的音频。内容相关元数据可以由内容创建者操作的制作工具产生,并且其中,内容相关元数据决定包含音频声道和音频对象的音频信号的呈现。内容相关元数据控制选自由以下项构成的组的多个声道和对象特性:位置、大小、增益调整、提升强调、立体声/全切换、3D缩放因子、内容相关设置、以及呈现的声场的其它的空间和音色性质。该方法还可以包括将传感器数据格式化为与内容相关元数据兼容的元数据格式以生成回放元数据。回放元数据控制选自由以下项构成的组的多个收听者特定特性:头部位置、头部朝向、头部大小、收听房间噪声水平、收听房间性质以及声源设备位置。在实施例中,元数据格式包括容器,该容器包括符合定义的语法的一个或多个有效载荷分组,并且对相应的音频内容元素的数字音频定义进行编码。该方法还可以包括将组合的回放元数据和内容相关元数据与源音频内容一起编码为用于在呈现系统中处理的比特流;并且对编码的比特流进行解码以提取从内容相关元数据和回放元数据得到的一个或多个参数以产生修改用于通过耳机回放的源音频内容的控制信号。所述方法还可以包括在通过耳机回放之前对源音频内容执行一个个或多个后处理功能;其中,后处理功能包括以下中的至少一个:从多个环绕声声道到双耳混合或立体声混合之一的下混、水平管理、均衡、音色校正以及噪声消除。实施例进一步涉及执行或实施执行或实现上述方法等的处理命令的系统和制造品。通过引用合并本说明书中提及的每个出版物、专利和/或专利申请的全部内容通过引用并入本文,达到如同每一个出版物和/或专利申请被明确地分别地指示被通过引用并入一样的程度。附图说明在下面的附图中,相似的标号用于指代相似的元件。尽管下面的图描绘了各种例子,但是所述一个或多个实现不限于这些图中描绘的例子。图1示出一些实施例下的合并内容创建、呈现和回放系统的实施例的总系统。图2A是实施例下的在基于对象的耳机呈现系统中使用的制作工具的框图。图2B是替代实施例下的在基于对象的耳机呈现系统中使用的制作工具的框图。图3A是实施例下的在基于对象的耳机呈现系统中使用的呈现组件的框图。图3B是替代实本文档来自技高网
...

【技术保护点】
1.一种由音频信号处理设备执行的、用于产生数字音频内容的双耳呈现以供通过耳机回放的方法,所述方法包括:接收编码的信号,所述编码的信号包括数字音频内容和呈现元数据,其中,所述数字音频内容包括多个音频对象信号;接收回放控制元数据,所述回放控制元数据包括本地设置信息;对所述编码的信号进行解码以获得所述多个音频对象信号;以及响应于所述多个音频对象信号、呈现元数据以及回放控制元数据来产生所述数字音频内容的双耳呈现;其中,所述呈现元数据对于每个音频对象信号指示位置、增益以及是否要响应于屏幕大小信息对所述音频对象信号进行重新映射的指示;其中,所述本地设置信息包括本地屏幕大小信息;其中,当所述呈现元数据对于音频对象信号指示不响应于屏幕大小信息对所述音频对象信号进行重新映射时,产生所述数字音频内容的双耳呈现包括对于所述音频对象信号忽略本地屏幕大小信息;并且其中,当所述呈现元数据对于音频对象信号指示要响应于屏幕大小信息对所述音频对象信号进行重新映射时,产生所述数字音频内容的双耳呈现包括对于所述音频对象信号响应于本地屏幕大小信息对所述音频对象信号进行重新映射。

【技术特征摘要】
2013.10.31 US 61/898,3651.一种由音频信号处理设备执行的、用于产生数字音频内容的双耳呈现以供通过耳机回放的方法,所述方法包括:接收编码的信号,所述编码的信号包括数字音频内容和呈现元数据,其中,所述数字音频内容包括多个音频对象信号;接收回放控制元数据,所述回放控制元数据包括本地设置信息;对所述编码的信号进行解码以获得所述多个音频对象信号;以及响应于所述多个音频对象信号、呈现元数据以及回放控制元数据来产生所述数字音频内容的双耳呈现;其中,所述呈现元数据对于每个音频对象信号指示位置、增益以及是否要响应于屏幕大小信息对所述音频对象信号进行重新映射的指示;其中,所述本地设置信息包括本地屏幕大小信息;其中,当所述呈现元数据对于音频对象信号指示不响应于屏幕大小信息对所述音频对象信号进行重新映射时,产生所述数字音频内容的双耳呈现包括对于所述音频对象信号忽略本地屏幕大小信息;并且其中,当所述呈现元数据对于音频对象信号指示要响应于屏幕大小信息对所述音频对象信号进行重新映射时,产生所述数字音频内容的双耳呈现包括对于所述音频对象信号响应于本地屏幕大小信息对所述音频对象信号进行重新映射。2.根据权利要求1所述的方法,其中,所述回放控制元数据还包括房间模型元数据。3.根据权利要求2所述的方法,其中,所述房间模型元数据包括频率相关的混响时间。4.根据权利要求2所述的方法,其中,所述房间模型元数据包括对特定房间响应进行建模的滤波器。5.根据权利要求1所述的方法,其中,所述呈现元数据对于每个对象音频信号还包括宽度的指示。6.根据权利要求1-5中的任何一项所述的方法,其中,所述数字音频内容还包括多个声道音频信号。7.根据权利要求6所述的方法,其中,所述呈现元数据对于每个声道音频信号还包括对于所述声道音频信号是否要使用立体声呈现而不是双耳呈现的指示。8.根据权利要求7所述的方法,其中,当所述呈现元数据指示对于声道音频信号要使用立体声呈现时,产生所述数字音频内容的双耳呈现包括产生所述声道音频信号的立体声呈现。9.根据权利要求6所述的方法,其中,所述呈现元数据对于每个声道音频信号还包括所述声道音频信号的位置的指示。10.根据权利要求9所述的方法,其中,所述声道音频信号的位置由声道标识符指示。11.根据权利要求1-5中的任何一项所述的方法,其中...

【专利技术属性】
技术研发人员:N·R·茨恩高斯R·威尔森S·布哈里特卡C·P·布朗A·J·希菲尔德R·奥德弗雷伊
申请(专利权)人:杜比实验室特许公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1