基于呈现器意识感知差异的音频对象聚集制造技术

本文中揭示的实例实施例涉及基于呈现器意识感知差异的音频对象聚集。提供一种处理音频对象的方法。所述方法包含获得指示呈现器配置的呈现器相关信息。所述方法也包含基于所述获得的呈现器相关信息确定所述音频对象中的第一音频对象与第二音频对象之间相对于所述呈现器的呈现差异。所述方法进一步包含至少部分基于所述呈现差异而聚集所述音频对象。也揭示对应系统、装置和计算机程序产品。

Audio Object Aggregation Based on Presenter Awareness Difference

The example embodiments disclosed herein relate to audio object aggregation based on presenter awareness differences. Provides a method for processing audio objects. The method includes obtaining presenter-related information indicating the presenter configuration. The method also includes determining the presentation difference between the first audio object and the second audio object in the audio object relative to the presenter based on the obtained presenter-related information. The method further includes aggregating the audio objects based at least partially on the presentation differences. The corresponding systems, devices and computer program products are also disclosed.

【技术实现步骤摘要】
【国外来华专利技术】基于呈现器意识感知差异的音频对象聚集相关申请案的交叉参考本申请案要求2016年7月20日申请的第62/364,800号美国临时专利申请案、2016年7月20日申请的第16180310.1号EP专利申请案和2016年7月20日申请的第201610569473.2号CN专利申请案的优先权，所述案中的每一者的全部内容以引用的方式并入本文中。
本文中揭示的实例实施例大体上涉及基于对象的音频处理，且更具体来说，涉及一种用于基于呈现器意识感知差异的音频对象聚集的方法和系统。
技术介绍
传统地，通过在录音室中混合不同音频信号而创建或通过在真实环境中同时记录声音信号而产生多通道格式的音频内容(例如，立体声、5.1、7.1和类似物)。最近，基于对象的音频内容已经变得越来越受欢迎，因为其分开载送若干音频对象和音频床，使得与传统呈现方法相比，其呈现精度有了很大的改进。如本文中使用，术语“音频对象”或“对象”是指可存在于定义的持续时间内但也具有描述与对象相关的信息的相关联元数据(例如，空间位置、速度、内容类型、对象宽度、响度和类似物)的个别音频元件。如本文中使用，术语“音频床”或“床”是指意味着在预定义且固定的扬声器位置中重现的音频通道。例如，影院声道可包含对应于屏幕上的图像、对话、噪声和音效的许多不同声音元素，它们从屏幕上的不同位置发出且与背景音乐和环境效应组合以创建整个听觉体验。准确回放要求声音以尽可能与屏幕上展示的声源位置、强度、移动和深度相对应的方式重现。基于对象的音频系统代表对传统的基于通道的音频系统的重大改进，传统的基于通道的音频系统在倾听环境中以扬声器馈送的形式将音频内容发送到个别扬声器且因此相对于特定音频对象的空间回放是相对有限的。在传输基于对象的音频内容的期间，床和对象可分开发送且接着由空间重现系统使用以使用已知物理位置中的可变数量的扬声器重建艺术意图。在一些状况中，音频内容中可含有数十个或甚至数百个个别音频对象。基于对象的内容中的大量音频信号给与处理这些内容(例如，传输、分布、编码和存储这些内容)相关的各种方面带来了挑战。例如，在一些分布和传输系统中，传输容量可具备足够大带宽以可用于传输具有较少或不具有音频压缩的所有音频床和对象。但是，在某些情况中(例如经由蓝光光盘、广播(电缆、卫星和地面)、移动(3G、4G以及5G)或云上(OTT或因特网)进行分布)，可用带宽不足以传输关于音频混合器所创建的所有床和对象的信息。虽然音频编码方法(有损或无损)可应用于音频以减小所需带宽，但传输带宽通常仍是一个瓶颈，尤其对于具有非常有限带宽资源的网络(例如，3G、4G以和5G移动系统)。处理的其它方面(例如，编码和存储)也可需要高计算、传输和/或存储容量。因此，希望减少基于对象的内容(例如，音频对象)中的音频信号数量，以便减小计算复杂度、传输带宽要求和/或存储要求。
技术实现思路
本文中揭示的实例实施例提出用于基于呈现器意识感知差异的音频对象聚集的解决方案。在第一方面中，本文中揭示的实例实施例提供一种处理音频对象的方法。所述方法包含获得指示呈现器配置的呈现器相关信息。所述方法也包含基于所述获得的呈现器相关信息确定所述音频对象中的第一音频对象与第二音频对象之间相对于所述呈现器的呈现差异。所述方法进一步包含至少部分基于所述呈现差异而聚集所述音频对象。这方面的实施例进一步提供一种对应计算机程序产品。在第二方面中，本文中揭示的实例实施例提供一种用于处理音频对象的系统。所述系统包含经配置以获得指示呈现器配置的呈现器相关信息的信息获得单元。所述系统也包含经配置以基于所述获得的呈现器相关信息确定所述音频对象中的第一音频对象与第二音频对象之间相对于所述呈现器的呈现差异的差异确定单元。所述系统进一步包含经配置以至少部分基于所述呈现差异而聚集所述音频对象的聚集子系统。在第三方面中，本文中揭示的实例实施例提供一种用于处理音频对象的装置。所述装置包含处理单元和存储指令的存储器，当由所述处理单元执行所述指令时导致所述装置执行在所述第一方面中描述的方法的步骤。通过以下描述将明白本文中揭示的实例实施例所达到的其它优点。附图说明通过参考附图的以下详细描述，本文中揭示的实例实施例的上述和其它目标、特征和优点将变得更容易理解。在图式中，将以实例且非限制性方式说明本文中揭示的若干实例实施例，其中：图1A和1B是回放系统上的空间差异与呈现差异之间的可能失配的两个实例；图2是根据本文中揭示的实例实施例的用于处理音频对象的系统的框图；图3是根据本文中揭示的实例实施例的图2的系统中的差异确定单元的框图；图4是传统聚集子系统的框图；图5是根据本文中揭示的实例实施例的图2的系统中的聚集子系统的框图；图6是根据本文中揭示的实例实施例的处理音频对象的过程的流程图；及图7是适于实施本文中揭示的实例实施例的实例计算机系统的框图。贯穿图式，相同或对应参考符号是指相同或对应部分。具体实施方式现在将参考图式中说明的各种实例实施例来描述本文中揭示的实例实施例的原理。应了解，那些实施例的描绘仅为了确保所属领域的技术人员更好地理解且进一步实施本文中揭示的实例实施例且不意在以任何方式限制本文中揭示的范围。如本文中使用，术语“包含”和其变体应理解为意指“包含，但不限于”的开放式术语。除非上下文另外明确指示，否则术语“或”应理解为“和/或”。术语“基于”应理解为“至少部分基于”。术语“一个实例实施例”和“实例实施例”应理解为“至少一个实例实施例”。术语“另一实施例”应理解为“至少一个其它实施例”。术语“第一”、“第二”和类似物可指不同或相同对象。如本文中使用，术语“聚集”、“分组”或“组合”可互换地用于描述对象和/或床(通道)分配为“集群”或“集群信号”，以便减少用于在自适应音频回放系统中呈现的音频对象的量。如本文中使用，术语“呈现”或“淘选(panning)”可指将音频信号(例如，音频对象或集群信号)变换为用于特定回放系统的输出通道的馈送信号的过程。如本文中使用，术语“空间差异”是指两个音频对象之间的空间接近性或空间距离，这可基于音频对象的空间位置来确定。术语“呈现差异”是指两个音频对象相对于使用特定呈现方案的呈现器的呈现参数或呈现方式(行为)的差异。下文可包含其它定义(明确或隐含)。在典型的基于对象的音频信号处理框架中，为了减小计算复杂度、存储要求和/或传输带宽要求，通过聚集将音频内容中的输入音频对象和床的数量减少为一小组输出对象。在聚集期间，音频床可被视为音频对象。本质上，输入音频对象被组合成单个或更少的新的合并对象。输出对象也可被称为集群或集群信号。在许多使用情况中，可将输出对象递送到音频回放系统以用于呈现。音频对象聚集的目的是减少递送到回放系统的个别音频元素(床和对象)的数量，但仍保持足够空间信息，使得直接呈现输入音频对象与呈现输出集群信号之间的误差被减小或最小化。在许多常规聚集方法中将音频对象聚集成集群信号是基于音频对象的空间接近性。即，具有较小空间距离的音频对象被组合成一个集群，同时确保小的整体空间失真和/或保持整体感知。这个过程通常是有效的，只要音频内容中的所有感知相关对象的空间位置允许这种聚集具有合理小误差。但是，音频对象的空间距离并不始终反映回放系统上的音频对象在呈现之本文档来自技高网...

【技术保护点】
1.一种处理音频对象的方法，其包括：获得指示呈现器配置的呈现器相关信息；基于所述获得的呈现器相关信息确定所述音频对象中的第一音频对象与第二音频对象之间相对于所述呈现器的呈现差异；及至少部分基于所述呈现差异而聚集所述音频对象。

【技术特征摘要】
【国外来华专利技术】2016.07.20 EP 16180310.1;2016.07.20 US 62/364,800;1.一种处理音频对象的方法，其包括：获得指示呈现器配置的呈现器相关信息；基于所述获得的呈现器相关信息确定所述音频对象中的第一音频对象与第二音频对象之间相对于所述呈现器的呈现差异；及至少部分基于所述呈现差异而聚集所述音频对象。2.根据权利要求1所述的方法，其中所述呈现器相关信息指示所述呈现器的预定义呈现方案，且其中确定所述呈现差异包括：确定基于所述第一音频对象的所述预定义呈现方案的第一向量和基于所述第二音频对象的所述预定义呈现方案的第二向量；及基于所述第一向量且基于所述第二向量来确定所述呈现差异。3.根据权利要求2所述的方法，其中所述第一向量和所述第二向量表示用于呈现所述音频对象的所述呈现器的输入信号。4.根据权利要求2或3所述的方法，其中所述第一向量和所述第二向量的元素要么是对象到扬声器增益要么是滤波器系数。5.根据权利要求4所述的方法，其中所述滤波器系数是头部相关传递函数HRTF的滤波器系数。6.根据权利要求1所述的方法，其中所述呈现器包含扬声器呈现器，且所述呈现器相关信息指示指示不同位置处的扬声器的参考扬声器布局和所述扬声器呈现器的预定义呈现方案，且其中确定所述呈现差异包括：基于所述参考扬声器布局和所述预定义呈现方案确定所述第一音频对象的第一组对象到扬声器增益和所述第二音频对象的第二组对象到扬声器增益，对象到扬声器增益定义由所述扬声器呈现器基于所述预定义呈现方案呈现到所述扬声器中的一者的所述相应音频对象的比例；及基于所述第一和第二组对象到扬声器增益来确定所述呈现差异。7.根据权利要求6所述的方法，其中基于所述第一和第二组对象到扬声器增益来确定所述呈现差异包括：将所述呈现差异确定为与所述第一和第二组对象到扬声器增益之间的差异正相关。8.根据权利要求6或7中任一权利要求所述的方法，其中基于所述第一和第二组对象到扬声器增益来确定所述呈现差异进一步包括：识别包含所述扬声器中的至少一者的第一作用扬声器组，其用所述第一组中的非零对象到扬声器增益呈现所述第一音频对象；识别包含所述扬声器中的至少一者的第二作用扬声器组，其用所述第二组中的非零对象到扬声器增益呈现所述第二音频对象；及进一步基于确定所述第一和第二作用扬声器组中的一者是否覆盖所述第一和第二作用扬声器组中的另一者而确定所述呈现差异。9.根据权利要求1所述的方法，其中所述呈现器包含耳机呈现器且所述呈现器相关信息指示所述耳机呈现器的预定义呈现方案，且其中确定所述呈现差异包括：基于所述预定义呈现方案确定用于通过所述耳机呈现器呈现所述第一音频对象的第一滤波器和用于通过所述耳机呈现器呈现所述第二音频对象的第二滤波器；及基于所述第一滤波器和所述第二滤波器来确定所述呈现差异。10.根据权利要求9所述的方法，其中确定所述呈现差异进一步包括：进一步基于所述第一和第二音频对象的空间位置之间的角度差异来确定所述呈现差异。11.根据权利要求9或10中任一权利要求所述的方法，其中基于所述第一和第二滤波器来确定所述呈现差异进一步包括：基于所述第一滤波器的第一光谱和所述第二滤波器的第二光谱之间的差异来确定所述呈现差异。12.根据权利要求1到11中任一权利要求所述的...

【专利技术属性】
技术研发人员：陈联武，芦烈，D·J·布里巴尔特，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US