上混合基于对象的音频制造技术

在一些实施方式中，提出了一种对指示音频源的轨迹的基于对象的音频节目进行呈现的方法，包括通过生成如下扬声器馈给：其用于驱动扩音器发出意图被感知为从该源发出的声音，但是该源具有与该节目所指示的轨迹不同的轨迹。在其他实施方式中，提出了如下方法，其用于对指示全容积的子空间中的音频对象的轨迹的基于对象的音频节目进行修改（上混合），以确定指示该对象的经修改轨迹的经修改节目，从而使得该经修改轨迹的至少一部分在该子空间外。其他方面包括被配置成执行本发明专利技术的方法的任意实施方式的系统，以及存储用于实施本发明专利技术的方法的任意实施方式的代码的计算可读介质。

【技术实现步骤摘要】
【国外来华专利技术】上混合基于对象的音频相关申请的交叉引用本申请要求2011年7月I日提交的美国临时申请N0.61/504，005和2012年4月20日提交的美国临时申请N0.61/635，930的优先权，出于所有目的，其全部内容通过引用合并到本文中。
本专利技术涉及以下系统和方法:其用于对基于对象的音频(S卩，表示基于对象的音频节目的音频数据)进行上混合(或以其他方式修改由基于对象的音频确定的音频对象轨迹)以生成经修改数据(即，表示音频节目的经修改版本的数据)，根据经修改数据可以生成多个扬声器馈给。在一些实施方式中，本专利技术是以下系统和方法:其用于对基于对象的音频进行呈现，包括通过对基于对象的音频执行上混合，以生成用于驱动扩音器组的扬声器馈给。
技术介绍
常规的基于声道的音频编码器通常在以下假设下工作:通过相对于收听者的预定位置处的扩音器阵列再现(通过编码器输出的)每个音频节目。节目的每个声道为扬声器声道。该音频编码类型通常被称为基于声道的音频编码。另一类型的音频编码器(称为基于对象的音频编码器)实施被称为音频对象编码(或基于对象的编码)的替代类型的音频编码，并且在以下假设下工作:可以通过大量不同扩音器阵列中的任何扩音器阵列来呈现(通过编码器输出的)每个音频节目以用于再现。通过这种编码器输出的每个音频节目是基于对象的音频节目，通常这种基于对象的音频节目的每个声道是对象声道。在音频对象编码中，与各个声源(音频对象)相关联的各音频信号被作为单独的音频流输入至编码器。音频对象的示例包括(但不限于)对话声轨、单一乐器以及喷气式飞机。每个音频对象与空间参数相关联，空间参数可以包括(但不限于)源位置、源宽度以及源速度和/或源轨迹。对音频对象和相关联的参数进行编码以便分发和存储。作为音频节目回放的一部分，在音频存储和/或分发链的接收端进行最终的音频对象混合和呈现。音频对象混合和呈现的步骤通常基于对用于再现节目的多个扩音器的实际位置的了解。通常，在生成基于对象的音频节目期间，内容创建者通过将元数据包含在节目中来嵌入混音的空间意图(例如，节目的每个对象声道所确定的每个音频对象的轨迹)。元数据可以指示由节目的每个对象声道确定的每个音频对象的位置或轨迹，和/或以下至少之一:每个这种对象的大小、速度、类型(例如，对话或者音乐)以及其他特征。在对基于对象的音频节目进行呈现的过程中，可以通过生成指示声道的内容的扬声器馈给并且向扩音器组施加扬声器馈给(其中，在任何时刻，扩音器中的每个的物理位置可以与期望位置一致或可以不与期望位置一致)来呈现(“在”具有期望轨迹的随时间变换的位置)每个对象声道。用于扩音器组的扬声器馈给可以指示多个对象声道(或单个对象声道)的内容。呈现系统通常生成多个扬声器馈给以匹配具体再现系统的确切硬件配置(例如，家庭影院系统的扬声器配置，其中，呈现系统也是家庭影院系统的构成部分)。在基于对象的音频节目指示音频对象的轨迹的情况下，呈现系统通常会生成以下扬声器馈给:其用于驱动扩音器组发出意图被感知(并且通常会被感知)为从具有所述轨迹的音频对象发出的声音。例如，节目可以指示来自乐器(对象)的声音应从左到右摇移(pan)，并且呈现系统可以生成以下扬声器馈给:其用于驱动5.1扩音器阵列发出将被感知为从该阵列的L (左前)扬声器到该阵列的C (中前)扬声器然后到该阵列的R (右前)扬声器摇移的声音。本文中，(由基于对象的音频节目指示的)音频对象的“轨迹”广义地用于表示以下位置或多个位置(例如，作为时间的函数的位置):在节目的呈现期间从该位置发出的声音是意图被感知为发出的对象。因此，轨迹可以由单个固定点(或其他位置)构成，或者轨迹可以是位置序列，或者轨迹可以是作为时间的函数而变化的点(或其他位置)。然而，在本专利技术之前还不知道如何进行以下操作:通过生成用于驱动扩音器组的扬声器馈给来呈现基于对象的音频节目(其指示音频源的轨迹)以发出意图被感知为从源发出的声音，但是所述源的轨迹与节目所指示的轨迹不同。本专利技术的典型实施方式是呈现基于对象的音频节目(其指示音频源的轨迹)的方法和系统，包括通过有效地生成以下扬声器馈给:该扬声器馈给用于驱动扬声器组发出意图被感知为从源发出的声音，但是所述源的轨迹与节目所指示的轨迹不同(例如，所述源具有竖直平面中的轨迹、或者三维轨迹，而节目指示源的轨迹在水平平面中)。在采用基于声道的音频编码的系统中存在许多呈现音频节目的常规方法。例如，可以在对指示来自沿着全三维容积的子空间中的轨迹(例如，沿水平线的轨迹)移动的源的声音的音频节目(包括扬声器声道)进行呈现的过程中实施常规的上混合技术，以生成驱动位于该子空间外的扬声器的扬声器馈给。这种上混合技术基于包含在要呈现的节目中的相位信息和振幅信息，不管是意图对该信息进行编码(在该情况下，可以通过使用转向的矩阵编码/解码来实施上混合)还是将该信息自然地包含在节目的多个扬声器声道中(在该情况下，上混合为盲上混合)。因此，已经应用于包括扬声器声道的音频节目的常规的基于相位/振幅的上混合技术受到若干限制和障碍，包括以下:不管内容是否被矩阵编码，都在扬声器间产生大量的串扰；在盲上混合的情况下，以与视频不一致的方式摇移声音的风险大幅提高，而降低该风险的典型方式为仅对看起来是节目的非定向元素(通常为解相关元素)进行上混合；以及其经常通过以下方式产生失真:将控制逻辑限制为宽频带，经常使声音在再现期间崩溃；或者，应用产生独特声音的频带的空间拖尾(有时称为“漱效应(g ar g I i n geffect)”)的多带宽控制逻辑。即使以某种方式对基于对象的音频节目应用对包含扬声器声道的音频节目进行上混合(以生成具有比输入节目多的扬声器声道的上混合节目)的常规的基于相位/振幅的技术(以生成比可以从未经上混合的输入节目生成的更多扩音器的扬声器馈给)，这也会导致(经上混合的节目所指示的音频对象的)感知离散性的损失和/或会生成上述类型的失真。因此，需要用于改正上述缺陷的系统和相关方法。
技术实现思路
本专利技术的典型实施方式是用于呈现基于对象的音频节目(指示音频源的轨迹)的方法，包括通过生成用于驱动扬声器组发出意图被感知为从源发出的声音的扬声器馈给，但是该源的轨迹与节目所指示的轨迹不同(例如，源具有竖直平面中的轨迹或者三维轨迹，而节目指示水平平面中的源轨迹)。术语音频对象的“轨迹”(其由基于对象的音频节目指示)在本文中广义地用于表示以下位置或多个位置(例如，作为时间的函数的位置):在节目的呈现期间从该位置发出的声音是意图被感知为发出的对象。因此，轨迹可以由单个固定位置构成，或者轨迹可以是位置序列，或者轨迹可以是作为时间的函数而变化的点(或其他位置)。在一些实施方式中，本专利技术是用于呈现通过扩音器组回放的基于对象的音频节目的方法，其中该节目指示音频对象的轨迹，并且该轨迹在全三维容积的子空间中(例如，轨迹被限制在容积中的水平平面中，或者轨迹是容积中的水平线)。该方法包括以下步骤:(例如，通过修改指示轨迹的节目的坐标)来对节目进行修改以确定指示对象的经修改轨迹的经修改节目，其中经修改轨迹的至少一部分在该子空间的外部(例如，其中轨迹为水平线，经修改轨迹是包括该水平线的竖直平面中的路径)；和响应于经修改节目生成扬声器本文档来自技高网...

【技术保护点】
一种对用于通过扬声器组进行回放的基于对象的音频节目进行呈现的方法，其中，所述节目指示音频对象的轨迹，并且所述轨迹位于三维容积的子空间内，所述方法包括以下步骤：（a）对所述节目进行修改以确定指示所述对象的经修改轨迹的经修改节目，其中所述经修改轨迹的至少一部分在所述子空间外；以及（b）响应于所述经修改节目生成扬声器馈给，以使得所述扬声器馈给包括：用于驱动所述扬声器组中位置与所述子空间外的位置相对应的至少一个扬声器的至少一个馈给；以及用于驱动所述扬声器组中位置与所述子空间内的位置相对应的扬声器的馈给。

【技术特征摘要】
【国外来华专利技术】2011.07.01 US 61/504,005;2012.04.20 US 61/635,9301.一种对用于通过扬声器组进行回放的基于对象的音频节目进行呈现的方法，其中，所述节目指示音频对象的轨迹，并且所述轨迹位于三维容积的子空间内，所述方法包括以下步骤: Ca)对所述节目进行修改以确定指示所述对象的经修改轨迹的经修改节目，其中所述经修改轨迹的至少一部分在所述子空间外；以及 (b)响应于所述经修改节目生成扬声器馈给，以使得所述扬声器馈给包括:用于驱动所述扬声器组中位置与所述子空间外的位置相对应的至少一个扬声器的至少一个馈给；以及用于驱动所述扬声器组中位置与所述子空间内的位置相对应的扬声器的馈给。2.根据权利要求1所述的方法，其中，在步骤(b)中生成的所述扬声器馈给包括用于驱动所述扬声器组的所有扬声器的扬声器馈给。3.根据权利要求1所述的方法，其中，包括在所述节目中的元数据确定所述轨迹的坐标，并且步骤(a)包括修改所述坐标的步骤。4.根据权利要求1所述的方法，其中，所述扬声器组中的每个扬声器具有在回放系统中的已知位置，所述节目所指示的源位置序列限定所述轨迹，并且步骤(a)包括以下步骤: 针对所述源位置序列中的每个源位置，确定所述源位置与所述扬声器组中的每个扬声器的位置之间的距离；以及 针对所述源位置序列中的每个源位置，确定所述扬声器组的主要子组，所述主要子组由所述扬声器组中最接近所述源位置的每个扬声器组成。5.根据权利要求4所述的方法，其中，每个源位置的所述主要子组由所述扬声器组中这样的每个扬声器组成:所述扬声器在所述回放系统中的位置与所述轨迹被限定于的所述三维容积中的位置相对应，所述三维容积中的位置距所述源位置的距离在预定阈值内。6.根据权利要求4所述的方法，其中，所述方法包括以下步骤: 针对每个所述主要子组，确定包含所述主要子组的每个扬声器和所述主要子组的所述源位置但不包含所述扬声器组的其他扬声器的三维空间，其中步骤(b)包括以下步骤: 针对所述源位置序列中的每个源位置，生成用于驱动针对所述源位置的所述主要子组的每个扬声器的至少一个扬声器馈给，和用于驱动所述扬声器组的每个其他扬声器的至少一个其他扬声器馈给；以及 响应于针对所述每个源位置而生成的所述扬声器馈给，驱动所述扬声器组发出声音，所述声音意图被感知为由所述源从包含所述源位置的所述三维空间的特征点发出。7.根据权利要求4所述的方法，其中，所述方法包括以下步骤: 针对每个所述主要子组，确定包含所述主要子组的每个扬声器和所述主要子组的所述源位置但不包含所述扬声器组的其他扬声器的三维空间； 针对所述源位置序列中的每个源位置，对包含所述源位置的所述三维空间应用缩放参数以生成包含所述源位置的经缩放空间，其中步骤(b)包括以下步骤:针对所述源位置序列中的每个源位置，生成用于驱动针对所述源位置的所述主要子组的每个扬声器的至少一个扬声器馈给，和用于驱动所述扬声器组的每个其他扬声器的至少一个其他扬声器馈给；以及 响应于针对所述每个源位置生成的所述扬声器馈给，驱动所述扬声器组发出声音，所述声音意图被感知为由所述源从包含所述源位置的所述经缩放空间的特征点发出。8.根据权利要求7所述的方法，其中，对每个所述三维空间应用所述缩放参数包括:对所述三维空间的高度轴应用所述缩放参数。9.根据权利要求4所述的方法，其中，在步骤(b)中生成的所述扬声器馈给包括:用于驱动所述扬声器组中的所有扬声器的扬声器馈给。10.根据权利要求1所述的方法，其中，所述子空间是相对于预期收听者的第一高度角处的水平平面，并且步骤(b)包括以下步骤:生成用于所述组中位于相对于所述预期收听者的第二高度角处的扬声器的扬声器馈给，其中所述第二高度角与所述第一高度角不同。11.根据权利要求1所述的方法，其中，所述扬声器组中的每个扬声器具有在回放系统中的已知位置，所述扬声器组包括位于所述回放系统的第一空间中的位置处的第一子组的扬声器，所述位置与包含所述轨迹的所述子空间中的位置相对应，所述扬声器组还包括包含至少一个扬声器的第二子组，所述第二子组中的每个扬声器位于所述回放系统中与所述子空间外的位置相对应的位置，并且所述经修改轨迹包括: 所述第一空间中与所述轨迹的起点一致的起点， 所述第一空间中与所述轨迹的终点一致的终点，以及 与所述第二子组中的扬声器的位置相对应的至少一个中间点。12.根据权利要求1所述的方法，其中，所述扬声器组中的每个扬声器具有在回放系统中的已知位置，所述扬声器组包括位于所述回放系统的第一空间中的位置处的第一子组的扬声器，所述位置与包含所述轨迹的所述子空间中的位置相对应，所述扬声器组还包括包含至少一个扬声器的第二子组，所述第二子组中的每个扬声器位于所述回放系统中与所述子空间外的位置相对应的位置，并且所述方法包括以下步骤: 确定候选轨迹，所述候选轨迹包括:所述第一空间中与所述轨迹的起点一致的起点、所述第一空间中与所述轨迹的终点一致的终点、以及与所述第二子组中的扬声器的位置相对应的至少一个中间点；以及 通过对所述候选轨迹应用至少一个畸变系数来使所述候选轨迹畸变，从而确定畸变候选轨迹，其中所述畸变候选轨迹是所述经修改轨迹。13.根据权利要求12所述的方法，其中，每个所述中间点在所述第一空间上的投影定义所述第一空间中与所述中间点相对应的拐点，其中每个所述中间点与相应拐点之间的正交于所述第一空间的线是所述中间点的畸变轴，并且其中每个所述畸变系数的值指示沿一个所述中间点的所述畸变轴的位置。14.一种用于对指示音频对象的轨迹的基于对象的音频节目进行修改的方法，所述方法包括以下步骤: 对指示所述基于对象的音频节目的数据进行处理以生成指示经修改节目的数据，其中所述经修改节目是指示所述对象的经修改轨迹的音频节目，从而能够响应于所述经修改节目生成扬声器馈给。15.根据权利要求14所述的方法，其中，包括在所述基于对象的音频节目中的元数据确定所述轨迹的坐标，并且所述方法包括修改所述坐标的步骤。16.根据权利要求14所述的方法，还包括以下步骤: 响应于指示所述经修改节目的所述数据，生成用于驱动扬声器组的扬声器馈给。17.一种用于对指示音频对象的轨迹的基于对象的音频节目进行呈现的方法，所述方法包括以下步骤: 响应于所述音频节目，生成用于驱动具有已知位置的扬声器的扬声器馈给，以使得所述扬声器馈给将驱动所述扬声器发出声音，所述声音意图被感知为由与所述音频对象相对应但具有经修改轨迹的源发出，其中所述经修改轨迹与所述节目所指示的轨迹不同。18.根据权利要求17所述的方法，其中，所述扬声器馈给的生成通过生成适于驱动具有所述已知位置的畸变版本的扬声器的所述扬声器馈给，来实施对所述节目所确定的所述轨迹的隐式修改。19.根据权利要求17所述的方法，其中，包括在所述基于对象的音频节目中的元数据确定所述轨迹的坐标，并且所述方法包括修改所述坐标的步骤。20.根据权利要求17所述的方法，还包括以下步骤: 对指示所述基于对象的音频节目的数据进行处理以生成指示经修改节目的数据，其中所述经修改节目是指示具有所述经修改轨迹的对象的音频节目，并且其中响应于所述经修改节目生成所述扬声器馈给。21.一种用于对指示音频对象的轨迹的基于对象的音频节目进行上混合的方法，其中所述轨迹在全三维容积的子空间中，所述方法包括以下步骤: 对指示所述基于对象的音频节目的数据进行处理以生成指示经修改节目的数据，其中所述经修改节目是指示所述对象的经修改轨迹的音频节目，并且所述经修改轨迹的至少一部分在所述子空间外，从而能够响应于所述经修改节目生成扬声器馈给，所述扬声器馈给包括:用于驱动扬声器组中位置与所述子空间外的位置相对应的至少一个扬声器的至少一个馈给；以及用于驱动所述扬声器组中位置与所述子空间中的位置相对应的扬声器的馈5口 O22.根据权利要求21所述的方法，其中，包括在所述基于对象的音频节目中的元数据确定所述轨迹的坐标，并且所述方法包括修改所述坐标的步骤。23.根据权利要求21所述的方法，其中，所述基于对象的音频节目所指示的源位置序列定义所述轨迹，并且其中所述方法包括以下步骤: 针对所述源位置序列中的每个源位置，确定所述源位置与所述扬声器组中的每个扬声器的位置之间的距离；以及 针对所述源位置序列中的每个源位置，确定所述扬声器组的主要子组，所述主要子组由所述扬声器组中距所述源位置最近的每个扬声器组成。24.根据权利要求23所述的方法，其中，所述扬声器组中的每个扬声器具有在回放系统中的已知位置，并且针对每个源位置的所述主要子组由所述扬声器组中这样的每个扬声器组成:所述扬声器在所述回放系统中的位置与所述轨迹被限定于的所述三维容积中的位置相对应，所述三维容积中的位置距所述源位置的距离在预定阈值内。25.根据权利要求23所述的方法，其中，所述方法包括以下步骤: 针对每个所述主要子组，确定包含所述主要子组的每个扬声器和所述主要子组的所述源位置但不包含所述扬声器组的其他扬声器的三维空间； 响应于指示所述经修改节目的所述数据生成扬声器馈给，包括通过针对所述源位置序列中的每个源位置，生成用于驱动针对所述源位置的所述主要子组的每个扬声器的至少一个扬声器馈给，和用于驱动所述扬声器组的每个其他扬声器的至少一个其他扬声器馈给；响应于针对所述每个源位置生成的所述扬声器馈给，驱动所述扬声器组发出声音，所述声音意图被感知为由所述源从包含所述源位置的所述三维空间的特征点发出。26.根据权利要求23所述的方法，其中，所述方法包括以下步骤: 针对每个所述主要子组，确定包含所述主要子组的每个扬声器和所述主要子组的所述源位置但不包含所述扬声器组的其他扬声器的三维空间； 针对所述源位置序列中的每个源位置，对包含所述源位置的所述三维空间应用缩放参数以生成包含所述源位置的经缩放空间； 响应于指示所述经修改节目的所述数据生成扬声器馈给，包括通过针对所述源位置序列中的每个源位置，生成用于驱动针对所述源位置的所述主要子组的每个扬声器的至少一个扬声器馈给，和用于驱动所述扬声器组的每个其他扬声器的至少一个其他扬声器馈给；以及 响应于针对所述每个源位置生成的所述扬声器馈给，驱动所述扬声器组发出声音，所述声音意图被感知为由所述源从包含所述源位置的所述经缩放空间的特征点发出。27.根据权利要求26所述的方法，其中，对每个所述三维空间应用所述缩放参数包括:对所述三维空间的高度轴应用所述缩放参数。28.根据权利要求21所述的方法，其中，所述扬声器组中的每个扬声器具有在回放系统中的已知位置，所述扬声器组包括位于所述回放系统的第一空间中的位置处的第一子组的扬声器，所述位置与包含所述轨迹的所述子空间中的位置相对应，所述扬声器组还包括包含至少一个扬声器的第二子组，所述第二子组中的每个扬声器位于所述回放系统中与所述子空间外的位置相对应的位置，并且所述经修改轨迹包括: 所述第一空间中与所述轨迹的起点一致的起点， 所述第一空间中与所述轨迹的终点一致的终点，以及 与所述第二子组中的扬声器的位置相对应的至少一个中间点。29.根据权利要求21所述的方法，其中，所述扬声器组中的每个扬声器具有在回放系统中的已知位置，所述扬声器组包括位于所述回放系统的第一空间中的位置处的第一子组的扬声器，所述位置与包含所述轨迹的所述子空间中的位置相对应，所述扬声器组还包括包含至少一个扬声器的第二子组，所述第二子组中的每个扬声器位于所述回放系统中与所述子空间外的位置相对应的位置，并且所述方法包括以下步骤: 确定候选轨迹，所述候选轨迹包括:所述第一空间中与所述轨迹的起点一致的起点、所述第一空间中与所述轨迹的终点一致的终点、以及与所述第二子组中的扬声器的位置相对应的至少一个中间点；以及 通过对所述候选轨迹应用至少一个畸变系数使所述候选轨迹畸变，从而确定畸变候选轨迹，其中所述畸变候选轨迹是所述经修改轨迹。30.根据权利要求29所述的方法，其中，每个所述中间点在所述第一空间上的投影定义所述第一空间中与所述中间点相对应的拐点，其中每个所述中间点与相应拐点之间的正交于所述第一空间的线是所述中间点的畸变轴，并且其中每个所述畸变系数的值指示沿一个所述中间点的所述畸变轴的位置。31.根据权利要求21所述的方法，还包括以下步骤:响应于用于驱动扬声器组的所述经修改节目生成扬声器馈给，所述扬声器馈给包括用于驱动所述组中位置与所述子空间外的位置相对应的至少一个扬声器的扬声器馈给。32.一种对用于通过扬声器组进行回放的基于对象的音频节目进行呈现的系统，其中所述节目指示音频对象的轨迹，并且所述轨迹在三维容积的子空间中，所述系统包括: 上混合子系统，其被配置成对所述节目进行修改以确定指示所述对象的经修改轨迹的经修改节目，其中所述经修改轨迹的至少一部分在所述子空间外；以及 扬声器馈给子系统，其被耦合并且配置成响应于所述经修改节目生成扬声器馈给，以使得所述扬声器馈给包括:用于驱动所述扬声器组中位置与所述子空间外的位置相对应的至少一个扬声器的至少一个馈给，和用于驱...

【专利技术属性】
技术研发人员：克里斯托夫·夏巴纳，查尔斯·Q·鲁宾逊，
申请(专利权)人：杜比实验室特许公司，
类型：
国别省市：