用于缩混多声道音频信号的设备和方法技术

在计算设备中执行一种用于处理多声道输入音频信号的方法。该方法包括以下步骤：从多声道输入音频信号中选择左输入声道和右输入声道，其中左输入声道和右输入声道对应于一对空间对称的信号源；从左输入声道和右输入声道生成一个或多个跨声道特征；根据跨声道特征处理左输入声道和右输入声道，以生成左中间声道和右中间声道；以及将左中间声道和右中间声道中的每一个都与多声道输入音频信号的第三输入声道合并，以形成双声道输出音频信号。

【技术实现步骤摘要】
【国外来华专利技术】用于缩混多声道音频信号的设备和方法
本申请一般地涉及音频信号处理，更具体地涉及用于缩混多声道音频信号的计算机实现的方法、装置和计算机可用程序代码。
技术介绍
环绕声是一种利用围绕收听者的多个音频声道生成、传输和回放音频的技术。它通常由多个离散的音频声道实现。5.1环绕声和7.1环绕声是多声道配置或环绕声配置的两种最普遍配置。5.1环绕声配置包括一对前置扬声器(L和R)、一个中央前置声道(C)、一对侧置扬声器(Ls和Rs)和一个低频效果声道(LFE)，常规顺序为L、C、R、Ls、Rs、LFE。7.1环绕声配置包括一对前置扬声器(L和R)、一个中央前置声道(C)、一对侧置环绕扬声器(Lss和Rss)、一对后置环绕扬声器(Lrs和Rrs)、和一个低频效果声道(LFE)，常规顺序为L、C、R、Lss、Rss、Lrs、Rrs和LFE。缩混是将具有多声道配置的节目(例如，多声道音频文件)转换为具有较少声道的节目的过程。例如，5.1环绕声文件或7.1环绕声文件可以被缩混，并用双声道立体声回放系统进行播放，同时向使用双声道立体声回放系统的收听者提供良好的收听体验。在常规的缩混处理中，用各自的处理器单独地并且分离地处理每一个多声道音频输入以生成单声道输出或双声道输出。每个声道上的处理都没有适当地考虑扬声器的配对之间的有意义信息。因此，使用这些常规的缩混处理获得的音频输出不够精确，有时会损害沉浸式聆听体验。
技术实现思路
本申请的目的在于开发一种成对地处理输入音频声道的音频缩混流水线。所得到的缩混输出具有更好的精度，同时保留所述原始多声道音频流的空间信息。虽然根据定义所述声道输入和输出的数目可以是任何有意义的数目，但是在以下的描述中使用从5.1到立体声的缩混和从7.1到立体声的缩混作为示例。根据本申请的第一方面，在计算设备中执行一种用于处理多声道输入音频信号的方法，该计算设备具有一个或多个处理器、存储器和存储在存储器中并由所述一个或多个处理器执行的多个程序模块。所述方法包括以下步骤：从所述多声道输入音频信号中选择左输入声道和右输入声道，其中所述左输入声道和所述右输入声道对应于一对空间对称的信号源；从所述左输入声道和所述右输入声道生成一个或多个跨声道特征；根据所述跨声道特征处理所述左输入声道和所述右输入声道，以生成左中间声道和右中间声道；以及将所述左中间声道和所述右中间声道中的每一个与所述多声道输入音频信号的第三输入声道合并，以形成双声道输出音频信号。根据本申请的另一方面，提供一种计算设备，包括：一个或多个处理器、存储器和存储在所述存储器中并由所述一个或多个处理器执行的多个程序模块。在由所述一个或多个处理器执行所述多个程序模块时，使所述计算设备执行上述用于处理多声道输入音频信号的方法。根据本申请的又一方面，提供一种存储在非暂时性计算机可读存储介质中的计算机程序产品，其与具有一个或多个处理器的计算设备相关联，所述计算机程序产品包括多个程序模块，所述多个程序模块由所述一个或多个处理器执行时，使所述计算设备执行上述用于处理多声道音频信号的方法。附图说明添加附图是为了提供对实施例的进一步理解，在此引入附图并构成说明书的一部分，其示出了所描述的实施例，并与说明书一起用于解释基本原理。相同的附图标记表示相应的部件。图1A是示出根据一些实施例对5.1输入信号执行的常规缩混处理的框图。图1B是示出根据一些实施例对5.1输入信号执行的常规LoRo缩混处理的框图。图1C是示出根据一些实施例来自7.1输入信号的环绕声虚拟化或空间化的常规缩混过程的框图。图2示出了根据本申请的一个说明性的实施例经配置执行音频缩混的数据处理系统的框图。图3A-3B是示出根据一些实施例处理多声道输入信号的音频缩混流水线的框图。图4A是示出根据一些实施例包括应用于输入对的PROC的信号工作流程的框图。图4B是示出根据一些实施例应用于7.1环绕声文件的信号工作流程的框图。图5示出了根据一些实施例软件应用程序的用户界面或软件应用程序的插件部件，其用于管理如参照图4B讨论的针对7.1环绕声文件的信号流水线的实现。图6A-6C是说明根据一些实施例缩混多声道音频信号的方法的流程图。具体实施方式现在，参照实施例进行详细描述，实施例的示例在附图中示出。在以下的详细描述中，阐述了许多非限制性的具体细节以帮助理解本申请提出的专利技术主题。但是，对于本领域普通技术人员来说，显而易见的是，在不脱离权利要求的范围的情况下可以使用各种替代方案，而且可以在没有这些具体细节的情况下实施该专利技术主题。例如，对于本领域普通技术人员来说，本文提出的专利技术主题可以在诸如智能手机和平板电脑的各种无线电通信系统上实现是显而易见的。现在参照附图提供数据处理环境的示例性框图，说明性实施例可以在这些数据处理环境中实现。应当理解，这些附图仅是示例性的，并非用来声明或暗示任何对可实现不同实施例的环境的限制。可以对所描绘的环境进行各种修改。图1A是说明对5.1输入信号执行的常规缩混处理的方框图。如图1A所示，每个输入声道(即，L、C、R、Ls、Rs和LFE)被分别处理并被发送到其各自的处理器模块(PROC)，而不考虑它与其他声道的关系。该处理器可以包括一个或多个子模块(未示出)，诸如增益、时间延迟、低通滤波器和/或其他音频处理模块。用于各个声道的每个处理模块的输出可以包括一个或多个声道，这取决于在该处理模块中实施处理的类型。最后，将这些输出相加(即Σ)，在本示例中，相加成为双声道音频(即L输出声道和R输出声道)。图1B是示出对5.1输入信号执行的常规的仅左或仅右(LoRo)缩混处理的框图。每个输入声道(即L、C、R、Ls、Rs和LFE)分别单独地通过增益模块。增益的调整取决于物理位置，就好像它是被环绕声系统再现一样。虽然环绕声道可能比L/R声道衰减得更多，但是左侧和右侧之间的关系被忽略了。通过将左侧的所有声道相加并加上被衰减的C信号和LFE信号，生成左声道输出。中置声道被分成两部分，因为在立体声再现设置中的中心线上没有物理扬声器。LFE也被分为两个声道。通过将右侧的所有声道相加并加上被衰减的C信号和LFE信号，生成右声道输出。在该示例中，每个输入声道由其单独的处理器进行分别处理，该处理器具有简单的增益模块，接收单声道输入并生成单声道输出或双声道输出。最后，基于该输入所期望的再现位置，将所有PROC输出相加。图1C是示出来自7.1输入信号的环绕声虚拟化或空间化的常规缩混处理的框图。在该示例中，除了其各自的增益之外，输入多声道音频的每个声道(即，L、C、R、Lss、Rss、Lrs、Rrs和LFE)还由各自物理扬声器的所期望位置的各自的头部相关传递函数(HRTF)处理，以生成双声道输出。例如，左声道输入将由其表示环绕声系统中扬声器的左声道的HRTF处理。类似的处理将应用于所有其他输入声道。基于各输入声道的所有双声道输出的集合将被加在一起，并且分别成为左声道输出和右声道输出。在该示例中，每个输入声道也都被单独的处理器(例如，由增益模块和HRTF滤波器组成)分别处理。该处理器接收单声道输入，生成双声道输出。将所有的双声道输出相加，成为最后的双声道输出。图2示出了根据本申请的一个说明性的实施例、经配置用来执行音频缩混的数据处理系统1本文档来自技高网...

【技术保护点】
1.一种用于处理多声道输入音频信号的计算机实现的方法，其特征在于，所述方法包括：在计算设备中执行，该计算设备具有一个或多个处理器、存储器和存储在所述存储器中并由所述一个或多个处理器执行的多个程序模块:从所述多声道输入音频信号中选择左输入声道和右输入声道，其中所述左输入声道和所述右输入声道对应于一对空间对称的信号源；从所述左输入声道和所述右输入声道生成一个或多个跨声道特征；根据所述跨声道特征处理所述左输入声道和所述右输入声道，以生成左中间声道和右中间声道；以及将所述左中间声道和所述右中间声道中的每一个都与所述多声道输入音频信号的第三输入声道合并，以形成双声道输出音频信号。

【技术特征摘要】
【国外来华专利技术】2017.02.17 US 62/460,5841.一种用于处理多声道输入音频信号的计算机实现的方法，其特征在于，所述方法包括：在计算设备中执行，该计算设备具有一个或多个处理器、存储器和存储在所述存储器中并由所述一个或多个处理器执行的多个程序模块:从所述多声道输入音频信号中选择左输入声道和右输入声道，其中所述左输入声道和所述右输入声道对应于一对空间对称的信号源；从所述左输入声道和所述右输入声道生成一个或多个跨声道特征；根据所述跨声道特征处理所述左输入声道和所述右输入声道，以生成左中间声道和右中间声道；以及将所述左中间声道和所述右中间声道中的每一个都与所述多声道输入音频信号的第三输入声道合并，以形成双声道输出音频信号。2.根据权利要求1所述的计算机实现的方法，还包括：在将所述左中间声道和所述右中间声道与所述第三输入声道合并之前，调整与所述左中间声道和所述右中间声道相关联的音场宽度。3.根据权利要求2所述的计算机实现的方法，还包括：接收指定所述双声道输出音频信号的所述音场宽度的用户输入。4.根据权利要求1所述的计算机实现的方法，其中，处理所述左输入声道和所述右输入声道的步骤还包括：从所述左输入声道和所述右输入声道中提取中间分量、左侧分量和右侧分量；以及处理所述左侧分量和所述右侧分量，之后将所述左侧分量和所述右侧分量与所述中间分量合并，以生成所述左中间声道和所述右中间声道。5.根据权利要求4所述的计算机实现的方法，其中，处理所述左侧分量和所述右侧分量还包括：使用带通滤波器对所述左侧分量和所述右侧分量执行均衡处理，以获得左带通滤波分量和右带通滤波分量；以及基于所述左侧分量和所述左带通滤波分量之间的差生成左侧残余分量，基于所述右侧分量和所述右带通滤波分量之间的差生成右侧残余分量。6.根据权利要求5所述的计算机实现的方法，还包括：在对所述左侧分量和右侧分量执行均衡处理之后，分别对所述左带通滤波分量和所述右带通滤波分量执行第一动态范围压缩，以相应地获得左压缩分量和右压缩分量。7.根据权利要求6所述的计算机实现的方法，还包括：在执行所述第一动态范围压缩之后，分别对所述左压缩分量和所述右压缩分量执行串音消除，以获得消除了串扰的左侧分量和消除了串扰的右侧分量。8.根据权利要求7所述的计算机实现的方法，还包括：将所述消除了串扰的左侧分量和所述消除了串扰的右侧分量、所述左侧残余分量和所述右侧残余分量与所述中间分量合并，以生成所述左中间声道和所述右中间声道，其中，该合并步骤还包括：在将所述左中间声道和所述右中间声道与所述第三输入声道合并之前，调整与所述左中间声道和所述右中间声道相关联的音场宽度。9.根据权利要求8所述的计算机实现的方法，还包括：在调整所述音场宽度之后，执行第二动态范围压缩以生成所述左中间声道和所述右中间声道。10.根据权利要求1所述的计算机实现的方法，其中，所述左输入声道是左前置声道，所述右输入声道是右前置声道。11.根据权利要求1所述的计算机实现的方法，其中，所述左输入声道是左置环绕声道，所述右输入声道是右环绕声道。12.根据权利要求1所述的计算机实现的方法，其中，所述左输入声道是左后置环绕声道，所述右输入声道是右后置环绕声道。13.根据权利要求1所述的计算机实现的方法，其中，所述第三输入声道是中置声道。14.根据权利要求1所述的计算机实现的方法，其中，所述第三输入声道是低频效果声道。15.一种用于处理多声道输入音频信号的计算设备，该计算设备包括：一个或多个处理器；存储器；以及存储在所述存储器中并由所述一个或多个处理器执行的多个程序模块，其中在所述一个或多个处理器执行该多个程序模块时使所述计算设备执行多个步骤，所述多个步骤包括：从所述多声道输入音频信号中选择左输入声道和右输入声道，其中所述左输入声道和所述右输入声道对应于一对空间对称的信号源；从所述左输入声道和所述右输入声道生成一个或多个跨声道特征；根据所述跨声道特征处理所述左输入声道和所述右输入声道，以生成左中间声道和右中间声道；以及将所述左中间声道和所述右中间声道中的每一个都与所述多声道输入音频信号的第三输入声道合并，以形成双声道输出音频信号。16.根据权利要求15所述的计算设备，其中，进一步使所述计算设备执行：在将所述左中间声道和所述右中间声道与所述第三输入声道合并之前，调整与所述左中间声道和所述右中间声道相关联的音场宽度。17.根据权利要求16所述的计算设备，其中，进一步使所述计算设备执行：接收指定所述双声道输出音频信号的所述音场宽度的用户输入。18.根据权利要求15所述的计算设备，其中，处理所述左输入声道和所述右输入声道的步骤还包括：从所述左输入声道和所述右输入声道中提取中间分量、左侧分量和右侧分量；以及处理所述左侧分量和所述右侧分量，之后将所述左侧分量和所述右侧分量与所述中间分量合并，以生成所述左中间声道和所述右中间声道。19.根据权利要求18所述的计算设备，其中，处理所述左侧分量和所述右侧分量还包括：使用带通滤波器对所述左侧分量和所述右侧分量执行均衡处理，以获得左带通滤波分量和右带通滤波分量；以及基于所述左侧分量和所述左带通滤波分量之间的差生成左侧残余分量，基于所述右侧分量和所述右带通滤波分量之间的差生成...

【专利技术属性】
技术研发人员：培伦·谢，吴采颐，
申请(专利权)人：无比的优声音科技公司，
类型：发明
国别省市：美国,US