基于自适应函数的一致声学场景再现的系统、装置和方法制造方法及图纸

提供了一种用于生成一个或更多个音频输出信号的系统。该系统包括分解模块(101)、信号处理器(105)和输出接口(106)。信号处理器(105)被配置为接收直达分量信号、扩散分量信号和方向信息，所述方向信息取决于所述两个或更多个音频输入信号的直达信号分量的到达方向。此外，信号处理器(105)被配置为根据扩散分量信号生成一个或更多个经处理的扩散信号。对于一个或更多个音频输出信号的每个音频输出信号，信号处理器(105)被配置为根据到达方向确定直达增益，并且信号处理器(105)被配置为将所述直达增益应用于所述直达分量信号以获得经处理的直达信号，且所述信号处理器(105)被配置为将所述经处理的直达信号与所述一个或更多个经处理的扩散信号中的一个扩散信号进行组合以生成所述音频输出信号。输出接口(106)被配置为输出所述一个或更多个音频输出信号。信号处理器(105)包括用于计算一个或更多个增益函数的增益函数计算模块(104)，其中所述一个或更多个增益函数中的每个增益函数包括多个增益函数自变量值，其中增益函数返回值被分配给每个所述增益函数自变量值，其中，当所述增益函数接收到所述增益函数自变量值中的一个值时，所述增益函数被配置为返回分配给所述增益函数自变量值中的所述一个值的增益函数返回值。此外，信号处理器(105)还包括信号修改器(103)，用于根据到达方向从所述一个或更多个增益函数的增益函数中的增益函数自变量值中选择取决于方向的自变量值，以用于从所述增益函数获得分配给所述取决于方向的自变量值的增益函数返回值，并且用于根据从所述增益函数获得的所述增益函数返回值来确定所述一个或更多个音频输出信号中的至少一个信号的增益值。

【技术实现步骤摘要】
【国外来华专利技术】基于自适应函数的一致声学场景再现的系统、装置和方法
本专利技术涉及音频信号处理，具体地，涉及用于基于所通知的空间滤波的一致声学场景再现的系统、装置和方法。
技术介绍
在空间声音再现中，利用多个麦克风捕获记录位置(近端侧)处的声音，然后使用多个扬声器或耳机在再现侧(远端侧)再现。在许多应用中，期望再现所记录的声音，使得在远端侧重建的空间图像与在近端侧的原始空间图像一致。这意味着例如声源的声音从源存在于原始记录场景中的方向再现。备选地，当例如视频对所记录的音频进行补充时，期望再现声音，使得重建的声学图像与视频图像一致。这意味着例如声源的声音从源在视频中可见的方向再现。另外，视频相机可以配备有视觉缩放功能，或者在远端侧的用户可以对视频应用数字缩放，从而改变视觉图像。在这种情况下，再现的空间声音的声学图像将相应地改变。在许多情况下，远端侧确定应与再现声音一致的空间图像在远端侧或在回放期间(例如当涉及视频图像时)被确定。因此，在近端侧的空间声音必须被记录、处理和传输，使得在远端侧，我们仍然可以控制重建的声学图像。在许多现代应用中需要再现与期望的空间图像一致的所记录的声学场景的可能性。例如，诸如数字相机或移动电话之类的现代消费者设备通常配备有视频相机和多个麦克风。这使得视频能够与空间声音(例如立体声)一起被记录。当与视频一起再现记录的音频时，期望视觉和声学图像是一致的。当用户用相机放大时，期望在声学上重新创建视觉缩放效果，使得在观看视频时视觉和声学图像是对齐的。例如，当用户放大人物时，随着人物看起来更靠近相机，该人物的声音的混响应越来越小。此外，人的语音应当从与人在视觉图像中出现的方向相同的方向再现。在下文中声学地模拟相机的视觉缩放被称为声学缩放，并且表示一致的音频-视频再现的一个示例。可能涉及声学缩放的一致的音频-视频再现在电视会议中也是有用的，其中近端侧的空间声音在远端侧与视觉图像一起再现。此外，期望以声学方式再现视觉缩放效果，使得视觉和声学图像对齐。声学缩放的第一种实现在[1]中提出，其中，通过增加二阶定向麦克风的方向性来获得缩放效果，二阶定向麦克风的信号是基于线性麦克风阵列的信号生成的。这种方法在[2]中被扩展到立体声缩放。在[3]中提出了最近的用于单声道或立体声缩放的方法，其包括改变声源水平，使得来自正面方向的源被保留，而来自其他方向的源和扩散声音被衰减。[1]、[2]中提出的方法导致直达与混响比(DRR)的增加，并且[3]中的方法额外地允许抑制不期望的源。上述方法假设声源位于相机的正面，但不旨在捕获与视频图像一致的声学图像。用于灵活的空间声音记录和再现的公知方法由定向音频编码(DirAC)表示[4]。在DirAC中，根据音频信号和参数辅助信息(即，声音的到达方向(DOA)和扩散性)来描述近端侧的空间声音。参数描述使得能够利用任意扬声器设置再现原始空间图像。这意味着在远端侧的重建空间图像与在近端侧在记录期间的空间图像一致。然而，如果例如视频对记录的音频进行补充，则再现的空间声音不一定与视频图像对齐。此外，当视觉图像改变时，例如当相机的观看方向和缩放改变时，不能调整重建的声学图像。这意味着DirAC不提供将重建的声学图像调整为任意期望的空间图像的可能性。在[5]中，基于DirAC实现了声学缩放。DirAC表示实现声学缩放的合理基础，因为它基于简单而强大的信号模型，该模型假设时域-频域中的声场由单个平面波加扩散声音组成。基础模型参数(例如DOA和扩散)被用来分离直达声音和扩散声音，并产生声学缩放效果。空间声音的参数描述使得能够将声音场景有效地传输到远端侧，同时仍然向用户提供对缩放效果和空间声音再现的完全控制。即使DirAC使用多个麦克风来估计模型参数，也仅应用单声道滤波器来提取直达声音和扩散声音，从而限制了再现声音的质量。此外，假设声音场景中的所有源位于圆上，并且参考与视觉缩放不一致的音频-视觉相机的改变位置来执行空间声音再现。实际上，缩放改变了相机的视角，而到视觉对象的距离和它们在图像中的相对位置保持不变，这与移动相机相反。相关的方法是所谓的虚拟麦克风(VM)技术[6]、[7]，其考虑与DirAC相同的信号模型，但允许在声音场景中的任意位置合成不存在的(虚拟)麦克风的信号。将VM朝向声源移动类似于相机到新位置的移动。使用多声道滤波器来实现VM以提高声音质量，但需要若干分布式麦克风阵列来估计模型参数。然而，提供用于音频信号处理的进一步改进的构思是非常有利的。
技术实现思路
因此，本专利技术的目的是提供用于音频信号处理的改进的构思。通过根据权利要求1所述的系统、根据权利要求14所述的装置、根据权利要求15所述的方法、根据权利要求16所述的方法以及根据权利要求17所述的计算机程序来实现本专利技术的目的。提供了一种用于生成一个或更多个音频输出信号的系统。所述系统包括分解模块、信号处理器和输出接口。分解模块被配置为接收两个或更多个音频输入信号，其中分解模块被配置为生成包括所述两个或更多个音频输入信号的直达信号分量在内的直达分量信号，并且其中分解模块被配置为生成包括所述两个或更多个音频输入信号的扩散信号分量在内的扩散分量信号。信号处理器被配置为接收直达分量信号、扩散分量信号和方向信息，所述方向信息取决于所述两个或更多个音频输入信号的直达信号分量的到达方向。此外，信号处理器被配置为根据扩散分量信号生成一个或更多个经处理的扩散信号。对于一个或更多个音频输出信号的每个音频输出信号，信号处理器被配置为根据到达方向确定直达增益，并且信号处理器被配置为将所述直达增益应用于所述直达分量信号以获得经处理的直达信号，且所述信号处理器被配置为将所述经处理的直达信号与所述一个或更多个经处理的扩散信号中的一个扩散信号进行组合以生成所述音频输出信号。输出接口被配置为输出所述一个或更多个音频输出信号。信号处理器包括用于计算一个或更多个增益函数的增益函数计算模块，其中所述一个或更多个增益函数中的每个增益函数包括多个增益函数自变量值，其中增益函数返回值被分配给每个所述增益函数自变量值，其中，当所述增益函数接收到所述增益函数自变量值中的一个值时，其中所述增益函数被配置为返回分配给所述增益函数自变量值中的所述一个值的增益函数返回值。此外，信号处理器还包括信号修改器，用于根据到达方向从所述一个或更多个增益函数的增益函数中的增益函数自变量值中选择取决于方向的自变量值，以用于从所述增益函数获得分配给所述取决于方向的自变量值的增益函数返回值，并且用于根据从所述增益函数获得的所述增益函数返回值来确定所述一个或更多个音频输出信号中的至少一个信号的增益值。根据实施例，增益函数计算模块可以例如被配置为针对所述一个或更多个增益函数的每个增益函数生成查找表，其中查找表包括多个条目，其中查找表的每个条目包括增益函数自变量值之一和被分配给所述增益函数自变量值的增益函数返回值，其中增益函数计算模块可以例如被配置为将每个增益函数的查找表存储在持久性或非持久性存储器中，并且其中信号修改器可以例如被配置为通过从存储在存储器中的所述一个或更多个查找表之一中读取所述增益函数返回值，来获得被分配给所述取决于方向的自变量值的增益函数返回值。在实施例中，信号处理器可以例如被配置为确定两个或更多个本文档来自技高网...

【技术保护点】
一种用于生成一个或更多个音频输出信号的系统，包括：分解模块(101)；信号处理器(105)；以及输出接口(106)，其中分解模块(101)被配置为接收两个或更多个音频输入信号，其中分解模块(101)被配置为生成包括两个或更多个音频输入信号的直达信号分量在内的直达分量信号，并且其中分解模块(101)被配置为生成包括所述两个或更多个音频输入信号的扩散信号分量在内的扩散分量信号，其中信号处理器(105)被配置为接收直达分量信号、扩散分量信号和方向信息，所述方向信息取决于所述两个或更多个音频输入信号的直达信号分量的到达方向，其中信号处理器(105)被配置为根据扩散分量信号生成一个或更多个经处理的扩散信号，其中，对于所述一个或更多个音频输出信号的每个音频输出信号，信号处理器(105)被配置为根据到达方向确定直达增益，并且信号处理器(105)被配置为将所述直达增益应用于所述直达分量信号以获得经处理的直达信号，并且信号处理器(105)被配置为将所述经处理的直达信号与所述一个或更多个经处理的扩散信号中的一个进行组合以生成所述音频输出信号，以及其中输出接口(106)被配置为输出所述一个或更多个音频输出信号，其中信号处理器(105)包括用于计算一个或更多个增益函数的增益函数计算模块(104)，其中所述一个或更多个增益函数中的每个增益函数包括多个增益函数自变量值，其中增益函数返回值被分配给每个所述增益函数自变量值，其中，当所述增益函数接收到所述增益函数自变量值中的一个值时，所述增益函数被配置为返回分配给所述增益函数自变量值中的所述一个值的增益函数返回值，以及其中，信号处理器(105)还包括信号修改器(103)，用于根据到达方向从所述一个或更多个增益函数的增益函数的增益函数自变量值中选择取决于方向的自变量值，以用于从所述增益函数获得分配给所述取决于方向的自变量值的增益函数返回值，并且用于根据从所述增益函数获得的所述增益函数返回值来确定所述一个或更多个音频输出信号中的至少一个信号的增益值。...

【技术特征摘要】
【国外来华专利技术】2014.05.05 EP 14167053.9;2014.09.05 EP 14183854.01.一种用于生成一个或更多个音频输出信号的系统，包括：分解模块(101)；信号处理器(105)；以及输出接口(106)，其中分解模块(101)被配置为接收两个或更多个音频输入信号，其中分解模块(101)被配置为生成包括两个或更多个音频输入信号的直达信号分量在内的直达分量信号，并且其中分解模块(101)被配置为生成包括所述两个或更多个音频输入信号的扩散信号分量在内的扩散分量信号，其中信号处理器(105)被配置为接收直达分量信号、扩散分量信号和方向信息，所述方向信息取决于所述两个或更多个音频输入信号的直达信号分量的到达方向，其中信号处理器(105)被配置为根据扩散分量信号生成一个或更多个经处理的扩散信号，其中，对于所述一个或更多个音频输出信号的每个音频输出信号，信号处理器(105)被配置为根据到达方向确定直达增益，并且信号处理器(105)被配置为将所述直达增益应用于所述直达分量信号以获得经处理的直达信号，并且信号处理器(105)被配置为将所述经处理的直达信号与所述一个或更多个经处理的扩散信号中的一个进行组合以生成所述音频输出信号，以及其中输出接口(106)被配置为输出所述一个或更多个音频输出信号，其中信号处理器(105)包括用于计算一个或更多个增益函数的增益函数计算模块(104)，其中所述一个或更多个增益函数中的每个增益函数包括多个增益函数自变量值，其中增益函数返回值被分配给每个所述增益函数自变量值，其中，当所述增益函数接收到所述增益函数自变量值中的一个值时，所述增益函数被配置为返回分配给所述增益函数自变量值中的所述一个值的增益函数返回值，以及其中，信号处理器(105)还包括信号修改器(103)，用于根据到达方向从所述一个或更多个增益函数的增益函数的增益函数自变量值中选择取决于方向的自变量值，以用于从所述增益函数获得分配给所述取决于方向的自变量值的增益函数返回值，并且用于根据从所述增益函数获得的所述增益函数返回值来确定所述一个或更多个音频输出信号中的至少一个信号的增益值。2.根据权利要求1所述的系统，其中所述增益函数计算模块(104)被配置为：为所述一个或更多个增益函数的每个增益函数生成查找表，其中所述查找表包括多个条目，所述查找表中的每个条目包括增益函数自变量值之一和被分配给所述增益函数自变量值的增益函数返回值，其中增益函数计算模块(104)被配置为将每个增益函数的查找表存储在持久性或非持久性存储器中，以及其中信号修改器(103)被配置为通过从被存储在存储器中的所述一个或更多个查找表之一读出所述增益函数返回值，来获得被分配给所述取决于方向的自变量值的增益函数返回值。3.根据权利要求1或2所述的系统，其中信号处理器(105)被配置为确定两个或更多个音频输出信号，其中增益函数计算模块(104)被配置为计算两个或更多个增益函数，其中，对于所述两个或更多个音频输出信号中的每个音频输出信号，增益函数计算模块(104)被配置为计算分配给所述音频输出信号的平移增益函数作为所述两个或更多个增益函数之一，其中信号修改器(103)被配置为取决于所述平移增益函数来生成所述音频输出信号。4.根据权利要求3所述的系统，其中所述两个或更多个音频输出信号中的每一个的平移增益函数具有作为所述平移增益函数的增益函数自变量值之一的一个或更多个全局最大值，其中对于所述平移增益函数的一个或更多个全局最大值中的每一个，不存在使得所述平移增益函数返回比所述全局最大值使所述平移增益函数返回的增益函数返回值更大的增益函数返回值的其他增益函数自变量值，以及其中对于所述两个或更多个音频输出信号中的第一音频输出信号和第二音频输出信号的每对，第一音频输出信号的平移增益函数的一个或更多个全局最大值中的至少一个不同于第二音频输出信号的平移增益函数的一个或更多个全局最大值中的任一个。5.根据权利要求3或4所述的系统，其中，对于所述两个或更多个音频输出信号中的每个音频输出信号，增益函数计算模块(104)被配置为计算分配给所述音频输出信号的窗增益函数作为所述两个或更多个增益函数之一，其中信号修改器(103)被配置为根据所述窗增益函数生成所述音频输出信号，以及其中如果所述窗增益函数的自变量值大于下窗阈值并且小于上窗阈值，则窗增益函数被配置为返回比在窗函数自变量值小于下阈值或大于上阈值的情况下由所述窗增益函数返回的任何增益函数返回值大的增益函数返回值。6.根据权利要求5所述的系统，其中所述两个或更多个音频输出信号中的每一个的窗增益函数具有作为所述窗增益函数的增益函数自变量值之一的一个或更多个全局最大值，其中对于所述窗增益函数的一个或更多个全局最大值中的每一个，不存在使得所述窗增益函数返回比所述全局最大值使所述窗增益函数返回的增益函数返回值更大的增益函数返回值的其他增益函数自变量值，以及其中对于所述两个或更多个音频输出信号中的第一音频输出信号和第二音频输出信号的每对，第一音频输出信号的窗增益函数的一个或更多个全局最大值中的至少一个等于第二音频输出信号的窗增益函数的一个或更多个全局最大值中的一个。7.根据权利要求5或6所述的系统，其中增益函数计算模块(104)被配置为进一步接收指示观看方向相对于到达方向的角位移的取向信息，以及其中，增益函数计算模块(104)被配置为根据取向信息生成每个音频输出信号的平移增益函数。8.根据权利要求7所述的系统，其中增益函数计算模块(104)被配置为根据取向信息生成每个音频输出信号的窗增益函数。9.根据权利要求5至8之一所述的系统，其中增益函数计算模块(104)被配置为进一步接收缩放信息，其中所述缩放信息指示相机的打开角度，以及其中，增益函数计算模块(104)被配置为根据缩放信息生成每个音频输出...

【专利技术属性】
技术研发人员：伊曼纽尔·哈比兹，奥利弗·迪尔加特，科纳德·科瓦奇克，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国,DE