用于净化音频信号的多耳MMSE分析技术制造技术

本申请涉及用于处理音频信号的技术，该技术包括在输出音频信号之前从音频信号中去除噪声或以其他方式净化音频信号。所公开的技术可以对从主麦克风以及至少一个参考麦克风接收的音频信号采用最小均方误差(MMSE)分析，并且在这些技术中，MMSE分析被用于减少或消除来自由主麦克风接收的音频信号的噪声。可选地，置信区间可以被分配给音频信号的不同频带，其中每个置信区间对应于其相应的频带包括目标音频的可能性，并且每个置信区间代表其相应的频带在已从中去除了噪声的重建的音频信号中的贡献。

Multi ear MMSE analysis technique for purifying audio signals

The present application relates to a technique for processing an audio signal that includes removing noise from an audio signal or otherwise purifying an audio signal prior to outputting an audio signal. The disclosed technique of using minimum mean square error from the main microphone and an audio signal received at least one reference microphone (MMSE) analysis, and in these techniques, MMSE analysis is used to reduce or eliminate the noise of an audio signal receiving free main microphone. Optionally, the confidence interval can be assigned to different frequency audio signals, each of which corresponds to the possibility of the confidence interval of the corresponding frequency band including the target audio, and each interval represents its corresponding frequency band in the audio signal from removing noise in the reconstruction contribution.

【技术实现步骤摘要】
【国外来华专利技术】用于净化音频信号的多耳MMSE分析技术
本公开总体涉及用于处理音频信号的技术，包括用于在输出音频信号之前从该音频信号中去除噪声或以其他方式净化该音频信号的技术。更具体地，本公开涉及在从主麦克风和至少一个参考麦克风接收的音频信号上进行最小均方误差(MMSE)分析的技术，并且涉及使用MMSE分析从由主麦克风接收的信号中减少或消除噪声的技术。
技术实现思路
在各个方面中，根据本公开的方法是一种净化过程，该净化过程包括识别音频信号的目标部分或目标分量并且减少或消除伴随音频信号的目标部分的噪声。当使用该净化过程时，主音频信号的目标部分或主音频信号的目标部分的至少重要部分在净化过程之后将保留或幸存。在净化过程之后保留的主音频信号的每一部分在本文中被称为“净化的音频信号”。在主音频信号的不同频带被分别净化的实施例中，净化的音频信号可以被包括在主音频信号的重建版本中，该重建版本在本文中也被称为“重建的音频信号”。在净化过程与音频通信设备(诸如移动电话)一起使用的实施例中，主音频信号的目标部分可以包含个人的语音。一旦主音频信号已被净化并且净化的音频信号已被选择性地包括在重建的音频信号中，则该净化的和/或重建的音频信号可以被存储、传输到另一个设备和/或可听的输出。一种用于处理音频信号的方法包括用至少两个麦克风接收声音形式的音频信号，其中所述至少两个麦克风相互接近但提供不同的方向或视角，并且因此以相互不同的方式或从不同的视角接收音频信号。这种布置被称为“双耳环境”。所述麦克风包括主麦克风以及一个或多个参考麦克风。主麦克风可以被定位成接收来自预期来源的音频信号；例如，主麦克风可以包含移动电话的麦克风，当使用移动电话时个人对着该麦克风说话。来自预期来源的音频信号可以包含目标音频或目标声音。鉴于其方向或视角，由主麦克风接收的音频信号在本文中被称为“主音频信号”。每个参考麦克风可以被定位在距声音的预期来源稍微遥远的位置和方向或视角处，使参考麦克风能够与主麦克风接收背景声音相比以相同程度或更大程度接收背景声音，并且能够与主麦克风接收目标音频相比以更小程度接收目标音频。从每个参考麦克风的视角接收的音频信号在本文中被称为“参考音频信号”。一旦音频信号已被接收为主音频信号以及一个或多个参考音频信号，则主音频信号可以被净化。作为净化过程的一部分，主音频信号和每个参考音频信号可以经受一个或多个自适应时域滤波。在具体实施例中，主音频信号和/或每个参考音频信号可以经受最小均方(LMS)滤波。无论主音频信号或任何参考音频信号是否经受一个或多个自适应时域滤波，都获得噪声估计。噪声估计可以从一个或多个参考音频信号中获得。更具体地，噪声估计可以从一个或多个频带中获得，在这些频带中已知存在至少一个目标音频的一个或多个部分(例如，人类语音的共振峰或谱峰等)。噪声估计可以仅从(多个)参考音频信号中获得，或者通过比较(多个)参考音频信号的合适部分(例如，每个感兴趣的频带等)与主音频信号的相应部分获得，所述主音频信号的相应部分除了包括噪声之外还将包括目标音频。更具体地，主音频信号的特定频带的样品可以与同时获得的一个或多个参考音频信号的相同特定频带的样品比较以识别存在于主音频信号的该频带中的有嫌疑的或可能的噪声(即噪声估计)。无论如何获得噪声估计，每个噪声估计都可以用于识别存在于主音频信号中或主音频信号的一个或多个频带中的有嫌疑的噪声或可能的噪声。通过分析双耳环境中的音频信号，可以在没有声音活动检测器的情况下进行噪声估计，而当在不使用参考音频信号的情况下估计噪声时需要声音活动检测器。当对主音频信号或主音频信号的一个或多个频带进行最小均方误差(MMSE)分析时，可以考虑每个噪声估计。MMSE分析可以用于使误差最小化，该误差由噪声估计和主音频信号的频率分解的函数限定。该最小化的结果可以用于修改主音频信号的一个或多个频带。在一些实施例中，MMSE分析可以基于一个或多个噪声估计而调整。可替代地，一个或多个噪声估计可以被考虑到或并入主音频信号或主音频信号的一个或多个频带的MMSE分析中。MMSE分析至少部分消除来自主音频信号或来自主音频信号的一个或多个频带的噪声，从而提供一个或多个净化的音频信号。换句话说，噪声在净化的音频信号的一个或多个频带中的整体存在可以被降低，或者在包括噪声但缺少目标音频的每个频带的情况下，该频带在重建的输出信号中的整体存在可以被降低。在一些实施例中，包括其中主音频信号已被分离为多个不同频带的那些实施例，以及其中在不同频带上执行的MMSE分析已得到多个净化的音频信号且每个净化的信号对应于多个频带中的一个频带的那些实施例，置信区间可以被分配给每个频带或净化的音频信号。每个频带或净化的音频信号的置信水平可以对应于该频带或净化的音频信号将被包括在重建的音频信号中的程度。每个置信区间可以基于实时分析和/或在一些实施例中基于历史数据。更具体地，每个频带或净化的音频信号的置信区间可以对应于从主音频信号和每个参考音频信号中收集的信息(例如，相应频带的噪声估计、相应频带上的MMSE分析的结果等)。置信区间可以至少部分对应于其相应的频带或净化的音频信号包括主音频信号的至少部分目标音频(诸如，人的语音、音乐等)的可能性。在一些实施例中，特定的频带或净化的音频信号的置信区间可以对应于该频带或净化的音频信号包括至少部分目标音频的可能性。可替代地或附加地，当与参考音频信号的相应部分的相应频带中存在的噪声比较时，特定的频带或净化的音频信号的置信区间可以对应于从净化的音频信号中去除的噪声的量(例如，噪声的百分比等)。每个置信区间可以被具体化为增益值；例如，在零(0)到一(1)之间的值，该值可以用作其相应的预定频带的乘数，并且因此用以控制该相应的预定频带被包括在重建的输出音频信号中的程度。作为一个示例，如果频带或净化的音频信号对应于主音频信号的目标音频的一部分(例如，根据该频带上的MMSE分析等)具有高置信水平，则相对高的增益值(例如，大于0.5、在0.6和1之间等)可以被分配给该频带。如果频带不太可能对应于主音频信号的目标音频的一部分，则相应的置信区间可以是低的，并且对应地低增益值(例如，0.5或小于0.5的增益值等)可以被分配给该特定频带。如果频带对应于目标音频的一部分具有非常低的置信水平，或者该频带非常可能主要由噪声组成，则非常低的增益值(例如，小于0.3等)可以被分配给该特定频带。当已经从主音频信号中分离或提取出多个频带并且已将置信区间分配给每个频带时，则置信区间可以用于确定每个频带将被包括在重建的音频信号中的程度；即，重建的音频输出信号的每个频带的存在可以对应于其置信区间。更具体地，每个置信区间可以用于动态调整其相应频带的幅值以改善所得到的重建信号的信噪比(SNR)。具有较高置信区间的频带将比具有较低置信区间的频带具有更大的存在度，使得具有高置信区间的频带比具有低置信区间的频带在重建的音频信号中更加显著。一旦置信区间已被分配，则频带可以被重新编译以生成重建的音频信号。所公开的净化过程可以在连续或基本连续的基础上(例如，在一系列时间段中等)进行。根据本公开的净化过程的任意实施例可以被具体化为控制电子设备的处理元件的操作的程序(例如，软件应用程序或“app”；固件；本文档来自技高网...

【技术保护点】
一种用于净化音频信号的方法，其包含：用电子设备的至少两个麦克风接收音频信号，每个音频信号包括多个频带、目标分量和噪声分量，所述至少两个麦克风包括主麦克风，所述主麦克风用于以比参考麦克风将接收所述目标分量所用的功率更高的功率接收所述目标分量；从由所述参考麦克风接收的参考音频信号确定噪声估计；将所述噪声估计并入最小均方误差分析；使由所述主麦克风接收的主音频信号的所述多个频带中的每个频带经受所述最小均方误差分析；基于所述最小均方误差分析的结果，将置信区间分配给所述多个频带中的每个频带；基于所述主音频信号的每个频带的所述置信区间修改该频带的音频输出水平以提供修改的输出频带；以及为所述主音频信号的所述多个频带的每个频带组合修改的输出频带以提供净化的输出音频信号。

【技术特征摘要】
【国外来华专利技术】2014.06.18 US 14/308,5411.一种用于净化音频信号的方法，其包含：用电子设备的至少两个麦克风接收音频信号，每个音频信号包括多个频带、目标分量和噪声分量，所述至少两个麦克风包括主麦克风，所述主麦克风用于以比参考麦克风将接收所述目标分量所用的功率更高的功率接收所述目标分量；从由所述参考麦克风接收的参考音频信号确定噪声估计；将所述噪声估计并入最小均方误差分析；使由所述主麦克风接收的主音频信号的所述多个频带中的每个频带经受所述最小均方误差分析；基于所述最小均方误差分析的结果，将置信区间分配给所述多个频带中的每个频带；基于所述主音频信号的每个频带的所述置信区间修改该频带的音频输出水平以提供修改的输出频带；以及为所述主音频信号的所述多个频带的每个频带组合修改的输出频带以提供净化的输出音频信号。2.根据权利要求1所述的方法，其中确定所述噪声估计包括将来自由所述主麦克风接收的所述主音频信号的至少一个频带与由所述参考麦克风接收的所述参考音频信号的至少一个相应频带进行比较。3.根据权利要求2所述的方法，其中确定所述噪声估计包括将来自由所述主麦克风接收的所述主音频信号的多个频带与由所述参考麦克风接收的所述参考音频信号的多个相应频带进行比较。4.根据权利要求1所述的方法，进一步包含：使在所述参考麦克风处接收的所述参考音频信号的所述多个频带中的每个频带经受所述最小均方误差分析。5.根据权利要求1所述的方法，其中分配所述置信区间包括：将非常低的置信区间分配给以比由所述主麦克风接收频带所用的功率更大的功率由所述参考麦克风接收的所述频带；将低的置信区间分配给以由所述主麦克风和所述参考麦克风所用的基本相同的功率接收的频带；以及将高的置信区间分配给以比由所述参考麦克风接收频带所用的功率更大的功率由所述主麦克风接收的频带。6.根据权利要求5所述的方法，其中分配所述非常低的置信区间包含将小于0.3的增益分配给所述频带。7.根据权利要求5所述的方法，其中分配所述低的置信区间包含将大约为0.5或小于0.5的增益分配给所述频带。8.根据权利要求5所述的方法，其中分配所述高的置信区间包含将大于0.6的增益分配给所述频带。9.根据权利要求1所述的方法，其中分配所述置信区间包含将合适的增益分配给每个频带。10.根据权利要求1所述的方法，其中分配所述置信区间包含动态地估计所述音频信号中的噪声。11.根据权利要求1所述的方法，其在无需检测声音活动的情况下进行。12.根据权利要求1所述的方法，其进一步包含：使所述主音频信号和所述参考音频信号经受自适应时域滤波。13.根据权利要求12所述的方法，其中使所述主音频信号和所述参考音频信号经受所述自适应时域滤波包含使所述主音频信号和所述参考音频信号经受最小均方滤波。14.根据权利要求12所述的方法，其中使所述主音频信号和所述参考音频信号经受所述自适应时域滤波包含在使所述第一音频信号和所述参考音频信号的所述多个频带中的每个频带经受所述最小均方误差分析之前使所述主音频信号和所述参考音频信号经受所述自适应时域滤波。15.一种用于净化音频信号的方法，其包含：用电子设备的至少两个麦克风接收音频信号，每个音频信号包括多个频带、目标分量以及噪声分量，所述至少两个麦克风包括主麦克风，所述主麦克风以比参考麦克风接收所述目标分量所用的功率更高的功率接收所述目标分量；使由所述主麦克风接收的主音频信号经受自适应时域滤波以提供过滤的音频信号；使用由所述参考麦克风接收的参考音频信号确定噪声估计；基于所述噪声估计调整最小...

【专利技术属性】
技术研发人员：F·盖革，B·班德森，C·格伦德斯特罗姆，
申请(专利权)人：密码有限公司，
类型：发明
国别省市：美国,US