用于移动装置中的非线性回声消除的双幅度处理框架制造方法及图纸

执行声学回声消除的技术涉及提供双幅度滤波操作，所述双幅度滤波操作在要从扩音器输出的传入音频信号的幅度小于指定阈值时执行第一滤波操作，而在所述传入音频信号的幅度大于所述阈值时执行第二滤波操作。所述第一滤波操作可以采取所述传入音频信号与第一脉冲响应函数之间的卷积的形式。所述第二滤波操作可以采取所述传入音频信号的非线性函数与第二脉冲响应函数之间的卷积的形式。对于这种卷积，所述双幅度滤波操作涉及提供所述传入音频信号在指定时间窗口之上的样本作为所述传入音频信号。可以根据输入到麦克风中的输入信号来确定所述第一和第二脉冲响应函数。

Dual amplitude processing framework for nonlinear echo cancellation in mobile devices

The technique for performing acoustic echo cancellation involves providing a DUAL-AMPLITUDE filtering operation that performs a first filtering operation when the amplitude of an incoming audio signal output from a loudspeaker is less than a specified threshold, and a second filtering operation when the amplitude of the incoming audio signal is greater than the threshold. The first filtering operation may take the form of convolution between the incoming audio signal and the first pulse response function. The second filtering operation may take the form of convolution between the nonlinear function of the incoming audio signal and the second impulse response function. For this convolution, the DUAL-AMPLITUDE filtering operation involves providing a sample of the incoming audio signal above a specified time window as the incoming audio signal. The first and second impulse response functions can be determined according to the input signal input to the microphone.

【技术实现步骤摘要】
【国外来华专利技术】用于移动装置中的非线性回声消除的双幅度处理框架相关申请的交叉引用本申请要求于2016年6月30日提交的美国临时申请No.62/356,766的优先权，其公开内容通过引用整体地并入在本文中。
本说明书涉及移动装置中的声学回声消除。
技术介绍
在一些语音通信系统中，当扩音器和麦克风耦合时发生声学回声。这种语音通信系统的示例是Web实时通信(WebRTC)，它是支持Web浏览器的通信系统。这种支持web浏览器的通信系统提供基于软件的声学回声消除(AEC)操作以减少或者消除声学回声。常规AEC操作包括使用自适应滤波器来识别从扩音器输出的音频中的回声的回声路径，合成回声的副本，以及输入到麦克风中的音频减去回声的副本。
技术实现思路
在一个一般方面中，方法可包括由被配置成减少包括扩音器和麦克风的音频系统中的声学回声的处理电路在所述音频系统的扩音器处接收来自远离所述音频系统的源位置的音频信号。所述方法也可包括由所述处理电路对所述音频信号的幅度和阈值幅度执行比较操作以产生比较结果。所述方法还可以包括，响应于所述比较结果指示所述音频信号的幅度小于所述阈值幅度，由所述处理电路对输入到所述音频系统的麦克风中的输入信号执行第一滤波操作以产生第一滤波的输入信号；以及由所述处理电路将所述第一滤波的输入信号发送到所述源位置。所述方法还可包括，响应于所述比较结果指示所述音频信号的幅度大于所述阈值幅度，由所述处理电路对输入到所述音频系统的麦克风中的所述输入信号执行第二滤波操作以产生第二滤波的输入信号，所述第二滤波的输入信号与所述第一滤波的输入信号不同；以及由所述处理电路将所述第二滤波的输入信号发送到所述源位置。在下面的附图和描述中阐述了一个或多个实施方式的细节。其它特征根据说明书和附图并根据权利要求书将是显而易见的。附图说明图1是图示用于实现本文中所描述的改进技术的示例电子环境的图。图2是图示在图1中所示的电子环境内执行改进技术的示例方法的流程图。图3是图示在图1中所示的电子环境内执行改进技术的示例方法的示意图。图4图示可与这里所描述的电路一起使用的计算机装置和移动计算机装置的示例。具体实施方式上述的常规声学回声消除(AEC)操作假定回声路径是线性的。虽然这种假定适用于连接到桌面型和膝上型计算机的音频系统，但是对于其输入和输出紧靠在一起的具有低质量音频分量的移动装置来说并非如此。对于移动装置来说，回声路径可以是非线性的。在这种情况下，常规AEC操作可能在从音频输入中去除回声时无效。依照本文中所描述的实施方式并且与上述的常规AEC操作对比，执行AEC操作的改进技术涉及提供双幅度滤波操作，所述双幅度滤波操作在要从扩音器输出的传入音频信号的幅度小于指定阈值时执行第一滤波操作，而在传入音频信号的幅度大于阈值时执行第二滤波操作。例如，第一滤波操作可以采取传入音频信号与第一脉冲响应函数之间的卷积的形式。在一个示例中，第一脉冲响应函数可以是优化残差信号的功率、例如使残差信号的功率最小化的通用脉冲响应函数。在此示例中，第二滤波操作可以采取传入音频信号的非线性函数与第二脉冲响应函数之间的卷积的形式。对于这种卷积，双幅度滤波操作涉及提供传入音频信号在指定时间窗口之上的样本作为传入音频信号。可以根据输入到麦克风中的输入信号来确定第一脉冲响应函数和第二脉冲响应函数。在一些实施方式中，这些脉冲响应函数中的每一个是根据输入信号与卷积的相应输出之间的残差的功率的最小化来计算的。有利地，第一滤波操作与第二滤波操作之间的上述幅度相关切换提供用来在移动装置中处理基于软件的通信系统中的非线性回声路径的简单框架。图1是图示可以在其中实现上述的改进技术的示例电子环境100的图。如所示，在图1中，示例电子环境100包括移动装置120和网络190。在一些实施方式中，移动装置120采取智能电话、平板计算机等的形式。移动装置120被配置成提供声学回声消除。移动装置120包括扩音器110、网络接口122、一个或多个处理单元124、存储器126、音频接口128和麦克风180。网络接口122包括例如以太网适配器、令牌环适配器等，以用于将从网络170接收到的电子和/或光学信号转换成电子形式以供由点云压缩计算机120使用。该处理单元的集合124包括一个或多个处理芯片和/或部件。存储器126包括易失性存储器(例如，RAM)和非易失性存储器两者，诸如一个或多个ROM、磁盘驱动器、固态驱动器等。该处理单元的集合124和存储器126一起形成控制电路，所述控制电路被配置且布置成执行如本文中所描述的各种方法和功能。在一些实施例中，移动装置120的组件中的一个或多个可以是或者可包括被配置成处理存储在存储器126中的指令的处理器(例如，处理单元124)。如图1中所描绘的此类指令的示例包括传入音频信号管理器130、幅度比较管理器136、小幅度滤波管理器140、大幅度滤波管理器150、功率最小化管理器160和周期性管理器170。另外，如图1中所图示，存储器126被配置成存储相对于使用这种数据的相应管理器来描述的各种数据。传入音频信号管理器130被配置成通过网络接口122从远离移动装置120的音频源、例如在WebRTC会话的远端的一方接收传入音频信号数据132。传入音频信号管理器130在接收音频信号数据时，被配置成以某个频率例如每秒200个样本或更多或更少对通过网络190接收到的音频信号进行采样。另外，传入音频信号管理器130被配置成在时间窗口数据134中指定的指定时间窗口期间存储音频信号的结果样本。在这种时间窗口期间存储音频信号产生加窗音频信号作为传入音频信号数据132。在一些实施方式中，时间窗口134被指定为固定时间，例如200毫秒或更多或更少。在某些情况下时间窗口134被指定为固定数目的样本，例如，每窗口40个样本或更多或更少。在一些实施方式中，传入音频信号管理器130以指定频率例如每200毫秒一次或更频繁或更不频繁地更新加窗音频信号。幅度比较管理器134被配置成将加窗音频信号132的幅度与幅度比较数据138中指定的阈值幅度相比较以产生比较结果144。幅度比较管理器134也被配置成选择小幅度滤波管理器140或大幅度滤波管理器150中的一个以用于根据比较结果144对加窗音频信号132执行滤波操作。例如，如果比较结果144指示幅度小于阈值138，则幅度比较管理器134被配置成选择小幅度滤波管理器140。在此示例中，如果比较结果144指示幅度大于阈值138，则幅度比较管理器134被配置成选择大幅度滤波管理器150。在一些实施方式中，幅度比较管理器134被配置成生成加窗音频信号132的样本的幅度的绝对值的最大值(即，L∞范数)作为加窗音频信号132的幅度。在一些实施方式中，幅度比较管理器134被配置成生成加窗音频信号132的样本的幅度的平方和(即，L2范数)作为加窗音频信号132的幅度。小幅度滤波管理器140被配置成利用小幅度脉冲响应数据142对加窗音频信号132执行卷积运算。在一些实施方式中，小幅度脉冲响应数据142的样本的数目等于加窗音频信号132的样本的数目。在一些实施方式中，小幅度脉冲响应数据142的样本的数目不等于加窗音频信号132的样本的数目。在这种实施方式中，小幅度滤波管理器140被配置成使用本文档来自技高网...

【技术保护点】
1.一种方法，包括：由被配置成减少包括扩音器和麦克风的音频系统中的声学回声的处理电路，在所述音频系统的所述扩音器处接收来自远离所述音频系统的源位置的音频信号；由所述处理电路对所述音频信号的幅度和阈值幅度执行比较操作以产生比较结果；响应于所述比较结果指示所述音频信号的所述幅度小于所述阈值幅度：由所述处理电路对到所述音频系统的所述麦克风中的输入信号执行第一滤波操作，以产生第一滤波输入信号；以及由所述处理电路将所述第一滤波输入信号发送到所述源位置；响应于所述比较结果指示所述音频信号的所述幅度大于所述阈值幅度：由所述处理电路对到所述音频系统的所述麦克风中的所述输入信号执行第二滤波操作以产生第二滤波输入信号，所述第二滤波输入信号与所述第一滤波输入信号不同；以及由所述处理电路将所述第二滤波输入信号发送到所述源位置。

【技术特征摘要】
【国外来华专利技术】2016.06.30 US 62/356,7661.一种方法，包括：由被配置成减少包括扩音器和麦克风的音频系统中的声学回声的处理电路，在所述音频系统的所述扩音器处接收来自远离所述音频系统的源位置的音频信号；由所述处理电路对所述音频信号的幅度和阈值幅度执行比较操作以产生比较结果；响应于所述比较结果指示所述音频信号的所述幅度小于所述阈值幅度：由所述处理电路对到所述音频系统的所述麦克风中的输入信号执行第一滤波操作，以产生第一滤波输入信号；以及由所述处理电路将所述第一滤波输入信号发送到所述源位置；响应于所述比较结果指示所述音频信号的所述幅度大于所述阈值幅度：由所述处理电路对到所述音频系统的所述麦克风中的所述输入信号执行第二滤波操作以产生第二滤波输入信号，所述第二滤波输入信号与所述第一滤波输入信号不同；以及由所述处理电路将所述第二滤波输入信号发送到所述源位置。2.根据权利要求1所述的方法，其中，执行所述第一滤波操作包括：在指定时间窗口之上对所述音频信号进行采样，以产生加窗音频信号；基于输入到所述麦克风中的所述输入信号生成第一脉冲响应函数；以及生成所述加窗音频信号和所述第一脉冲响应函数的卷积，以产生第一滤波传入信号。3.根据权利要求2所述的方法，其中，基于输入到所述麦克风中的所述输入信号生成所述第一脉冲响应函数包括：产生优化残差信号的功率的脉冲响应函数作为所述第一脉冲响应函数，所述残差信号等于输入到所述麦克风中的所述输入信号与所述加窗音频信号和所述通用脉冲响应函数的卷积之间的差，并且其中，将所述第一滤波输入信号发送到所述源位置包括：发送功率优化的残差信号作为所述第一滤波输入信号，所述功率优化的残差信号等于输入到所述麦克风中的所述输入信号与所述加窗音频信号和所述第一脉冲响应函数的卷积之间的差。4.根据权利要求2所述的方法，其中，所述第一脉冲响应函数是谐波的加权和，所述谐波中的每一个具有等于基频的倍数的频率。5.根据权利要求2所述的方法，其中，执行所述第一滤波操作还包括：在生成所述第一脉冲响应函数之后的指定时间量之后，生成另一第一脉冲响应函数。6.根据权利要求2所述的方法，其中，所述加窗音频信号包括所述音频信号的多个样本，所述多个样本中的每一个是所述音频信号在出现在所述指定时间窗口内时的值，并且其中，对所述音频信号的幅度和阈值幅度执行所述比较操作包括：生成所述音频信号的多个样本中的每一个样本的绝对值以产生多个绝对值；以及产生所述多个绝对值中的最大者作为所述音频信号的所述幅度。7.根据权利要求1所述的方法，其中，执行所述第二滤波操作包括：生成所述加窗音频信号的非线性函数；基于输入到所述麦克风中的所述输入信号生成第二脉冲响应函数；以及生成(i)所述加窗音频信号的非线性函数和(ii)所述第一脉冲响应函数的卷积，以产生第一滤波传入信号。8.根据权利要求7所述的方法，其中，生成所述加窗音频信号的非线性函数包括：对所述加窗音频信号的幅度求平方。9.根据权利要求7所述的方法，其中，基于输入到所述麦克风中的所述输入信号生成所述第二脉冲响应函数包括：产生优化残差信号的功率的通用脉冲响应函数作为所述第二脉冲响应函数，所述残差信号等于输入到所述麦克风中的所述输入信号与所述加窗音频信号的所述非线性函数和所述通用脉冲响应函数的卷积之间的差，并且其中，将所述第二滤波输入信号发送到所述源位置包括：发送功率优化的残差信号作为所述第二滤波输入信号，所述功率优化的残差信号等于输入到所述麦克风中的所述输入信号与所述加窗音频信号的所述非线性函数和所述第二脉冲响应函数的卷积之间的差。10.根据权利要求7所述的方法，其中，执行所述第一滤波操作包括：生成所述加窗音频信号的第一非线性函数，所述第一非线性函数与所述非线性函数不同；基于输入到所述麦克风中的所述输入信号生成第一脉冲响应函数；以及生成(i)所述加窗音频信号的所述第一非线性函数和(ii)所述第一脉冲响应函数的卷积，以产生第一滤波传入信号。11.根据权利要求6所述的方法，其中，执行所述第二滤波操作还包括：在生成所述第二脉冲响应函数之后的指定时间量之后，生成另一第三脉冲响应函数。12.根据权利要求1所述的方法，其中，所述方法还包括：响应于所述比较结果指示所述音频信号的所述幅度大于所述阈值幅度并且大于第二阈值幅度：由所述处理电路对到所述音频系统的所述麦克风中的所述输入信号执行第三滤...

【专利技术属性】
技术研发人员：简·斯科格隆，黄译腾，亚历杭德罗·吕布斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US