执行声学回声消除的设备及方法技术

本发明专利技术提供执行声学回声消除的设备及方法，可产生高质量的回声抑制后的信号。本发明专利技术提供的一种用于执行声学回声消除的设备，可包括：扬声器，用于在设备上输出远端信号；麦克风，用于至少接收近端信号和来自该扬声器的远端信号以产生麦克风输出；人工智能(AI)加速器，用于根据第一神经网络模型和第二神经网络模型执行神经网络操作，以输出回声抑制后的信号；和数字信号处理(DSP)单元，用于：执行自适应滤波以从该麦克风输出中去除该远端信号的至少一部分，以产生滤波后的近端信号；和执行快速傅里叶变换(FFT)和逆向FFT(IFFT)以分别产生该第一神经网络模型的输入和该第二神经网络模型的输入。网络模型的输入。网络模型的输入。

【技术实现步骤摘要】
执行声学回声消除的设备及方法


[0001]本专利技术的实施例涉及用于声学回声(acoustic echo)消除的异构计算系统(heterogeneous computing system)，其中该异构计算系统包括数字信号处理组件和人工智能(Artificial Intelligence，AI)组件。

技术介绍

[0002]在音频或视频通话中，当远端人的语音传输到近端扬声器(loudspeaker)并被近端麦克风(microphone)拾取时会出现声学回声。扬声器和麦克风之间的耦合会显着降低语音通信的质量。减少声学回声可以提高语音清晰度和质量。
[0003]现代视频会议(teleconference)系统执行声学回声消除以抑制回声效应。传统的声学回声消除方法通常基于自适应有限脉冲响应(Finite Impulse Response，FIR)滤波器，该滤波器实时连续适应声学路径。从声学路径信号中减去该滤波器的输出以产生回声的线性部分基本被消除的信号输出。然而，FIR滤波器通常无法去除回声的非线性部分。
[0004]因此，需要可改进已有技术的声学回声消除机制以产生高质量的回声抑制后的信号。

技术实现思路

[0005]专利技术提供执行声学回声消除的设备及方法，可产生高质量的回声抑制后的信号。
[0006]本专利技术提供的一种用于执行声学回声消除的设备，可包括：扬声器，用于在设备上输出远端信号；麦克风，用于至少接收近端信号和来自该扬声器的远端信号以产生麦克风输出；人工智能(AI)加速器，用于根据第一神经网络模型和第二神经网络模型执行神经网络操作，以输出回声抑制后的信号；和数字信号处理(DSP)单元，用于：执行自适应滤波以从该麦克风输出中去除该远端信号的至少一部分，以产生滤波后的近端信号；和执行快速傅里叶变换(FFT)和逆向FFT(IFFT)以分别产生该第一神经网络模型的输入和该第二神经网络模型的输入。
[0007]本专利技术提供的一种包括多级流水线的设备，可包括：两个或更多个数字信号处理(DSP)级，用于执行自适应滤波、快速傅里叶变换(FFT)和逆向FFT(IFFT)；和两个或更多个神经网络级，用于根据第一神经网络模型和第二神经网络模型执行神经网络操作，其中该自适应滤波从麦克风输出中去除远端信号的至少一部分，以产生滤波后的近端信号作为FFT的输入，以及其中该第二神经网络模型接收该IFFT的输出并产生回声抑制后的信号。
[0008]本专利技术提供的一种用于声学回声消除的方法，可包括：由数字信号处理(DSP)单元执行自适应滤波，以从麦克风输出中去除远端信号的至少一部分，以产生滤波后的近端信号；由该DSP单元执行快速傅里叶变换(FFT)以计算该远端信号和该滤波后的近端信号的频谱以产生第一神经网络模型的输入；由人工智能(AI)加速器根据该第一神经网络模型对该频谱执行第一神经网络操作；由DSP单元对该第一神经网络模型的输出执行逆向FFT(IFFT)以产生时域信号作为该第二神经网络模型的输入；和由该AI加速器根据该第二神经网络模
型进行第二神经网络操作，以输出回声抑制后的信号。
[0009]由上可知，本专利技术的声学回声消除方案包括自适应滤波、快速傅里叶变换(FFT)、逆向FFT(IFFT)以及神经网络操作，由此可产生高质量的回声抑制后的信号。
附图说明
[0010]图1图示了根据一个实施例可操作以执行混合声学回声消除(AEC)的系统。
[0011]图2图示了根据一个实施例的混合AEC操作。
[0012]图3是图示根据一个实施例的两个神经网络模型的图。
[0013]图4是图示根据一个实施例的用于混合AEC的方法的流程图。
[0014]图5是根据一个实施例的AEC流水线的示意图。
具体实施方式
[0015]在说明书及权利要求书当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大体上”或“大约”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”或“耦合”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本专利技术的较佳方式，目的在于说明本专利技术的精神而非用以限定本专利技术的保护范围，本专利技术的保护范围当视权利要求书所界定者为准。
[0016]接下面的描述为本专利技术预期的最优实施例。这些描述用于阐述本专利技术的大致原则而不应用于限制本专利技术。本专利技术的保护范围应在参考本专利技术的权利要求书的基础上进行认定。
[0017]本专利技术的实施例提供了一种异构计算系统来执行混合(hybrid)声学回声消除(Acoustic Echo Cancellation，AEC)操作。该异构计算系统包括数字信号处理(Digital Signal Processing，DSP)电路和神经网络电路。DSP电路和神经网络电路可以形成多级流水线(multi
‑
stage pipeline)以有效地执行混合AEC操作。混合AEC操作包括DSP操作和神经网络操作。DSP操作可能包括自适应滤波、快速傅里叶变换(Fast Fourier Transform，FFT)、逆向FFT(IFFT)等。神经网络操作可能包括卷积、长短期记忆(Long Short
‑
Term Memory，LSTM)网络、全连接(fully
‑
connected)层、sigmoid激活和层归一化(layer normalization)等。本文公开的异构计算架构不仅提高了AEC操作的实时计算效率，而且提高了全双工语音通信系统的语音质量。
[0018]图1图示了根据一个实施例的可操作以执行混合AEC操作的系统100。系统100包括DSP单元110和人工智能(AI)加速器120。DSP单元110还可以包括模拟数字转换器(Analog
‑
to
‑
Digital Converter，ADC)111、数字模拟转换器(Digital
‑
to
‑
Analog Converter，DAC)112、DSP存储器113和DSP电路115。DSP单元110用于执行数字处理操作，例如自适应滤波、FFT、IFFT等。AI加速器120还可以包括神经网络(Neural Network，NN)电路125和NN存储器
123。NN电路125用于执行神经网络操作，例如卷积、LSTM网络、全连接层、sigmoid激活和层归一化等。DSP电路115和NN电路125可以是可编程电路和/或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于执行声学回声消除的设备，其特征在于，包括：扬声器，用于在设备上输出远端信号；麦克风，用于至少接收近端信号和来自该扬声器的远端信号以产生麦克风输出；人工智能加速器，用于根据第一神经网络模型和第二神经网络模型执行神经网络操作，以输出回声抑制后的信号；和数字信号处理单元，用于：执行自适应滤波以从该麦克风输出中去除该远端信号的至少一部分，以产生滤波后的近端信号；和执行快速傅里叶变换和逆向快速傅里叶变换以分别产生该第一神经网络模型的输入和该第二神经网络模型的输入。2.根据权利要求1所述的设备，其特征在于，在执行该快速傅里叶变换时该数字信号处理单元进一步用于：计算该远端信号和该滤波后的近端信号的频谱，以产生该第一神经网络模型的输入。3.根据权利要求1所述的设备，其特征在于，在执行该逆向快速傅里叶变换时该数字信号处理单元进一步用于：对该第一神经网络模型的输出执行逆向快速傅里叶变换，以产生时域信号作为该第二神经网络模型的输入。4.根据权利要求1所述的设备，其特征在于，该数字信号处理单元和该人工智能加速器形成流水线，该流水线包括：两个或更多个数字信号处理级，由该数字信号处理单元执行该自适应滤波、该快速傅里叶变换和该逆向快速傅里叶变换；和两个或更多个神经网络级，由该人工智能加速器根据该第一神经网络模型和该第二神经网络模型执行神经网络操作。5.根据权利要求1所述的设备，其特征在于，该数字信号处理单元和该人工智能加速器形成5级流水线，该5级流水线包括：第一数字信号处理电路，为该数字信号处理单元的第一部分，用于执行该自适应滤波；第二数字信号处理电路，为该数字信号处理单元的第二部分，用于执行该快速傅里叶变换；第一神经网络电路，为该人工智能加速器的第一部分，用于根据该第一神经网络模型操作；第三数字信号处理电路，为该数字信号处理单元的第三部分，用于执行该逆向快速傅里叶变换；和第二神经网络电路，为该人工智能加速器的第二部分，用于根据该第二神经网络模型操作。6.根据权利要求1所述的设备，其特征在于，该远端信号被输入到该快速傅里叶变换和该第二神经网络模型。7.根据权利要求1所述的设备，其特征在于，该人工智能加速器用于根据该第一神经网络模型对与该滤波后的近端信号的归一化频谱相级联的该远端信号的归一化频谱执行操作。
8.根据权利要求1所述的设备，其特征在于，该人工智能加速器用于根据该第二神经网络模型对分段的远端信号和该逆向快速傅里叶变换的输出执行操作。9.根据权利要求1所述的设备，其特征在于，该快速傅里叶变换是短时傅里叶变换。10.根据权利要求1所述的设备，其特征在于，该第一神经网络模型和该第二神经网络模型均包括两层长短期记忆、全连接层和sigmoid激活。11.一种包括多级流水线的设备，其特征在于，包括：两个或更多个数字信号处理级，用于执行自适...

【专利技术属性】
技术研发人员：于小汐，黄瀚韬，杨子昂，杨佳兴，郑力维，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：