回声消除的处理方法及处理系统技术方案

本发明专利技术公开了一种回声消除的处理方法及处理系统，处理方法包括：基于自适应滤波器对近端频域信号D

Processing method and system of echo cancellation

【技术实现步骤摘要】
回声消除的处理方法及处理系统
本专利技术涉及通信领域，特别涉及一种回声消除的处理方法及系统。
技术介绍
在回声消除技术中回波抑制比与双讲衰减性能是一对相互制约的评估指标，已有的技术中为了达到较好的回声消除程度，往往是以牺牲双讲性能为代价的。在实时语音通信与VOIP(VoiceoverInternetProtocol，基于IP的语音传输)过程中，通信终端扬声器发出的声音，总会被该终端的麦克风拾取到，若是不处理就发送出去，对方总能听到自己说话的声音；同时若处理不当则会对本端语音造成失真，影响语音的可懂度。在人机交互应用场景中，由于交互终端发出的声音又被麦克风拾取回去，同时拾取了控制者的说话声，若在麦克风拾取信号中不消除交互终端发出的声音，那么交互终端在识别控制者说话声音时将引入很强的干扰，降低了识别的成功率，最终造成交互困难；同样的，若对回声消除程度不加以控制，则会对控制者的语音成分造成缺失，也会影响交互指令的识别与理解。以手机通信免提模式为例，麦克风采集到的回声在时间轴上的特性如图1所示：横坐标为时间(time)，单位秒(s)，纵坐标为幅度(magnitude)，单位为dB(分贝)。回声的产生共源自直达路径(Directpath)、前期反射(Earlyreflection)与后期混响(Latereverberation)三种途径，其中直达路径能量最高；前期反射随时间推移呈线性衰减趋势，时间持续数十毫秒；后期混响能量较弱，很快衰减到噪声水平，持续百毫秒以上。无论是直达声、前期反射或是后期混响，回声成分与远端频域信号总是线性相关的，因此普遍采用自适应滤波器对其进行消除。但根据音频设备的不同，回声拖尾的时间会持续数百毫秒到数秒不等，受复杂度与资源需求的限制，滤波器的阶数不能一味的增加，同时根据自适应滤波器稳态误差的理论瓶颈，通常将20dB的回波抑制(decay)比作为自适应滤波器的设计目标，即图中电划线对应的位置，相应的时间长度则换算为滤波器的阶数。基于以上所述，自适应滤波器能消除大部分的回声成分，但仍有部分前期反射与后期混响残留了下来的残留回声，需要对该部分回声做进一步的抑制。公开号为CN102164210A的专利文件公开了一种时域自适应滤波结合频域非线性处理的方法。其中自适应滤波部分提出了最优步长及其变形的方法，增加了背景噪声与双讲场景下滤波器的稳健性。公式中z(n)表示残差，ε(n)表示残留回声，是近端频域信号x(n)在L个样本窗上的短期能量，L是滤波器长度。频域非线性处理(NLP，Non-LinearProcess)采用中心削波或舒适噪声插入的方法，在每个子带设置预定的阈值，若低于该阈值则进行清零或噪声插入处理。公开号为CN104395957B的专利文件公开了一种可重构的回声消除系统，包括回声线性处理模块、非线性回声处理模块与回声泄漏防止模块。其中回声线性处理模块所指为时域(TD)或频域(FD)自适应滤波，以FD的NLMS(归一化最小均方自适应滤波)为例，采用远近端相关因子作为滤波器的更新步长，保证其稳健性，公式中Xn(k)、Dn(k)分别代表远、近端频域信号，k为帧索引，n为频率索引。非线性回声处理模块结合了时频域的处理，通过对自适应滤波估计回声幅度与近端频域信号幅度作对比，并结合残差幅度的大小，做出是否有回声残留的判决，进而给出相应的抑制增益。回声泄漏防止模块则是直接判断近端频域信号的幅度，若小于阈值，则认为可能发生近端麦克风被静音或移走的情况，固定给非线性回声处理模块的输出乘上一个很小的增益。如前述的公开号为CN102164210A与CN104395957B的专利文件中所公开的，现有技术中在对待残留回声处理方面，直接将所有的回声残留均视做非线性成分，采用的方法均是基于一些硬门限判决，得到0/1结果，近而进行强制增益或清零等非线性处理。这类方法其缺点在于完全依赖0/1结果的判决，一旦设定的门限或阈值对于实际场景的覆盖面不够，则会出现大量的回声残留。同时当近端语音与残留回声混合的时候，如双讲应用场景中，现有的回声消除方式会将残留回声一并保留了下来。因此在回声消除与双工性能两个层面上都没有达到较好的效果。综上可知，现有技术中直接将所有的回声残留均视做非线性成分，针对残留回声常采用估计与抑制的方法加以解决，如基于一些硬门限判决后进行强制增益或清零等非线性处理，由于难以对相关能量做出精准的估计，加之与近端语音频谱上的重合，抑制过程中常出现双讲近端语音衰减或失真的问题。其次在近端有效语音能量较弱的时候会被当作残留回声抑制掉，造成断断续续，影响双工性能。另外，作为公知的方法，自适应滤波用于消除主要能量的线性回声，但在双讲、低信噪比场景下其稳健性受到考验，常面临失调的问题。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中的直接将所有的残留回声均视做非线性成分，并常采用估计与抑制的方法造成无法对相关能量做出精准的估计，抑制过程中常出现双讲近端语音衰减或失真的缺陷，提供一种能够充分考虑回声消除彻底性的同时兼顾了全双工通信的需求的回声消除的处理方法及处理系统。本专利技术是通过下述技术方案来解决上述技术问题：本专利技术第一方面提供了一种回声消除的处理方法，包括以下步骤：基于自适应滤波器对近端频域信号Dn(k)中的线性回声进行消除处理，以得到第一残留信号En(k)，所述第一残留信号En(k)包括残留线性回声信号和非线性回声信号；对所述第一残留信号En(k)进行处理，以消除所述第一残留信号En(k)中的所述残留线性回声信号后得到第二残留信号Vn(k)，所述第二残留信号Vn(k)包括所述非线性回声信号；对所述第二残留信号Vn(k)进行处理，以消除所述第二残留信号Vn(k)中的所述非线性回声信号后得到输出信号Wn(k)；其中，n表示帧索引，k表示频率索引。本方案中，根据回声产生的原理，打破了现有技术中常规的线性回声与非线性残留的认知，将待消除的回声在频域上分解为了主要能量的线性回声、残留线性回声与非线性回声三部分，采用了对应的三级回声消除的处理方式，即自适应滤波器消除主要能量的线性回声、残留线性回声消除处理与非线性回声消除处理，通过细分了待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。较佳地，所述对所述第一残留信号En(k)进行处理，以消除所述第一残留信号En(k)中的所述残留线性回声信号后得到第二残留信号Vn(k)的步骤包括以下步骤：对所述第一残留信号En(k)进行功率计算，以得到第一残留功率PEn(k)；使用所述第一残留信号En(k)和远端频域信号Xn(k)进行相关计算得到第一相关系数Cohxen(k)；基于所述第一相关系数Cohxen(k)得到残留回声因子ηn(k)；根据公式(1)计算得到第二残留功率PEren(k)：PEren(k)＝ηn(k)PEn(k)(1)；基于所述第一残留功率PEn(k本文档来自技高网...

【技术保护点】
1.一种回声消除的处理方法，其特征在于，包括以下步骤：/n基于自适应滤波器对近端频域信号D

【技术特征摘要】
1.一种回声消除的处理方法，其特征在于，包括以下步骤：
基于自适应滤波器对近端频域信号Dn(k)中的线性回声进行消除处理，以得到第一残留信号En(k)，所述第一残留信号En(k)包括残留线性回声信号和非线性回声信号；
对所述第一残留信号En(k)进行处理，以消除所述第一残留信号En(k)中的所述残留线性回声信号后得到第二残留信号Vn(k)，所述第二残留信号Vn(k)包括所述非线性回声信号；
对所述第二残留信号Vn(k)进行处理，以消除所述第二残留信号Vn(k)中的所述非线性回声信号后得到输出信号Wn(k)；
其中，n表示帧索引，k表示频率索引。


2.如权利要求1所述的回声消除的处理方法，其特征在于，所述对所述第一残留信号En(k)进行处理，以消除所述第一残留信号En(k)中的所述残留线性回声信号后得到第二残留信号Vn(k)的步骤包括以下步骤：
对所述第一残留信号En(k)进行功率计算，以得到第一残留功率PEn(k)；
使用所述第一残留信号En(k)和远端频域信号Xn(k)进行相关计算得到第一相关系数Cohxen(k)；
基于所述第一相关系数Cohxen(k)得到残留回声因子ηn(k)；
根据公式(1)计算得到第二残留功率PEren(k)：
PEren(k)＝ηn(k)PEn(k)(1)；
基于所述第一残留功率PEn(k)、所述第二残留功率PEren(k)得到残留回声抑制增益RESGainn(k)；
根据公式(2)得到所述第二残留信号Vn(k)：
Vn(k)＝RESGainn(k)*En(k)(2)。


3.如权利要求2所述的回声消除的处理方法，其特征在于，所述对所述第一残留信号En(k)进行处理，以消除所述第一残留信号En(k)中的所述残留线性回声信号后得到第二残留信号Vn(k)的步骤还包括以下步骤：
对所述近端频域信号Dn(k)进行功率计算，以得到近端功率PDn(k)；
所述基于所述第一残留功率PEn(k)、所述第二残留功率PEren(k)得到残留回声抑制增益RESGainn(k)的步骤包括以下步骤：
使用所述第一残留功率PEn(k)、所述第二残留功率PEren(k)以及所述远端功率PDn(k)得到先验信回比SERn(k)；
基于所述先验信回比SERn(k)得到所述残留回声抑制增益RESGainn(k)。


4.如权利要求3所述的回声消除的处理方法，其特征在于，所述使用所述第一残留功率PEn(k)、所述第二残留功率PEren(k)以及所述近端功率PDn(k)得到先验信回比SERn(k)的步骤包括以下步骤：
根据回波抑制比判断是否为双讲状态，若是，则设置双讲系数RESfac为第一预设值，若否，则设置所述双讲系数RESfac为1；
所述第一预设值为小于1且大于0的数；
根据公式(3)计算得到第三残留功率PEreFn(k)：PEreFn(k)＝PEren(k)*RESfac(3)；
根据公式(4)计算得到所述先验信回比SERn(k)：



其中，PVn-1(k)＝||Vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值SER0(k)计算公式为：


5.如权利要求4所述的回声消除的处理方法，其特征在于，所述根据回波抑制比判断是否为双讲状态的步骤包括：根据所述回波抑制比和所述自适应滤波器的更新步长判断是否为双讲状态。


6.如权利要求2所述的回声消除的处理方法，其特征在于，所述基于所述第一相关系数Cohxen(k)得到残留回声因子ηn(k)的步骤包括以下步骤：
对所述第一相关系数Cohxen(k)作谱平滑处理后得到第二相关系数Cohxe'n(k)；
将所述第二相关系数Cohxe'n(k)设置为所述残留回声因子ηn(k)。


7.如权利要求6所述的回声消除的处理方法，其特征在于，
所述对所述第一相关系数Cohxen(k)作谱平滑处理后得到第二相关系数Cohxe'n(k)采用公式(5)实现：
Cohxe'n(k)＝(1-β1-β2)Cohxen(k)+β1Cohxen(k-1)+β2Cohxen(k+1)(5)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；
起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,Cohxen(k±1)≥Cohxen(k)；
β1、β2＝βmin,Cohxen(k±1)＜Cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1。


8.如权利要求1所述的回声消除的处理方法，其特征在于，所述基于自适应滤波器对近端频域信号Dn(k)中的线性回声进行消除处理，以得到第一残留信号En(k)的步骤包括以下步骤：
对远端频域信号Xn(k)使用所述自适应滤波器进行处理后得到回声估计信号Yn(k)；
根据公式(6)计算得到残差信号En'(k)：
En'(k)＝Dn(k)-Yn(k)(6)；
对所述残差信号En'(k)进行失调检测与保护，以得到所述第一残留信号En(k)。


9.如权利要求8所述的回声消除的处理方法，其特征在于，所述自适应滤波器的自适应更新步长μn(k)为所述残差信号En'(k)与所述回声估计信号Yn(k)的相关系数。


10.一种回声消除的处理系统，其特...

【专利技术属性】
技术研发人员：叶顺舟，康力，
申请(专利权)人：紫光展锐重庆科技有限公司，
类型：发明
国别省市：重庆;50