回音抑制装置、回音抑制方法以及存储介质制造方法及图纸

提供一种回音抑制装置、回音抑制方法以及存储介质。本发明专利技术涉及的回音抑制装置具备：利用表示被输出到从由麦克风获取的输入信号抑制线性回音信号的回音消除器和扬声器的通话接收信号以及所述输入信号的至少其中之一与非线性回音信号之间的关系性的非线性回音模型，根据通话接收信号以及输入信号的至少其中之一，推测输入信号中包含的非线性回音信号的非线性回音推测部；利用所推测出的非线性回音信号，从回音消除器的输出信号抑制非线性回音信号的非线性回音抑制部；以及，从非线性回音抑制部的输出信号抑制没有被回音消除器抑制的残留线性回音信号的回音抑制器。

【技术实现步骤摘要】
回音抑制装置、回音抑制方法以及存储介质
本专利技术涉及一种抑制通过麦克风获取的输入信号中包含的线性回音信号(echosignal)以及非线性回音信号的技术。
技术介绍
在免提通话系统以及视频会议系统等，在进行利用扬声器以及麦克风的扩音通话的情况下，通话发送方的讲话者发出的声音被输入到通话发送方的麦克风，作为通话发送信号经由网络线路被发送到通话接收方的设备。从通话接收方的扬声器扩音的声音在通话接收方的麦克风被收音，经由网络线路被发送到通话发送方的设备。此时，从通话发送方的扬声器再生经过了通过网络线路的时间和在通话接收方的空间传输的时间的自身发出的声音。如此，在从通话接收方的扬声器到麦克风之间传输的声音被称为回音，成为妨碍通话的主要因素。为此，已经提出了回音消除器以及回音抑制器等的回音抑制技术。例如，日本专利公开公报特开2017－191992号公报公开的回音抑制装置，在扬声器再生通话接收信号之际，在因通话接收信号的电平过大(highlevelofthecallreceptionsignal)而再生声音有可能产生失真的情况下，针对每个频率求出抑制量比在没有产生失真的情况下所使用的增益大的增益，并将增益乘以基于频域的接收声音信号的值。而且，例如，日本专利公开公报特开2010－103875号公报公开的回音抑制装置，在某个频率值的再生信号的功率大于预先决定的阈值时，并且，在该频率值为m(m＝2、3、......、M)倍的频率值或者m倍的频率值的周边的频率值的情况下，将使与m倍的频率值及其周边的频率值对应的增益系数接近0的值作为第二增益系数而求出，在除此之外的情况下，将增益系数作为第二增益系数而求出。然而，在上述现有技术中，难以稳定地抑制通过麦克风获取的输入信号中包含的非线性回音信号，需要进一步的改善。
技术实现思路
本专利技术是为了解决上述的问题而做出的专利技术，其目的在于提供一种可以稳定地抑制通过麦克风获取的输入信号中包含的非线性回音信号的技术。本专利技术的一实施方式涉及的回音抑制装置包括：第一线性回音抑制部，通过推测由麦克风获取的输入信号中包含的线性回音信号的振幅成分以及相位成分，从所述输入信号抑制线性回音信号；非线性回音推测部，利用表示输出到扬声器的通话接收信号以及所述输入信号的至少其中之一与非线性回音信号之间的关系性的非线性回音模型，根据所述通话接收信号以及所述输入信号的至少其中之一推测所述输入信号中包含的所述非线性回音信号；非线性回音抑制部，利用通过所述非线性回音推测部推测出的所述非线性回音信号，从所述第一线性回音抑制部的输出信号抑制所述非线性回音信号；以及，第二线性回音抑制部，通过推测没有被所述第一线性回音抑制部抑制的残留线性回音信号的振幅成分，从所述非线性回音抑制部的输出信号抑制所述残留线性回音信号。附图说明图1是表示在输入信号中没有包含因扬声器失真引起的非线性回音的情况下、麦克风信号、回音消除器输出信号以及回音抑制器输出信号的示意图。图2是表示在输入信号中包含因扬声器失真引起的非线性回音的情况下、麦克风信号、回音消除器输出信号以及回音抑制器输出信号的示意图。图3是表示本专利技术的第一实施方式的通话装置的构成的示意图。图4是表示从第一实施方式的回音抑制装置的各个部输出的信号的一个例子的示意图。图5是用于说明本专利技术的第一实施方式的回音抑制装置的动作的流程图。图6是表示本专利技术的第一实施方式的学习装置的构成的示意图。图7是表示从第一实施方式的学习装置的各个部输出的信号的一个例子的示意图。图8是表示包含1/3倍频带噪声(octavebandnoise)的通话接收信号的振幅谱的示意图。图9是表示在图8所示的通话接收信号被扩音之际用麦克风获取的输入信号中包含的非线性回音信号的正确值(correctvalue)以及推测值的振幅谱的示意图。图10是表示包含女性的声音的通话接收信号的振幅谱的示意图。图11是表示在图10所示的通话接收信号被扩音之际用麦克风获取的输入信号中包含的非线性回音信号的正确值以及推测值的振幅谱的示意图。图12是表示对来自现有的回音抑制装置的输出信号以及来自第一实施方式的回音抑制装置的输出信号进行频率解析的结果的示意图。图13是表示包含男性的声音的输入信号的振幅的时间变化和相对于输入信号的回音抑制量(ERLE)的时间变化的示意图。图14是表示本专利技术的第二实施方式的通话装置的构成的示意图。图15是表示本专利技术的第三实施方式的通话装置的构成的示意图。图16是表示本专利技术的第四实施方式的通话装置的构成的示意图。图17是表示本专利技术的第五实施方式的通话装置的构成的示意图。图18是表示本专利技术的第六实施方式的通话装置的构成的示意图。图19是表示本专利技术的第七实施方式的通话装置的构成的示意图。具体实施方式(本专利技术的基础知识)回音消除是通过自适应滤波器(adaptivefilter)推测回音信号并通过从用麦克风收音的信号中减去所推测出的回音信号来消除回音的技术。回音是从扬声器被扩音的声音的直接声音和反射声音的叠加。为此，在扬声器与麦克风之间的传输特征可以用FIR(FiniteImpulseResponse)滤波器来表现。FIR型自适应滤波器以近似到传输特征的方式进行学习，并通过将滤波系数与通话接收信号进行卷积来生成回音的推测值即模拟回音信号(pseudoechosignal)。作为自适应滤波器的学习算法，有基于LMS(LeastMeanSquare)法、NLMS(NormalizedLMS)法以及ICA(IndependentComponentAnalysis)的方法等。另一方面，回音抑制是推测频域中的回音的功率谱并且通过从用麦克风收音的信号的功率谱中减去所推测出的回音的功率谱来抑制回音的技术。回音抑制器例如通过谱减法(spectrumsubtractionmethod)或维纳滤波法(wienerfilteringmethod)来抑制回音。由于在上述的回音消除自适应滤波器的学习需要花费时间，在刚接通电源以及回音路径发生了变动之际有可能会产生残留回音。而且，在扬声器或者麦克风产生的杂音或者发送声音信号会引起自适应滤波器的错误学习，在模拟回音信号可能会产生推测误差，残留回音有可能增加。为此，回音抑制器通常在回音消除器的后期阶段以补偿回音抑制为目的而被使用。由于现有的回音消除器以及现有的回音抑制器用于在线性模型推测回音，存在难以抑制掺杂了因扬声器失真之类的非线性杂音的非线性回音的问题。在被用于笔记本电脑或者便携式视频会议系统的设备中，由于从小口径扬声器放音大音量的声音，因扬声器失真引起的非线性回音的影响显著，有可能无法舒适地进行通话。而且，上述日本专利公开公报特开2017－191992号公报中公开的技术，难以抑制诸如谐波失真(harmonicdistortion)之类的没有被包含在通话接收信号中的频率成分的非线性回音信号。本文档来自技高网...

【技术保护点】
1.一种回音抑制装置，其特征在于包括：/n第一线性回音抑制部，通过推测由麦克风获取的输入信号中包含的线性回音信号的振幅成分以及相位成分，从所述输入信号抑制线性回音信号；/n非线性回音推测部，利用表示输出到扬声器的通话接收信号以及所述输入信号的至少其中之一与非线性回音信号之间的关系性的非线性回音模型，根据所述通话接收信号以及所述输入信号的至少其中之一推测所述输入信号中包含的所述非线性回音信号；/n非线性回音抑制部，利用通过所述非线性回音推测部推测出的所述非线性回音信号，从所述第一线性回音抑制部的输出信号抑制所述非线性回音信号；/n第二线性回音抑制部，通过推测没有被所述第一线性回音抑制部抑制的残留线性回音信号的振幅成分，从所述非线性回音抑制部的输出信号抑制所述残留线性回音信号。/n

【技术特征摘要】
20200520 JP 2020-087944;20191112 US 62/9341191.一种回音抑制装置，其特征在于包括：
第一线性回音抑制部，通过推测由麦克风获取的输入信号中包含的线性回音信号的振幅成分以及相位成分，从所述输入信号抑制线性回音信号；
非线性回音推测部，利用表示输出到扬声器的通话接收信号以及所述输入信号的至少其中之一与非线性回音信号之间的关系性的非线性回音模型，根据所述通话接收信号以及所述输入信号的至少其中之一推测所述输入信号中包含的所述非线性回音信号；
非线性回音抑制部，利用通过所述非线性回音推测部推测出的所述非线性回音信号，从所述第一线性回音抑制部的输出信号抑制所述非线性回音信号；
第二线性回音抑制部，通过推测没有被所述第一线性回音抑制部抑制的残留线性回音信号的振幅成分，从所述非线性回音抑制部的输出信号抑制所述残留线性回音信号。


2.根据权利要求1所述的回音抑制装置，其特征在于，
所述非线性回音模型，利用教师数据，将所述通话接收信号以及所述输入信号的至少其中之一作为输入，将所述非线性回音信号作为输出进行学习，其中，将所述通话接收信号以及所述输入信号的至少其中之一和从所述第一线性回音抑制部的输出信号抑制所述残留线性回音信号的所述第二线性回音抑制部的输出信号作为所述教师数据，而且，所述第一线性回音抑制部从所述输入信号抑制线性回音信号。


3.根据权利要求1所述的回音抑制装置，其特征在于，
所述非线性回音模型为神经网络。


4.根据权利要求1至3中任一项所述的回音抑制装置，其特征在于，
所述非线性回音推测部，利用表示所述通话接收信号与所述非线性回音信号之间的关系性的所述非线性回音模型，根据所述通话接收信号推测所述输入信号中包含的所述非线性回音信号。


5.根据权利要求1至3中任一项所述的回音抑制装置，其特征在于，
所述非线性回音推测部，利用表示所述通话接收信号以及所述输入信号与所述非线性回音信号之间的关系性的所述非线性回音模型，根据所述通话接收信号以及所述输入信号推测所述输入信号中包含的所述非线性回音信号。


6.根据权利要求1至3中任一项所述的回音抑制装置，其特征在于，
所述非线性回音推测部，利用表示所述通话接收信号以及所述第一线性回音抑制部的输出信号与所述非线性回音信号之间的关系性的所述非线性回音模型，根据所述通话接收信号以及所述第一线性回音抑制部的输出信号推测所述输入信号中包含的所述非线性回音信号。


7.根据权利要求1至3中任一项所述的回音抑制装置，其特征在于，
所述第一线性回音抑制部包含自适应滤波器和减法部，所述自适应滤波器通过将滤波系数与所述通话接收信号进行卷积生成表示所述输入信号中包含的所述通话接收信号的成分的模拟线性回音信号，所述减法部从所述输入信号减去所述模拟线性回音信号，
所述非线性回音推测部，利用表示所述通话接收信号以及来自所述自适应滤波器的所述模拟线性回音信号与所述非线性回音信号之间的关系性的所述非线性回音模型，根据所述通话接收信号以及来自所述自适应滤波器的所述模拟线性回音信号，推测所述输入信号中包含的所述非线性回音信号。


8.根据权利要求1至3中任一项所述的回音抑制装置，其特征在于，
所述非线性回音推测部，利用表示所述输入信号与所述非线性回音信号之间的关系性的所述非线性回音模型，根据所述输入信号推测所述输入信号中包含的所述非线性回音信号。


9.根据权利要求1至3中任一项所述的回音抑制装置，其特征在于还包括：
校正部，计算出用于使所述非线性回音抑制部的输出信号以及所述第二线性回音抑制部的输出信号之中的任意一个输出信号最小化的可变增益，并利用计算出的所述可变增益校正...

【专利技术属性】
技术研发人员：寺岛友树，杠慎一，
申请(专利权)人：松下电器美国知识产权公司，
类型：发明
国别省市：美国;US