用于降噪的音频信号处理制造技术

本发明专利技术提供了一种耳机、耳机系统和语音增强方法，以增强耳机用户的语音拾取。本发明专利技术还提供了从一组麦克风接收多个信号并处理麦克风信号(使用阵列技术)的系统和方法以增强来自用户的嘴部方向的声学信号的响应，以生成主信号。还从一个或多个麦克风导出噪声参考信号，并且通过从主信号中移除与噪声参考信号相关的分量来生成语音估计信号。

Audio signal processing for noise reduction

The invention provides a headset, a headset system and a voice enhancement method to enhance the voice pickup of a headset user. The invention also provides a system and method for receiving multiple signals from a group of microphones and processing microphone signals (using array technology) to enhance the response of acoustic signals from the user's mouth direction to generate a main signal. A noise reference signal is also derived from one or more microphones, and a speech estimation signal is generated by removing components related to the noise reference signal from the main signal.

【技术实现步骤摘要】
【国外来华专利技术】用于降噪的音频信号处理相关申请的交叉引用本申请要求根据PCT第8条于2017年3月20日提交的名称为“AUDIOSIGNALPROCESSINGFORNOISEREDUCTION(用于降噪的音频信号处理)”的共同未决的美国专利申请号15/463,368的优先权的权益，该申请全文以引用方式并入本文以用于所有目的。
技术介绍
耳机系统用于多种环境并用于各种目的，其示例包括娱乐目的诸如游戏或听音乐、生产目的诸如电话呼叫以及专业目的诸如航空通信或录音室监听，等等。不同的环境和目的对于保真度、噪声隔离、降噪、语音拾取等可能具有不同的要求。尽管背景噪音很大，但一些环境(诸如涉及工业设备、航空运营和体育赛事的环境)需要准确的通信。当用户的语音与其他噪声更清楚地分离或隔离时，一些应用程序诸如语音通信和语音识别(包括用于通信的语音识别，例如用于短消息服务(SMS)即发短信的语音转文字应用程序或虚拟个人助理(VPA)应用程序)表现出提高的性能。因此，在一些环境中以及在一些应用中，可能期望从耳机或头戴式耳机附近的其他声源中增强对用户的语音的捕获或拾取，以减少不是由用户的语音引起的信号分量。
技术实现思路
各方面和示例涉及拾取用户的语音活动并减少其他声音分量(诸如背景噪声和其他话音)的耳机系统和方法，以增强用户的语音分量而不是其他声音分量。用户佩戴耳机组，并且这些系统和方法通过移除不是由用户说话引起的可听声来提供对用户语音的增强隔离。降噪的语音信号可有利地应用于音频记录、通信、语音识别系统、虚拟个人助理(VPA)等。本文所公开的方面和示例允许耳机拾取和增强用户的语音，使得用户可使用具有改善的性能的此类应用程序和/或可在嘈杂环境中使用此类应用程序。根据一个方面，提供了一种增强耳机用户的语音的方法，该方法包括接收从耦接到耳机的第一多个麦克风导出的第一多个信号、阵列处理第一多个信号来控制波束朝向用户的嘴部以生成第一主信号、接收从一个或多个麦克风导出的参考信号(该参考信号与背景声学噪声相关)以及通过从第一主信号中移除与参考信号相关的分量来过滤第一主信号以提供语音估计信号。一些示例包括通过阵列处理第一多个信号来从第一多个信号中导出参考信号，以控制零点朝向用户的嘴部。在一些示例中，过滤第一主信号包括过滤参考信号以生成噪声估计信号并从第一主信号中减去噪声估计信号。该方法可包括基于噪声估计信号来增强语音估计信号的频谱振幅以提供输出信号。过滤参考信号可包括自适应地调节滤波器系数。在一些示例中，当用户不说话时，自适应地调节滤波器系数。在一些示例中，通过后台进程自适应地调节滤波器系数。一些示例还包括在与第一多个麦克风不同的位置处接收从耦接到耳机的第二多个麦克风导出的第二多个信号、阵列处理第二多个信号来控制波束朝向用户的嘴部以生成第二主信号、组合第一主信号和第二主信号以提供组合主信号以及通过从组合主信号中移除与该参考信号相关的分量来过滤组合主信号以提供语音估计信号。参考信号可包括第一参考信号和第二参考信号，并且该方法还可包括处理第一多个信号来控制零点朝向用户的嘴部以生成第一参考信号并处理第二多个信号来控制零点朝向用户的嘴部以生成第二参考信号。组合第一主信号和第二主信号可包括将第一主信号与第二主信号进行比较，并且基于比较结果更大程度上地加权第一主信号和第二主信号中的一者。在某些示例中，阵列处理第一多个信号以控制波束朝向用户的嘴部包括使用超指向性近场波束形成器。在一些示例中，该方法包括通过延迟相加技术从一个或多个麦克风中导出参考信号。根据另一方面，提供了一种耳机系统，该耳机系统包括：耦接到左听筒的多个左麦克风；耦接到右听筒的多个右麦克风；一个或多个阵列处理器；第一组合器，该第一组合器提供作为左主信号和右主信号的组合的组合主信号；第二组合器，该第二组合器提供作为左参考信号和右参考信号的组合的组合参考信号；以及被配置为接收组合主信号和组合参考信号以及提供语音估计信号的自适应滤波器。一个或多个阵列处理器被配置为接收从多个左麦克风导出的多个左信号，并通过作用于多个左信号上的阵列处理技术来控制波束以提供左主信号，并且通过作用于多个左信号上的阵列处理技术来控制零点以提供左参考信号。一个或多个阵列处理器还被配置为接收从多个右麦克风导出的多个右信号，并通过作用于多个右信号上的阵列处理技术来控制波束以提供右主信号，并且通过作用于多个右信号上的阵列处理技术来控制零点以提供右参考信号。在某些示例中，自适应滤波器被配置为通过过滤组合参考信号以生成噪声估计信号并从组合主信号中减去噪声估计信号来过滤组合主信号。耳机系统可包括频谱增强器，该频谱增强器被配置为基于噪声估计信号来增强语音估计信号的频谱振幅以提供输出信号。过滤组合参考信号可包括自适应地调节滤波器系数。当用户不说话时，可自适应地调节滤波器系数。可通过后台进程自适应地调节滤波器系数。在一些示例中，耳机系统可包括一个或多个子频带滤波器，一个或多个子频带滤波器被配置为将多个左信号和多个右信号分离成一个或多个子频带，并且其中一个或多个阵列处理器、第一组合器、第二组合器和自适应滤波器各自在一个或多个子频带上操作以提供多个语音估计信号，多个语音估计信号中的每一个具有一个或多个子频带之一的分量。耳机系统可包括频谱增强器，该频谱增强器被配置为接收多个语音估计信号中的每一个并且频谱地增强每个语音估计信号以提供多个输出信号，该输出信号中的每一个具有一个或多个子频带之一的分量。合成器可被包括并且被配置为将多个输出信号组合成单个输出信号。在某些示例中，第二组合器被配置为提供作为左参考信号和右参考信号之间的差值的组合参考信号。在一些示例中，提供左主信号和右主信号的阵列处理技术是超指向性近场波束处理技术。在一些示例中，提供左参考信号和右参考信号的阵列处理技术是延迟相加技术。根据另一方面，提供了一种耳机，该耳机包括耦接到一个或多个听筒的多个麦克风；并且包括一个或多个阵列处理器，一个或多个阵列处理器被配置为接收从多个麦克风导出的多个信号，以通过作用于多个信号上的阵列处理技术来控制波束以提供主信号，并且以通过作用于多个信号上的阵列处理技术来控制零点以提供参考信号；并且包括自适应滤波器，该自适应滤波器被配置为接收主信号和参考信号以及提供语音估计信号。在一些示例中，自适应滤波器被配置为过滤参考信号以生成噪声估计信号，并从第一主信号中减去噪声估计信号以提供语音估计信号。耳机可包括频谱增强器，该频谱增强器被配置为基于噪声估计信号来增强语音估计信号的频谱振幅以提供输出信号。过滤参考信号可包括自适应地调节滤波器系数。当用户不说话时，可自适应地调节滤波器系数。可通过后台进程自适应地调节滤波器系数。在一些示例中，耳机可包括一个或多个子频带滤波器，一个或多个子频带滤波器被配置为将多个信号分离成一个或多个子频带，并且其中一个或多个阵列处理器和自适应滤波器各自在一个或多个子频带上操作以提供多个语音估计信号，多个语音估计信号中的每一个具有一个或多个子频带之一的分量。耳机可包括频谱增强器，该频谱增强器被配置为接收多个语音估计信号中的每一个并且频谱地增强每个语音估计信号以提供多个输出信号，每个输出信号具有一个或多个子频带中的一个子频带的分量。耳机还可包括合成器，该合成器被配置为将本文档来自技高网...

【技术保护点】
1.一种增强耳机用户的语音的方法，所述方法包括：接收从耦接到所述耳机的第一多个麦克风导出的第一多个信号；阵列处理所述第一多个信号以增强对源自所述用户的嘴部方向的声学信号的响应，以生成第一主信号；接收从一个或多个麦克风导出的参考信号，所述参考信号与背景声学噪声相关；以及通过从所述第一主信号中移除与所述参考信号相关的分量来过滤所述第一主信号，以提供语音估计信号。

【技术特征摘要】
【国外来华专利技术】2017.03.20 US 15/463,3681.一种增强耳机用户的语音的方法，所述方法包括：接收从耦接到所述耳机的第一多个麦克风导出的第一多个信号；阵列处理所述第一多个信号以增强对源自所述用户的嘴部方向的声学信号的响应，以生成第一主信号；接收从一个或多个麦克风导出的参考信号，所述参考信号与背景声学噪声相关；以及通过从所述第一主信号中移除与所述参考信号相关的分量来过滤所述第一主信号，以提供语音估计信号。2.根据权利要求1所述的方法，还包括通过阵列处理所述第一多个信号以减少对源自所述用户的嘴部方向的声学信号的响应，来从所述第一多个信号中导出所述参考信号。3.根据权利要求1或2所述的方法，其中过滤所述第一主信号包括过滤所述参考信号以生成噪声估计信号，并从所述第一主信号中减去所述噪声估计信号。4.根据权利要求3所述的方法，还包括基于所述噪声估计信号来增强所述语音估计信号的频谱振幅，以提供输出信号。5.根据权利要求3所述的方法，其中过滤所述参考信号包括自适应地调节滤波器系数。6.根据权利要求5所述的方法，其中自适应地调节滤波器系数包括后台进程和在所述用户不说话时进行监测中的至少一者。7.根据权利要求1至6中任一项所述的方法，还包括：接收从在与所述第一多个麦克风不同的位置处耦接到所述耳机的第二多个麦克风导出的第二多个信号；阵列处理所述第二多个信号以增强对源自所述用户的嘴部方向的声学信号的响应，以生成第二主信号；组合所述第一主信号和所述第二主信号，以提供组合主信号；以及通过从所述组合主信号中移除与所述参考信号相关的分量来过滤所述组合主信号，以提供所述语音估计信号。8.根据权利要求7所述的方法，其中所述参考信号包括第一参考信号和第二参考信号，并且还包括处理所述第一多个信号以减少对源自所述用户的嘴部方向的声学信号的响应，以生成所述第一参考信号，并且处理所述第二多个信号以减少对源自所述用户的嘴部方向的声学信号的响应，以生成所述第二参考信号。9.根据权利要求7所述的方法，其中组合所述第一主信号和所述第二主信号包括将所述第一主信号与所述第二主信号进行比较，并且基于所述比较结果更重地加权所述第一主信号和所述第二主信号中的一者。10.根据权利要求1至9中任一项所述的方法，其中阵列处理所述第一多个信号以增强对源自所述用户的嘴部方向的声学信号的响应包括使用超指向性近场波束形成器。11.根据权利要求1至10中任一项所述的方法，还包括通过延迟相加技术从所述一个或多个麦克风导出所述参考信号。12.一种耳机系统，包括：耦接到左听筒的多个左麦克风；耦接到右听筒的多个右麦克风；一个或多个阵列处理器，所述一个或多个阵列处理器被配置为：接收从所述多个左麦克风导出的多个左信号，通过作用于所述多个左信号的阵列处理技术来控制波束，以提供左主信号，通过作用于所述多个左信号的阵列处理技术来控制零点，以提供左参考信号，接收从所述多个右麦克风导出的多个右信号，通过作用于所述多个右信号的阵列处理技术来控制波束，以提供右主信号，以及通过作用于所述多个右信号的阵列处理技术来控制零点，以提供右参考信号；第一组合器，所述第一组合器提供组合主信号作为所述左主信号和所述右主信号的组合；第二组合器，所述第二组合器提供组合参考信号作为所述左参考信号和所述右参考信号的组合；和自适应滤波器，所述自适应滤波器被配置为接收所述组合主信号和所述组合参考信号并提供语音估计信号。13.根据权利要求12所述的耳机系统，其中所述自适应滤波器被配置为通过过滤所述组合参考信号以生成噪声估计信号并从所述组合主信号中减去所述噪声估计信号，来过滤所述组合主信号。14.根据权利要求12或13所述的耳机系统，还包括频谱增强器，所述频谱增强器被配置为基于所述噪声估计信号来增强所述语音估计信号的频谱振幅，以提供输出信号。15.根据权利要求12至14中任一项所述的耳机系统，其中过滤所述组合参考信号包括在用户不说话时自适应地调节滤波器系数。16.根据权利要求12至15中任一项所述的耳机系统，还包括一个或多个子频带滤波器，所述一个或多个子频带滤波器被配置为将所述多个左信号和所述多个右信号分离成一个或多个子频带，并且其中所述一个或多个阵列处理器、所述第一组合器、所述第二组合器和所述自适应滤波器各自在一个或多个子频带上操作以提供多个语音估计信号，所述多个语音估计信号中的每一个具有所述一个或多个子频带中的一个的分量。17.根据权利要求16所述的耳机系统，还包括频谱增强器，所述频谱增强器被配置为接收所述多个语音估计信号中的每一个并频谱地增强所述语音估计信号中的每一个以提供多个输出信号，所述输出信号中的每一个具有所述一个或多个子频带中的一个的分量。18.根据权利要求17所述的耳机系统，还包括合成器，所述合成器被配置为将所述多个输出信号组合成单个输出信号。19.根据权利要求12至18中任一项所述的耳机系统，其中所述第二组合器被配置为提供所述组合参考信号作为所述左参考信号和所述右参考信号之间的差值。20.根据权利要求12至19中任一项所述的耳机系统，其中提供所述左主信号和所述右主信号的所述阵列处理技术是超指向性近场波束处理技术。21.根据权利要求12至20中任一项所述的耳机系统，其中提供所述左参考信号和所述右参考信号的所述阵列处理技术是延迟相加技术。22.一种耳机，包括：耦接到一个或多个听筒的多个麦克风；一个或多个阵列处理器，所述一个或多个阵列处理器被配置为：接收从所述多个麦克风导出的多个信号，通过作用于所述多个信号的阵列处理技术来控制波束，以提供主信号，通过作用于所述多个信号的阵列处理技术来控制零点，以提供参考信号；和自适应滤波器，所述自适应滤波器被配置为接收所述主信号和所述参考信号并提供语音估计信号。23.根据权利要求22所述的耳机，其中所述自适应滤波器被配置为过滤所述参考信号以生成噪声估计信号，并从所述第一主信号中减去所述噪声估计信号以提供所述语音估计信号。24.根据权利要求22或23所述的耳机，还包括频谱增强器，所述频谱增强器被配置为基于所述噪声估计信号来增强所述语音估计信号的频谱振幅，以提供输出信号。25.根据权利要求22至24中任一项所述的耳机，其中过滤所述参考信号包括在用户不说话时自适应地调节滤波器系数。26.根据权利要求22至25中任一项所述的耳机，其中提供所述主信号的所述阵列处理技术是超指向性近场波束处理技术。27.根据权利要求22至26中任一项所述的耳机，其中提供所述参考信号的所述阵列处理技术是延迟相加技术。28.一种耳机，包括：多个麦克风，所述多个麦克风耦接到一个或多个听筒以提供多个信号；和一个或多个处理器，所述一个或多个处理器被配置为：接收所述多个信号，使用第一阵列处理技术处理所述多个信号以增强来自所选方向的响应，以提供主信号，使用第二阵列处理技术处理所述多个信号以增强来自所述所选方向的响应，以提供辅信号，比较所述主信号和所述辅信号，以及基于所述主信号、所述辅信号和所述比较结果来提供所选信号。29.根据权利要求28所述的耳机，其中所述一个或多个处理器被进一步配置为通过信号能量来比较所述主信号和所述辅信号。30.根据权利要求28或29所述的耳机，其中所述一个或多个处理器被进一步配置为进行信号能量的阈值比较，所述阈值比较是确定所述主信号或所述辅信号中的一者是否具有小于另一者的信号能量的阈值量的信号能量。31.根据权利要求30所述的耳机，其中所述一个或多个处理器被进一步配置为通过阈值比较来选择所述主信号和所述辅信号中具有较小信号能量的一者，以作为所述所选信号被提供。32.根据权利要求28至31中任一项所述的耳机，其中所述一个或多个处理器被进一步配置为在比较信号能量之前对所述主信号和所述辅信号中的至少一者应用均衡。33.根据权利要求28至32中任一项所述的耳机，其中所述一个或多个处理器被进一步配置为基于所述比较结果来指示风条件。34.根据权利要求33所述的耳机，其中所述第一阵列处理技术是超指向性波束形成技术，并且所述第二阵列处理技术是延迟相加技术，并且所述一个或多个处理器被进一步配置为基于所述主信号的信号能量超过阈值信号能量来确定存在所述风条件，所述阈值信号能量基于所述辅信号的信号能量。35.根据权利要求28至34中任一项所述的耳机，其中所述一个或多个处理器被进一步配置为处理所述多个信号以减少来自所述所选方向的响应以提供参考信号，并从所述所选信号中减去与所述参考信号相关的分量。36.一种增强耳机用户的语音的方法，所述方法包括：接收多个麦克风信号；通过第一阵列技术阵列处理所述多个信号以增强来自所述用户的嘴部方向的声学响应，以生成第一主信号；通过第二阵列技术阵列处理所述多个信号以增强来自所述用户的嘴部方向的声学响应，以生成第二主信号；将所述第一主信号与所述第二主信号进行比较；以及基于所述第一主信号、所述第二主信号和所述比较结果来提供所选主信号。37.根据权利要求36所述的方法，其中将所述第一主信号与所述第二主信号进行比较包括比较所述第一主信号和所述第二主信号的信号能量。38.根据权利要求36或37所述的方法，其中基于所述比较结果来提供所述所选...

【专利技术属性】
技术研发人员：A·加尼施库玛，姚翔恩，M·埃格泽，
申请(专利权)人：伯斯有限公司，
类型：发明
国别省市：美国,US