自激活语音增强制造技术

本申请公开了自激活语音增强。公开了被配置为输入音频流的音频输入端和被配置为处理音频流以加重语音内容的降噪模块。单声道检测器被配置为确定音频流是单声道还是非单声道。判定模块被配置为接收来自单声道检测器的输入，并在音频流不是单声道时输出绕过降噪的判定。定。定。

【技术实现步骤摘要】
自激活语音增强
[0001]背景
1.

[0002]本专利技术涉及降噪，特别涉及音频会议期间的语音增强。
[0003]2.相关技术的描述
[0004]基于互联网协议的语音(VoIP)通信包括将语音编码为数字数据、将数字数据封装到数据包中以及通过数据网络传输数据包。电话会议是在地理分散式的位置上两个或更多个参与者之间的电话呼叫，其使每个参与者都能够同时向其他参与者讲话和倾听其他参与者。参与者之间的电话会议可以经由语音会议桥(voice conference bridge)或集中式服务器进行。电话会议使用适当的网络会议通信协议连接与参与者关联的多个端点设备(VoIP设备或计算机系统)。可选地，电话会议可以被对等地介导(mediated peer
‑
to
‑
peer)，其中音频可以直接在参与者的计算机系统之间被流式传输而无需中间服务器。
[0005]美国专利出版物US5210796公开了一种用于检测双通道输入音频信号是立体声还是单声道的立体声/单声道检测装置。计算输入音频信号之间的电平差。保持预定的滞后来鉴别表示电平差的信号。根据鉴别的结果执行立体声/单声道检测，以防止错误检测，否则，如在声场位于立体声信号中的中心的情况下，在短时间内可能由电平差变化会引起错误检测。
[0006]简要概述
[0007]本文公开了各种计算机化系统和方法，包括被配置为输入音频流的音频输入端和被配置为实现降噪并处理音频流以加重(emphasis)语音内容的处理器。单声道检测器被配置为确定音频流是单声道还是非单声道。判定模块被配置为接收来自单声道检测器的输入，并在音频流不是单声道时输出绕过(bypass)降噪的决定。语音检测模块可以被配置为检测音频流中的语音并保持绕过降噪，直到在音频流中检测到语音。处理器可以被配置为当音频流是单声道时以及当在音频流中检测到语音时应用降噪。当开始输入音频流时，可以绕过降噪。处理器可以被配置为将音频流解析为音频帧。处理器可以被配置为在当前音频帧不是单声道时绕过降噪。处理器可以被配置为通过计算用于加重音频流中的语音内容的时频增益(time
‑
frequency gain)来实现降噪。处理器可以被配置为针对语音监控音频帧，当检测到大于阈值的数量的(例如连续的)音频帧包括语音时，将音频流的状态更新为包括语音。当状态更新时，可以应用用于加重语音内容的降噪。然而，当检测到小于阈值的音频帧包括语音时，可以不应用降噪，但可以计算和存储时频增益，以用于在即将到来的帧期间的以后降噪。处理器可以被配置为保持降噪直到音频流结束，除非确定音频流不是单声道的。处理器可以被配置为将音频流变换为时频表示，计算被配置为加重音频流中的语音内容的时频增益，并将时频表示逆变换到时域，同时应用时频增益以产生具有加重的语音内容的音频流。
[0008]公开了各种计算机可读介质，其当由处理器执行时使处理器执行本文公开的方法。
[0009]附图简述
[0010]本文仅通过示例的方式参考附图对本专利技术进行了描述，在附图中：
[0011]图1示出了根据本专利技术的特征的处理器的简化示意框图；
[0012]图2示出了根据本专利技术的特征的方法的流程图；以及
[0013]图3示出了图2的流程图的延续。
[0014]当结合附图考虑时，上述和/或其它方面通过以下的详细描述将变得明显。
[0015]详细描述
[0016]现在将具体参考本专利技术的实施例，其示例在附图中示出，其中相同的参考数字始终表示相同的元件。下面通过参考附图描述实施例以解释本专利技术。
[0017]作为引言，本专利技术的各个方面涉及语音音频信号的通信，例如使用基于互联网协议的语音(VoIP)通信。用于VoIP通信的降噪也称为语音加重(speech emphasis)或语音增强(speech enhancement)，其旨在增强人类语音和/或减少除人类语音之外的音频内容。然而，降噪算法也可能减少与人类语音无关的所需音频内容。示例包括开始通话的铃声或会议期间收到的可听通知。其他示例可以包括通过VoIP的音乐课或在线会议期间播放的所需音频内容。本专利技术的实施例涉及当存在语音时应用降噪，以及在除语音以外的音频内容被传达时绕过降噪，以免在会议期间移除或减少所需的音频内容。
[0018]现在参考附图，当前参考图1，其示出了根据本专利技术的特征的处理器10的简化示意框图。输入音频(例如，两个立体声通道)可以被输入到判定模块19。判定模块19包括单声道检测器12，其被配置为比较或关联输入音频的两个通道，并检测这两个通道是相似或相同的，即单声道输入音频，还是这两个通道是输入音频的不同通道，即立体声输入音频。单声道输入音频信号指示语音。立体声输入音频信号指示语音以外的内容，例如音乐。判定模块19可以包括声音活动检测器或语音检测器13，其可以接收来自单声道检测器12的输入。
[0019]并行地，输入音频的一个或更多个通道可以被输入到变换模块11，该变换模块被配置为执行时频变换，例如短时傅立叶变换(STFT)。时频变换(例如，STFT)可以被输入到降噪模块14，该降噪模块被配置为输出降噪(NR)增益。降噪模块14可以在不应用降噪操作的情况下估计降噪(NR)增益。NR增益可以被输入到判定模块19。判定模块19可以在NR增益和默认增益之间进行选择，NR增益在音频信号包括语音时可能是合适的，默认增益对于语音以外的音频内容可能是合适的。由判定模块19选择的增益可以被组合或乘以(块15)由时频变换(例如STFT)确定的幅度。在块16中，可以从来自STFT变换11的相位信息中检索或重构复系数(complex coefficient)或相位。逆变换模块17可以逆变换为时域输出音频，该时域输出音频具有降噪增益或默认增益，这取决于判定模块19关于输入音频是否包括语音内容的选择。默认增益可以是统一(unity)增益，或者可以包括依赖于被处理的非语音音频的特性的滤波、均衡等。
[0020]现在还参考图2，其示出了根据本专利技术的特征的方法的流程图20A。方法以如图3所示的流程图20B继续。音频的两个通道可以开始流式传输(步骤21)。在默认情况下，在音频流的开始(步骤21)期间可以绕过降噪功能(NR)。音频流的两个通道可以被同步解析(步骤23)成多个同步成对音频帧n。监控同步成对帧n的相似性(块12，图1)，并且如果不是单声道的(判定25)，例如同步成对帧n是立体声音频流的一部分，则在步骤26中绕过降噪(或继续绕过降噪)，并且音频帧对被递增(步骤24)。此外，可以计算降噪(NR)增益(步骤27)，使得在
即将到来的帧对中实现降噪。否则，在判定25中，如果帧对n是单声道的，那么在判定28中，如果在先前的帧对1
…
n
‑
1中检测到语音，则应用降噪(步骤29)并且使帧对递增(步骤24)。值得注意的是，在判定块25处，判定分支可能不对称。可以将单个音频帧对检测为非单声道，例如立体声，并且可以禁用或绕过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机化方法，包括：输入音频流；实现所述音频流的降噪，以加重所述音频流中的语音内容；和在确定所述音频流不是单声道时，绕过所述降噪。2.根据权利要求1所述的计算机化方法，还包括：在开始对所述音频流的输入时，绕过所述降噪。3.根据权利要求1或2所述的计算机化方法，还包括：保持对所述降噪的绕过，直到在所述音频流中检测到语音。4.根据权利要求1
‑
3中任一项所述的计算机化方法，还包括：在所述音频流中检测到语音时，应用所述降噪。5.根据权利要求1
‑
4中任一项所述的计算机化方法，还包括：将所述音频流解析为音频帧。6.根据权利要求5所述的计算机化方法，还包括：在当前音频帧不是单声道时绕过所述降噪。7.根据权利要求5所述的计算机化方法，还包括：在当前音频帧是单声道并且在所述音频流的音频帧包括语音时，应用所述降噪。8.根据权利要求7所述的计算机化方法，还包括：当所述音频流的当前音频帧包括语音并且在所述音频流中检测到大于阈值的数量的音频帧包括语音时，应用所述降噪，以加重所述语音内容。9.根据权利要求1所述的计算机化方法，还包括：在应用所述降噪时，保持所述降噪直到所述音频流结束，除非确定所述音频流不是单声道。10.根据权利要求1所述的计算机化方法，其中，降噪处理包括：将所述音频流变换为时频表示；其中，所述降噪包括通过计算被配置为加重所述音频流中的语音内容的多个时频增益来处理所述音频流的所述时频表示；和将所述时频表示逆变换到时域，同时应用所述时频增益，从而产生具有所加重的语音内容的音频流。11.根据权利要求10所述的计算机化方法，其中，实现降噪包括计算所述时频增益，所述时频增益被配置为加重所述音频流中的语音内容。12.根据权利要求10所述的计算机化方法，还包括：将所述音频流解析为音频帧；针对语音监控所述音频帧；当大于阈值的数量的音频帧被检测为包括语音时，将所述音频流的状态更新为包括语音；在将所述音频流的状态更新为包括语音时，应用所述降噪。13.根据权利要求12所述的计算机化方法，还包括：当小于阈值的音频帧被检测为包括语音时：(i)没有应用降噪，以及
...

【专利技术属性】
技术研发人员：阿赫凯姆，
申请(专利权)人：波音频有限公司，
类型：发明
国别省市：