文本回声消除制造技术

一种方法(400)包括：接收包括由说话者(10)说出的与合成回放音频(154)的片段(156)重叠的音频的重叠音频信号(202)。该方法还包括将与合成回放音频相对应的字符序列编码成文本嵌入表示(212)。针对字符序列中的每个字符，该方法还包括使用文本嵌入表示来生成相应的消除概率(222)。消除概率指示对应的字符与合成回放音频的片段相关联的似然性，该合成回放音频的片段与由说话者说出的音频在重叠音频信号中重叠。频信号中重叠。频信号中重叠。

【技术实现步骤摘要】
【国外来华专利技术】文本回声消除


[0001]本公开涉及文本回声消除。

技术介绍

[0002]当音频系统捕获和传送音频时，这些外围设备可能受到回声的影响。当从音频播出设备(例如，扬声器)生成的可听信号以声波的形式传播通过声学环境(例如，空气)并且该波的修改版本反射回麦克风时，通常发生回声。另一个形式的回声是电回声，其由于音频播出设备(例如扬声器)和麦克风之间的不期望的电耦合效应而出现。由这样的回声路径生成的信号然后变为被传送作为音频回声。回声可能由于诸如例如外围设备的接近度或外围设备的质量的各种因素而产生。当在一个或多个设备正在施行语音处理的启用语音的环境内发生回声时，回声可能对语音处理的准确性有不利影响；因此影响用户对设备和/或语音系统的体验。随着人们越来越多地使用经受回声的系统进行通信，可以实现回声消除系统和方法以改进被回声影响的语音处理的质量。

技术实现思路

[0003]本公开的一个方面提供了一种计算机实现的方法，当在数据处理硬件上执行时，该方法使得数据处理硬件施行包括以下的操作：接收包括由说话者说出的与合成回放音频的片段重叠的音频的重叠音频信号，以及将与合成回放音频对应的字符序列编码成文本嵌入表示。所述操作还包括针对字符序列中的每个字符，使用文本嵌入表示来生成相应的消除概率，并且使用被配置成接收重叠音频信号和针对字符序列中的每个字符所生成的相应的消除概率作为输入的消除神经网络，通过从重叠音频信号中移除合成回放音频的片段，来生成增强音频信号。每个相应的消除概率指示相应的字符与合成回放音频的片段相关联的似然性，该合成回放音频的片段由说话者说出的音频在重叠音频信号中重叠。
[0004]本公开的实施方式可以包括以下可选特征中的一个或多个特征。在一些实施方式中，对字符序列进行编码包括将字符序列中的每个字符编码成相应的字符嵌入以生成字符嵌入序列。在这些实施方式中，重叠音频信号可以包括帧序列，并且针对字符序列中的每个字符生成相应的消除概率可以包括：当对应的字符嵌入与重叠音频信号的帧序列中的一个帧相对应时，使用注意力机制将权重应用于对应的字符嵌入。帧序列中的每个帧与由说话者说出的音频的与合成回放音频的片段重叠的一部分相对应。
[0005]文本到语音(TTS)系统可以将字符序列转换成包括合成回放音频的合成语音。可选地，文本嵌入表示可以包括单个固定维文本嵌入向量。在一些示例中，文本编码神经网络的文本编码器将与合成回放音频对应的字符序列编码成文本嵌入表示。在这些示例中，文本编码器可以由被配置成从字符序列生成合成回放音频的TTS系统共享。
[0006]在一些实施方式中，操作进一步包括在多个训练示例上训练消除神经网络，其中每个训练示例包括：与非合成语音相对应的真实值音频信号，包括真实值音频信号的、与合成音频信号重叠的训练重叠音频信号，以及合成音频信号的相应文本表示。这里，文本表示
包括字符序列。
[0007]消除神经网络可以包括具有多个LSTM层的长短期记忆(LSTM)网络。操作可以进一步包括接收合成回放音频的文本表示是可用的指示。
[0008]本公开的另一方面提供一种系统，其包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，所述指令在由数据处理硬件执行时使得所述数据处理硬件施行包括以下的操作：接收包括由说话者说出的与合成回放音频的片段重叠的音频的重叠音频信号，以及将与合成回放音频对应的字符序列编码成文本嵌入表示。该操作还包括针对字符序列中的每个字符，使用文本嵌入表示来生成相应的消除概率，并且使用被配置成接收重叠音频信号和针对字符序列中的每个字符所生成的相应的消除概率作为输入的消除神经网络，通过从重叠音频信号中移除合成回放音频的片段，来生成增强音频信号。每个相应的消除概率指示对应的字符与合成回放音频的片段相关联的似然性，该合成回放音频的片段由说话者说出的音频在重叠音频信号中重叠。
[0009]该方面可以包括以下可选特征中的一个或多个特征。在一些实施方式中，对字符序列进行编码包括将字符序列中的每个字符编码成对应的字符嵌入以生成字符嵌入序列。在这些实施方式中，重叠音频信号可以包括帧序列，并且针对字符序列中的每个字符生成相应的消除概率可以包括：当对应的字符嵌入与重叠音频信号的帧序列中的一个帧相对应时，使用注意力机制将权重应用于对应的字符嵌入。帧序列中的每个帧与由说话者说出的音频的与合成回放音频的片段重叠的一部分相对应。
[0010]文本到语音(TTS)系统可以将字符序列转换成包括合成回放音频的合成语音。可选地，文本嵌入表示可以包括单个固定维文本嵌入向量。在一些示例中，文本编码神经网络的文本编码器将与合成回放音频相对应的字符序列编码成文本嵌入表示。在这些示例中，文本编码器可以由被配置成从字符序列生成合成回放音频的TTS系统共享。
[0011]在一些实施方式中，操作进一步包括在多个训练示例上训练消除神经网络，其中每个训练示例包括与非合成语音相对应的真实值音频信号，包括真实值音频信号的、与合成音频信号重叠的训练重叠音频信号，以及合成音频信号的相应文本表示。这里，文本表示包括字符序列。
[0012]消除神经网络可以包括具有多个LSTM层的长短期记忆(LSTM)网络。操作可以进一步包括接收合成回放音频的文本表示是可用的指示。
[0013]本公开的一个或多个实施方式的细节在附图和以下描述中阐述。从说明书和附图以及从权利要求中，其他方面、特征、和优点将是显而易见的。
附图说明
[0014]图1是示例语音环境的示意图。
[0015]图2A至2C是图1的语音环境的示例文本回声消除系统的示意图。
[0016]图2D是与文本到语音系统共享文本编码器的示例文本回声消除系统的示意图。
[0017]图2E是不具有注意力机制的示例文本回声消除系统的示意图。
[0018]图3是用于训练图1的文本回声消除系统的示例训练过程的示意图。
[0019]图4是用于生成增强音频信号以消除回声的方法的操作的示例布置的流程图。
[0020]图5是可用于实现本文所述的系统和方法的示例计算设备的示意图。
[0021]在各个附图中相同的附图标记指示相同的元件。
具体实施方式
[0022]启用语音的设备能够生成合成回放音频，并且将合成回放音频通信给语音环境内的一个或多个用户。这里，合成回放音频是指由启用语音的设备生成的音频，其源自启用语音的设备本身或与启用语音的设备相关联的机器处理系统，而不是启用语音的设备外部的人或其他可听声音的源。一般而言，启用语音的设备使用文本到语音(TTS)系统来生成合成回放音频。TTS系统将文本转换为该文本的音频表示，其中文本的音频表示被建模为类似于使用人类语言的口头话语的音频表示。
[0023]当启用语音的设备的音频输出组件(例如，扬声器)输出合成回放音频时，启用语音的设备的音频捕获组件(例如，麦克风)仍然可以主动地捕获语音环境内的可听声音(即，收听)。这意味着从扬声器输出的合成回放音频的某一部分将在音本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法(400)，所述方法当在数据处理硬件(510)上被执行时使得所述数据处理硬件(510)施行操作，所述操作包括：接收重叠音频信号(202)，所述重叠音频信号(202)包括与合成回放音频(154)的片段(156)重叠的由说话者(10)说出的音频；将与所述合成回放音频(154)相对应的字符序列编码成文本嵌入表示(152)；针对所述字符序列中的每个字符，使用所述文本嵌入表示(152)来生成相应的消除概率(222)，所述相应的消除概率(222)指示对应的字符与在所述重叠音频信号(202)中由所述说话者(10)说出的所述音频所重叠的所述合成回放音频(154)的所述片段(156)相关联的似然性；以及使用消除神经网络(230)，通过从所述重叠音频信号(202)中移除所述合成回放音频(154)的所述片段(156)来生成增强音频信号(206)，所述消除神经网络(230)被配置成接收所述重叠音频信号(202)和针对所述字符序列中的每个字符所生成的所述相应的消除概率(222)作为输入。2.根据权利要求1所述的计算机实现的方法(400)，其中，文本到语音TTS系统(150)将所述字符序列转换成包括所述合成回放音频(154)的合成语音。3.根据权利要求1或2所述的计算机实现的方法(400)，其中，所述文本嵌入表示(152)包括单个、固定维文本嵌入向量。4.根据权利要求1至3中的任一项所述的计算机实现的方法(400)，其中，将所述字符序列编码包括：将所述字符序列中的每个字符编码成对应的字符嵌入(214)以生成字符嵌入(214)的序列。5.根据权利要求4所述的计算机实现的方法(400)，其中：所述重叠音频信号(202)包括帧序列，所述帧序列中的每个帧和与合成回放音频(154)的所述片段(156)重叠的由所述说话者(10)说出的所述音频的一部分相对应；以及针对所述字符序列中的每个字符生成所述相应的消除概率(222)包括：当所述对应的字符嵌入(214)与所述重叠音频信号(202)的所述帧序列中的所述帧中的一个帧相对应时，使用注意力机制(220)将权重(224)应用于所述对应的字符嵌入(214)。6.根据权利要求1至5中的任一项所述的计算机实现的方法(400)，其中，所述操作进一步包括：在多个训练示例(302)上训练所述消除神经网络(230)，每个训练示例(302)包括：与非合成语音相对应的真实值音频信号(310)；包括所述真实值音频信号(310)的与合成音频信号重叠的训练重叠音频信号(320)；以及所述合成音频信号的相应文本表示(330)，所述文本表示(330)包括字符序列。7.根据权利要求1至6中的任一项所述的计算机实现的方法(400)，其中，文本编码神经网络的文本编码器(210)将与所述合成回放音频(154)相对应的所述字符序列编码成所述文本嵌入表示(152)。8.根据权利要求7所述的计算机实现的方法(400)，其中，所述文本编码器(210)由文本到语音TTS系统(150)共享，所述TTS系统(150)被配置成从所述字符序列生成所述合成回放音频(154)。9.根据权利要求1至8中的任一项所述的计算机实现的方法(400)，其中，所述消除神经
网络(230)包括长短期记忆LSTM网络，所述长短期记忆LSTM网络具有多个LSTM层。10.根据权利要求1至9中的任一项所述的计算机实现的方法(400)，其中，所述操作进一步包括：接收所述合成回放音频(154)的文本表示是可用的指示。11.一种系统(500)，包...

【专利技术属性】
技术研发人员：王泉，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：