重构语音信号的方法和装置制造方法及图纸

本发明专利技术实施例公开了一种重构语音信号的方法和装置，属于语音识别领域。所述方法包括：通过麦克风阵列的多个传感器进行声音采集，得到多个声音信号；在所述多个声音信号中确定第一语音信号；对所述第一语音信号进行信号分离，得到第二语音信号；将所述第二语音信号通过失真恢复模型进行重构，得到重构的语音信号。采用本发明专利技术，可以提高语音识别结果的准确性。

Method and Device of Reconstructing Speech Signal

The embodiment of the present invention discloses a method and device for reconstructing speech signal, which belongs to the field of speech recognition. The method includes: acquiring sound through multiple sensors of microphone array, obtaining multiple sound signals; determining the first speech signal in the multiple sound signals; separating the first speech signal to obtain the second speech signal; reconstructing the second speech signal through the distortion recovery model to obtain the reconstructed speech signal. The accuracy of speech recognition results can be improved by adopting the present invention.

【技术实现步骤摘要】
重构语音信号的方法和装置
本专利技术涉及语音识别领域，特别涉及一种重构语音信号的方法和装置。
技术介绍
随着语音识别技术的发展，终端可以对用户语音的内容进行识别，进而可以对语音的内容做出响应。终端一般采用麦克风阵列来采集远场空间中的声音信号。麦克风阵列利用空间相干性检测区分出各个声音信号的入射方向，对声场中的各种信号的入射方向做出估计，定位跟踪能量最强的前几个声音信号。对于每一个所跟踪的声音信号，判断其是否属于语音信号。在麦克风阵列的每个传感器(如麦克风)上施加相应的时延和增益控制，使阵列形成波束指向，使得语音信号方向上的增益尽可能大、并且在噪声信号方向上的增益尽可能小。从麦克风阵列的输出结果中估计出语音信号与噪声信号在频率特征分布上的不同，构造一个时变的滤波器，从统计的意义上进一步将语音信号与噪声信号做分离，从而将语音信号分离出来。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：如果麦克风阵列内的传感器数量达到无穷，则将语音信号和噪声信号进行分离时，可以达到清晰的分离。但是，实际情况中，麦克风阵列内的麦克风数量是有限的，区分各个声音信号入射方向的能力也是有限的，因此语音信号和噪声信号必定会存在重叠部分。在滤除噪声信号时，一般需要对语音信号和噪声信号进行频域维纳滤波，在消除噪声的同时会对语音信号造成损伤。将损伤的语音信号输入语音识别系统ASR(AutomaticSpeechRecognition，语音识别)时，可能导致语音识别结果的准确性较低，因此，亟需一种对语音信号进行重构的方法。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种重构语音信号的方法和装置。所述技术方案如下：一方面，提供了一种重构语音信号的方法，所述方法包括：通过麦克风阵列的多个传感器进行声音采集，得到多个声音信号；在所述多个声音信号中确定第一语音信号，所述第一语音信号为通过检测确定的语音信号；对所述第一语音信号进行信号分离，得到第二语音信号；将所述第二语音信号通过失真恢复模型进行重构，得到重构的语音信号；其中，所述失真恢复模型是基于干净语音信号和失真语音信号进行训练得到。一方面，提供了一种话音检测模型的训练方法，所述方法包括：获取第一对抗生成网络，所述第一对抗生成网络包含初始混响滤波模型与初始话音检测模型，所述初始混响滤波模型的输出作为所述初始话音检测模型的输入；获取多个样本声音信号，其中，所述样本声音信号至少包括干净语音信号与纯噪声信号；基于所述多个样本声音信号对所述第一对抗生成网络中的初始混响滤波模型与初始话音检测模型进行训练，得到所述话音检测模型；其中，所述话音检测模型用于检测声音信号对应的信号类型，所述信号类型至少包括语音信号或噪声信号。一方面，提供了一种失真恢复模型的训练方法，所述方法包括：获取第二对抗生成网络，所述第二对抗生成网络包含初始失真判别模型与初始失真恢复模型，所述初始失真恢复模型的输出与干净语音信号作为所述初始失真判别模型的输入；获取多个样本声音信号，其中，所述样本声音信号至少包括干净语音信号与失真语音信号；基于所述多个样本声音信号对所述第二对抗生成网络中的初始失真判别模型与初始失真恢复模型进行训练，得到所述失真恢复模型；其中，所述失真恢复模型用于对第二语音信号进行重构，所述第二语音信号为进行信号分离后的语音信号。一方面，提供了一种重构语音信号的装置，所述装置包括：第一获取模块，用于通过麦克风阵列的多个传感器进行声音采集，得到多个声音信号；确定模块，用于在所述多个声音信号中确定第一语音信号，所述第一语音信号为通过检测确定的语音信号；分离模块，用于对所述第一语音信号进行信号分离，得到第二语音信号；重构模块，用于将所述第二语音信号通过失真恢复模型进行重构，得到重构的语音信号；其中，所述失真恢复模型是基于干净语音信号和失真语音信号进行训练得到。一方面，提供了一种训练话音检测模型的装置，所述装置包括：第一获取模块，用于获取第一对抗生成网络，所述第一对抗生成网络包含初始混响滤波模型与初始话音检测模型，所述初始混响滤波模型的输出作为所述初始话音检测模型的输入；第二获取模块，用于获取多个样本声音信号，其中，所述样本声音信号至少包括干净语音信号与纯噪声信号；训练模块，用于基于所述多个样本声音信号对所述第一对抗生成网络中的初始混响滤波模型与初始话音检测模型进行训练，得到所述话音检测模型；其中，所述话音检测模型用于检测声音信号对应的信号类型，所述信号类型为语音信号或噪声信号。一方面，提供了一种训练失真恢复模型的装置，所述装置包括：第一获取模块，用于获取第二对抗生成网络，所述第二对抗生成网络包含初始失真判别模型与初始失真恢复模型，所述初始失真恢复模型的输出与干净语音信号作为所述初始失真判别模型的输入；第二获取模块，用于获取多个样本声音信号，其中，所述样本声音信号至少包括干净语音信号与失真语音信号；训练模块，用于基于所述多个样本声音信号对所述第二对抗生成网络中的初始失真判别模型与初始失真恢复模型进行训练，得到所述失真恢复模型；其中，所述失真恢复模型用于对第二语音信号进行重构，所述第二语音信号为进行信号分离后的语音信号。一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现上述重构语音信号的方法；或，所述指令由所述处理器加载并执行以实现上述话音检测模型的训练方法；或，所述指令由所述处理器加载并执行以实现上述失真恢复模型的训练方法。一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述重构语音信号的方法；或，所述指令由所述处理器加载并执行以实现上述话音检测模型的训练方法；或，所述指令由所述处理器加载并执行以实现上述失真恢复模型的训练方法。本专利技术实施例提供的技术方案带来的有益效果是：本专利技术实施例中，终端可以通过麦克风阵列的多个传感器进行声音采集，得到多个声音信号，在多个声音信号中确定第一语音信号，对第一语音信号进行信号分离，得到第二语音信号，然后，将第二语音信号通过失真恢复模型进行重构，得到重构的语音信号。通过失真恢复模型得到的重构的语音信号，可以与干净语音信号高度接近，即可以存在比较少的失真。这样，将重构的语音信号输入语音识别系统时，可以提高语音识别结果的准确性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种麦克风线阵列的示意图；图2是本专利技术实施例提供的一种麦克风圆阵列的示意图；图3是本专利技术实施例提供的一种话音检测模型的训练方法流程图；图4是本专利技术实施例提供的一种训练话音检测模型的示意图；图5是本专利技术实施例提供的一种话音检测模型的训练方法流程图；图6是本专利技术实施例提供的一种失真恢复模型的训练方法流程图；图7是本专利技术实施例提供的一种训练失真恢复模型的示意图；图8是本专利技术实施例提供的一种失真恢复模型的训练方法流程图；图9是本专利技术实施例提供的一种重构语音信号的方法流程图；图10本文档来自技高网...

【技术保护点】
1.一种重构语音信号的方法，其特征在于，所述方法包括：通过麦克风阵列的多个传感器进行声音采集，得到多个声音信号；在所述多个声音信号中确定第一语音信号，所述第一语音信号为通过检测确定的语音信号；对所述第一语音信号进行信号分离，得到第二语音信号；将所述第二语音信号通过失真恢复模型进行重构，得到重构的语音信号；其中，所述失真恢复模型是基于干净语音信号和失真语音信号进行训练得到。

【技术特征摘要】
1.一种重构语音信号的方法，其特征在于，所述方法包括：通过麦克风阵列的多个传感器进行声音采集，得到多个声音信号；在所述多个声音信号中确定第一语音信号，所述第一语音信号为通过检测确定的语音信号；对所述第一语音信号进行信号分离，得到第二语音信号；将所述第二语音信号通过失真恢复模型进行重构，得到重构的语音信号；其中，所述失真恢复模型是基于干净语音信号和失真语音信号进行训练得到。2.根据权利要求1所述的方法，其特征在于，所述在所述多个声音信号中确定第一语音信号之后，所述方法还包括：基于所述多个声音信号中除所述第一语音信号以外的至少一个声音信号的信号频谱，生成所述多个声音信号的噪音模板；所述对所述第一语音信号进行信号分离，得到第二语音信号包括：基于所述噪声模板，对所述第一语音信号进行信号分离，得到第二语音信号。3.根据权利要求1所述的方法，其特征在于，所述在所述多个声音信号中确定第一语音信号，所述第一语音信号为通过检测确定的语音信号，包括：对所述多个声音信号进行检测；如果在所述多个声音信号中包含有一个语音信号，则将所述语音信号，作为第一语音信号；如果在所述多个声音信号中包含有两个以上的语音信号，则确定信号强度最大的语音信号，将所述信号强度最大的语音信号，作为第一语音信号。4.根据权利要求3所述的方法，其特征在于，所述对所述多个声音信号进行检测包括：将所述多个声音信号输入话音检测模型，输出所述多个声音信号的信号类型；其中，所述话音检测模型是基于干净语音信号与纯噪声信号进行训练得到，所述信号类型为语音信号或噪声信号。5.根据权利要求4所述的方法，其特征在于，所述话音检测模型的训练方法包括：获取第一对抗生成网络，所述第一对抗生成网络包含初始混响滤波模型与初始话音检测模型，所述初始混响滤波模型的输出作为所述初始话音检测模型的输入；获取多个样本声音信号，其中，所述样本声音信号至少包括干净语音信号与纯噪声信号；基于所述多个样本声音信号对所述第一对抗生成网络中的初始混响滤波模型与初始话音检测模型进行训练，得到所述话音检测模型。6.根据权利要求5所述的方法，其特征在于，所述基于所述多个样本声音信号对所述第一对抗生成网络中的初始混响滤波模型与初始话音检测模型进行训练，得到所述话音检测模型包括：依次将所述多个样本声音信号输入所述初始混响滤波模型，输出多个混响的样本声音信号，其中，所述多个混响的样本声音信号包括多个混响的干净语音信号与多个混响的纯噪声信号；将所述多个混响的样本声音信号，输入所述初始话音检测模型，输出每个混响的样本声音信号对应的信号类型；基于所述多个混响的样本声音信号与所述每个混响的样本声音信号对应的信号类型，对所述初始混响滤波模型与所述初始话音检测模型的模型参数进行调整，得到所述话音检测模型。7.根据权利要求1所述的方法，其特征在于，所述失真恢复模型的训练方法包括：获取第二对抗生成网络，所述第二对抗生成网络包含初始失真判别模型与初始失真恢复模型，所述初始失真恢复模型的输出与干净语音信号作为所述初始失真判别模型的输入；获取多个样本声音信号，其中，所述样本声音信号至少包括干净语音信号与失真语音信号；基于所述多个样本声音信号对所述第二对抗生成网络中的初始失真判别模型与初始失真恢复模型进行训练，得到所述失真恢复模型。8.根据权利要求7所述的方法，其特征在于，所述基于所述多个样本声音信号对所述第二对抗生成网络中的初始失真判别模型与初始失真恢复模型进行训练，得到所述失真恢复模型包括：依次将多个失真语音信号输入所述初始失真恢复模型，输出多个重构的语音信号；将所述多个重构的语音信号与多个干净语音信号，输入所述初始失真判别模型，分别确定每个重构的语音信号与每个干净语音信号是否为干净语音信号，作为每个重构的语音信号与每个干净语音信号对应的检测结果；基于所述多个失真语音信号、...

【专利技术属性】
技术研发人员：袁豪磊，
申请(专利权)人：腾讯科技深圳有限公司，腾讯云计算北京有限责任公司，
类型：发明
国别省市：广东,44