目标音频的输出方法及装置、系统制造方法及图纸

本申请实施例提供了一种目标音频的输出方法及装置、系统，所述方法包括：将源音频输入语音后验图PPG分类网络模型，得到PPG特征向量，其中，PPG特征向量用于指示每一帧源音频对应的音素标签，PPG特征向量包含源音频的文本信息和韵律信息；将PPG特征向量输入声音转换网络模型，根据PPG特征向量对应的音素标签输出目标音频的声学特征向量，其中，目标音频包含多个不同音色的音频；将目标音频的声学特征向量输入声码器，通过声码器输出目标音频。通过声码器输出目标音频。通过声码器输出目标音频。

【技术实现步骤摘要】
目标音频的输出方法及装置、系统


[0001]本申请涉及数据处理
，具体而言，涉及一种目标音频的输出方法及装置、系统。

技术介绍

[0002]相关技术中，语音转换技术是：将A说话人(源说话人)的语音转换成B说话人(目标说话人)的声音。根据目标说话人的数量，可以将语音转换系统分为To One(目标说话人是一个)，To Many(目标说话人是多个)两种类型，语音转换系统在具体实现过程中，通常采用以下方案：
[0003]一，自动语音识别(Automatic Speech Recognition，简称为ASR)技术与从文本到语音(Text To Speech，简称为TTS)相结合：首先通过ASR模型将音频转换成文本，文本送入目标说话人的TTS模型，从而达到转换成目标说话人的效果；
[0004]二，通过生成式对抗网络(Generative Adversarial Networks，简称为GAN)提取音频的(瓶颈层)BNF特征，再经过vocoder(声码器)还原BNF特征，输出音频。
[0005]上述两个方案在实用上均存在较大问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标音频的输出方法，其特征在于，包括：将源音频输入语音后验图PPG分类网络模型，得到PPG特征向量，其中，所述PPG特征向量用于指示所述每一帧源音频对应的音素标签，所述PPG特征向量包含所述源音频的文本信息和韵律信息；将所述PPG特征向量输入声音转换网络模型，根据所述PPG特征向量对应的所述音素标签输出目标音频的声学特征向量，其中，所述目标音频包含多个不同音色的音频；将所述目标音频的声学特征向量输入声码器，通过所述声码器输出所述目标音频。2.根据权利要求1所述的方法，其特征在于，在将源音频输入语音后验图PPG分类网络模型，得到PPG特征向量之前，所述方法还包括：建立所述PPG分类网络模型，其中，所述PPG分类网络模型包括依次连接的抽象映射层、模块层、PPG层和分类层，所述模块层包括至少两个串联的模块；通过第一训练样本训练所述PPG分类网络模型，其中，所述第一训练样本包括第一音频特征和所述第一音频特征对应的第一音素标签。3.根据权利要求2所述的方法，其特征在于，通过第一训练数据训练所述PPG分类网络模型之前，所述方法还包括：获取第一训练语料，其中，所述第一训练语料包括第一音频和所述第一音频对应的第一文本；将所述第一音频转换为第一音频特征，并将所述第一文本转换为第一音素；根据所述第一音频和所述第一文本的对齐关系，以及所述第一音素的时长信息，确定每一帧所述第一音频特征对应的第一音素标签，其中，所述第一音素标签用于标识所述第一音素的类别；将所述第一音频特征确定为所述第一训练样本的输入，将所述第一音素标签确定为所述第一训练样本的输出。4.根据权利要求2所述的方法，其特征在于，所述通过第一训练样本训练所述PPG分类网络模型，包括：将所述第一音频特征输入所述抽象映射层，进行第一步抽象映射；通过所述模块对单个所述第一训练样本的每一层第一音频特征在通道方向上做归一化，然后通过所述抽象映射层进行第二步抽象映射；通过所述模块采用线性序列结构不断从前往后收集输入的所述第一音频特征的信息，提取所述第一音频特征之间的全局依赖信息；通过所述模块提取所述第一音频特征之间的局部依赖信息；整合所述全局依赖信息和所述局部依赖信息，并对所述第一音频特征做第三步抽象映射；根据所述第一音素标签对应的音素类别的总数，通过所述PPG层对经过第三步抽象映射输出特征向量进行分类，得到第一PPG特征向量，其中，所述第一PPG特征向量的维度与所述音素类别的总数一致，所述第一PPG特征向量的每一维用于指示一种音素类别的概率；将所述第一音频特征作为输入，将所述第一PPG特征向量作为输出，通过反向传播将所述PPG分类网络模型训练至收敛。5.根据权利要求1所述的方法，其特征在于，在将所述PPG特征向量输入声音转换网络
模型，根据所述PPG特征向量对应的所述音素标签输出目标音频的声学特征向量之前，所述方法还包括：建立所述声音转换网络模型，其中，所述声音转换网络模型包括编码层、解码层、声波编码层和声波预测层；通过第二训练样本训练所述声音转换网络模型，其中，所述第二训练样本包括第二音频对应的第二PPG特征向量和所述第二音频对应的样本声学特征向量，所述第二音频包括多种不同音色的音频，所述声音转换网络模型包含多个目标标识，每一所述目标标识用于标识一种音色。6.根据权利要求5所述的方法，其特征在于，在通过第二训练样本训练所述声音转换网络模型之前，所述方法还包括：获取所述第二音频；将所述第二音频输入训练好的所述PPG分类网络模型，得到所述第二音频对应的所述第二PPG特征向量，并将所述第二PPG特征向量确定为所述第二训练样本的输入；对经过清洗处理的所述第二音频，提取所述样本声学特征向量，并将所述样本声学特征向量确定为所述第二训练样...

【专利技术属性】
技术研发人员：司马华鹏，龚雪飞，毛志强，
申请(专利权)人：宿迁硅基智能科技有限公司，
类型：发明
国别省市：