【技术实现步骤摘要】
音频处理方法及装置
本申请涉及音频信号处理领域,尤其涉及一种音频处理方法及装置。
技术介绍
随着人工智能技术的发展,语音方面的智能应用也越来越多。在影视配音行业,可将原演员的音色特征加入到本地化电影配音中,让配音更原汁原味。在卡拉OK等数字化娱乐行业,可以在保留音色的同时修改音高信息,实现修音。在医疗领域里,声音转换技术可以提升声道受损的病人的声音的可懂性。在军事国防领域里,语音转换技术可以在通信中对说话人语音进行伪装。在日常生活中,手机语音助手、问答机器人、电子读书和虚拟歌姬等都和音色音高相关。现有技术中,通常都需要提供梅尔倒谱系数对应的音频所属的说话人标签才可以训练和建模,难以克服标签错误以及同一个人在不同时刻的音色差异带来为偏差问题,进而使训练得到的音色识别模型效果不佳。
技术实现思路
本申请实施例提供一种音频处理方法及装置,可提高音色提取模型的精度,适用性高。第一方面,本申请实施例提供了一种音频处理方法,该方法包括:获取样本语音信号集合,所述样本语音信号集合中包括至少一个样本语音信 ...
【技术保护点】
1.一种音频处理方法,其特征在于,所述方法包括:/n获取样本语音信号集合,所述样本语音信号集合中包括至少一个样本语音信号;/n针对每个样本语音信号,从所述样本语音信号中提取音素向量序列,以及从所述样本语音信号中提取目标频谱序列;/n将所述目标频谱序列输入初始音色提取模型,以得到所述初始音色提取模型输出的音色特征向量;/n根据所述音色特征向量和所述音素向量序列生成联合特征向量序列,将所述联合特征向量序列输入初始序列转换模型,以得到所述初始序列转换模型输出的预测频谱序列;/n根据所述目标频谱序列和所述预测频谱序列调整所述初始音色提取模型和所述初始序列转换模型;/n当基于调整后的 ...
【技术特征摘要】
1.一种音频处理方法,其特征在于,所述方法包括:
获取样本语音信号集合,所述样本语音信号集合中包括至少一个样本语音信号;
针对每个样本语音信号,从所述样本语音信号中提取音素向量序列,以及从所述样本语音信号中提取目标频谱序列;
将所述目标频谱序列输入初始音色提取模型,以得到所述初始音色提取模型输出的音色特征向量;
根据所述音色特征向量和所述音素向量序列生成联合特征向量序列,将所述联合特征向量序列输入初始序列转换模型,以得到所述初始序列转换模型输出的预测频谱序列;
根据所述目标频谱序列和所述预测频谱序列调整所述初始音色提取模型和所述初始序列转换模型;
当基于调整后的初始音色提取模型和初始序列转换模型所输出的每个样本语音信号对应的预测频谱序列与目标频谱序列间的最小均方误差不大于预设阈值时,将调整后的初始音色提取模型确定为目标音色提取模型,其中,所述目标音色提取模型用于提取待检测语音信号的音色特征向量。
2.根据权利要求1所述的方法,其特征在于,所述从所述样本语音信号中提取音素向量序列,包括:
对所述样本语音信号进行分帧加窗处理,以得到组成所述样本语音信号的至少一个分帧信号;
提取每个分帧信号中包括的文字信息,并确定构成所述文字信息的至少一个音素;
获取预设的音素向量查询表,从所述音素向量查询表中确定出每个音素对应的音素向量,其中,所述音素向量查询表中包括多个音素对应的多个音素向量,每一音素各自对应一个音素向量;
通过将各分帧信号对应的音素向量进行拼接,以得到所述样本语音信号对应的音素向量序列。
3.根据权利要求2所述的方法,其特征在于,所述目标频谱序列包括目标梅尔谱序列;所述从所述样本语音信号中提取目标频谱序列,包括:
获取每个分帧信号对应的线性频谱,将每个分帧信号对应的线性频谱输入梅尔滤波器组,以得到所述梅尔滤波器组输出的每个分帧信号对应的梅尔谱;
将各分帧信号对应的梅尔谱进行拼接,以得到所述样本语音信号对应的梅尔谱序列;
根据所述梅尔谱序列确定所述样本语音信号对应的目标梅尔谱序列。
4.根据权利要求3所述的方法,其特征在于,所述根据所述梅尔谱序列确定所述样本语音信号对应的目标梅尔谱序列,包括:
从所述梅尔谱序列中随机抽取连续的n个分帧信号所对应的梅尔谱作为目标梅尔谱序列,其中,n为正整数。
5.根据权利要求1所述的方法,其特征在于,所述根据所述音色特征向量和所述音素向量序列生成联合特征向量序列,包括:
将所述音色特征向量和所述音素向量序...
【专利技术属性】
技术研发人员:庄晓滨,
申请(专利权)人:腾讯音乐娱乐科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。