基于量化编码的语音转换方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种基于量化编码的语音转换方法、装置、设备及存储介质，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量和特征向量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请还涉及区块链技术领域，上述的语音数据可以存储在区块链网络中。本申请通过对内容特征向量进行矢量量化实现非并行的语音转换处理，提高了语音转换的准确度。确度。确度。

【技术实现步骤摘要】
基于量化编码的语音转换方法、装置、设备及存储介质


[0001]本申请属于人工智能
，具体涉及一种基于量化编码的语音转换方法、装置、设备及存储介质。

技术介绍

[0002]语音转换(Voice conversion，VC)就是将源说话人的语音转变为目标说话人的语音，但是转换过程中，说话内容不能改变，为了模仿目标说话者，VC系统通过修改源说话者的语气、口音和发声等信息来实现语音转换。
[0003]传统上，VC系统侧重于使用并行数据进行一对一或多对一的语音转换，并将其视为统计问题，然而，上述方法需要用到大量的并行数据，即收集大量源说话人的语音数据和目标说话人的语音数据，且要求源说话人的语音数据和目标说话人的语音数据完全一致，而这样的并行数据难以收集有许多学者尝试在非并行数据的基础上实现VC任务，例如，目前比较热门的深度风格转移算法、生成对抗网络(GAN)和条件变分自动编码器(CVAE)等等，但目前非并行的VC任务处理方式也存在的一定的问题，即在训练阶段倾向于忽略不同语音表示之间的相关性，从而导致语音转换时出现跳字、漏字、重复等转换错误的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量化编码的语音转换方法，其特征在于，包括：获取第一语音数据，并对所述第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征；将所述第一内容特征、所述第一身份特征和所述第一声学特征分别导入预先训练好的语音转换模型，其中，所述语音转换模型包括编码器、特征映射器和解码器；通过所述编码器分别对所述第一内容特征、所述第一身份特征和所述第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量；对所述第一内容特征向量进行矢量量化，得到第一矢量向量；在所述特征映射器中对所述第一矢量向量、所述第一身份特征向量和所述第一声学特征向量进行特征映射，生成第一梅尔谱图；通过所述解码器对所述第一梅尔谱图进行解码，得到第二语音数据。2.如权利要求1所述的基于量化编码的语音转换方法，其特征在于，所述对所述第一内容特征向量进行矢量量化，得到第一矢量向量的步骤，具体包括：对所述第一内容特征向量进行划分，得到第一标量数据；对所述第一标量数据进行组合，得到第一初始矢量向量；将所述第一初始矢量向量映射到矢量空间，生成所述第一矢量向量。3.如权利要求1所述的基于量化编码的语音转换方法，其特征在于，在所述将所述第一内容特征、所述第一身份特征和所述第一声学特征分别导入预先训练好的语音转换模型的步骤之前，还包括：获取第三语音数据，并对所述第三语音数据进行特征提取，得到第三内容特征、第三身份特征和第三声学特征；将所述第三内容特征、所述第三身份特征和所述第三声学特征分别导入初始转换模型，其中，所述初始转换模型包括编码层、特征映射层和解码层；通过所述编码层分别对所述第三内容特征、所述第三身份特征和所述第三声学特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量；对所述第三内容特征向量进行矢量量化，得到第二矢量向量；在所述特征映射层中对所述第二矢量向量、所述第三身份特征向量和所述第三声学特征向量进行特征映射，生成第二梅尔谱图；基于所述第二梅尔谱图对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型。4.如权利要求3所述的基于量化编码的语音转换方法，其特征在于，所述基于所述第二梅尔谱图对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型的步骤，具体包括：搭建所述初始转换模型的损失函数；基于所述损失函数和所述第二梅尔谱图计算所述初始转换模型的损失值；基于所述损失值，利用反向传播算法对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型。5.如权利要求4所述的基于量化编码的语音转换方法，其特征在...

【专利技术属性】
技术研发人员：孙奥兰，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：