一种音色转换方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种音色转换方法、装置、设备及存储介质。本申请实施例提供的技术方案通过将待转换语音信息输入到音色转换模型中，由音色转换模型将待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对内容语气特征进行音色转换处理，以得到目标语音信息，并输出音色转换模型输出的目标语音信息，在转换得到的目标语音信息中保留了原始的待转换语音信息的语气信息，有效提高音色转换效果。有效提高音色转换效果。有效提高音色转换效果。

【技术实现步骤摘要】
一种音色转换方法、装置、设备及存储介质


[0001]本申请实施例涉及音频处理
，尤其涉及一种音色转换方法、装置、设备及存储介质。

技术介绍

[0002]随着音频处理技术的发展，对音频的处理方式也越来越丰富，例如对原始音频进行音色转换处理得到不同音色的音频。音色转换广泛运用于音频内容生成、娱乐音频制作和保密通话等场景。
[0003]音色转换是一种保持原始音频的内容信息不变的前提下，把其音色转换为目标音色的技术。音色转换技术的难点在于如何保持原始音频的内容信息从而进行音色变换，现有的音色转换技术能够保持音频的内容，但是会丢失原始音频中的语气信息，导致音色转换效果不佳。

技术实现思路

[0004]本申请实施例提供一种音色转换方法、装置、设备及存储介质，以解决相关技术中音色转换技术会丢失原始音频中的语气信息，导致音色转换效果不佳的技术问题，在转换得到的语音信息中保留原始音频的语气信息，有效提高音色转换效果。
[0005]在第一方面，本申请实施例提供了一种音色转换方法，包括：
[0006]获取待转换语音信息；
[0007]将所述待转换语音信息输入至设定的音色转换模型，由所述音色转换模型将所述待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对所述内容语气特征进行音色转换处理，以得到目标语音信息；
[0008]输出所述音色转换模型输出的所述目标语音信息。
[0009]在第二方面，本申请实施例提供了一种音色转换装置，包括语音获取模块、音色转换模块和语音输出模块，其中：
[0010]所述语音获取模块，配置为获取待转换语音信息；
[0011]所述音色转换模块，配置为将所述待转换语音信息输入至设定的音色转换模型，由所述音色转换模型将所述待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对所述内容语气特征进行音色转换处理，以得到目标语音信息；
[0012]所述语音输出模块，配置为输出所述音色转换模型输出的所述目标语音信息。
[0013]在第三方面，本申请实施例提供了一种音色转换设备，包括：存储器以及一个或多个处理器；
[0014]所述存储器，用于存储一个或多个程序；
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的音色转换方法。
[0016]在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的音色转换方法。
[0017]在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的音色转换方法。
[0018]本申请实施例通过将待转换语音信息输入到音色转换模型中，由音色转换模型将待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对内容语气特征进行音色转换处理，以得到目标语音信息，并输出音色转换模型输出的目标语音信息，在转换得到的目标语音信息中保留了原始的待转换语音信息的语气信息，有效提高音色转换效果。
附图说明
[0019]图1是本申请实施例提供的一种音色转换方法的流程图；
[0020]图2是本申请实施例提供的一种音色转换模型的结构示意图；
[0021]图3是本申请实施例提供的一种基于音色转换模型对待转换语音信息进行音色转换的流程示意图；
[0022]图4是本申请实施例提供的一种动态权重模型结构示意图；
[0023]图5是本申请实施例提供的一种基于音色转换模型对内容特征和语气补充特征的合并流程示意图；
[0024]图6是本申请实施例提供的一种音色转换装置的结构示意图；
[0025]图7是本申请实施例提供的一种音色转换设备的结构示意图。
具体实施方式
[0026]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0027]图1给出了本申请实施例提供的一种音色转换方法的流程图，本申请实施例提供的音色转换方法可以由音色转换装置来执行，该音色转换装置可以通过硬件和/或软件的方式实现，并集成在音色转换设备中。
[0028]下述以音色转换装置执行音色转换方法为例进行描述。参考图1，该音色转换方法包括：
[0029]S101：获取待转换语音信息。
[0030]示例性的，获取需要进行音色转换的待转换语音信息。本方案提供的待转换语音
信息可理解为需要进行音色转换的原始音频，待转换语音可以是通过音色转换设备进行声音采集得到、基于本地保存的音频文件进行选择得到，还可以是通过网络进行下载得到、通过实时采集音频流(例如在采集声音的同时输出转换音色后的声音)得到或者是从视频文件或视频流中提取音频信息得到。在一个可能的实施例中，待转换语音信息可以是原始音频对应的梅尔频谱(mel spectrogram)。
[0031]在相关技术中，对待转换语音信息的音色转换一般是通过基于ASR(Automatic Speech Recognition，自动语音识别技术)的方式进行。但是基于ASR的音色转换是针对识别内容进行设计的，会忽略语音中的语气语调等非内容信息，音色转换后的音频会丢失语气信息(例如叹气、尖叫等语气语调信息)，音色转换效果一般。本方案通过音色转换模型将待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对内容语气特征进行音色转换处理，以得到目标语音信息，并输出音色转换模型输出的目标语音信息，在转换得到的目标语音信息中保留了原始的待转换语音信息的语气信息，有效提高音色转换效果。
[0032]S102：将待转换语音信息输入至设定的音色转换模型，由音色转换模型将待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对内容语气特征进行音色转换处理，以得到目标语音信息。
[0033]示例性的，在获取需要转换音色的待转换语音信息后，将待转换语音信息发送到预先设定的音色转换模型中，由音色转换模型对待转换语音信息进行音色转换处理得到目标语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音色转换方法，其特征在于，包括：获取待转换语音信息；将所述待转换语音信息输入至设定的音色转换模型，由所述音色转换模型将所述待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对所述内容语气特征进行音色转换处理，以得到目标语音信息；输出所述音色转换模型输出的所述目标语音信息。2.根据权利要求1所述的音色转换方法，其特征在于，所述音色转换模型在将所述待转换语音信息的内容特征以及语气特征进行结合得到内容语气特征，并基于设定的音色特征对所述内容语气特征进行音色转换处理时，包括：通过语气补充网络提取所述待转换语音信息的内容特征，以及提取所述待转换语音信息的语气特征，并将所述内容特征和所述语气特征相加得到语气补充特征；通过内容整合网络将所述内容特征和所述语气补充特征进行合并得到内容语气特征；通过音色转换网络，基于设定的音色特征对所述内容语气特征进行音色转换处理。3.根据权利要求2所述的音色转换方法，其特征在于，所述音色转换模型在通过语气补充网络提取所述待转换语音信息的语气特征时，包括：通过语气补充网络基于加入量化模块的语音预训练模型提取所述待转换语音信息的语气特征。4.根据权利要求2所述的音色转换方法，其特征在于，所述音色转换模型在将所述内容特征和所述语气特征相加得到语气补充特征时，包括：通过语气补充网络获取所述内容特征的第一权重以及所述语气特征的第二权重；通过语气补充网络，基于所述第一权重和所述第二权重，对所述内容特征和所述语气特征进行加权求和处理得到语气补充特征。5.根据权利要求4所述的音色转换方法，其特征在于，所述音色转换模型在获取所述内容特征的第一权重以及所述语气特征的第二权重时，包括：通过语气补充网络，基于动态权重调整策略获取所述内容特征的第一权重以及所述语气特征的第二权重。6.根据权利要求2所述的音色转换方法，其特征在于，所述音色转换模型在通过内容整合网络将所述...

【专利技术属性】
技术研发人员：黄家鸿，马东鹏，项伟，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：