音频合成方法、装置、设备以及介质制造方法及图纸

本申请实施例提供了一种音频合成方法、装置、设备以及介质，其中，方法包括：获取用于合成音频数据的音频关键信息；对音频关键信息进行编码处理，得到音频属性特征，根据音频属性特征和扩散频次信息，生成K个候选频谱特征；K为正整数；获取K个候选频谱特征对应的时间维度信息和频率维度信息，根据时间维度信息和频率维度信息，对K个候选频谱特征进行采样处理，得到K个目标频谱特征；对K个目标频谱特征进行特征融合处理，得到融合频谱特征，将融合频谱特征合成为目标音频数据。采用本申请实施例，可以提高音频合成的质量。可以提高音频合成的质量。可以提高音频合成的质量。

【技术实现步骤摘要】
音频合成方法、装置、设备以及介质


[0001]本申请涉及计算机
，尤其涉及一种音频合成方法、装置、设备以及介质。

技术介绍

[0002]音频合成技术是通过音频合成模型对待合成音频数据的文本信息和乐谱信息进行学习自动生成音频数据的技术。目前该技术被广泛应用于虚拟主播、智能家居、智能机器人等领域。传统的音频合成模型在提取用于合成音频的频谱特征时，往往通过简单卷积处理提取所需要的频谱特征。然而，通过这种方式提取得到的频谱特征过于单调，导致由该频谱特征合成得到的音频数据与所期望的音频数据具有较大的区别，音频合成质量低下。

技术实现思路

[0003]本申请实施例提供一种音频合成方法、装置、设备以及介质，可以提高音频合成的效率。
[0004]本申请实施例一方面提供了一种音频合成方法，包括：
[0005]获取用于合成音频数据的音频关键信息；
[0006]对音频关键信息进行编码处理，得到音频属性特征，根据音频属性特征和扩散频次信息，生成K个候选频谱特征；K为正整数；
[0007]获取K个候选频谱特征对应的时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频合成方法，其特征在于，包括：获取用于合成音频数据的音频关键信息；对所述音频关键信息进行编码处理，得到音频属性特征，根据所述音频属性特征和扩散频次信息，生成K个候选频谱特征；K为正整数；获取所述K个候选频谱特征对应的时间维度信息和频率维度信息，根据所述时间维度信息和所述频率维度信息，对所述K个候选频谱特征进行采样处理，得到K个目标频谱特征；对所述K个目标频谱特征进行特征融合处理，得到融合频谱特征，将所述融合频谱特征合成为目标音频数据。2.根据权利要求1所述的方法，其特征在于，所述音频关键信息包括音素序列、时长序列以及音高序列；所述对所述音频关键信息进行编码处理，得到音频属性特征，包括：将所述音素序列、所述时长序列以及所述音高序列进行拼接，得到音频输入特征，将所述音频输入特征输入至音频合成模型；根据所述音频合成模型中的编码器对所述音频输入特征进行编码处理，得到音频属性特征。3.根据权利要求1所述的方法，其特征在于，所述根据所述音频属性特征和扩散频次信息，生成K个候选频谱特征，包括：通过音频合成模型的扩散解码器，将所述音频属性特征转换为初始频谱特征M0；将所述初始频谱特征M0输入至所述扩散解码器，基于所述扩散解码器对所述初始频谱特征M0进行特征增强处理，得到初始频谱特征M1；当初始频谱特征的数量与所述扩散频次信息所指示的数值T相匹配时，获取T个初始频谱特征，从所述T个初始频谱特征获取K个候选频谱特征；T为大于K的整数。4.根据权利要求1所述的方法，其特征在于，所述时间维度信息包括所述K个候选频谱特征中的第a个候选频谱特征在采样处理中的目标时间维度，所述频率维度信息包括所述第a个候选频谱特征在采样处理中的b个目标频率维度；a为小于或等于K的正整数，b为大于1的整数；所述根据所述时间维度信息和所述频率维度信息，对所述K个候选频谱特征进行采样处理，得到K个目标频谱特征，包括：对所述目标时间维度和所述b个目标频率维度进行组合，得到b个采样维度信息组；根据所述b个采样维度信息组，对所述第a个候选频谱特征进行上采样处理，得到所述第a个候选频谱特征对应的b个第一子频谱特征；根据所述第a个候选频谱特征对应的初始时间维度和初始频率维度，对所述b个第一子频谱特征进行下采样处理，得到b个第二子频谱特征，将所述b个第二子频谱特征进行加和操作，得到第a个目标频谱特征。5.根据权利要求1所述的方法，其特征在于，所述对所述K个目标频谱特征进行特征融合处理，得到融合频谱特征，包括：获取所述K个目标频谱特征对应的卷积参数信息，根据所述卷积参数信息对所述K个目标频谱特征进行卷积处理，得到所述K个目标频谱特征对应的卷积频谱特征；对所述卷积频谱特征进行激活处理，得到所述卷积频谱特征对应的融合频谱特征。
6.根据权利...

【专利技术属性】
技术研发人员：贺思颖，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：