音频处理方法、装置及存储介质制造方法及图纸

本申请公开了一种音频处理方法、装置及存储介质，所述方法包括：获取训练样本，其中，所述训练样本包含有与多个歌手对应的多个演唱片段组，每一演唱片段组分别对应同一歌手的多个演唱片段，并对所述训练样本进行特征提取，以提取出所述训练样本的音频特征，然后将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型，并基于所述处理模型对待测音频进行音频处理，以获取所述待测音频的音色特征，可以在不要求干声的情况下，有效识别出音色特征，提升了音色特征识别的高效性、鲁棒性及准确性。

【技术实现步骤摘要】
音频处理方法、装置及存储介质
本申请实施例涉及音频处理领域，具体涉及一种音频处理方法、装置及存储介质。
技术介绍
i-vector(identityvector)特征是一种在语音中广泛使用的音色特征向量，是反映说话人声学差异的一种重要特征，在目前的说话人是吧和说话人验证中具有一定的有效性。但是，基于i-vector的语音识别方法具有以下缺点：第一，人在唱歌和说话时音色是有一定变化的，i-vector主要针对说话时的语音，在歌唱的情况下适配性不好；第二，i-vector依赖于干声数据，对干扰较敏感，对数据质量要求较高，在很多场景下无法有效识别。
技术实现思路
本申请实施例提供一种音频处理方法、装置及存储介质，可以有效识别出音色特征，提升了音色特征识别的高效性、鲁棒性及准确性。本申请实施例提供一种音频处理方法，所述方法包括：获取训练样本，其中，所述训练样本包含有与多个歌手对应的多个演唱片段组，每一演唱片段组分别对应同一歌手的多个演唱片段；对所述训练样本进行特征提取，以提取出所述训练样本的音频特征；将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型；基于所述处理模型对待测音频进行音频处理，以获取所述待测音频的音色特征。在本申请实施例所述的音频处理方法中，所述获取训练样本，包括：选取多个歌手的歌曲组，其中，每个歌手对应的歌曲组包括多个歌曲，所述歌曲为单人演唱歌曲；获取每一所述歌曲组的多个歌曲对应的带时间戳的歌词，基于所述歌词的时间戳截取每一所述歌曲组的多个歌曲对应的演唱片段，以获取包含有与多个歌手对应的多个演唱片段组的训练样本，其中，每一所述演唱片段组分别对应同一歌手的多个演唱片段。在本申请实施例所述的音频处理方法中，所述基于所述歌词的时间戳截取每一所述歌曲组的多首歌曲对应的演唱片段，还包括：对所述演唱片段进行掐头去尾处理。在本申请实施例所述的音频处理方法中，所述对所述训练样本进行特征提取，以提取出所述训练样本的音频特征，包括：将所述训练样本中每一所述演唱片段的时域信号转换为频域信号，并提取出所述频域信号的频谱特征，以获取所述训练样本的音频特征。在本申请实施例所述的音频处理方法中，所述将所述训练样本中每一所述演唱片段的时域信号转换为频域信号，并提取出所述频域信号的频谱特征，以获取所述训练样本的音频特征，包括：对所述训练样本中每一所述演唱片段进行短时傅里叶变换，并对所述短时傅里叶变换后得到的频域信号进行梅尔尺度变换，以获取与每一所述演唱片段对应的梅尔频谱特征。在本申请实施例所述的音频处理方法中，所述将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型，包括：将所述训练样本的音频特征经过多个卷积层和池化层进行逐层抽象处理；在每一所述池化层上分别接入一全连接层，并将每一所述池化层处理后的音频数据输入对应的全连接层进行处理，以得到每一所述全连接层的输出项；对每一所述全连接层的输出项进行导数监督模型训练，以生成处理模型。在本申请实施例所述的音频处理方法中，所述将所述训练样本的音频特征经过多个卷积层和池化层进行逐层抽象处理，还包括：通过每一所述池化层对所述训练样本的音频特征进行池化处理和编码处理，以得到定长的音频数据。在本申请实施例所述的音频处理方法中，所述对每一所述全连接层的输出项进行导数监督模型训练，以生成处理模型，包括：基于三元组损失函数对每一所述全连接层的输出项进行导数监督模型训练，以得到训练后的所述参考模型的优化参数；根据所述优化参数生成所述处理模型。本申请实施例还提供一种音频处理装置，所述装置包括：获取模块，用于获取训练样本，其中，所述训练样本包含有与多个歌手对应的多个演唱片段组，每一演唱片段组分别对应同一歌手的多个演唱片段；提取模块，用于对所述训练样本进行特征提取，以提取出所述训练样本的音频特征；训练模块，用于将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型；处理模块，用于基于所述处理模型对待测音频进行音频处理，以获取所述待测音频的音色特征。本申请实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，执行本申请实施例所提供的任一种所述的音频处理方法中的步骤。本申请实施例通过获取训练样本，其中，所述训练样本包含有与多个歌手对应的多个演唱片段组，每一演唱片段组分别对应同一歌手的多个演唱片段，并对所述训练样本进行特征提取，以提取出所述训练样本的音频特征，然后将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型，并基于所述处理模型对待测音频进行音频处理，以获取所述待测音频的音色特征，可以在不要求干声的情况下，有效识别出音色特征，提升了音色特征识别的高效性、鲁棒性及准确性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种音频处理装置的系统示意图。图2为本申请实施例提供的一种音频处理方法的流程示意图。图3为本申请实施例提供的一种音频处理方法的另一流程示意图。图4为本申请实施例提供的参考模型的网络拓扑结构图。图5为本申请实施例提供的编码层的网络拓扑结构图。图6为本申请实施例提供的一种音频处理装置的结构示意图。图7为本申请实施例提供的一种音频处理装置的另一结构示意图。图8为本申请实施例提供的一种服务器的结构示意图。图9为本申请实施例提供的一种终端的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。i-vector(identityvector)特征是一种在语音中广泛使用的音色特征向量，是反映说话人声学差异的一种重要特征，在目前的说话人是吧和说话人验证中具有一定的有效性。但是，基于i-vector的语音识别方法具有以下缺点：第一，人在唱歌和说话时音色是有一定变化的，i-vector主要针对说话时的语音，在歌唱的情况下适配性不好；第二，i-vector依赖于干声数据，对干扰较敏感，对数据质量要求较高，在很多场景下无法有效识别。另外i-vector特征需要的数据需要手动收据，本文档来自技高网...

【技术保护点】
1.一种音频处理方法，其特征在于，所述方法包括：获取训练样本，其中，所述训练样本包含有与多个歌手对应的多个演唱片段组，每一演唱片段组分别对应同一歌手的多个演唱片段；对所述训练样本进行特征提取，以提取出所述训练样本的音频特征；将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型；基于所述处理模型对待测音频进行音频处理，以获取所述待测音频的音色特征。

【技术特征摘要】
1.一种音频处理方法，其特征在于，所述方法包括：获取训练样本，其中，所述训练样本包含有与多个歌手对应的多个演唱片段组，每一演唱片段组分别对应同一歌手的多个演唱片段；对所述训练样本进行特征提取，以提取出所述训练样本的音频特征；将所述训练样本的音频特征输入参考模型中进行学习训练，以生成处理模型；基于所述处理模型对待测音频进行音频处理，以获取所述待测音频的音色特征。2.如权利要求1所述的音频处理方法，其特征在于，所述获取训练样本，包括：选取多个歌手的歌曲组，其中，每个歌手对应的歌曲组包括多个歌曲，所述歌曲为单人演唱歌曲；获取每一所述歌曲组的多个歌曲对应的带时间戳的歌词，基于所述歌词的时间戳截取每一所述歌曲组的多个歌曲对应的演唱片段，以获取包含有与多个歌手对应的多个演唱片段组的训练样本，其中，每一所述演唱片段组分别对应同一歌手的多个演唱片段。3.如权利要求2所述的音频处理方法，其特征在于，所述基于所述歌词的时间戳截取每一所述歌曲组的多首歌曲对应的演唱片段，还包括：对所述演唱片段进行掐头去尾处理。4.如权利要求2所述的音频处理方法，其特征在于，所述对所述训练样本进行特征提取，以提取出所述训练样本的音频特征，包括：将所述训练样本中每一所述演唱片段的时域信号转换为频域信号，并提取出所述频域信号的频谱特征，以获取所述训练样本的音频特征。5.如权利要求4所述的音频处理方法，其特征在于，所述将所述训练样本中每一所述演唱片段的时域信号转换为频域信号，并提取出所述频域信号的频谱特征，以获取所述训练样本的音频特征，包括：对所述训练样本中每一所述演唱片段进行短时傅里叶变换，并对所述短时傅里叶变换后得到的频域信号进行梅尔尺度变换，以获取与每一所述演唱片段...

【专利技术属性】
技术研发人员：王征韬，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：广东,44