音频丢帧检测方法、丢帧检测模型的训练方法及装置制造方法及图纸

本申请实施例提供了一种音频丢帧检测方法、丢帧检测模型的训练方法及装置，其中丢帧检测方法包括：获取待检测的目标音频数据，目标音频数据包括第一静音片段；将目标音频数据输入丢帧检测模型的音频特征提取网络中，通过音频特征提取网络对目标音频数据进行音频特征提取处理，得到目标音频特征；通过丢帧检测模型的分类网络对目标音频特征进行分类处理，得到丢帧检测结果；丢帧检测结果表征第一静音片段是否存在丢帧。通过本申请实施例，实现了音频丢帧的准确、高效检测。高效检测。高效检测。

【技术实现步骤摘要】
音频丢帧检测方法、丢帧检测模型的训练方法及装置


[0001]本申请涉及音频处理
，尤其涉及一种音频丢帧检测方法、丢帧检测模型的训练方法及装置。

技术介绍

[0002]语音丢帧，是指有意义的语音信号部分缺失导致的语音数据不全。可能不影响语义，但这样的语音信号会让收听者觉得相关部分语音突然断开，或者出现爆音噪音，不能听到自然的，完整的语音信息。对于TTS(Text to Speech)语音合成技术来说，如果训练样本中出现语音丢帧，特别是关键音素对应的语音丢帧，则会导致声学模型学到错误的映射，最终导致合成错误。因此，如何检测语音丢帧，从而提升TTS训练样本的质量至关重要。

技术实现思路

[0003]本申请提供一种音频丢帧检测方法、丢帧检测模型的训练方法及装置，以实现音频丢帧的准确、高效检测。
[0004]第一方面，本申请实施例提供了一种音频丢帧检测方法，包括：
[0005]获取待检测的目标音频数据；所述目标音频数据包括第一静音片段；
[0006]将所述目标音频数据输入丢帧检测模型的音频特征提取网络中，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频丢帧检测方法，其特征在于，包括：获取待检测的目标音频数据；所述目标音频数据包括第一静音片段；将所述目标音频数据输入丢帧检测模型的音频特征提取网络中，通过所述音频特征提取网络对所述目标音频数据进行音频特征提取处理，得到目标音频特征；通过所述丢帧检测模型的分类网络对所述目标音频特征进行分类处理，得到丢帧检测结果；所述丢帧检测结果表征所述第一静音片段是否存在丢帧。2.根据权利要求1所述的方法，其特征在于，所述第一静音片段的时长小于预设时长，所述获取待检测的目标音频数据，包括：获取第一初始音频数据；所述第一初始音频数据的时长大于所述预设时长；对所述第一初始音频数据进行语音活动检测处理，得到所述第一初始音频数据中的至少一个所述第一静音片段；针对每个所述第一静音片段，按照时间从前到后的顺序，在所述第一初始音频数据中对所述第一静音片段向前和/或向后进行连续延拓，得到所述预设时长的目标音频数据。3.根据权利要求1所述的方法，其特征在于，所述音频特征提取网络包括第一跨步卷积层、第二跨步卷积层、第三跨步卷积层、第四跨步卷积层和第五跨步卷积层；所述通过所述音频特征提取网络对所述目标音频数据进行音频特征提取处理，得到目标音频特征，包括：通过所述第一跨步卷积层对所述目标音频数据的每个音频帧进行第一音频特征提取处理，得到每个所述音频帧的第一音频特征；通过所述第二跨步卷积层对各所述第一音频特征进行第二音频特征提取处理，得到每个所述音频帧的第二音频特征；通过所述第三跨步卷积层对各所述第二音频特征进行第三音频特征提取处理，得到每个所述音频帧的第三音频特征；通过所述第四跨步卷积层对各所述第三音频特征进行第四音频特征提取处理，得到每个所述音频帧的第四音频特征；通过所述第五跨步卷积层对各所述第四音频特征进行第五音频特征提取处理，得到每个所述音频帧的目标音频特征。4.根据权利要求1所述的方法，其特征在于，所述分类网络包括双向长短期记忆网络、平均池化层和全连接层；所述通过所述丢帧检测模型的分类网络对所述目标音频特征进行分类处理，得到丢帧检测结果，包括：通过所述双向长短期记忆网络提取所述目标音频特征的时序特征；通过所述平均池化层对所述时序特征进行平均池化处理，得到平局池化特征；对所述平均池化特征进行转换处理，得到转换特征；通过所述全连接层对所述转换特征进行分类处理，得到丢帧检测结果。5.根据权利要求1所述的方法，其特征在于，所述丢帧检测结果表征所述第一静音片段存在丢帧，所述方法还包括：将所述第一静音片段的起止位置确定为丢帧位置。6.一种丢帧检测模型的训练方法，其特征在于，包括：按照预设方式获取训练样本集；所述训练样本集包括存在丢帧的正样本和不存在丢帧的负样本；
利用所述训练样本集对待训练网络进行迭代训练处理，得到丢帧检测模型；其中，所述丢帧检测模型包括音频特征提取网络...

【专利技术属性】
技术研发人员：乔宏利，刘敏，夏粉，蒋宁，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：