音频开头爆音的检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种音频开头爆音的检测方法、装置及存储介质，所述方法包括：获取训练样本，并对训练样本进行预处理，以获取多个不同尺度的音频子片段，然后将多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图，再将多个不同尺度的特征图输入第二参考模型中进行特征融合训练，以得到特征融合参数，并根据多个不同尺度的特征图与特征融合参数生成检测模型，其中检测模型包括训练后的第一参考模型与第二参考模型，最后基于检测模型对待测音频进行音频开头爆音的检测，提升了音频开头爆音检测的准确率，能够有效检测音频的开头爆音。

【技术实现步骤摘要】
音频开头爆音的检测方法、装置及存储介质
本专利技术实施例涉及音频处理领域，尤其涉及移动设备
，具体涉及一种音频开头爆音的检测方法、装置及存储介质。
技术介绍
开头爆音是一种常见的音频瑕疵，通常由编码器产生，也可能由录音不慎而产生，比如意外的摩擦等。开头爆音会影响用户的听歌体验。另外，开头爆音具有形式多样、位置多变的特点，而且有些音频的正常音效具有与开头爆音相似的特征，使得开头爆音的检测难度较大，检测的准确度较低。
技术实现思路
本专利技术实施例提供一种音频开头爆音的检测方法、装置及存储介质，提升了音频开头爆音检测的准确率，能够有效检测音频的开头爆音。本专利技术实施例提供一种音频开头爆音的检测方法，所述方法包括：获取训练样本；对所述训练样本进行预处理，以获取多个不同尺度的音频子片段；将所述多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图；将所述多个不同尺度的特征图输入第二参考模型中进行特征融合训练，以得到特征融合参数；根据所述多个不同尺度的特征图与特征融合参数生成检测模型，其中所述检测模型包括训练后的所述第一参考模型与第二参考模型；基于所述检测模型对待测音频进行音频开头爆音的检测。本专利技术实施例还提供一种音频开头爆音的检测装置，所述装置包括：获取模块，用于获取训练样本；预处理模块，用于对所述训练样本进行预处理，以获取多个不同尺度的音频子片段；提取模块，用于将所述多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图；融合模块，用于将所述多个不同尺度的特征图输入第二参考模型中进行特征融合训练，以得到特征融合参数；生成模块，用于根据所述多个不同尺度的特征图与特征融合参数生成检测模型，其中所述检测模型包括训练后的所述第一参考模型与第二参考模型；检测模块，用于基于所述检测模型对待测音频进行音频开头爆音的检测。本专利技术实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，执行本专利技术实施例所提供的任一种所述的音频开头爆音的检测方法中的步骤。本专利技术实施例通过获取训练样本，并对训练样本进行预处理，以获取多个不同尺度的音频子片段，然后将多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图，再将多个不同尺度的特征图输入第二参考模型中进行特征融合训练，以得到特征融合参数，并根据多个不同尺度的特征图与特征融合参数生成检测模型，其中检测模型包括训练后的第一参考模型与第二参考模型，最后基于检测模型对待测音频进行音频开头爆音的检测。本专利技术实施例通过利用第一参考模型提取出多个不同尺度的特征图，并利用第二参考模型对多个不同尺度的特征图进行特征融合训练，得到特征融合参数，然后将特征图以及特征融合参数再融入到对应参考模型中以得到检测模型，并基于检测模型进行音频检测，提升了音频开头爆音检测的准确率，能够有效检测音频的开头爆音。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种音频开头爆音的检测装置的系统示意图。图2为本专利技术实施例提供的一种音频开头爆音的检测方法的流程示意图。图3为本专利技术实施例提供的一种音频开头爆音的检测方法的另一流程示意图。图4为本专利技术实施例提供的一种音频开头爆音的检测方法的另一流程示意图。图5为本专利技术实施例提供的一种音频开头爆音的检测方法的另一流程示意图。图6为本专利技术实施例提供的一种音频开头爆音的检测方法的另一流程示意图。图7为本专利技术实施例提供的一种音频开头爆音的检测方法的另一流程示意图。图8为本专利技术实施例提供的深度学习网络的网络拓扑结构图。图9为本专利技术实施例提供的基本处理单元的网络拓扑结构图。图10为本专利技术实施例提供的一种音频开头爆音的检测装置的结构示意图。图11为本专利技术实施例提供的一种音频开头爆音的检测装置的另一结构示意图。图12为本专利技术实施例提供的一种音频开头爆音的检测装置的另一结构示意图。图13为本专利技术实施例提供的一种音频开头爆音的检测装置的另一结构示意图。图14为本专利技术实施例提供的一种音频开头爆音的检测装置的另一结构示意图。图15为本专利技术实施例提供的一种服务器的结构示意图。图16为本专利技术实施例提供的一种终端的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本专利技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。开头爆音是一种常见的音频瑕疵，通常由编码器产生，也可能由录音不慎而产生，比如意外的摩擦等。开头爆音会影响用户的听歌体验，因此需要通过对音频开头爆音的检测以完善曲库音频质量的管理。另外，开头爆音具有形式多样、位置多变的特点，使得开头爆音的检测难度较大，而且有些音频的正常音效具有与开头爆音相似的特征，进一步增大识别难度。因而，本专利技术实施例提供了一种音频开头爆音的检测方法、装置及存储介质，基于深度学习网络进行模型训练，利用第一参考模型提取出多个不同尺度的特征图，并利用第二参考模型对多个不同尺度的特征图进行特征融合训练，得到特征融合参数，然后将特征图以及特征融合参数再融入到对应参考模型中以得到检测模型，并基于检测模型进行音频检测，提升了音频开头爆音检测的准确率，能够有效检测音频的开头爆音。本专利技术实施例提供的音频开头爆音的检测方法，可实现在音频开头爆音的检测装置中，该音频开头爆音的检测装置具体可以集成在电子设备或其他具有音视频数据处理功能的设备中，电子设备包括但不限于智能电视，智能音箱等设备。请参阅图1，图1为本专利技术实施例提供的一种音频开头爆音的检测装置的系统示意图。该音频开头爆音的检测装置主要用于：预先获取训练样本，然后利用第一参考模型提取出多个不同尺度的特征图，并利用第二参考模型对多个不同尺度的特征图进行特征融合训练，得到特征融合参数，然后将特征图以及特征融合参数再融入到对应参考模型中以得到检测模型，若接收到待测音频，则通过所述检测模型对所述待测音频进行音频检测，以生成检测结果，并根据检测结果判定所述待测音频是否存在音频开头爆音的情形。比如所述检测模型输出的检测结果经过sigmo本文档来自技高网...

【技术保护点】
1.一种音频开头爆音的检测方法，其特征在于，所述方法包括：获取训练样本；对所述训练样本进行预处理，以获取多个不同尺度的音频子片段；将所述多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图；将所述多个不同尺度的特征图输入第二参考模型中进行特征融合训练，以得到特征融合参数；根据所述多个不同尺度的特征图与特征融合参数生成检测模型，其中所述检测模型包括训练后的所述第一参考模型与第二参考模型；基于所述检测模型对待测音频进行音频开头爆音的检测。

【技术特征摘要】
1.一种音频开头爆音的检测方法，其特征在于，所述方法包括：获取训练样本；对所述训练样本进行预处理，以获取多个不同尺度的音频子片段；将所述多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图；将所述多个不同尺度的特征图输入第二参考模型中进行特征融合训练，以得到特征融合参数；根据所述多个不同尺度的特征图与特征融合参数生成检测模型，其中所述检测模型包括训练后的所述第一参考模型与第二参考模型；基于所述检测模型对待测音频进行音频开头爆音的检测。2.如权利要求1所述的音频开头爆音的检测方法，其特征在于，所述对所述训练样本进行预处理，以获取多个不同尺度的音频子片段，包括：按照预设采样率对所述训练样本进行数据规整，以保留所述训练样本的双声道信号；截取开头预设时长对应的音频片段；按照时间顺序将所述音频片段分割为多个不同尺度的音频子片段。3.如权利要求2所述的音频开头爆音的检测方法，其特征在于，所述按照预设采样率对所述训练样本进行数据规整，以保留所述训练样本的双声道信号，还包括：若所述训练样本为单声道信号，则对所述训练样本的单声道信号进行复制处理，以得到处理后的所述训练样本的双声道信号；所述截取开头预设时长对应的音频片段，还包括：若所述训练样本的总时长小于所述预设时长，则对所述训练样本进行补零，以使得所述训练样本的总时长达到所述预设时长。4.如权利要求2所述的音频开头爆音的检测方法，其特征在于，所述第一参考模型包括多个不同尺度的基本处理单元，所述将所述多个不同尺度的音频子片段输入第一参考模型中进行特征提取训练，以提取出多个不同尺度的特征图，包括：将所述多个不同尺度的音频子片段分别输入对应尺度的所述基本处理单元中进行不同尺度的特征提取，以提取出多个不同尺度的特征图。5.如权利要求4所述的音频开头爆音的检测方法，其特征在于，所述基本处理单元为二维卷积单元，所述将所述多个不同尺度的音频子片段分别输入对应尺度的所述基本处理单元中进行不同尺度的特征提取，以提取出多个不同尺度的特征图，包括：通过每一对应的所述二维卷积单元对所述多个不同尺度的音频子片段的双声道信号按照时间尺度进行卷积，以使得每一所述二维卷积单元输出一个与对应尺度的音频子片段的双声道信号的大小相同的特征图，其中，所述特征图表示所述音频片段在不同时间尺度上与所述二维卷积单元的卷积核的相关性。6.如权利要求4所述的音频开头爆音的检测方法，其特征在于，所述基本处理单元包括滤波子单元、门控子单元和混合子单元，所述将所述多个不同尺度的音频子片段分别输入对应尺度的所述基本处理单元中进行不同尺度的特征提取，以提取出多个不同尺度的特征图，包括：将所述多个不同尺度的音频子片段输入对应的所述滤波子单元进行滤波处理，以得到所述滤波子单元的输出特征图；将所述多个不同尺度的音频子片段输入对应的所述门控子单元进行数据处理，以得到所述门控子单元的输出特征图；将所述门控子单元的输出特征图经过sigmoid激活函数的映射处理后，与所述滤波子单元的输出特征图进行逐元素相乘，以得到乘积参数；将所述乘积参数输入所述混合子单元中进行混合处理，以得到所述多个不同尺度的音频子片段中每一所述音频子片段在对应尺度下的特征图。7.如权利要求1-7任一项所述的音频开头爆音的检测方法，其特征在于，在所述将所述多个不同尺度的特征图输入第二参考模型中进行特征融合训练之前，还包括：将所述多个不同尺度的特征图进行排列。8.如权利要求7所述的音频开头爆音的检测方法，其特征在于，所述检测模型还包括全连接网络以及sigmoid激活函数，所述根据所述多个不同尺度的特征图与特征融合参数生成检测模型，包括：根据所述多个不同尺度的特征图调整所述第一参考模型，以得到训练后的所述第一参考模型；根据所述特征融合参数调整所述第二参考模型，以得到训练后的所述第二参考模型；将所述特征融合参数经过所述全连接网络以及sigmoid激活函数调整后得到的数据，作为所述检测模型的输出数据；根据所述训练后的所述第一参考模型、训练后的所述第二参考模型、全连接网络以及sigmoid激活函数，生成所述检测模型。9.如权利要求7所述的音频开头爆音的检测方法，其特征在于，所述基于所述检测模型对待测音频进行音频开头爆音的检测，包括：获取待测音频；对所述待测音频进行预处理，以获取多个不同尺度的待测音频子片段；将所述多个不同尺度的待测音频子片段输入所述训练好的所述第一参考模型中进行特征提取，以提取出所述待测音频的多个不同尺度的特征图；将所述待测音频的多个不同尺度的特征图输入所述训练好的所述第二参考模型中进行特征融合，以得到所述待测音频的特征融合参数；将所述待测音频的特征融合参数经过所述全连接网络以及sigmoid激活函数处理后，得到检测结果；根据所述...

【专利技术属性】
技术研发人员：王征韬，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：广东,44