模型训练方法、音频成分缺失识别方法、装置及电子设备制造方法及图纸

技术编号:41624190 阅读:22 留言:0更新日期:2024-06-13 02:24
本申请实施例提供了一种模型训练方法、音频成分缺失识别方法、装置、电子设备及计算机可读存储介质,涉及人工智能领域。该方法包括:获得多个训练样本,每个训练样本包括左、右两声道的音频以及标注信息,每个声道的音频的类型为原音频或者缺失音频,标注信息用于指示相应训练样本中两声道的音频的类型是否一致;根据多个训练样本对对比学习模型进行多轮迭代训练至收敛,获得音频一致性识别模型。本申请实施例可强化模型对原音频和处理后音频之间相关性的学习和理解,为后续根据模型输出的音频类型是否一致的识别结果,准确地获得音频成分是否缺失的判断结果奠定基础。

【技术实现步骤摘要】

本申请涉及人工智能,具体而言,本申请涉及一种模型训练方法、音频成分缺失识别方法装置、电子设备、计算机可读存储介质及计算机程序产品。


技术介绍

1、随着互联网技术和5g基础设施建设的蓬勃跃进,视频作为一种媒介形式已经从众多信息载体中脱颖而出,并逐渐成为公众获取信息、交流互动的主流方式。

2、每日海量视频内容的上传,无疑为平台带来了丰富多元的信息传播,但也伴随着一系列关乎视频质量的重要挑战,其中,音频成分缺失问题尤为突出,无论是视频制作、传输过程中的技术失误,还是播放环节中因各种原因导致的某些音频成分缺失,都会严重影响用户的视听体验。

3、相关技术主要是基于音频信息信号的基础特性进行分析判断,依赖于对左右声道原始属性的直接对比,这类方法的核心手段是通过对双声道声音频信息谱特征的详尽分析,或是通过测量各自音量强度差异来确定声道间的不一致性,但实际应用时准确度较低。


技术实现思路

1、本申请实施例提供了一种模型训练方法、音频成分缺失识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品,本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对比学习模型包括结构不相同的两个分支模型,每个分支模型用于对训练样本进行特征提取得到两声道的音频特征;

3.根据权利要求2所述的方法,其特征在于,所述两个分支模型中的一个分支模型还用于在每轮迭代训练时,缓存本轮迭代得到的至少一个负样本的两声道的音频特征,作为至少一个参考音频特征对,所述负样本是指标注信息指示相应训练样本中两声道对应音频的类型不一致的训练样本;

4.根据权利要求2所述的方法,其特征在于,所述将所述多个训练样本输入本轮迭代的对比学习模型,还包括:得到各个...

【技术特征摘要】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对比学习模型包括结构不相同的两个分支模型,每个分支模型用于对训练样本进行特征提取得到两声道的音频特征;

3.根据权利要求2所述的方法,其特征在于,所述两个分支模型中的一个分支模型还用于在每轮迭代训练时,缓存本轮迭代得到的至少一个负样本的两声道的音频特征,作为至少一个参考音频特征对,所述负样本是指标注信息指示相应训练样本中两声道对应音频的类型不一致的训练样本;

4.根据权利要求2所述的方法,其特征在于,所述将所述多个训练样本输入本轮迭代的对比学习模型,还包括:得到各个训练样本的第三相似度,每个训练样本的第三相似度表示一个分支模型得到的相应训练样本的两个声道的音频特征间的相似度;

5.根据权利要求2所述的方法,其特征在于,每个训练样本的第一损失值通过以下方式获得:

6.根据权利要求3所述的方法,其特征在于,每个负样本的第二损失值通过以下方式确定:

7.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员:杨善明
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1