音频丢包补偿模型的训练方法、装置和计算机设备制造方法及图纸

技术编号:44431352 阅读:25 留言:0更新日期:2025-02-28 18:43
本申请涉及一种音频丢包补偿模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。音频丢包补偿模型的训练方法包括:基于音频训练集对原始生成对抗网络进行迭代训练,得到了训练好的生成对抗网络,并明确了生成器中与生成丢包帧的补偿信号有关的计算,根据生成器中与生成丢包帧的补偿信号有关的计算对生成对抗网络的生成器进行重构,得到音频丢包补偿模型。由于音频丢包补偿模型是基于生成器中与生成丢包帧的补偿信号有关的计算重构得到,使得音频丢包补偿模型在生成丢包帧的补偿信号时只需要进行与生成补偿信号有关的计算,减少了无关计算的计算量,减少了模型冗余的同时,提高丢包补偿的速度,进而能够提高丢包补偿算法的实时性。

【技术实现步骤摘要】

本申请涉及音频处理,特别是涉及一种音频丢包补偿模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、在音频无线网络传输过程中,由于带宽或抖动的原因,数据包的网络延迟不稳定,导致丢包的现象。目前针对网络抖动延迟导致的丢包,neteq采用动态抖动缓冲区、fec、plc等算法,保持高质量通话的同时,兼顾数据的低延时。其中,两大模块分别为mcu、dsp。mcu会基于网络延迟和缓存决策进行dsp的信号处理,dsp处理包括加减速,丢包补偿等策略。当网络抖动比较大和带宽受限的情况下,丢包比较严重,丢包重传、带内带外fec、以及加减速等策略无法获取播放音频情况下,需要基于历史数据对丢包进行预测,即丢包补偿。

2、丢包补偿的方案较多,可以归纳为基于插入进行丢包补偿、基于重构进行丢包补偿,以及基于插值进行丢包补偿三个方向。目前较常见的方案是基于插值的方案,但是基于插值进行丢包补偿存在算法实时性差的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高实时性的音频丢包补偿模型的本文档来自技高网...

【技术保护点】

1.一种音频丢包补偿模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述生成器中与生成所述丢包帧的所述补偿信号有关的计算,对所述生成器进行重构,得到音频丢包补偿模型,包括:

3.根据权利要求1所述的方法,其特征在于,基于音频训练集对原始生成对抗网络进行的每次迭代训练,包括:

4.根据权利要求3所述的方法,其特征在于,将所述音频训练集中的音频数据输入所述原始生成对抗网络的生成器,包括:

5.根据权利要求4所述的方法,其特征在于,所述判别器包括多尺度时域判别器和多尺度频域判别器;

6.根...

【技术特征摘要】

1.一种音频丢包补偿模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述生成器中与生成所述丢包帧的所述补偿信号有关的计算,对所述生成器进行重构,得到音频丢包补偿模型,包括:

3.根据权利要求1所述的方法,其特征在于,基于音频训练集对原始生成对抗网络进行的每次迭代训练,包括:

4.根据权利要求3所述的方法,其特征在于,将所述音频训练集中的音频数据输入所述原始生成对抗网络的生成器,包括:

5.根据权利要求4所述的方法,其特征在于,所述判别器包括多尺度时域判别器和多尺度频域判别器;

6...

【专利技术属性】
技术研发人员:吕俊领
申请(专利权)人:广州视源电子科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1