用于确定生成神经网络的参数的方法和装置制造方法及图纸

本文描述了一种确定用于处理音频信号的生成神经网络的参数的方法，其中生成神经网络包括映射到编码特征空间的编码器级、以及解码器级，每个级包括多个卷积层，具有一个或更多的权重系数，该方法包括多个周期，顺序过程为：基于修剪控制信息对任一级或两个级的权重系数进行修剪，修剪控制信息确定针对各个卷积层被修剪的权重系数的数量；基于训练数据集训练经修剪的生成神经网络；基于损失函数确定经训练和修剪的生成神经网络的损失；基于所确定的损失和目标损失确定更新的修剪控制信息。还描述了相应的装置、程序和计算机可读存储介质。程序和计算机可读存储介质。程序和计算机可读存储介质。

【技术实现步骤摘要】
【国外来华专利技术】用于确定生成神经网络的参数的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求以下优先权申请的优先权：2020年6月1日提交的美国临时申请63/032,903(编号：D20038USP1)、2020年6月23日提交的欧洲申请20181683.2(编号：D20038EP)、和2021年4月21日提交的美国临时申请63/177,511(编号：D20038USP2)，，这些优先权申请通过引用而并入此。


[0003]本公开总体上涉及配置例如用于音频处理的生成神经网络的方法，并且具体地涉及确定生成神经网络的参数(例如，滤波器参数)。
[0004]虽然文中将特别参考公开内容描述一些实施例，但应当理解，本公开不限于这样的使用领域，而是适用于更广泛的情境。

技术介绍

[0005]在整个公开中对
技术介绍
的任何讨论都不应被视为承认此类技术广为人知或构成本领域公知常识的一部分。
[0006]音频记录系统用于将音频信号编码成适合传输或存储的编码信号，随后接收或检索并解码编码信号，以获得原始音频信号的版本以供播放。低比特率音频编码是一种感知音频压缩技术，其允许降低带宽和存储要求。感知音频编码系统的示例包括AC3、高级音频编码(AAC)、和最近标准化的AC
‑
4音频编码系统，其由ETSI标准化并包含在ATSC 3.0中。
[0007]然而，低比特率音频编码引入了不可避免的编码伪像。因此，由于量化和编码引入的噪声，以低比特率编码的音频可能会质量劣化。这方面的一个特殊问题是所谓的前回声伪像。在频域中瞬态音频信号的量化中会产生前回声伪像，这导致量化噪声在瞬态本身之前传播。前回声噪声确实会显著损害诸如MPEG AAC编解码器或任何其它基于变换的(例如基于MDCT的)音频编解码器的音频编解码器的质量。
[0008]到目前为止，已经开发出多种方法来降低前回声噪声，从而提高低比特率编码音频的质量。这些方法包括短块切换和时间噪声整形(TNS)。后一种技术基于在频域中应用预测滤波器以在时域中对量化噪声进行整形，从而使噪声对听众的干扰较小。
[0009]除了前回声伪像之外，低比特率编码音频的质量也会被量化噪声损害。为了降低信息容量要求，音频信号的频谱分量被量化。然而，量化会将噪声注入信号。通常，感知音频编码系统涉及使用心理声学模型来控制量化噪声的幅度，以便它被信号中的频谱分量掩蔽或不可听地呈现。
[0010]压缩扩展是AC
‑
4编码系统中的一种编码工具，其可改善语音和密集瞬态事件(例如掌声)的感知编码。压缩扩展的好处包括减少输入信号的短时动态，从而降低编码器侧的比特率需求，同时确保解码器侧适当的时间噪声整形。
[0011]已经发现深度学习提供了新的改进编码音频的机会，特别地，使用诸如卷积神经网络(CNN)的生成神经网络的尝试取得了成功。瞬态伪像减少、带宽扩展和量化噪声整形是
可以从采用基于深度学习的方法中获益的一些方面。然而，完全训练的生成神经网络可能包含多个参数(例如，权重系数)，因此运行生成神经网络的计算要求高。这可能会对在内存和/或电池受限设备上的部署造成限制。通常，在使用内存容量和/或计算资源有限的移动设备处理音频时，生成神经网络的效用可能有限。
[0012]鉴于上述情况，希望提高基于深度学习的音频增强(例如，利用生成神经网络的音频处理)的效率。特别地，希望在不降低性能的情况下减少基于深度学习的音频处理的内存使用和计算复杂性。

技术实现思路

[0013]根据本公开的一个方面，提供了一种确定用于音频信号后处理的生成对抗网络GAN的生成器的方法，其中生成器包括编码器级和解码器级，其中编码器级和解码器级均包括多个层，每个层中具有一个或多个滤波器，其中每个滤波器包括一个或多个权重(例如，滤波器系数)，并且其中生成器的编码器级的瓶颈层映射到编码器级和解码器级之间的编码音频特征空间。该方法可包括步骤(a)：基于指示修剪阈值的灵敏度参数集，修剪编码器级和/或解码器级。并且该方法还可包括步骤(b)：基于所述灵敏度参数集，修剪编码器级的瓶颈层。
[0014]在一些实施例中，修剪可包括基于灵敏度参数集将一个或多个权重归零。
[0015]在一些实施例中，该方法还可包括：基于灵敏度参数集，对与所述瓶颈层相邻的编码级和/或解码级的一个或多个层进行修剪；其中，灵敏度参数集可被选择为使得瓶颈层的稀疏性增加小于编码器级和/或解码器级的一个或多个被修剪层中的任一个的稀疏性增加。
[0016]在一些实施例中，编码器级的被修剪层的数量可小于解码器级的被修剪层的数量。
[0017]在一些实施例中，该方法还可包括以下步骤：对编码器级的瓶颈层以及编码器级和解码器级的多个层进行灵敏度分析，获得灵敏度参数集。
[0018]在一些实施例中，可对GAN的第二生成器的编码器级的瓶颈层以及编码器级和解码器级的多个层进行灵敏度分析，其中第二生成器可以是被训练的未修剪的生成器。
[0019]在一些实施例中，执行步骤(a)和步骤(b)可对应于修剪进程(pass)，并且其中该方法还包括与GAN设置的一个或多个训练进程交替执行修剪进程的一个或多个周期(cycle)。
[0020]在一些实施例中，可在GAN设置中的动态范围缩小域中执行所述一个或多个训练进程，其中所述GAN设置可包括生成器和鉴别器。
[0021]在一些实施例中，该一个或多个训练进程包括以下步骤：
[0022](a)将动态范围缩小原始音频训练信号输入生成器；
[0023](b)通过生成器基于动态范围缩小原始音频训练信号生成增强的动态范围缩小音频训练信号；
[0024](c)将增强的动态范围缩小音频训练信号和由其得出动态范围缩小原始音频训练信号的相应的初始动态范围缩小音频信号每次一个地输入到鉴别器；
[0025](d)通过鉴别器判断输入的动态范围缩小音频信号是增强的动态范围缩小音频训
练信号还是初始动态范围缩小音频信号；
[0026](e)调整生成器的参数，直到鉴别器无法再将增强的动态范围缩小音频训练信号与初始动态范围缩小音频信号区分开。
[0027]在一些实施例中，该方法还可包括在与训练进程交替的修剪进程的多个周期之后执行听力测试。
[0028]在一些实施例中，执行听力测试可包括将被训练和修剪的生成器的输出与第二生成器的输出进行比较。
[0029]在一些实施例中，执行修剪进程可涉及对生成器进行修剪，但不涉及对鉴别器进行修剪。
[0030]根据本公开的另一方面，提供了一种在动态范围缩小域中从低比特率音频比特流生成增强音频数据的方法。该方法可包括步骤(a)接收低比特率音频比特流。该方法还可包括步骤(b)对低比特率音频比特流进行核心解码，并基于低比特率音频比特流获得动态范围缩小的原始音频数据。该方法还可包括步骤(c)将动态范围缩小的原始音频数据输入用于处理动态范围缩小的原始音频数据的生成对抗网络GAN的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种确定用于音频信号后处理的生成对抗网络GAN的生成器的方法，其中生成器包括编码器级和解码器级，其中编码器级和解码器级均包括多个层，每个层中具有一个或多个滤波器，其中每个滤波器包括一个或多个权重，并且其中所述生成器的编码器级的瓶颈层映射到编码器级和解码器级之间的编码音频特征空间，其中该方法包括以下步骤：(a)基于指示修剪阈值的灵敏度参数集，修剪编码器级和/或解码器级；和(b)基于所述灵敏度参数集，修剪编码器级的瓶颈层。2.根据权利要求1所述的方法，其中，所述修剪包括基于所述灵敏度参数集将一个或多个权重归零。3.根据权利要求1或2所述的方法，其中，所述方法还包括：基于所述灵敏度参数集，对与所述瓶颈层相邻的编码级和/或解码级的一个或多个层进行修剪；并且其中，所述灵敏度参数集被选择为使得瓶颈层的稀疏性增加小于编码器级和/或解码器级的一个或多个被修剪层中的任一个的稀疏性增加。4.根据权利要求3所述的方法，其中，所述编码器级的被修剪层的数量小于解码器级的被修剪层的数量。5.根据前述任一权利要求所述的方法，还包括以下步骤：对编码器级的瓶颈层以及编码器级和解码器级的多个层进行灵敏度分析，获得所述灵敏度参数集。6.根据权利要求5所述的方法，其中，对所述GAN的第二生成器的编码器级的瓶颈层以及编码器级和解码器级的多个层进行灵敏度分析，其中所述第二生成器是被训练的未修剪的生成器。7.根据前述任一权利要求所述的方法，其中执行步骤(a)和步骤(b)对应于修剪进程，并且其中所述方法还包括与GAN设置的一个或多个训练进程交替执行修剪进程的一个或多个周期。8.根据权利要求7所述的方法，其中在GAN设置中的动态范围缩小域中执行所述一个或多个训练进程，其中所述GAN设置包括生成器和鉴别器。9.根据权利要求8所述的方法，其中，所述一个或多个训练进程包括以下步骤：(a)将动态范围缩小原始音频训练信号输入生成器；(b)通过生成器基于动态范围缩小原始音频训练信号生成增强的动态范围缩小音频训练信号；(c)将增强的动态范围缩小音频训练信号和由其得出动态范围缩小原始音频训练信号的相应的初始动态范围缩小音频信号每次一个地输入到鉴别器；(d)通过鉴别器判断输入的动态范围缩小音频信号是增强的动态范围缩小音频训练信号还是初始动态范围缩小音频信号；(e)调整生成器的参数，直到鉴别器无法再将增强的动态范围缩小音频训练信号与初始动态范围缩小音频信号区分开。10.根据权利要求7至9中任一项所述的方法，还包括在与训练进程交替的修剪进程的多个周期之后执行听力测试。11.根据权利要求10所述的方法，其中，执行听力测试包括将被训练和修剪的生成器的输出与第二生成器的输出进行比较。
12.根据权利要求7到11中任一项所述的方法，其中，执行修剪进程涉及对生成器进行修剪，但不涉及对鉴别器进行修剪。13.一种在动态范围缩小域中从低比特率音频比特流生成增强音频数据的方法，其中该方法包括以下步骤：(a)接收低比特率音频比特流；(b)对低比特率音频比特流进行核心解码，并基于低比特率音频比特流获得动态范围缩小的原始音频数据；(c)将动态范围缩小的原始音频数据输入用于处理动态范围缩小的原始音频数据的生成对抗网络GAN的生成器，其中生成器包括编码器级和解码器级，其中编码器级和解码器级均包括多个层，每层中有一个或多个滤波器，其中每个滤波器包括一个或多个权重，其中生成器的编码器级的瓶颈层映射到编码器级和解码器级之间的编码音频特征空间，其中与瓶颈层相邻的编码器级和/或解码器级的一个或多个层比瓶颈层更稀疏，其中稀疏性由零值权重的百分比确定，并且其中与瓶颈层相邻的编码器级和/或解码器级的一个或多个层具有比瓶颈层更高的零值权重百分比；(d)通过生成器在动态范围缩小域中增强动态范围缩小的原始音频数据；(e)作为生成器的输出，获得增强的动态范围缩小音频数据，用于动态范围的后续扩展；以及(f)通过执行扩展操作将增强的动态范围缩小音频数据扩展到扩展的动态范围域。14.根据权利要求13所述的方法，其中所述瓶颈层比编码器级和/或解码器级的一个或多个外层更稀疏。15.根据权利要求13或14所述的方法，其中，与所述瓶颈层相邻且比所述瓶颈层更稀疏的所述编码器级和/或解码器级中的一个或多个层具有阈值数量的权重。16.根据权利要求13
‑
15任一项所述的方法，其中，所述生成器已通过修剪获得，所述修剪包括以下步骤：(i)基于指示修剪阈值的灵敏度参数集，修剪编码器级和/或解码器级；和(ii)基于所述灵敏度参数集，修剪编码器级的瓶颈层。17.根据权利要求16所述的方法，其中，所述修剪包括基于所述灵敏度参数集将一个或多个权重归零。18.根据权利要求17所述的方法，其中，通过修剪获得所述生成器还包括：基于所述灵敏度参数集，对与所述瓶颈层相邻的编码级和/或解码级的一个或多个层进行修剪；并且其中，所述灵敏度参数集被选择为使得瓶颈层的稀疏性增加小于编码器级和/或解码器级的一个或多个被修剪层中的任一个的稀疏性增加。19.根据权利要求16
‑
18中任一项所述的方法，其中，所述编码器级的被修剪层的数量小于解码器级的被修剪层的数量。20.根据权利要求16
‑
19中任一项所述的方法，其中，通过修剪获得生成器还包括以下步骤：对编码器级的瓶颈层以及编码器级和解码器级的多个层进行灵敏度分析，获得所述灵敏度参数集。21.根据权利要求20所述的方法，其中，
对所述GAN的第二生成器的编码器级的瓶颈层以及编码器级和解码器级的多个层进行灵敏度分析，其中所述第二生成器是被训练的未修剪的生成器。22.根据权利要求16
‑
21中任一项所述的方法，其中，执行修剪的步骤(i)和步骤(ii)对应修剪进程，其中通过修剪获得生成器还包括与GAN设置的一个或多个训练进程交替执行修剪进程的一个或多个周期。23.根据权利要求22所述的方法，其中在GAN设置中的动态范围缩小域中执行所述一个或多个训练进程，其中所述GAN设置包括生成器和鉴别器。24.根据权利要求13
‑
23中任一项所述的方法，其中，低比特率音频比特流为AC
‑
4格式。25.根据权利要求13
‑
24中任一项所述的方法，其中，扩展操作为基于用于计算相应增益值的频谱幅值的p范数的压缩扩展操作。26.根据权利要求13
‑
25中任一项所述的方法，其中，所接收到的低比特率音频比特流包括元数据，步骤(a)还包括对所接收到的低比特率音频比特流进行解复用，其中，在步骤(d)中，通过生成器来增强动态范围缩小的原始音频数据是基于元数据的。27.根据权利要求26所述的方法，其中，所述元数据包括压缩扩展控制数据的一个或多个项。28.根据权利要求27所述的方法，其中，压缩扩展控制数据包括关于已经用于编码音频数据的一种或多种压缩扩展模式中的压缩扩展模式的信息。29.根据权利要求28所述的方法，其中，所述压缩扩展模式包括：开启压缩扩展的压缩扩展模式、关闭压缩扩展的压缩扩展模式、以及平均压缩扩展的压缩扩展模式。30.根据权利要求28或29所述的方法，其中，在步骤(d)中，通过所述生成器对所述动态范围缩小原始音频数据进行增强取决于压缩扩展控制数据指示的压缩扩展模式，其中可选地，如果压缩扩展模式为压缩扩展关闭，则不执行通过生成器进行的增强。31.一种对于用于处理音频信号的计算机实现的生成神经网络确定参数的方法，其中生成神经网络包括编码器级和解码器级，其中编码器级映射到编码特征空间，其中编码器级和解码器级中的每一个包括多个卷积层，其中每个卷积层包括一个或多个权重系数，该方法包括多个周期，每个周期具有以下顺序过程：基于修剪控制信息对编码器级和/或解码器级的权重系数进行修剪，获得被修剪的生成神经网络，其中修剪控制信息确定对于各卷积层被修剪的权重系数的数量；基于训练数据集针对一个...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：杜比国际公司，
类型：发明
国别省市：