音频编解码方法及相关产品技术

本申请属于音视频技术领域，具体涉及一种音频编解码方法、音频编解码装置、计算机可读介质、电子设备以及计算机程序产品。音频解码方法包括：获取音频帧序列中各个音频帧的编码向量；对历史音频帧的编码向量进行上采样得到至少一个上采样特征值，所述历史音频帧是在当前音频帧之前解码的一个或者多个音频帧，所述上采样特征值是在上采样过程中得到的用于描述音频帧的特征向量；根据所述至少一个上采样特征值对所述当前音频帧的编码向量进行上采样得到所述当前音频帧的解码数据。本申请可以提高音频数据的编解码质量。提高音频数据的编解码质量。提高音频数据的编解码质量。

【技术实现步骤摘要】
音频编解码方法及相关产品


[0001]本申请属于音视频
，具体涉及一种音频编解码方法、音频编 解码装置、计算机可读介质、电子设备以及计算机程序产品。

技术介绍

[0002]对音视频等媒体数据进行编解码处理，可以实现对媒体数据的压缩传 输，从而降低媒体数据的网络传输成本，提高网络传输效率。实时分段传 输的特点决定了用户在无需下载完整媒体文件的情况下便可以实时获得媒 体数据，但同时也对用户的设备性能和网络条件提出了很高的要求。在网 络状态不理想的情况下，很容易出现媒体数据传输受阻、媒体数据质量差 等问题。

技术实现思路

[0003]本申请提供一种音频编解码方法、音频编解码装置、计算机可读介质、 电子设备以及计算机程序产品，目的在于提高媒体数据的传输效率和数据 质量。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地 通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供一种音频解码方法，该方法包括：
[0006]获取音频帧序列中各个音频帧的编码向量；
[0007]对历史音频帧的编码向量进行上采样得到至少一个上采样特征值，所 述历史音频帧是在当前音频帧之前解码的一个或者多个音频帧，所述上采 样特征值是在上采样过程中得到的用于描述音频帧的特征向量；
[0008]根据所述至少一个上采样特征值对所述当前音频帧的编码向量进行上 采样得到所述当前音频帧的解码数据。
[0009]根据本申请实施例的一个方面，提供一种音频编码方法，该方法包括：
[0010]获取音频帧序列中各个音频帧的音频数据；
[0011]对历史音频帧的音频数据进行下采样得到至少一个下采样特征值，所 述历史音频帧是在当前音频帧之前编码的一个或者多个音频帧，所述下采 样特征值是在下采样过程中得到的用于描述音频帧的特征向量；
[0012]根据所述至少一个下采样特征值对所述当前音频帧的音频数据进行下 采样得到所述当前音频帧的编码向量。
[0013]根据本申请实施例的一个方面，提供一种音频解码装置，该装置包括：
[0014]获取模块，被配置为获取音频帧序列中各个音频帧的编码向量；
[0015]第一上采样模块，被配置为对历史音频帧的编码向量进行上采样得到 至少一个上采样特征值，所述历史音频帧是在当前音频帧之前解码的一个 或者多个音频帧，所述上采样特征值是在上采样过程中得到的用于描述音 频帧的特征向量；
[0016]第二上采样模块，被配置为根据所述至少一个中间特征值对所述当前 音频帧的
编码向量进行上采样得到所述当前音频帧的解码数据。
[0017]根据本申请实施例的一个方面，提供一种音频编码装置，该装置包括：
[0018]获取模块，被配置为获取音频帧序列中各个音频帧的音频数据；
[0019]第一下采样模块，被配置为对历史音频帧的音频数据进行下采样得到 至少一个下采样特征值，所述历史音频帧是在当前音频帧之前编码的一个 或者多个音频帧，所述下采样特征值是在下采样过程中得到的用于描述音 频帧的特征向量；
[0020]第二下采样模块，被配置为根据所述至少一个中间特征值对当前音频 帧的音频数据进行下采样得到所述当前音频帧的编码向量。
[0021]根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括： 处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处 理器被配置为经由执行所述可执行指令来执行如以上技术方案中的音频编 解码方法。
[0022]根据本申请实施例的一个方面，提供一种计算机程序产品，包括计算 机程序，所述计算机程序被处理器执行时实现如以上技术方案中的音频编 解码方法。
[0023]基于本申请实施例提供的技术方案，在对当前音频帧的编码向量进行 上采样的过程中，通过引入对历史音频帧的编码向量进行上采样得到的中 间特征值，使得单个音频帧的上采样过程能够获得更大的数据感受野，因 此能够提高音频的编解码传输效率以及数据质量。
[0024]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释 性的，并不能限制本申请。
附图说明
[0025]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本 申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下 面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示 意图。
[0027]图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式。
[0028]图3示出了一个视频编码器的基本流程图。
[0029]图4示出了本申请一个实施例中由解码侧执行的流媒体传输方法的步 骤流程图。
[0030]图5示出了本申请一个实施例中基于组合排序的流媒体传输方法的步 骤流程图。
[0031]图6示出了本申请一个实施例中由编码侧执行的流媒体传输方法的步 骤流程图。
[0032]图7示出了本申请实施例提供的解码侧的流媒体传输装置的结构框图。
[0033]图8示出了本申请一个实施例中的编码侧的流媒体传输装置的结构框 图。
[0034]图9示出了本申请一个实施例中基于数据映射确定编码向量的原理示 意图。图10示出了本申请一个实施例中对量化器进行训练的步骤流程图。图11示出了本申请一个实施例中的音频编码方法的步骤流程图。图12示出了本申请一个实施例中基于包括多个下采样层的卷积神经网 络进行音频编码的方法步骤流程图。图13示出了本申请一个实施例中对编码器和解码器进行模型训练的步
图14示出了本申请一个实施例中基于生成对抗网络进行编解码模型训 练的原理示意图。图15示出了本申请一个实施例中的音频解码装置的结构框图。图16示出了本申请一个实施例中的音频编码装置的结构框图。图17示意性地示出了用于实现本申请实施例的电子设备的计算机系统 结构框图。
具体实施方式
[0035]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能 够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这 些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面 地传达给本领域的技术人员。
[0036]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个 或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请 的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请 的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、 组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、 实现或者操作以避免模糊本申请的各方面。
[0037]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实 体相对应。即，可以采用软件形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频解码方法，其特征在于，包括：获取音频帧序列中各个音频帧的编码向量；对历史音频帧的编码向量进行上采样得到至少一个上采样特征值，所述历史音频帧是在当前音频帧之前解码的一个或者多个音频帧，所述上采样特征值是在上采样过程中得到的用于描述音频帧的特征向量；根据所述至少一个上采样特征值对所述当前音频帧的编码向量进行上采样得到所述当前音频帧的解码数据。2.根据权利要求1所述的音频解码方法，其特征在于，根据所述至少一个上采样特征值对所述当前音频帧的编码向量进行上采样得到所述当前音频帧的解码数据，包括：获取包括多个上采样层的解码器，所述至少一个上采样特征值包括由所述多个上采样层对所述历史音频帧的编码向量进行上采样处理得到的多个特征向量；将所述当前音频帧的编码向量输入所述解码器，并将所述多个特征向量对应输入所述多个上采样层；通过所述多个上采样层对所述当前音频帧的编码向量和所述多个特征向量进行上采样处理，得到所述当前音频帧的解码数据。3.根据权利要求2所述的音频解码方法，其特征在于，在将所述当前音频帧的编码向量输入所述解码器之前，所述方法还包括：获取包括多个下采样层的编码器；通过所述编码器和所述解码器对音频输入样本进行编解码处理得到音频输出样本；根据所述音频输入样本和所述音频输出样本确定所述编码器和所述解码器的第一损失误差；通过样本判别器对所述音频输入样本和所述音频输出样本进行类型判别，并根据判别结果确定所述样本判别器的第二损失误差；根据所述第一损失误差和所述第二损失误差对所述编码器、所述解码器和所述样本判别器进行生成对抗训练，以更新所述编码器、所述解码器和所述样本判别器的网络参数。4.根据权利要求3所述的音频解码方法，其特征在于，所述样本判别器包括原始样本判别器和样本特征判别器；通过样本判别器对所述音频输入样本和所述音频输出样本进行类型判别，包括：将所述音频输入样本和所述音频输出样本输入至所述原始样本判别器，得到由所述原始样本判别器输出的第一类型判别结果；分别对所述音频输入样本和所述音频输出样本进行频谱特征提取，得到样本的梅尔频谱；将所述样本的梅尔频谱输入至所述样本特征判别器，得到由所述样本特征判别器输出的第二类型判别结果。5.根据权利要求3所述的音频解码方法，其特征在于，根据所述音频输入样本和所述音频输出样本确定所述编码器和所述解码器的第一损失误差，包括：分别对所述音频输入样本和所述音频输出样本进行频谱特征提取，得到样本的梅尔频谱；根据所述音频输入样本和所述音频输出样本在梅尔频谱上的差异度确定所述编码器
和所述解码器的第一损失误差。6.根据权利要求5所述的音频解码方法，其特征在于，分别对所述音频输入样本和所述音频输出样本进行频谱特征提取，包括：获取包括至少两种样本尺度的采样窗口；通过所述采样窗口在不同的样本尺度上对所述音频输入样本和所述音频输出样本进行频谱特征提取，得到样本的多尺度梅尔频谱。7.根据权利要求2所述的音频解码方法，其特征在于，所述上采样层包括至少两个采样通道；通过所述多个上采样层对所述当前音频帧的编码向量和所述多个特征向量进行上采样处理，包括：通过所述上采样层中的至少两个采样通道对所述当前音频帧的编码向量和所述多个特征向量进行特征提取得到至少两个通道特征值；获取所述至少两个通道特征值的均值和方差；根据所述均值和方差对所述至少两个通道特征值进行归一化处理。8.根据权利要求7所述的音频解码方法，其特征在于，在根据所述均值和方差对所述至少两个通道特征值进行归一化处理之前，所述方法还包括：对各个音频帧之间的均值和方差进行加权平滑处理。9.根据权利要求1至8中任意一项所述...

【专利技术属性】
技术研发人员：华超，黄飞，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：