音频编码及解码方法、装置、设备、介质及程序产品制造方法及图纸

本申请提供了一种音频编码及解码方法、装置、设备、介质及程序产品；其中，音频编码方法包括：对音频信号进行分解处理，得到低频子带信号和高频子带信号；基于低频子带信号以及高频子带信号进行多个层次的特征提取处理，得到多个层次分别对应的子带信号特征；对每个层次对应的子带信号特征进行量化处理，得到子带信号特征的索引值；对子带信号特征的索引值进行编码处理，得到层次对应的码流；对多个层次分别对应的码流配置对应的传输优先级；其中，传输优先级与层次对应的码流的解码质量指标正相关。本申请能够灵活适用于不同网络带宽的应用场景，提升音频编解码的效率和质量。提升音频编解码的效率和质量。提升音频编解码的效率和质量。

【技术实现步骤摘要】
音频编码及解码方法、装置、设备、介质及程序产品


[0001]本申请涉及音频处理技术，尤其涉及一种音频编码及解码方法、装置、设备、介质及程序产品。

技术介绍

[0002]音频编解码技术，是包括远程音视频通话在内的通信服务中的一项核心技术。传统的编解码技术是基于时域和频域的变换实现，例如各种标准的语音编解码协议都属于此范畴。以编码为例，包括时域编码和频域编码，其本质都是基于信号处理的压缩方法，在保持一定的语音质量的前提下，编码的码率很难再有明显的下降，因为二者是相互制约的。
[0003]人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，在音频编码领域的应用日渐增多，例如基于深度学习的编解码技术，目标是在低码率下实现高于传统的编解码技术的语音质量。但是，由于人工智能的编解码技术的计算复杂度较高，影响了编码效率，且码率较高时也无法适用于低带宽的应用场景。
[0004]综上所述，如何适用不同网络带宽的应用场景来提升编解码的效率和语音质量，相关技术尚无有效解决方案。

技术实现思路

[0005]本申请实施例提供一种音频编码及解码方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够灵活适用于不同网络带宽的应用场景，提升音频编解码的效率和质量。
[0006]本申请实施例的技术方案是这样实现的：
[0007]本申请实施例提供一种音频编码方法，包括：
[0008]对音频信号进行分解处理，得到低频子带信号和高频子带信号；
[0009]基于所述低频子带信号以及所述高频子带信号进行多个层次的特征提取处理，得到所述多个层次分别对应的子带信号特征；
[0010]对每个所述层次对应的子带信号特征进行量化处理，得到所述子带信号特征的索引值；
[0011]对所述子带信号特征的索引值进行编码处理，得到所述层次对应的码流；
[0012]对所述多个层次分别对应的码流配置对应的传输优先级；其中，所述传输优先级与所述层次对应的码流的解码质量指标正相关。
[0013]本申请实施例提供一种音频解码方法，包括：
[0014]对多个层次分别对应的码流进行解码处理，得到每个所述层次分别对应的码流的索引值；其中，不同的所述层次对应不同的传输优先级，且所述传输优先级与所述层次对应的码流的解码质量指标正相关；
[0015]对每个所述层次分别对应的码流的索引值进行逆量化处理，得到每个所述层次分别对应的子带信号特征；
[0016]对每个所述层次分别对应的子带信号特征进行特征重建处理，得到每个所述层次分别对应的子带信号；
[0017]将多个所述层次分别对应的子带信号合成为音频信号。
[0018]本申请实施例提供一种音频编码装置，包括：
[0019]分解模块，用于对音频信号进行分解处理，得到低频子带信号和高频子带信号；
[0020]特征提取模块，用于基于所述低频子带信号以及所述高频子带信号进行多个层次的特征提取处理，得到所述多个层次分别对应的子带信号特征；
[0021]量化模块，用于对每个所述层次对应的子带信号特征进行量化处理，得到所述子带信号特征的索引值；
[0022]编码模块，用于对所述子带信号特征的索引值进行编码处理，得到所述层次对应的码流；
[0023]配置模块，用于对所述多个层次分别对应的码流配置对应的传输优先级；其中，所述传输优先级与所述层次对应的码流的解码质量指标正相关。
[0024]本申请实施例提供一种音频解码装置，包括：
[0025]解码模块，用于对多个层次分别对应的码流进行解码处理，得到每个所述层次分别对应的码流的索引值；其中，不同的所述层次对应不同的传输优先级，且所述传输优先级与所述层次对应的码流的解码质量指标正相关；
[0026]逆量化模块，用于对每个所述层次分别对应的码流的索引值进行逆量化处理，得到每个所述层次分别对应的子带信号特征；
[0027]特征重建模块，用于对每个所述层次分别对应的子带信号特征进行特征重建处理，得到每个所述层次分别对应的子带信号；
[0028]合成模块，用于将多个所述层次分别对应的子带信号合成为音频信号。
[0029]本申请实施例提供一种电子设备，包括：
[0030]存储器，用于存储可执行指令；
[0031]处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的音频编码方法以及音频解码方法。
[0032]本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的音频编码方法以及音频解码方法。
[0033]本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例上述的音频编码方法以及音频解码方法。
[0034]本申请实施例具有以下有益效果：
[0035]通过分层获取音频子带信号在每个层次的子带信号特征，并分层次对每个层次对应的子带信号特征进行编码，这样，每个层次仅需编码特定的子带信号特征，而不需要编码整个音频信号的特征，不仅能够提高编解码的效率，也降低了每个层次的编解码复杂度；根据不同层次的码流对解码质量的重要程度，灵活地为不同层次的码流配置不同的传输优先级，保证较为重要的码流优先传输，能够适用于不同网络带宽的应用场景。
附图说明
[0036]图1是本申请实施例提供的不同码率下的频谱比较示意图；
[0037]图2是本申请实施例提供的音频编解码系统100的架构示意图；
[0038]图3是本申请实施例提供的语音通信链路的示意图；
[0039]图4A是本申请实施例提供的终端401的结构示意图；
[0040]图4B是本申请实施例提供的终端402的结构示意图；
[0041]图5A
‑
图5G是本申请实施例提供的音频编码方法的流程示意图；
[0042]图6A
‑
图6G是本申请实施例提供的音频解码方法的流程示意图；
[0043]图7A是本申请实施例提供的进行一个层次的编码解码的示意图；
[0044]图7B是本申请实施例提供的进行两个层次的编码解码的示意图；
[0045]图7C是本申请实施例提供的进行三个层次的编码解码的示意图；
[0046]图7D是本申请实施例提供的QMF滤波器组对应的频谱响应的示意图；
[0047]图7E是本申请实施例提供的频带扩展的示意图；
[0048]图8A是本申请实施例提供的普通卷积网络与空洞卷积网络的示意图；
[0049]图8B是本申请实施例提供的用于进行第一特征提取处理的神经网络的结构示意图；
[0050]图8C是本申请实施例提供的用于进行第三特征提取处理的神经网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频编码方法，其特征在于，所述方法包括：对音频信号进行分解处理，得到低频子带信号和高频子带信号；基于所述低频子带信号以及所述高频子带信号进行多个层次的特征提取处理，得到所述多个层次分别对应的子带信号特征；对每个所述层次对应的子带信号特征进行量化处理，得到所述子带信号特征的索引值；对所述子带信号特征的索引值进行编码处理，得到所述层次对应的码流；对所述多个层次分别对应的码流配置对应的传输优先级；其中，所述传输优先级与所述层次对应的码流的解码质量指标正相关。2.根据权利要求1所述的方法，其特征在于，所述对音频信号进行分解处理，得到低频子带信号和高频子带信号，包括：以第一采样频率对所述音频信号进行采样处理，得到采样信号；其中，所述采样信号包括从所述音频信号中采样得到的多个样本点；对所述采样信号进行低通滤波处理，对得到的低通滤波结果进行第一下采样处理，得到第二采样频率的所述低频子带信号；对所述采样信号进行高通滤波处理，对得到的高通滤波结果进行第二下采样处理，得到所述第二采样频率的所述高频子带信号；其中，所述第二采样频率为所述第一采样频率的二分之一，所述低频子带信号和所述高频子带信号的带宽相同。3.根据权利要求1所述的方法，其特征在于，所述多个层次包括第一层次和第二层次；所述基于所述低频子带信号以及所述高频子带信号进行多个层次的特征提取处理，得到所述多个层次分别对应的子带信号特征，包括：通过以下方式执行所述第一层次的特征提取处理：基于所述低频子带信号进行第一特征提取处理，得到第一低频子带信号特征；其中，所述第一低频子带信号特征的维度小于所述低频子带信号的维度；通过以下方式执行所述第二层次的特征提取处理：基于所述高频子带信号进行第二特征提取处理，得到第一高频子带信号特征；其中，所述第一高频子带信号特征的维度小于所述高频子带信号的维度。4.根据权利要求3所述的方法，其特征在于，所述基于所述低频子带信号进行第一特征提取处理，得到第一低频子带信号特征，包括：对所述低频子带信号进行第一卷积处理，得到第一卷积特征；对所述第一卷积特征进行第一池化处理，得到第一池化特征；对所述第一池化特征进行第三下采样处理，得到第三下采样特征；其中，所述第三下采样处理包括多次级联的下采样；对所述第三下采样特征进行第二卷积处理，得到所述第一低频子带信号特征。5.根据权利要求3或4所述的方法，其特征在于，所述高频子带信号包括第一数量的样本点，所述第一数量为大于2的整数；
所述基于所述高频子带信号进行第二特征提取处理，得到第一高频子带信号特征，包括：基于所述第一数量的样本点分别进行频域变换处理，得到所述第一数量的变换系数；将所述第一数量的变换系数划分为多个第一子带；针对每个所述第一子带执行以下处理：基于所述第一子带中第二数量的变换系数进行求均值处理，得到所述第一子带对应的第一平均能量，并将所述第一平均能量确定为所述第一子带对应的第一子带谱包络；其中，所述第二数量是所述第一数量与所述多个第一子带的数量的比值；将所述多个第一子带分别对应的所述第一子带谱包络确定为所述第一高频子带信号特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述第一数量的样本点分别进行频域变换处理，得到所述第一数量的变换系数，包括：获取参考帧音频信号对应的参考帧高频子带信号；其中，所述参考帧音频信号是所述音频信号的上一帧或下一帧，所述参考帧高频子带信号包括所述第一数量的样本点；基于所述参考帧高频子带信号中所述第一数量的样本点与所述高频子带信号中所述第一数量的样本点，对所述高频子带信号包括的所述第一数量的样本点分别进行离散余弦变换处理，得到所述高频子带信号包括的所述第一数量的样本点分别对应的变换系数。7.根据权利要求5所述的方法，其特征在于，所述多个层次还包括第三层次；所述方法还包括：通过以下方式执行所述第三层次的特征提取处理：基于所述低频子带信号以及所述第一低频子带信号特征进行第三特征提取处理，得到第二低频子带信号特征；基于所述第一高频子带信号特征进行第四特征提取处理，得到第二高频子带信号特征。8.根据权利要求7所述的方法，其特征在于，所述基于所述低频子带信号以及所述第一低频子带信号特征进行第三特征提取处理，得到第二低频子带信号特征，包括：对所述低频子带信号以及所述第一低频子带信号特征进行拼接处理，得到拼接特征；对所述拼接特征进行第三卷积处理，得到第三卷积特征；对所述第三卷积特征进行第二池化处理，得到第二池化特征；对所述第二池化特征进行第四下采样处理，得到第四下采样特征；其中，所述第四下采样处理包括多次级联的下采样；对所述第四下采样特征进行第四卷积处理，得到所述第二低频子带信号特征；其中，所述第二低频子带信号特征的维度小于所述第一低频子带信号特征的维度。9.根据权利要求7所述的方法，其特征在于，所述基于所述第一高频子带信号特征进行第四特征提取处理，得到第二高频子带信号特征，包括：针对所述第一高频子带信号特征对应的每个所述第一子带执行以下处理：
从所述第一子带中所述第二数量的变换参数中，选择第三数量的变换参数，将所述第三数量的变换系数确定为第二子带；其中，所述第三数量为所述第二数量的二分之一；基于所述第二子带中所述第三数量的变换系数进行求均值处理，得到所述第二子带对应的第二平均能量，并将所述第二平均能量确定为所述第二子带对应的第二子带谱包络；将每个所述第二子带分别对应的所述第二子带谱包络确定为所述第二高频子带信号特征。10.根据权利要求1所述的方法，其特征在于，所述多个层次包括第一层次和第二层次，且所述第一层次对应的子带信号特征为第一低频子带信号特征，所述第二层次对应的子带信号特征为第一高频子带信号特征；所述对所述子带信号特征的索引值进行编码处理，得到所述层次对应的码流，包括：对所述第一低频信号特征的索引值进行编码处理，得到所述第一层次对应的所述第一码流；对所述第一高频信号特征的索引值进行编码处理，得到所述第二层次对应的所述第二码流；其中，所述第一码流的码率大于所述第二码流对应的码率，且所述码率与对应的码流的解码质量指标正相关。11.根据权利要求10所述的方法，其特征在于，所述多个层次包括还包括第三层次，且所述第三层次对应的子带信号特征为第二低频子带信号特征和第二高频子带信号特征；所述方法还包括:对所述第二低频信号特征的索引值进行编码处理，得到所述第三层次对应的第三码流；对所述第二高频信号特征的索引值进行编码处理，得到所述第三层次对应的第四码流；其中，所述第一码流的码率大于所述第三码流的码率，所述第三码流的码率大于所述第二码流的码率，所述第二码流的码率等于所述第四码流的码率，且所述码率与对应的码流的解码质量指标正相关。12.根据权利要求1所述的方法，其特征在于，所述多个层次包括第一层次和第二层次，且所述第一层次对应的第一码流是对第一低频信号特征的索引值进行编码处理得到的，所述第二层次对应的第二码流是对第一高频信号特征的索引值进行编码处理得到的；所述对所述多个层次分别对应的码流配置对应的传输优先级，包括：对所述第一层次对应的所述第一码流配置第一传输优先级；对所述第二层次对应的所述第二码流配置第二传输优先级；其中，所述第一传输优先级高于所述第二传输优先级。13.根据权利要求12所述的方法，其特征在于，所述多个层次包括还包括第三层次，且所述第三层次对应第三码流和第四码流，所述第三码流是对第二低频信号特征的索引值进行编码处理得到的，所述第四码流是对第二高频信号特征的索引值进行编码处理得到的；
所述方法还包括:对所述第三层次对应的所述第三码流配置第三传输优先级；对所述第三层次对应的所述第四码流配置第四传输优先级；其中，所述第一传输优先级高于所述第三传输优先级，所述第三传输优先级高于所述第二传输优先级，所述第二传输优先级与所述第四传输优先级相同。14.一种音频解码方法，其特征在于，所述方法包括：对多个层次分别对应的码流进行解码处理，得到每个所述层次分别对应的码流的索引值；其中，不同的所述层次对应不同的传输优先级，且所述传输优先级与所述层次对应的码流的解码质量指标正相关；对每个所述层次分别对应的码流的索引值进行逆量化处理，得到每个所述层次分别对应的子带信号特征；对每个所述层次分别对应的子带信号特征进行特征重建处理，得到每个所述层次分别对应的子带信号；将多个所述层次分别对应的子带信号合成为音频信号。15.根据权利要求14所述的方法，其特征在于，所述多个层次包括第一层次和第二层次，所述第一层次对应第一低频子带信号特征，所述第二层次对应第一高频子带信号特征；所述对每个所述层次分别对应的子带信号特征进行特征重建处理，得到每个所述层次分别对应的子带信号，包括：通过以下方式执行所述第一层次的特征重建处理：基于所述第一低频子带信号特征进行第一特征重建处理，得到第一低频子带信号；其中，所述第一低频子带信号的维度大于所述第一低频子带信号特征的维度；通过以下方式执行所述第二层次的特征重建处理：基于所述第一高频子带信号特征进行第二特征重建处理，得到第一高频子带信号；其中，所述第一高频子带信号的维度大于所述第一高频子带信号特征的维度。16.根据权利要求15所述的方法，其特征在于，所述基于所述第一低频子带信号特征进行第一特征重建处理，得到第一低频子带信号，包括：对所述第一低频子带信号特征进行第一卷积处理，得到第一卷积特征；对所述第一卷积特征进行第一上采样处理，得到第一上采样特征；其中，所述第一上采样处理包括多次级联的上采样；对所述第一上采样特征进行第一池化处理，得到第一池化特征；对所述第一池化特征进行第二卷积处理，得到所述第一低频子带信号。17.根据权利要求15或16所述的方法，其特征在于，所述基于所述第一高频子带信号特征进行第二特征重建...

【专利技术属性】
技术研发人员：肖玮，黄庆博，王蒙，康迂勇，史裕鹏，商世东，吴祖榕，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：