基于生成对抗网络的高解析度音频编解码方法及系统技术方案

本申请公开了一种基于生成对抗网络的高解析度音频编解码方法及系统，属于音频编解码技术领域，该方法包括：通过正交镜像分析滤波器对编码音频进行滤波，得到低频带音频数据和高频带音频数据；对低频带音频数据进行标准LC3编码，得到低频带码流，获取低频谱包络；根据低频谱包络和高频带音频数据对应的频域谱系数，得到高频带码流；音频接收端对低频带码流进行标准LC3解码流程，获取低频谱系数，并得到解码后的低频带数据；利用预训练的生成网络，对高频带码流进行处理，得到解码后的高频带数据；通过正交镜像合成滤波器对低频带数据和高频带数据进行合成，得到解码结果。本申请实现以两倍的标准采样率实现高解析度音频编解码。解码。解码。

【技术实现步骤摘要】
基于生成对抗网络的高解析度音频编解码方法及系统


[0001]本申请涉及音频编解码
，尤其涉及一种基于生成对抗网络的高解析度音频编解码方法及系统。

技术介绍

[0002]目前主流的蓝牙音频编码器如下：SBC：A2DP协议强制要求，使用最为广泛，是所有的蓝牙音频设备必须支持的，但音质一般；AAC
‑
LC: 音质较好且应用较为广泛，很多主流的手机都支持，但与SBC相比，内存占用较大，且运算复杂度高，很多蓝牙设备都基于嵌入式平台，电池容量有限，处理器运算能力较差且内存有限，而且，其专利费较高；aptX系列：音质较好，但码率很高，aptX需要码率384kbps，而aptX
‑
HD的码率为576kbps,且为高通独有的技术，较为封闭；LDAC: 音质较好，但码率也很高，分别是330kbps，660kbps和990kbps，由于蓝牙设备所处的无线环境特别复杂，稳定支持如此高的码率有一定的困难，且为索尼独有的技术，也很封闭；LHDC：音质较好，但码率也很高，典型的包括400kbps，600kbp和900kbps，如此高的码率，对于蓝牙的基带/射频设计提出了很高的要求。
[0003]基于上述原因，蓝牙国际联盟Bluetooth Sig联合众多厂商推出了LC3，主要面向低功耗蓝牙，也可以用于经典蓝牙，其具有较低延迟、较高的音质和编码增益以及在蓝牙领域无专利费的优点，受到广大厂商的关注。
[0004]对于LC3音频编解码器，其定位为低复杂度，只支持8kHz ~ 48kHz的采样率，而无法达到高解析度音频（High Resolution Audio）的采样率要求。现有技术中，提高采样率的方法需要的算力高，功耗大，无法在LC3低功耗蓝牙设备中进行应用。

技术实现思路

[0005]针对现有技术中，进行高解析度音频编解码时，需要的算力较高，功耗大，而LC3低功耗蓝牙设备对功耗有着较高的要求，而无法直接应用LC3低功耗蓝牙领域的问题，本申请提出一种基于生成对抗网络的高解析度音频编解码方法及系统。
[0006]第一方面，本申请提供一种基于生成对抗网络的高解析度音频编码方法，包括：在音频发射端通过正交镜像分析滤波器对输入的编码音频进行滤波，得到低频带音频数据和高频带音频数据；对低频带音频数据使用标准采样率进行标准LC3编码，得到低频带码流，并同时获取低频谱包络；根据低频谱包络和高频带音频数据对应的频域谱系数，利用标准采样率对高频带音频数据进行编码，得到高频带码流；音频接收端接收低频带码流和高频带码流，并对低频带码流进行标准LC3解码流程，获取低频谱系数，并得到解码后的低频带数据；利用预训练的生成网络，根据低频谱系数生成高频谱系数，同时对高频带码流解码得到高频低频谱包络比，利用高频低频谱包络比修正高频谱系数并执行逆变换得到高频带数据；通过正交镜像合成滤波器对解码后的低频带数据和解码后的高频带数据进行合成，得到编码音频对应的解码结果。
[0007]可选的，根据低频谱包络和高频带音频数据对应的频域谱系数，利用标准采样率
对高频带音频数据进行编码，得到高频带码流，包括：获取高频带数据的频域谱系数，并根据频域谱系数计算得到高频带音频数据对应的高频谱包络；根据高频谱包络与低频谱包络进行计算，得到高频低频谱包络比，并对高频低频谱包络比进行量化和标准LC3编码流程，得到高频带码流。
[0008]可选的，利用预训练的生成网络，根据低频谱系数生成高频谱系数，同时对高频带码流解码得到高频低频谱包络比，利用高频低频谱包络比修正高频谱系数并执行逆变换得到高频带数据，包括：利用预训练的生成网络对低频谱系数进行处理，得到对应的高频谱系数；利用高频低频谱包络比对高频谱系数进行修正，得到修正高频谱系数；对修正高频谱系数进行低延迟改进型离散余弦逆变换，得到高频带数据。
[0009]可选的，对生成网络的预训练过程包括：通过正交镜像分析滤波器对输入音频信号进行滤波，得到低频带信号和高频带信号；对低频带信号进行低延迟改进型离散余弦变换，得到低频谱包络，并将低延迟改进型离散余弦变换的结果输入到生成网络中，得到预测高频谱系数；对高频带信号进行低延迟改进型离散余弦变换，得到高频谱包络和原始高频谱系数；利用低频谱包络、高频谱包络对预测高频谱系数进行调整，得到更新预测高频谱系数；利用判别网络对原始高频谱系数和更新预测高频谱系数进行比较，并根据比较的结果对生成网络进行优化，得到预训练的生成网络。
[0010]第二方面，本申请提供一种基于生成对抗网络的高解析度音频编码系统，包括：正交镜像分析滤波器，其在音频发射端对输入的编码音频进行滤波，得到低频带音频数据和高频带音频数据；低频带编码模块，其对低频带音频数据使用标准采样率进行标准LC3编码，得到低频带码流，并同时获取低频谱包络；高频带编码模块，其根据低频谱包络和高频带音频数据对应的频域谱系数，利用标准采样率对高频带音频数据进行编码，得到高频带码流；低频带解码模块，其在音频接收端，对接收到的低频带码流进行标准LC3解码流程，获取低频谱系数，并得到解码后的低频带数据；高频带处理模块，其利用预训练的生成网络，根据低频谱系数生成高频谱系数，同时对高频带码流解码得到高频低频谱包络比，利用高频低频谱包络比修正高频谱系数并执行逆变换得到高频带数据；正交镜像合成滤波器，其对解码后的低频带数据和解码后的高频带数据进行合成，得到编码音频对应的解码结果。
[0011]第三方面，本申请提供一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行方案一中的基于生成对抗网络的高解析度音频编码方法。
[0012]第三方面，本申请提供一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中处理器操作计算机指令以执行方案一中的基于生成对抗网络的高解析度音频编码方法。
[0013]本申请的有益效果是：本申请在编码端，使用标准采样率对音频数据中的低频带音频数据进行编码，对高频带音频数据只采用谱包络和相应的参数得到高频带音频数据的编码结果，从而实现以两倍的标准采样率对该音频数据进行编码；在解码端，对低频带码流进行标准解码，对高频带码流通过生成对抗网络得到相应的解码结果，降低算力和功耗，高频带码流只需要传输极少量的高频低频谱包络比参数，节省了带宽和算力消耗，适用于LC3低功耗蓝牙设备，从而在LC3低功耗蓝牙中实现高解析度音频编解码，避免在现有技术中为了传输高解析度音频需要很高的码率，譬如LDAC的990kbps，在LE Audio中很容易造成音频卡顿的问题。
附图说明
[0014]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1是本申请基于生成对抗网络的高解析度音频编码方法的一个实施方式的流程示意图；图2是高频带码流处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的高解析度音频编解码方法，其特征在于，包括：在音频发射端通过正交镜像分析滤波器对输入的编码音频进行滤波，得到低频带音频数据和高频带音频数据；对所述低频带音频数据使用标准采样率进行标准LC3编码，得到低频带码流，并同时获取低频谱包络；根据所述低频谱包络和所述高频带音频数据对应的频域谱系数，利用所述标准采样率对所述高频带音频数据进行编码，得到高频带码流；音频接收端接收所述低频带码流和所述高频带码流，并对所述低频带码流进行标准LC3解码流程，获取低频谱系数，并得到解码后的低频带数据；利用预训练的生成网络，根据所述低频谱系数生成高频谱系数，同时对所述高频带码流解码得到高频低频谱包络比，利用所述高频低频谱包络比修正所述高频谱系数并执行逆变换得到高频带数据；通过正交镜像合成滤波器对解码后的低频带数据和解码后的高频带数据进行合成，得到所述编码音频对应的解码结果。2.根据权利要求1所述的基于生成对抗网络的高解析度音频编解码方法，其特征在于，所述根据所述低频谱包络和所述高频带音频数据对应的频域谱系数，利用所述标准采样率对所述高频带音频数据进行编码，得到高频带码流，包括：获取所述高频带数据的频域谱系数，并根据所述频域谱系数计算得到所述高频带音频数据对应的高频谱包络；根据所述高频谱包络与所述低频谱包络进行计算，得到高频低频谱包络比，并对所述高频低频谱包络比进行量化和标准LC3编码流程，得到所述高频带码流。3.根据权利要求1所述的基于生成对抗网络的高解析度音频编解码方法，其特征在于，所述利用预训练的生成网络，根据所述低频谱系数生成高频谱系数，同时对所述高频带码流解码得到高频低频谱包络比，利用所述高频低频谱包络比修正所述高频谱系数并执行逆变换得到高频带数据，包括：利用预训练的所述生成网络对所述低频谱系数进行处理，得到对应的高频谱系数；利用所述高频低频谱包络比对所述高频谱系数进行修正，得到修正高频谱系数；对所述修正高频谱系数进行低延迟改进型离散余弦逆变换，得到所述高频带数据。4.根据权利要求1所述的基于生成对抗网络的高解析度音频编解码方法，其特征在于，对所述生成网络的预训练过程包括：通过正交镜像分析滤波器对输入音频信号进行滤波，得到低频带信号和高频带信号；对所述低频带信号进行低延迟改进型离散余弦变换，得到低频谱包络，并将所述低延迟改进型离散余弦变换的结果输入到生成网络中，得到预测高频谱系数；对所述高频带信号进行所述低延迟改进型离散余弦变换，得到高频谱包络和原始高频谱系数；利用所述低频谱包络、所述高频谱包络对所述预测高频谱系数进行调整，得到更新预测高频谱系数；利用判别网络对所述原始高频谱系数和所述更新预测高频谱系数进行比较，并根据比较的结果对所述生成网络进行优化，得到预训练的所述生成网络。
5.一种基于生成对抗网络的高解析度音频编解码系统，其特征在于，包括：正交镜像分析滤波器...

【专利技术属性】
技术研发人员：李强，朱勇，王尧，叶东翔，
申请(专利权)人：北京百瑞互联技术有限公司，
类型：发明
国别省市：