本申请公开了一种基于深度学习的语音频带扩展方法、装置及编码方法，属于音频编码技术领域，该方法包括：对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；将第一特征参数和第二特征参数输入到预训练的神经网络模型中，生成音频数据对应的全带宽谱系数。本申请利用编码过程中的已有参数，并进行特征提取，获取音频数据中关于元音和摩擦音的特征，充分考虑原有音频数据中元音和摩擦音的不同，进行更加准确的频带扩展，提升用户体验。升用户体验。升用户体验。
【技术实现步骤摘要】
基于深度学习的语音频带扩展方法、装置及编码方法
[0001]本申请涉及音频编解码
，特别涉及一种基于深度学习的语音频带扩展方法、装置及编码方法。
技术介绍
[0002]目前窄带语音信号仍然在广泛的使用，如AMR
‑
NB，其在移动电话系统中仍然占据重要地位，它的采样率为8kHz，有效带宽为300～3400Hz，但是音质一般而且可懂性也不理想。现有技术中，一种简便的方法是盲带宽扩展(Blind bandwidth extension，简称BBWE)，以蓝牙耳机通话为例，在蓝牙耳机接收到窄带音频码流时，先解码为窄带语音信号(有效带宽300～3400Hz)，再使用BBWE将其带宽扩展为宽带语音信号播放(50～7000Hz)，此种方法不需要更新整个通信系统，只需要在音频信号接收端执行带宽扩展即可，以较低的代价提升了音质和可懂性。不足之处在于，对音频数据中的摩擦音的处理效果不佳。由于元音与摩擦音的特性不同，元音的主要能量集中在低频成分，其低频谐波结构与高频谐波结构相似，而且在高频部分衰减迅速，而摩擦音无明显的周期成分，其主要能量集中在高频成分。现有技术的解决方法在扩展带宽时并不做区分，导致频带扩展的效果较差，影响最终的音质；同时该种处理方法，需要占用较大的存储空间和运算量大，不适用对存储空间和运算量有着限制的嵌入式蓝牙系统。
技术实现思路
[0003]针对在进行窄带语音的扩展时，现有方法不对窄带语音数据中的元音和摩擦音进行区分，进行无差别的频带扩展，导致频带扩展的效果较差，影响用户使用体验的问题，本申请提出一种基于深度学习的语音频带扩展方法、装置及编码方法。
[0004]第一方面，本申请提出一种基于深度学习的语音频带扩展方法，包括：对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；将第一特征参数和第二特征参数输入到预训练的神经网络模型中，生成音频数据对应的全带宽谱系数。
[0005]可选的，对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数，包括：对谱系数进行特征提取，得到谱熵，其中，在谱熵小于谱熵阈值的条件下，该片段的音频数据对应语音数据；在谱熵不小于谱熵阈值的条件下；该片段的音频数据对应非语音数据；对谱系数进行特征提取，得到子带能量，其中在低频带的子带能量大于第一能量阈值的条件下，音频数据包含元音，在高频带的子带能量大于第二能量阈值的条件下，音频数据包含摩擦音。
[0006]可选的，对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数，还包括：对谱
系数进行特征提取，得到频谱质心，其中，在低频带，频谱质心小于第一阈值的条件下，音频数据包含元音；在高频带，频谱质心大于第二阈值的条件下，音频数据包含摩擦音。
[0007]可选的，对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数，包括：通过长期后置滤波器对音频数据进行处理，得到音频数据对应的基音存在标志，其中在基音存在标志是第一数值的条件下，音频数据包含元音，在基音存在标志是第二数值的条件下，音频数据包含摩擦音。
[0008]可选的，对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数，还包括：通过长期后置滤波器对音频数据进行处理，得到音频数据对应的归一化自相关值、基音延迟参数以及长期后置滤波器激活参数。
[0009]可选的，神经网络的预训练模型过程，包括：对全带宽语音进行重采样，得到窄带语音；对窄带语音进行特征提取，得到窄带语音对应的第一特征参数和第二特征参数；利用窄带语音对应的第一特征参数、第二特征参数和宽带语言进行模型训练，使得训练后的网络模型能够根据窄带语音对应的第一特征参数和第二特征参数得到宽带语音的预测带宽谱系数。
[0010]可选的，神经网络的预训练模型过程，还包括：根据预测带宽谱系数和宽带语音的真实带宽谱系数进行对比，得到对比结果；根据对比结果对网络模型进行优化，使得预测带宽谱系数与真实带宽谱系数之间的误差低于预设阈值。
[0011]第二方面，本申请提出一种基于深度学习的语音频带扩展装置，包括：第一特征提取模块，其对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；第二特征提取模块，其对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；频带扩展模块，其将第一特征参数和第二特征参数输入到预训练的神经网络模型中，生成音频数据对应的全带宽谱系数。
[0012]第三方面，本申请提出一种基于深度学习语音频带扩展的音频编码方法，包括：对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；将第一特征参数和第二特征参数输入到预训练的神经网络模型中，生成音频数据对应的全带宽谱系数；对编码器的编码参数进行更新，并根据全带宽谱系数对音频数据继续编码，得到具有全带宽谱系数的编码结果。
[0013]第四方面，本申请提出一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被执行时，使得计算机执行方案一或方案三中的方法。
[0014]本申请利用对音频数据的编码过程中的参数，并进行特征提取，获取音频数据中关于元音和摩擦音的特征，并在通过网络模型进行频带扩展时，充分考虑原有音频数据中元音和摩擦音的不同，进行更加准确的频带扩展，提高频带扩展的效果，提升用户体验。
附图说明
[0015]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用
的附图作一简单地介绍，显而易见地，下面描述中的附图示例性的示出了本申请的一些实施例。
[0016]图1是本申请基于深度学习的语音频带扩展方法的一个实施方式的示意图；
[0017]图2是本申请神经网络模型训练过程的一个实例的示意图；
[0018]图3是本申请基于深度学习的语音频带扩展装置的一个实施方式的示意图；
[0019]图4是本申请基于深度学习语音频带扩展的音频编码方法的一个实施方式的示意图。
[0020]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的语音频带扩展方法，其特征在于，包括：对音频数据进行编码至低延迟改进型离散余弦变换后，得到所述音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；对所述音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；将所述第一特征参数和所述第二特征参数输入到预训练的神经网络模型中，生成所述音频数据对应的全带宽谱系数。2.根据权利要求1所述的基于深度学习的语音频带扩展方法，其特征在于，所述对音频数据进行编码至低延迟改进型离散余弦变换后，得到所述音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数，包括：对所述谱系数进行特征提取，得到谱熵，其中，在所述谱熵小于谱熵阈值的条件下，该片段的所述音频数据对应语音数据；在所述谱熵不小于所述谱熵阈值的条件下，该片段的所述音频数据对应非语音数据；在所述音频数据为语音数据的条件下，对所述谱系数进行特征提取，得到子带能量，其中在低频带的子带能量大于第一能量阈值的条件下，所述音频数据包含元音，在高频带的子带能量大于第二能量阈值的条件下，所述音频数据包含摩擦音。3.根据权利要求2所述的基于深度学习的语音频带扩展方法，其特征在于，所述对音频数据进行编码至低延迟改进型离散余弦变换后，得到所述音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数，还包括：对所述谱系数进行特征提取，得到频谱质心，其中，在低频带，所述频谱质心小于第一阈值的条件下，所述音频数据包含元音；在高频带，所述频谱质心大于第二阈值的条件下，所述音频数据包含摩擦音。4.根据权利要求1所述的基于深度学习的语音频带扩展方法，其特征在于，所述对所述音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数，包括：通过所述长期后置滤波器对所述音频数据进行处理，得到所述音频数据对应的基音存在标志，其中在所述基音存在标志是第一数值的条件下，所述音频数据包含元音，在所述基音存在标志是第二数值的条件下，所述音频数据包含摩擦音。5.根据权利要求4所述的基于深度学习的语音频带扩展方法，其特征在于，所述对所述音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数，还包括：通过所述长期后置滤波器对所述音频数据进行处理，得到所述音...
【专利技术属性】
技术研发人员：李强，王尧，叶东翔，朱勇，
申请(专利权)人：北京百瑞互联技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。