频带扩展方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例涉及音频处理技术领域，公开了一种频带扩展方法、装置、电子设备及计算机可读存储介质，其中，频带扩展方法包括：对待处理窄带信号进行时频变换得到对应的低频频谱；基于低频频谱，通过神经网络模型，得到目标宽频频谱的高频部分与低频部分的相关性参数，其中，相关性参数包括高频频谱包络和相对平坦度信息至少其中之一，相对平坦度信息表征了目标宽频频谱的高频部分的频谱平坦度与低频部分的频谱平坦度的相关性；基于相关性参数和低频频谱，得到目标高频频谱；基于低频频谱和目标高频频谱，得到频带扩展后的宽带信号；其中，低频频谱或目标高频频谱中的至少一项是对相应的初始频谱进行滤波处理后的频谱。

【技术实现步骤摘要】
频带扩展方法、装置、电子设备及计算机可读存储介质
本申请实施例涉及音频处理
，具体而言，本申请涉及一种频带扩展方法、装置、电子设备及计算机可读存储介质。
技术介绍
频带扩展，也可称为频带复制，是音频编码领域的一项经典技术。频带扩展技术是一种参数编码技术，通过频带扩展可以在接收端实现有效带宽的扩展，以提高音频信号的质量，使用户可以直观感受到更亮的音色、更大的音量和更好的可懂度。在现有技术中，一种频带扩展的经典实现方法是利用语音信号中高频与低频的相关性进行频带扩展，在音频编码系统中，上述相关性作为边信息(sideinformation)，在编码端，将上述边信息合并到码流并传输出去，解码端通过解码，顺序恢复低频频谱，并进行频带扩展操作恢复高频频谱。但是该方法需要系统消耗相应的比特(例如：在编码低频部分信息的基础上，额外花费10％的比特编码上述边信息)，即需要额外的比特进行编码，且存在前向兼容的问题。另一种常用的频带扩展方法是基于数据分析的盲式方案，该方案基于神经网络或者深度学习，输入是低频系数、输出是高频系数。这种系数-系数的映本文档来自技高网...

【技术保护点】
1.一种频带扩展方法，其特征在于，包括：/n对待处理窄带信号进行时频变换得到对应的低频频谱；/n基于所述低频频谱，通过神经网络模型，得到目标宽频频谱的高频部分与低频部分的相关性参数，其中，所述相关性参数包括高频频谱包络和相对平坦度信息至少其中之一，所述相对平坦度信息表征了所述目标宽频频谱的高频部分的频谱平坦度与低频部分的频谱平坦度的相关性；/n基于所述相关性参数和所述低频频谱，得到目标高频频谱；/n基于所述低频频谱和所述目标高频频谱，得到频带扩展后的宽带信号；/n其中，所述低频频谱和所述目标高频频谱中的至少一者是对相应的初始频谱进行滤波处理后的频谱。/n

【技术特征摘要】
20190918 CN 201910882477X1.一种频带扩展方法，其特征在于，包括：
对待处理窄带信号进行时频变换得到对应的低频频谱；
基于所述低频频谱，通过神经网络模型，得到目标宽频频谱的高频部分与低频部分的相关性参数，其中，所述相关性参数包括高频频谱包络和相对平坦度信息至少其中之一，所述相对平坦度信息表征了所述目标宽频频谱的高频部分的频谱平坦度与低频部分的频谱平坦度的相关性；
基于所述相关性参数和所述低频频谱，得到目标高频频谱；
基于所述低频频谱和所述目标高频频谱，得到频带扩展后的宽带信号；
其中，所述低频频谱和所述目标高频频谱中的至少一者是对相应的初始频谱进行滤波处理后的频谱。


2.根据权利要求1所述的方法，其特征在于，对初始频谱进行滤波处理，包括：
将所述初始频谱划分为第一数量的子频谱，并确定每个子频谱对应的第一频谱能量；
基于每个子频谱各自对应的第一频谱能量，确定所述初始频谱的第一滤波增益以及每个子频谱对应的第二滤波增益，其中，所述第一滤波增益值包括第一数量的第二滤波增益；
所述根据所述第一滤波增益对所述初始频谱进行滤波处理，包括：
根据每个子频谱对应的第二滤波增益，对相应的每个子频谱分别进行滤波处理。


3.根据权利要求2所述的方法，其特征在于，基于每个子频谱各自对应的第一频谱能量，确定每个子频谱对应的第二滤波增益，包括：
将所述初始频谱对应的频带划分为第一子带和第二子带；
根据第一子带所对应的所有子频谱的第一频谱能量，确定出第一子带的第一子带能量，根据第二子带所对应的所有子频谱的第一频谱能量，确定出第二子带的第二子带能量；
根据所述第一子带能量与第二子带能量，确定所述初始频谱的频谱倾斜系数；
根据所述频谱倾斜系数及每个子频谱各自对应的第一频谱能量，确定每个子频谱对应的第二滤波增益。


4.根据权利要求2所述的方法，其特征在于，所述窄带信号为当前语音帧的语音信号，确定一个子频谱的第一频谱能量，包括：
确定当前语音帧的所述一个子频谱的第一初始频谱能量；
若所述当前语音帧为第一个语音帧，则基于所述一个子频谱的所述第一初始频谱能量确定所述一个子频谱的第一频谱能量；
若所述当前语音帧不是第一个语音帧，则获取关联语音帧的与所述一个子频谱对应的子频谱的第一初始频谱能量，所述关联语音帧是位于所述当前语音帧之前、且与所述当前语音帧相邻的至少一个语音帧；
基于所述一个子频谱的第一初始频谱能量和所述关联语音帧的与所述一个子频谱对应的子频谱的第一初始频谱能量，得到所述一个子频谱的第一频谱能量。


5.根据权利要求4所述的方法，其特征在于，所述关联语音帧为所述当前语音帧的前一语音帧，其中，
若所述当前语音帧为第一个语音帧，所述基于所述一个子频谱的第一初始频谱能量确定所述一个子频谱的第一频谱能量，包括：
基于所述一个子频谱的第一初始频谱能量和初始化的第一初始频谱能量，确定所述一个子频谱的第二频谱能量；
基于所述一个子频谱的第二频谱能量和初始化的第一频谱能量，确定所述一个子频谱的第一频谱能量；
若所述当前语音帧不是第一个语音帧，所述基于所述一个子频谱的第一初始频谱能量和所述关联语音帧的与所述一个子频谱对应的子频谱的第一初始频谱能量，得到所述一个子频谱的第一频谱能量，包括：
基于所述一个子频谱的第一初始频谱能量、以及前一语音帧的与所述一个子频谱对应的子频谱的第一初始频谱能量，确定所述一个子频谱的第二频谱能量；
根据所述一个子频谱的第二频谱能量、以及前一语音帧的与所述一个子频谱对应的子频谱的第一频谱能量，确定所述一个子频谱的第一频谱能量。


6.根据权利要求1～5项任一项所述的方法，其特征在于，所述相关性参数包括高频频谱包络和相对平坦度信息；
所述神经网络模型至少包括输入层和输出层，所述输入层输入低频频谱的特征向量，所述输出层至少包括单边长短期记忆网络LSTM层以及分别连接所述LSTM层的两个全连接网络层，每个全连接网络层包括至少一个全连接层，其中，所述LSTM层将输入层处理后的特征向量进行转换，其中一个全连接网络层根据LSTM层转换后的向量值进行第一分类处理，并输出所述高频频谱包络，另一个所述全连接网络层根据LSTM层转换后的向量值进行第二分类处理，并输出所述相对平坦度信息。


7.根据权利要求1～5项任一项所述的方法，其特征在于，所述时频变换包括傅里叶变换或离散余弦变换；
若所述时频变换为傅里叶变换，所述基于所述低频频谱，通过神经网络模型，得到目标宽频频谱的高频部分与低频部分的相关性参数，包括：
根据所述低频频谱，得到所述窄带信号的低频幅度谱；
将所述低频幅度谱输入至所述神经网络模型，基于所述神经网络模型的输出得到目标宽频频谱的高频部分与低频部分的相关性参数；
若所述时频变换为离散余弦变换，所述基于所述低频频谱，通过神经网络模型，得到目标宽频频谱的高频部分与低频部分的相关性参数，包括：
将所述低频频谱输入至所述神经网络模型，基于所述神经网络模型的输出得到目标宽频频谱的高频部分与低频部分的相关性参数。


8.根据权利要求1～5项任一项所述的方法，其特征在于，所述时频变换包括傅里叶变换或离散余弦变换；
若时频变换为傅里叶变换，所述基于所述相关性参数和所述低频频谱，得到目标高频频谱，包括：
根据所述低频频谱，得到所述窄带信号的低频频谱包络；
基于所述低频幅度谱，生成初始高频幅度谱；
基于所述高频频谱包络和所述低频频谱包络，对所述初始高频幅度谱进行调整，得到所述目标高频幅度谱；
基于所述窄带信号的低频相位谱，生成相应的高频相位谱；
根据所述目标高频幅度谱和所述高频相位谱，得到目标高频频谱；
若时频变换为离散余弦变换，所述基于所述相关性参数和所述低频频谱，得到目标高频频谱，包括：
根据所述低频频谱，得到所...

【专利技术属性】
技术研发人员：肖玮，商世东，吴祖榕，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44