频带扩展方法及装置制造方法及图纸

本发明专利技术实施例提供了一种频带扩展方法及装置，其中，频带扩展方法包括：将待处理窄频带信号的梅尔频率倒谱系数输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络；根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱；将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；将所述第一目标高频信号和所述第二目标高频信号输入第三预设网络，利用第三预设网络将所述第一目标高频信号与所述第二目标高频信号进行融合，得到目标宽频带信号。本发明专利技术实施例能够满足音乐信号对质量的高要求。

Frequency band expansion method and device

The embodiment of the invention provides a frequency band expansion method and device, in which the band expansion method includes: input the Mel frequency cepstrum coefficient of the narrow band signal to the first preset network, the frequency domain envelope prediction using the first preset network, the high frequency spectrum envelope, and the high frequency spectrum predicted according to the predicted frequency spectrum. The low frequency spectrum of the narrow band signal to be processed is extended into high frequency spectrum, and the high frequency spectrum of the extended frequency spectrum is transformed to get the first target high frequency signal. The second preset network is input to the narrow-band signal to be processed, and the second target high frequency is obtained by using the second preset network to interpolate the time domain. Signal; input the first target high frequency signal and the second target high-frequency signal into the third preset network, and use the third preset network to fuse the first target high frequency signal with the second target high frequency signal to obtain the target broadband signal. The embodiment of the invention can meet the high requirement of the quality of music signals.

【技术实现步骤摘要】
频带扩展方法及装置
本专利技术实施例涉及音频处理领域，具体涉及一种频带扩展方法及装置。
技术介绍
频带扩展是音频信号处理中常见的技术，该技术通常应用在音频的编解码系统中，以提高音频信号的质量。传统的面向音频信号的频带扩展技术，基本都是在频域进行的处理。音乐信号，相对于普通的音频信号(例如：语音信号)，具有更高的质量要求，采用传统的基于频域的频带扩展技术对音乐信号进行频带扩展，无法满足音乐信号对质量的高要求。
技术实现思路
本专利技术实施例提供了一种频带扩展方法及装置，能够满足音乐信号对质量的高要求。专利技术实施例提供的频带扩展方法，包括：将待处理窄频带信号的梅尔频率倒谱系数MFCC输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络；根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱；将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；将所述第一目标高频信号和所述第二目标高频信号输入第三预设网络，利用所述第三预设网络将所述第一目标高频信号与所述第二目标高频信号进行融合，得到目标宽频带信号。专利技术实施例提供的频带扩展装置，包括：包络预测单元，用于将待处理窄频带信号的梅尔频率倒谱系数MFCC输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络；频谱扩展单元，用于根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱；频时变换单元，用于将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；时域插值单元，用于将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；信号融合单元，用于将所述第一目标高频信号和所述第二目标高频信号输入第三预设网络，利用所述第三预设网络将所述第一目标高频信号与所述第二目标高频信号进行融合，得到目标宽频带信号。本专利技术实施例中，在对窄频带信号进行频带扩展时，可以在频域对待处理窄频带信号进行一次频带扩展处理，得到一个处理结果，再在时域对待处理窄频带信号进行一次频带扩展处理，得到另一个处理结果，将两个处理结果进行融合得到最终的频带扩展信号。针对低质量的音乐信号，可以联合频域和时域，对其进行频带扩展，以此提高扩展后的信号的质量，可以修复频带过窄带来的音质差的问题，满足音乐信号对质量的高要求。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例所提供的频带扩展方法的应用场景示意图。图2是本专利技术实施例所提供的频带扩展方法的流程示意图。图3a是是本专利技术实施例所提供的频带扩展方法的另一流程示意图。图3b是是本专利技术实施例所提供的频带扩展方法的又一流程示意图图4是本专利技术实施例所提供的频带扩展装置的结构示意图。图5是本专利技术实施例所提供的频带扩展装置的另一结构示意图。图6是本专利技术实施例所提供的频带扩展装置的又一结构示意图。具体实施方式请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。由于现有的频带扩展方法，都是在频域进行的处理，扩展得到的信号的质量无法满足要求，因而，本专利技术实施例提供了一种频带扩展方法及装置，能够提高扩展得到的信号的质量。本专利技术实施例提供的频带扩展方法，可实现在频带扩展装置中，该频带扩展装置具体可以集成在电子设备或其他具有音视频数据处理功能的设备中，其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。请参阅图1，图1为本申请实施例提供的频带扩展方法的应用场景示意图，以频带扩展装置为电子设备为例，电子设备在得到待处理窄频带信号(例如：低质量的音乐信号、低质量的语音信号)之后，可以先在频域对待处理窄频带信号进行频带扩展，即：将待处理窄频带信号的梅尔频率倒谱系数MFCC输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络，根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱，将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；然后，可以在时域对待处理窄频带信号进行频带扩展，即：将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；最后将所述第一目标高频信号和所述第二目标高频信号输入第三预设网络，利用所述第三预设网络将所述第一目标高频信号与所述第二目标高频信号进行融合，得到目标宽频带信号(即高质量信号)。本申请实施例将从频带扩展装置的角度，描述本申请实施例提供的频带扩展方法，该频带扩展装置具体可以集成在电子设备中。该频带扩展方法包括：将待处理窄频带信号的梅尔频率倒谱系数MFCC输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络；根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱；将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；将所述第一目标高频信号和所述第二目标高频信号输入第三预设本文档来自技高网...

【技术保护点】
一种频带扩展方法，其特征在于，包括：将待处理窄频带信号的梅尔频率倒谱系数MFCC输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络；根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱；将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；将所述第一目标高频信号和所述第二目标高频信号输入第三预设网络，利用所述第三预设网络将所述第一目标高频信号与所述第二目标高频信号进行融合，得到目标宽频带信号。

【技术特征摘要】
1.一种频带扩展方法，其特征在于，包括：将待处理窄频带信号的梅尔频率倒谱系数MFCC输入第一预设网络，利用所述第一预设网络进行频域包络预测，得到高频频谱包络；根据预测得到的高频频谱包络将所述待处理窄频带信号的低频频谱扩展为高频频谱；将扩展得到的高频频谱进行频时变换，得到第一目标高频信号；将所述待处理窄频带信号输入第二预设网络，利用所述第二预设网络进行时域插值，得到第二目标高频信号；将所述第一目标高频信号和所述第二目标高频信号输入第三预设网络，利用所述第三预设网络将所述第一目标高频信号与所述第二目标高频信号进行融合，得到目标宽频带信号。2.根据权利要求1所述的频带扩展方法，其特征在于，在将待处理窄频带信号的MFCC输入第一预设网络之前，还包括：从预设宽频带信号中进行采样，生成预设窄频带信号；将所述预设宽频带信号和所述预设窄频带信号作为训练数据，进行网络训练，得到所述第一预设网络、所述第二预设网络和所述第三预设网络。3.根据权利要求2所述的频带扩展方法，其特征在于，将所述预设宽频带信号和所述预设窄频带信号作为训练数据，进行网络训练，得到所述第一预设网络，包括：获取所述预设窄频带信号的低频频谱，并从获取的低频频谱中提取MFCC；将从所述预设窄频带信号的低频频谱中提取的MFCC作为卷积神经网络的输入，将卷积神经网络输出的高频频谱包络与对应的所述预设宽频带信号的高频频谱包络的均方误差作为损失函数，进行网络训练，得到所述第一预设网络。4.根据权利要求3所述的频带扩展方法，其特征在于，将所述预设宽频带信号和所述预设窄频带信号作为训练数据，进行网络训练，得到所述第二预设网络，包括：将所述预设窄频带信号作为卷积神经网络的输入，将卷积神经网络输出的宽频带信号与对应的所述预设宽频带信号的均方误差作为损失函数，进行网络训练，得到所述第二预设网络。5.根据权利要求4所述的频带扩展方法，其特征在于，将所述预设宽频带信号和所述预设窄频带信号作为训练数据，进行网络训练，得到所述第三预设网络，包括：将从所述预设窄频带信号的低频频谱中提取的MFCC输入所述第一预设网络，得到高频频谱包络，根据得到的高频频谱包络将所述预设窄频带信号的低频频谱扩展为高频频谱，将扩展得到的高频频谱进行频时变换，得到第一预设高频信号；将所述预设窄频带信号输入所述第二预设网络，得到第二预设高频信号；将所述第一预设高频信号和所述第二预设高频信号作为卷积神经网络的输入，将卷积神经网络输出的宽频带信号与对应的所述预设宽频带信号的均方误差作为损失函数，进行网络训练，得到所述第三预设网络。6.根据权利要求2所述的频带扩展方法，其特征在于，在从预设宽频带信号中进行采样，生成预设窄频带信号之后，还包括：对所述预设窄频带信号进行分帧，每帧长度为2n，n为正整数。7.根据权利要求1至6任意一项所述的频带扩展方法，其特征在于，所述方法还包括：滤除所...

【专利技术属性】
技术研发人员：王征韬，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：广东,44