基于生成网络的虚拟低音转换方法技术

本发明专利技术公开了一种基于生成网络的虚拟低音转换方法，属于音频处理技术领域。本发明专利技术于基于循环生成网络设置初始虚拟低音生成网络，两个生成器和两个判别器，并基于所设置的训练数据对初始虚拟低音生成网络进行训练，当满足收敛条件时，将初始虚拟低音生成网络的第一生成器作为虚拟低音生成网络；再将待转换的原始音频数据输入其中，基于虚拟低音生成网络的输出得到转换结果。经本发明专利技术生成的虚拟低音的时域波形与传统方法生成虚拟低音的时域波形在低音轮廓上近乎一致。此外，本发明专利技术则仅仅基于所训练好的虚拟低音生成网络即可，无需在每次生成时都进行繁琐的参数设置和调整。

【技术实现步骤摘要】
基于生成网络的虚拟低音转换方法
本专利技术属于音频处理
，具体涉及一种虚拟低音转换方法。
技术介绍
由于制造工艺的限制，普通扬声器的一般都存在严格的工作带宽限制，尤其是声音信号的低频部分，也因此使其无法对原信号的全部频段进行无损失的还原。在如今多样化的扬声器系统中，低成本扬声器依旧占据主要地位，所以亟需一种通用的解决方案，或者说需要为带宽限制外的频率分量寻找一个合适的替代。在这样的背景下，一种名叫虚拟低音(VirtualBass)的技术应运而生。虚拟低音又名“消失的基频分量”(Missingfundamental)，这个概念最早由J.C.R.LICKLIDER在1951年的论文《Aduplextheoryofpitchperception》中提出。这项基于心里声学的研究表明，人类的听觉系统可以从声音信号基频分量(Fundamentalcomponent)的高频谐波中感知出低音基频。举个例子来说，如果让一个人听取一段频率分别为200Hz，300Hz，400Hz的谐波序列(Harmonicseries)，其大脑可以有效的感知到他们之间本文档来自技高网...

【技术保护点】
1.基于生成网络的虚拟低音转换方法，其特征在于，包括下列步骤：/n步骤1：设置基于循环生成网络的初始虚拟低音生成网络的网络结构：/n所述虚拟低音生成网路包括生成器G

【技术特征摘要】
1.基于生成网络的虚拟低音转换方法，其特征在于，包括下列步骤：
步骤1：设置基于循环生成网络的初始虚拟低音生成网络的网络结构：
所述虚拟低音生成网路包括生成器GX→Y和生成器GY→X，以及判别器DX和判别器DY；其中，生成器GX→Y分别与生成器GY→X和判别器DY相连，生成器GY→X分别与判别器DX和判别器DY相连，X表示输入数据所在的特征空间，Y表示输出数据所在的特征空间；
步骤2：对初始虚拟低音生成网络进行深度学习训练：
步骤201：设置第一训练数据集：
采集原始音频信号集，所述原始音频信号集包括多帧原始音频信号；
对当前帧的原始音频信号进行快速傅里叶变换，得到频域信号，再基于预设的截止频率对所述频域信号进行低通滤波，得到原始低频信号；
根据预设的基第一虚拟低音处理方式，对当前帧的原始音频信号进行第一虚拟低音处理，得到第一虚拟低音信号；
对当前帧的原始低频信号和第一虚拟低音信号相加，得到当前帧的第一重构虚拟低音信号；
将当前帧的原始音频信号作为一个训练样本数据，并将当前帧的第一重构虚拟低音信号作为该训练样本的目标数据，得到第一训练数据集；
步骤202：基于第一训练数据集对初始虚拟低音生成网络进行第一网络参数训练：
将当前训练样本数据xi分别输入生成器GX→Y和判别器DX；
训练样本数据经生成器GX→Y得到生成音频GX→Y(xi)，再将生成音频GX→Y(xi)分别输入生成器GY→X和判别器DY；
所述生成音频GX→Y(xi)经生成器GY→X得到生成音频GY→X(GX→Y(xi))；
将当前训练样本数据的目标数据yi分别输入判别器DY和生成器GY→X，目标数据yi经生成器GY→X得到生成音频GY→X(yi)；
将所述生成音频GY→X(yi)分别输入生成器GX→Y和判别器DX，生成音频G(y)经生成器GX→Y得到生成音频GX→Y(GY→X(yi))；
训练时，所采用的损失函数为Lfull：
Lfull＝Ladv(GX→Y,DY)+Ladv(GY→X,DX)+λcycLcyc(GX→Y,GY→X)+λidLid(GX→Y,GY→X)
其中，λcyc和λid分别表示损失函数Lcyc(GX→Y,GY→X)和Lid(GX→Y,GY→X)的权重；
损失函数
损失函数
损失函数
损失函数
其中，E[]表示数学期望，PData()表示括号中对象的分布，DY(yi)表示判别器DY对真实目标样本的打分，DY(GX→Y(xi))表示判别器DY对生成目标样本的打分，DX(xi)表示判别器DX对真实原始样本的...

【专利技术属性】
技术研发人员：史创，郭嘉祺，杨浩聪，陶盛奇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51