【技术实现步骤摘要】
一种沉浸式音频上混方法及系统
本专利技术涉及声音处理
，具体涉及一种沉浸式音频上混方法及系统。
技术介绍
近年来，随着高清视频的不断发展，从2K到4K，甚至8K，还有伴随着虚拟现实VR、AR的发展，人们对音频的听觉要求也随之提高。人们已不再满足于流行多年的立体声音响效果，开始追求更具有沉浸感、真实感的3D音效或沉浸式音效。专业影院和家庭影院通常拥有多个扬声器可以播放5.1/7.1和更多声道的沉浸式音频，此外，车载音频也逐步过渡到可以播放多于双声道的内容。目前，采用upmix算法对立体声音频信号进行处理，以将立体声(stereo)环绕声，如中置音源(Center)、左声道(L)、右声道(R)、左环绕声(LS)、右环绕声(RS)、低音(LFE)。通过对Center信号分别进行BPF和LPF处理，得到C音频信号和LFE音频信号；将RS信号进行时延处理和LPF处理，进一步进行去相关处理(例如，相位进行取反处理)，分别得到LS音频信号和RS音频信号；结合输入左声道音频信号和右声道音频信号，得到环绕声道音频信号。现有技术中...
【技术保护点】
1.一种沉浸式音频上混方法，其特征在于，包括以下步骤：/n获取输入的立体声音频信号，采用深度学习声源分离模型将所述立体声音频信号分离为声源信号和环境音信号；/n采用深度学习声源分离模型将所述声源信号分离为中置音源信号和低音信号；/n采用深度学习声源分离模型对所述环境音信号进行去相关处理，获得左环绕声音频信号和右环绕声音频信号；/n获取输入的左声道音频信号和右声道音频信号，将所述中置音源信号、低音信号、左环绕声音频信号、右环绕声音频信号、左声道音频信号和右声道音频信号合并得到5.1声道音频信号。/n
【技术特征摘要】
1.一种沉浸式音频上混方法，其特征在于，包括以下步骤：
获取输入的立体声音频信号，采用深度学习声源分离模型将所述立体声音频信号分离为声源信号和环境音信号；
采用深度学习声源分离模型将所述声源信号分离为中置音源信号和低音信号；
采用深度学习声源分离模型对所述环境音信号进行去相关处理，获得左环绕声音频信号和右环绕声音频信号；
获取输入的左声道音频信号和右声道音频信号，将所述中置音源信号、低音信号、左环绕声音频信号、右环绕声音频信号、左声道音频信号和右声道音频信号合并得到5.1声道音频信号。
2.根据权利要求1所述的一种沉浸式音频上混方法，其特征在于，还包括，采用深度学习声源分离模型将所述立体声音频信号分离为声源信号、环境音信号和去相关参数；
采用深度学习声源分离模型对所述环境音信号和去相关参数进行去相关处理，获得左环绕声音频信号和右环绕声音频信号。
3.根据权利要求2所述的一种沉浸式音频上混方法，其特征在于，所述深度学习声源分离模型采用U-nets结构；所述U-nets结构包含encoder和decoder部分；所述encoder和decoder之间采用长短期记忆网络LSTM进行连接，最后输出掩码mask进行声音分离。
4.根据权利要求3所述的一种沉浸式音频上混方法，其特征在于，所述U-nets结构包括下采样处理和上采样处理，所述下采样处理用于进行立体声音频信号浓缩，上采样处理用于进行立体声音频信号像素恢复；
所述U-nets结构中，每一次下采样处理设有一个跳跃连接与对应的上采样处理进行级联。
5.根据权利要求1所述的一种沉浸式音频上混方法，其特征在于，所述深度学习声源分离模型直接针对立体声的时域音频信号进行训练；
或根据立体声的频域信号进行训练，所述立体声的频域信号包括左声道实部信息、左声道虚部信息、右声道实部信息和右声道虚部信息；
或根据立体声的频域参数进行训练，所述立体声的频域参数包括左右声道能量比值。
6.根据权利要求1所述的一种沉浸式音频上混方法，其特征在于，对输入的立体声音频信号进行模式检测，当所述立体声音频信号为影视内容时，则采用模式A进行处理...
【专利技术属性】
技术研发人员：孙学京，李旭阳，
申请(专利权)人：西安时代拓灵科技有限公司，北京时代拓灵科技有限公司，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。