组合空间提示和源提示的源分离制造技术

本公开涉及一种用于源分离的音频处理方法和系统。所述方法包括获得包括至少两个通道的输入音频信号(A)，以及利用基于空间提示的分离模块(10)处理所述输入音频信号(A)以获得中间音频信号(B)。所述基于空间提示的分离模块(10)被配置为确定所述输入音频信号(A)的至少两个通道的混合参数并基于所述混合参数修改所述通道以获得所述中间音频信号(B)。所述方法进一步包括利用基于源提示的分离模块(20)处理所述中间音频信号(B)以生成输出音频信号(C)，其中，所述基于源提示的分离模块(20)被配置为实施神经网络，所述神经网络被训练用于在给定所述中间音频信号(B)的情况下预测降噪输出音频信号(C)。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术涉及一种用于基于空间提示和源提示进行源分离的方法和音频处理系统。

技术介绍

1、音频处理中的源分离涉及用于隔离原始音频信号中出现的目标音频源(例如，语音或音乐)的系统和方法，原始音频信号包括目标音频源和附加音频内容的混合。附加音频内容例如是平稳或非平稳噪声、背景音频或混响效果。

2、目标分离处理主要有两种类型，即利用空间提示(描述目标音频如何混合的信息)的基于空间提示的分离以及利用源提示(描述目标音频听起来像什么的信息)的基于源提示的分离。

3、空间提示分离的一个简单示例是从电影的5.1原声带中提取语音的情况。用于这种分离的空间提示是，语音或对话通常混合到中央(c)通道，因此空间分离系统只需提取中央通道即可获得空间分离的对话通道。可替代地，基于空间提示的分离涉及放大中央通道或将中央通道与5.1呈现中的其他通道进行混合，以获得对话可懂度更高的5.1呈现。

4、基于源提示的分离的一个简单示例是利用带通滤波器，其通带适于与目标音频源的预期频率范围相匹配。如果目标音频源是语音，则可以使用通带为500hz至8khz的带通本文档来自技高网...

【技术保护点】

1.一种用于源分离的音频处理方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述输入音频信号(A)被划分成多个连续帧，并且其中，所述混合参数指示以下各项中的至少一项：

3.根据权利要求2所述的方法，其中，所述混合参数是针对多个频带确定的。

4.根据前述权利要求中任一项所述的方法，其中，所述基于空间提示的分离模块(10)以第一时间和/或频率分辨率进行操作，所述方法进一步包括：

5.根据权利要求4所述的方法，其中，所述中间音频信号(B)被划分成多个连续帧，并且每个帧被划分成多个频带，并且其中，生成所述输出音频信号(C)包括：

<...

【技术特征摘要】
【国外来华专利技术】

1.一种用于源分离的音频处理方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述输入音频信号(a)被划分成多个连续帧，并且其中，所述混合参数指示以下各项中的至少一项：

3.根据权利要求2所述的方法，其中，所述混合参数是针对多个频带确定的。

4.根据前述权利要求中任一项所述的方法，其中，所述基于空间提示的分离模块(10)以第一时间和/或频率分辨率进行操作，所述方法进一步包括：

5.根据权利要求4所述的方法，其中，所述中间音频信号(b)被划分成多个连续帧，并且每个帧被划分成多个频带，并且其中，生成所述输出音频信号(c)包括：

6.根据权利要求5所述的方法，其中，对所述源增益掩码进行平滑包括：

7.根据权利要求6所述的方法，其中，所述基于空间提示的分离模块(10)通过在一组帧上对检测到的混合参数进行求平均来确定所述混合参数，并且

8.根据权利要求6或权利要求7所述的方法，其中，所述随时间进行平滑是利用汉明窗口进行的。

9.根据前述权利要求中任一项所述的方法，其中，所述基于空间提示的分离模块(10)确定所述混合参数的时间分辨率比所述基于源提示的分离模块(20)的时间分辨率更低，优选地至少低两倍、更优选地至少低四倍、最优选地至少低六倍。

10.根据前述权利要求中任一项所述的方法，其中，所述基于空间提示的分离模块(10)确定所述混合参数的频率分辨率比所述基于源提示的分离模块(20)的频率分辨率更低，优选地至少低两倍、更优选地至少低五倍、最优选地至少低十倍。

11.根据前述权利要求中任一项所述的方法，进一步包括：

12.根据前述权利要求中任一项所述的方法，进一步包括：

13.根据前述权利要求中任一项所述的方法，进一步包括：

14.根据前述权利要求中任一项所述的方法，其中，所述输入音频信号(a)被划分成多个连续帧，并且每个帧被划分成多个频带，

15.根据权利要求14所述的方法，其中，所述中间音频信号(b)被划分成多个连续帧，并且每个帧被划分成多个频带，并且其中，生成所述输出音频信号(c)包括：

16.根据前述权利要求中任一项所述的方法，进一步包括：

17.根据前述权利要求中任一项所述的方法，其中，所述基于源提示的分离模块被配置为去除平稳噪声、非平稳噪声、背景音频内容和混响中的至少一者。

18.一种包括指令的计算机程序产品，当由计算机执行所述程序时，所述指令使所述计算机执行根据权利要求1至17中任一项所述的方法。

19.一种计算机可读存储介质，所述计算机可读存储介质存储有根据权利要求18所述的计算机程序。

20.一种用于源分离的音频处理系统，所述系统包括：

21.根据权利要求20所述的音频处理系统，其中，所述输入音频信号(a)被划分成多个连续帧，并且其中，所述混合参数指示以下各项中的至少一项：

22.根据权利要求21所述的音频处理系统，所述混合参数是针对多个频带确定的。

23.根据权利要求20至22中任一项所述的音频处理系统，其中，所述基于空间提示的分离模块(10)被配置为以第一时间和/或频率分辨率进行操作并向所述基于源提示的分离模块(20)提供元数据(d)，所述元数据(d)指示所述基于空间提示的分离模块(10)的时间和/或频率分辨率，并且其中，

24.根据权利要求23所述的音频处理系统，其中，所述中间音频信号(b)被划分成多个连续帧，并且每个帧被划分成多个频带，并且其中，所述基于源提示的分离模块(20)被配置为：

25.根据权利要求24所述的...

【专利技术属性】
技术研发人员：A·S·马斯特，芦烈，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：