空间音频捕获制造技术

一种装置包括被配置为执行以下操作的部件：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号，提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。多个频带中确定至少第二声源方向参数。多个频带中确定至少第二声源方向参数。

【技术实现步骤摘要】
空间音频捕获


[0001]本申请涉及用于空间音频捕获的装置和方法，并且具体地，涉及用于针对在通过空间音频捕获所捕获的声场内的两个或更多个已识别声源确定到达方向和基于能量的比率的装置和方法。

技术介绍

[0002]在许多现代数字设备(诸如移动设备和相机)中使用麦克风阵列进行空间音频捕获，在许多情况下与视频捕获一起使用。可以用耳机或扬声器播放空间音频捕获，以向用户提供由麦克风阵列捕获的音频场景的体验。
[0003]参数化空间音频捕获方法能够实现采用不同麦克风配置和布置的空间音频捕获，因此，可用于诸如移动电话的消费类设备。参数化空间音频捕获方法基于用于利用来自多个麦克风的可用信息分析设备周围的空间音频场的信号处理解决方案。通常，这些方法在感知上分析麦克风音频信号以确定频带中的相关信息。该信息包括例如主要声源(或音频源或音频对象)的方向以及声源能量与总频带能量的关系。基于该确定的信息，可以例如使用耳机或扬声器再现空间音频。最终，用户或听众可以因此体验环境音频，就好像他们出现在捕获设备正在录制的音频场景中一样。
[0004]音频分析和合成性能越好，用户或听众所体验的结果就越真实。

技术实现思路

[0005]根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号，提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。
[0006]被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以进一步被配置为：基于用由第一声源方向参数定义的第一声源的投影来修改两个或更多个音频信号，生成经修改的两个或更多个音频信号；并且被配置为至少部分地基于一个或多个经修改的音频信号而在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数的部件被配置为：通过处理经修改的两个或更多个音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。
[0007]所述部件可以进一步被配置为：基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数；以及至少部分地基于一个或多个经修改的音频信号和第一声源能量参数，确定至少第二声源能量参数。
[0008]第一和第二声源能量参数可以是直接与总能量比，并且其中，被配置为至少部分地基于一个或多个经修改的音频信号确定至少第二声源能量参数的部件被配置为：基于对
一个或多个经修改的音频信号的分析，确定临时第二声源能量参数直接与总能量比；以及基于以下中的一项生成第二声源能量参数直接与总能量比：选择临时第二声源能量参数直接与总能量比或者从值1减去第一声源能量参数直接与总能量比的值中的最小者；或者将临时第二声源能量参数直接与总能量比乘以从值1减去第一声源能量参数直接与总能量比的值。
[0009]被配置为至少部分地基于一个或多个经修改的音频信号和第一声源能量参数确定至少第二声源能量参数的部件可以进一步被配置为：进一步基于第一声源方向参数确定至少第二声源能量参数，以使得第二声源能量参数相对于第一声源方向参数与第二声源方向参数之差被缩放。
[0010]被配置为基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数的部件可以被配置为：选择两个或更多个麦克风中的第一对；选择来自两个或更多个麦克风中的所选择的对的第一对相应音频信号；确定使来自两个或更多个麦克风中的所选择的对的第一对相应音频信号之间的相关性最大化的延迟；以及确定与使来自两个或更多个麦克风中的所择的选对的第一对相应音频信号之间的相关性最大化的延迟相关联的方向对，第一声源方向参数选自所确定的方向对。
[0011]被配置为基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数的部件可以被配置为：基于进一步确定使来自两个或更多个麦克风中的所选择的另一对的另一对相应音频信号之间的另一相关性最大化的另一延迟，从所确定的方向对中选择第一声源方向参数。
[0012]被配置为基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数的部件可以被配置为：通过对相对于用于频带的第一对相应音频信号的能量的最大化的相关性进行归一化，确定与第一声源方向参数对应的第一声源能量比率。
[0013]被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以被配置为：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量；以及将延迟恢复到相应音频信号中的减去了分量的音频信号，以生成一个或多个经修改的音频信号。
[0014]被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以被配置为：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去经修改的公共分量，经修改的公共分量是公共分量乘以与和麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。
[0015]被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以被配置为：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟，相应音频信号来自两个或更多个麦克风中的所选择的第一对；基于将所确定的延迟应用于第
一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；选择来自两个或更多个麦克风中的所选择的附加对的附加对相应音频信号；基于所确定的附加声源方向参数，确定附加对相应音频信号之间的附加延迟；基于将所确定的附加延迟应用于附加对相应音频信号中的一个音频信号，对齐附加对相应音频信号；从第一对和第二对相应音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量或经修改的公共分量，经修改的公共分量是公共分量乘以与和第一麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。
[0016]被配置为从两个或更多个麦克风获得相应的两个或更多个音频信号的部件可以进一步被配置为：选择两个或更多个麦克风中的第一对以获得两个或更多个音频信号，并且选择两个或更多个麦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：至少一个处理器；以及包含计算机程序代码的至少一个存储器；所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对所述两个或更多个音频信号的处理，在所述两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对所述两个或更多个音频信号的处理进一步被配置为基于所述两个或更多个音频信号，提供一个或多个经修改的音频信号；以及至少部分地基于所述一个或多个经修改的音频信号，在所述两个或更多个音频信号的所述一个或多个频带中确定至少第二声源方向参数。2.根据权利要求1所述的装置，其中，被使得提供所述一个或多个经修改的音频信号的所述装置进一步被使得：基于用由所述第一声源方向参数定义的第一声源的投影来修改所述两个或更多个音频信号，生成经修改的两个或更多个音频信号；以及被配置为至少部分地基于所述一个或多个经修改的音频信号，在所述两个或更多个音频信号的所述一个或多个频带中确定至少第二声源方向参数的所述部件被配置为：通过处理所述经修改的两个或更多个音频信号，在所述两个或更多个音频信号的所述一个或多个频带中确定至少所述第二声源方向参数。3.根据权利要求1所述的装置，进一步被使得：基于对所述两个或更多个音频信号的所述处理，在所述两个或更多个音频信号的一个或多个频带中确定第一声源能量参数；以及至少部分地基于所述一个或多个经修改的音频信号和所述第一声源能量参数，确定至少第二声源能量参数。4.根据权利要求3所述的装置，其中，所述第一声源能量参数和所述第二声源能量参数是直接与总能量比，并且其中，被使得确定至少所述第二声源能量参数的所述装置进一步被使得：基于对所述一个或多个经修改的音频信号的分析，确定临时第二声源能量参数直接与总能量比；以及基于以下中的一项生成所述第二声源能量参数直接与总能量比：选择以下中的最小者：所述临时第二声源能量参数直接与总能量比，或者从值1减去所述第一声源能量参数直接与总能量比的值；或者将所述临时第二声源能量参数直接与总能量比乘以从值1减去所述第一声源能量参数直接与总能量比的值。5.根据权利要求3所述的装置，其中，确定至少第二声源能量参数使所述装置：进一步基于所述第一声源方向参数确定至少所述第二声源能量参数，以使得所述第二声源能量参数相对于所述第一声源方向参数与所述第二声源方向参数之差被缩放。6.根据权利要求1所述的装置，其中，确定第一声源方向参数使所述装置：选择所述两个或更多个麦克风中的第一对；
选择来自所述两个或更多个麦克风中的所选择的对的第一对相应音频信号；确定使来自所述两个或更多个麦克风中的所选择的对的所述第一对相应音频信号之间的相关性最大化的延迟；以及确定与使来自所述两个或更多个麦克风中的所选择的对的所述第一对相应音频信号之间的所述相关性最大化的所述延迟相关联的方向对，所述第一声源方向参数选自所确定的方向对。7.根据权利要求6所述的装置，其中，基于对所述两个或更多个音频信号的处理而确定第一声源方向参数被配置为：基于进一步确定使来自所述两个或更多个麦克风中的所选择的另一对的另一对相应音频信号之间的另一相关性最大化的另一延迟，从所确定的方向对中选择所述第一声源方向参数。8.根据权利要求6所述的装置，其中，基于对所述两个或更多个音频信号的所述处理而确定第一声源能量参数使所述装置：通过对相对于用于所述频带的所述第一对相应音频信号的能量的最大化的相关性进行归一化，确定与所述第一声源方向参数对应的第一声源能量比率。9.根据权利要求1所述的装置，其中，提供一个或多个经修改的音频信号使所述装置：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于所述第一对相应音频信号中的一个音频信号，对齐所述第一对相应音频信号；从所述第一对相应音频信号中的每一个音频信号中识别公共分量；从所述第一对相应音频信号中的每一个音频信号减去所述公共分量；以及将所述延迟恢复到所述相应音频信号中的减去了分量的音频信号，以生成一个或多个经修改的音频信号。10.根据权利要求1所述的装置，其中，提供一个或多个经修改的音频信号使所述装置：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于所述第一对相应音频信号中的一个音频信号，对齐所述第一对相应音频信号；从所述第一对相应音频信号中的每一个音频信号中识别公共分量；从所述第一对相应的音频信号中的每一个音频信号减去经修改的公共分量，所述经修改的公共分量是所述公共分量乘以与和所述麦克风对相关联的麦克风相关联的增益值；以及将所述延迟恢复到所述相应音频信号中的减去了与增益相乘的分量的音频信号，以生成所述经修改的两个或更多个音频信号。11.根据权利要求1所述的装置，其中，提供一个或多个经修改的音频信号使所述装置：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟，所述相应...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：