分布式音频捕获和混合制造技术

一种包括处理器的装置(103)，该处理器被配置为：接收与被配置为提供空间音频捕获的麦克风阵列(211)相关联的空间音频信号和与附加麦克风(111)相关联的至少一个附加音频信号，至少一个附加麦克风信号已经以可变延迟被延迟，该可变延迟被确定为使得音频信号被时间对准；接收与麦克风阵列(211)相关联的第一位置和与附加麦克风(111)相关联的第二位置(111(0)，111(t))之间的相对位置；通过基于第一位置与第二位置之间的相对位置而处理和混合空间音频信号和至少一个附加音频信号，来生成至少两个输出音频通道信号，以使得至少两个输出音频通道信号呈现增强的音频场景。

【技术实现步骤摘要】
【国外来华专利技术】分布式音频捕获和混合
本申请涉及用于分布式音频捕获和混合的装置和方法。本专利技术进一步涉及，但不限于，用于分布式音频捕获和混合来用于音频信号的空间处理以允许音频信号的空间再现的装置和方法。
技术介绍
当多个源在空间场中移动时，对来自这些源的音频信号的捕获以及对那些音频信号的混合要求显著的人工努力。例如，在诸如剧院或演讲厅等音频环境内捕获和混合将被呈现给听众并且产生有效音频氛围的音频信号源(诸如扬声器或艺术家)，要求在设备和训练上的显著投资。通常实施的系统将用于专业制作人员利用接近麦克风，例如，用户佩戴的颈挂式(Lavalier)麦克风或附接到吊杆(boompole)的麦克风，以捕获接近扬声器或其他源的音频信号，并且然后手动地混合这个捕获的音频信号与合适的空间(或环境或音频场)音频信号，以使得产生的声音来自所意图的方向。如将会预期到的，将声源手动地定位在空间音频场内要求显著的时间和要手动进行的努力。此外，这样的专业产生的混合特别不灵活，并且不能容易地被最终用户修改。例如，为了在环境内“移动”接近麦克风音频信号，要求进一步的混合调节，以便源和音频场信号不产生感知到的冲突。因此，需要开发如下的解决方案，它们使得空间音频捕获、混合和声轨创建过程的部分或全部自动化。
技术实现思路
根据第一方面，提供了一种包括处理器的装置，该处理器被配置为：接收与被配置为提供空间音频捕获的麦克风阵列相关联的空间音频信号和与附加麦克风相关联的至少一个附加音频信号，至少一个附加麦克风信号已经以可变延迟被延迟，可变延迟被确定为使得空间音频信号和至少一个附加麦克风信号被时间对准；接收与麦克风阵列相关联的第一位置和与附加麦克风相关联的第二位置之间的相对位置；通过基于第一位置与第二位置之间的相对位置而处理和混合空间音频信号和至少一个附加音频信号，来生成至少两个输出音频通道信号，以使得至少两个输出音频通道信号呈现增强的音频场景。该处理器可以被配置为：混合和处理空间音频信号和至少一个附加音频信号，以使得对通过空间音频信号和至少一个附加麦克风信号捕获的源的感知被加强。该处理器可以被配置为：混合和处理空间音频信号和至少一个附加音频信号，以使得听众感知的通过空间音频信号和至少一个附加麦克风信号捕获的源的空间定位被改变。被配置为通过基于第一位置与第二位置之间的相对位置而处理和混合空间音频信号和至少一个附加音频信号来生成至少两个输出音频通道信号的处理器可以进一步被配置为：以一个比率来组合空间音频信号和至少一个附加音频信号，该比率由与麦克风阵列相关联的第一位置和与附加麦克风相关联的第二位置之间的相对位置限定的距离来限定。该处理器可以进一步被配置为：接收限定听众的取向的用户输入，并且被配置为通过处理和混合来生成至少两个输出音频通道信号的处理器可以进一步被配置为：通过进一步基于用户输入而处理和混合空间音频信号和至少一个附加音频信号，来生成至少两个输出音频通道信号。被配置为生成至少两个输出音频通道信号的处理器可以被配置为通过被配置为以下来生成至少一个附加音频信号的至少一个双耳渲染：基于相对位置来确定头部相关传递函数；将头部相关传递函数应用到至少一个附加音频信号，以生成第一对双耳音频信号；将多个固定的另外的头部相关传递函数应用到经解相关的附加音频信号，以生成另外的成对的双耳音频信号；以及组合第一对和另外的成对的双耳音频信号，以生成至少一个附加音频信号的至少一个双耳渲染。被配置为将头部相关传递函数应用到至少一个附加音频信号以生成第一对双耳音频信号的处理器可以进一步被配置为：在头部相关传递函数的应用之前，将直接增益应用到至少一个附加音频信号，并且被配置为应用多个固定的另外的头部相关传递函数的处理器可以进一步被配置为：在多个固定的另外的头部相关传递函数的应用之前，将湿增益应用到至少一个附加音频信号。该处理器可以被配置为基于第一位置与第二位置之间的距离来确定直接增益与湿增益的比率。被配置为生成至少两个输出音频通道信号的处理器可以进一步被配置为通过被配置为以下来生成空间音频信号的至少一个双耳渲染：基于空间音频信号通道取向来确定头部相关传递函数；将头部相关传递函数应用到与空间音频信号通道取向相关联的空间音频信号，以生成第一对双耳空间音频信号；将多个固定的另外的头部相关传递函数应用到与空间音频信号通道取向相关联的经解相关的空间音频信号，以生成另外的成对的双耳空间音频信号；以及组合第一对和另外的成对的双耳空间音频信号，以生成空间音频信号的至少一个双耳渲染。被配置为生成至少两个输出音频通道信号的处理器可以进一步被配置为：生成用于空间音频信号的每个通道的双耳渲染。被配置为生成至少两个输出音频通道信号的处理器可以进一步被配置为：组合空间音频信号的至少一个双耳渲染和至少一个附加音频信号的至少一个双耳渲染。根据第二方面，提供了一种包括处理器的装置，该处理器被配置为：确定空间音频信号，空间音频信号由被配置为提供空间音频捕获的第一位置处的麦克风阵列捕获；确定至少一个附加音频信号，至少一个附加音频信号由第二位置处的附加麦克风捕获；确定和跟踪第一位置与第二位置之间的相对位置；确定空间音频信号与至少一个附加音频信号之间的可变延迟，以使得音频信号被时间对准；将可变延迟应用到至少一个附加音频信号，以基本上对准空间音频信号和至少一个附加音频信号。该处理器可以进一步被配置为输出或存储：空间音频信号；以可变延迟被延迟的至少一个附加音频信号；以及第一位置与第二位置之间的相对位置。麦克风阵列可以与标识第一位置的第一位置标签相关联，并且附加麦克风可以与标识第二位置的第二位置标签相关联，其中被配置为确定和跟踪相对位置的处理器可以被配置为：基于第一位置标签和第二位置标签的比较来确定相对位置。被配置为确定可变延迟的处理器可以被配置为：确定空间音频信号与至少一个附加音频信号之间的最大相关值，并且将可变延迟确定为与最大相关值相关联的时间值。该处理器可以被配置为：在一个时间值范围上对空间音频信号和至少一个附加音频信号执行相关，该时间值范围以如下的时间值为中心，该时间值基于声音在第一位置与第二位置之间的距离上传播所要求的时间。被配置为确定和跟踪第一位置与第二位置之间的相对位置的处理器可以被配置为：确定限定麦克风阵列的位置的第一位置；确定限定至少一个附加麦克风的位置的第二位置；确定第一位置与第二位置之间的相对距离；以及确定第一位置与第二位置之间的至少一个取向差异。一种装置可以包括：如本文描述的捕获装置；以及如本文描述的渲染装置。使得音频信号被时间对准的在空间音频信号与至少一个附加音频信号之间的可变延迟可以允许空间音频信号与至少一个附加音频信号之间的同步的恢复。至少一个附加麦克风可以包括以下中的至少一项：与麦克风阵列物理分离的麦克风；在麦克风阵列外部的麦克风；颈挂式麦克风；被配置为捕获人的音频输出的耦合到人的麦克风；耦合到乐器的麦克风；手持式麦克风；翻领(lapel)麦克风；以及另外的麦克风阵列。根据第三方面，提供了一种方法，该方法包括：接收与被配置为提供空间音频捕获的麦克风阵列相关联的空间音频信号和与附加麦克风相关联的至少一个附加音频信号，至少一个附加麦克风信号已经以可变延迟被延迟，可变延迟被确定为使得空间音频信号和至少一个本文档来自技高网...

【技术保护点】
1.一种包括处理器的装置，所述处理器被配置为：接收与被配置为提供空间音频捕获的麦克风阵列相关联的空间音频信号和与附加麦克风相关联的至少一个附加音频信号，所述至少一个附加麦克风信号已经以可变延迟被延迟，所述可变延迟被确定为使得所述空间音频信号和所述至少一个附加麦克风信号被时间对准；接收与所述麦克风阵列相关联的第一位置和与所述附加麦克风相关联的第二位置之间的相对位置；通过基于所述第一位置与所述第二位置之间的所述相对位置而处理和混合所述空间音频信号和所述至少一个附加音频信号，来生成至少两个输出音频通道信号，以使得所述至少两个输出音频通道信号呈现增强的音频场景。

【技术特征摘要】
【国外来华专利技术】2015.10.12 GB 1518025.01.一种包括处理器的装置，所述处理器被配置为：接收与被配置为提供空间音频捕获的麦克风阵列相关联的空间音频信号和与附加麦克风相关联的至少一个附加音频信号，所述至少一个附加麦克风信号已经以可变延迟被延迟，所述可变延迟被确定为使得所述空间音频信号和所述至少一个附加麦克风信号被时间对准；接收与所述麦克风阵列相关联的第一位置和与所述附加麦克风相关联的第二位置之间的相对位置；通过基于所述第一位置与所述第二位置之间的所述相对位置而处理和混合所述空间音频信号和所述至少一个附加音频信号，来生成至少两个输出音频通道信号，以使得所述至少两个输出音频通道信号呈现增强的音频场景。2.根据权利要求1所述的装置，其中所述处理器被配置为：混合和处理所述空间音频信号和所述至少一个附加音频信号，以使得对通过所述空间音频信号和所述至少一个附加麦克风信号捕获的源的感知被加强。3.根据权利要求1所述的装置，其中所述处理器被配置为：混合和处理所述空间音频信号和所述至少一个附加音频信号，以使得听众感知的通过所述空间音频信号和所述至少一个附加麦克风信号捕获的源的空间定位被改变。4.根据权利要求1至3中任一项所述的装置，其中被配置为通过基于所述第一位置与所述第二位置之间的相对位置而处理和混合所述空间音频信号和所述至少一个附加音频信号来生成所述至少两个输出音频通道信号的所述处理器进一步被配置为：以一个比率来组合所述空间音频信号和所述至少一个附加音频信号，所述比率由与所述麦克风阵列相关联的所述第一位置和与所述附加麦克风相关联的所述第二位置之间的所述相对位置所限定的距离来限定。5.根据权利要求1至4中任一项所述的装置，其中被配置为生成所述至少两个输出音频通道信号的所述处理器被配置为通过被配置为以下来生成所述至少一个附加音频信号的至少一个双耳渲染：基于所述相对位置来确定头部相关传递函数；将所述头部相关传递函数应用到所述至少一个附加音频信号，以生成第一对双耳音频信号；将多个固定的另外的头部相关传递函数应用到经解相关的附加音频信号，以生成另外的成对的双耳音频信号；以及组合所述第一对双耳音频信号和所述另外的成对的双耳音频信号，以生成所述至少一个附加音频信号的所述至少一个双耳渲染。6.根据权利要求5所述的装置，其中被配置为将所述头部相关传递函数应用到所述至少一个附加音频信号以生成第一对双耳音频信号的所述处理器进一步被配置为：在所述头部相关传递函数的应用之前，将直接增益应用到所述至少一个附加音频信号，并且被配置为应用多个固定的另外的头部相关传递函数的所述处理器进一步被配置为：在所述多个固定的另外的头部相关传递函数的应用之前，将湿增益应用到所述至少一个附加音频信号。7.根据权利要求6所述的装置，其中所述处理器被配置为：基于所述第一位置与所述第二位置之间的所述距离，来确定所述直接增益与所述湿增益的比率。8.根据权利要求5至7中任一项所述的装置，其中被配置为生成所述至少两个输出音频通道信号的所述处理器进一步被配置为通过被配置为以下来生成所述空间音频信号的至少一个双耳渲染：基于空间音频信号通道取向来确定头部相关传递函数；将所述头部相关传递函数应用到与所述空间音频信号通道取向相关联的空间音频信号，以生成第一对双耳空间音频信号；将多个固定的另外的头部相关传递函数应用到与所述空间音频信号通道取向相关联的经解相关的空间音频信号，以生成另外的成对的双耳空间音频信号；以及组合所述第一对双耳空间音频信号和所述另外的成对的双耳空间音频信号，以生成所述空间音频信号的至少一个双耳渲染。9.根据权利要求8所述的装置，其中被配置为生成所述至少两个输出音频通道信号的所述处理器进一...

【专利技术属性】
技术研发人员：A·埃罗南，J·莱帕南，A·勒蒂涅米，M·哈玛莱南，S·玛特，F·克里克里，MV·莱蒂南，M·塔米，VV·马蒂拉，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI