【技术实现步骤摘要】
本专利技术涉及音频处理，并且特别是，涉及关于诸如麦克风或虚拟麦克风位置的参考位置限定的声场的音频处理。
技术介绍
1、高保真度立体声响复制(ambisonics)信号包括声场的截断球谐波分解。高保真度立体声响复制有不同的风格。存在“传统的”高保真度立体声响复制[31]，其现在被称为“一阶高保真度立体声响复制(foa、first-order ambisonics)”并且包括四个信号(即，一个全向信号和多达三个8字形定向信号)。最近的高保真度立体声响复制变体被称为“更高阶的高保真度立体声响复制(hoa、higher-order ambisonics)”，并且以携带更多信号为代价而提供经增强的空间分辨率和更大的聆听者最佳位置区域。通常，完全定义的n阶hoa表示由(n+1)2个信号组成。
2、与高保真度立体声响复制理念相关，已经设想到定向音频编码(dirac、directional audio coding)表示，以以更紧凑的参数样式表示foa或hoa声音场景。更具体地，空间声音场景由一个(或多个)发送的音频声道表示，其表示声学场景的降混以及在每个时间-频率(tf)区间中的方向和扩散性的相关联辅助信息。关于dirac的更多信息可以在[32,33]中找到。
3、dirac[32]可以和不同麦克风系统及任意扬声器设置一起被使用。dirac系统的目的是使用多声道/3d扬声器系统尽可能精确地再现现有声学环境的空间印象。在所选择的环境中，响应(连续声音或脉冲响应)由全向麦克风(w)和能够测量声音的到达方向和声音的扩散性的一
4、在dirac中，声音信号首先将被划分到频率信道。依据每个频率信道处的时间测量声音方向和扩散性。在传输时，一个或多个音频声道以及分析的方向和扩散数据一起被发送。在合成时，施加到扬声器的音频可以是例如全向声道w，或者针对每个扬声器的声音可以被计算为w、x、y和z的加权和，其形成具有针对每个扬声器的特定定向特性的信号。每个音频声道被划分成频率信道，然后依据分析的扩散性被可选择地划分为扩散串流和非扩散串流。利用一种技术，扩散串流被再现，该技术产生声音场景的扩散感知，例如，在双耳线索编码(binaural cue coding)中使用的去相关(decorrelation)技术[35-37]。利用一种技术(例如，vbap[38])，非扩散声音被再现，该技术目的是根据方向数据产生类似点的虚拟源。
5、在具有有限自由度的六个自由度(6dof)中，三种导航技术在[39]中被提出。给定单个高保真度立体声响复制信号，单个高保真度立体声响复制信号使用以下方法计算：1)在虚拟扬声器数组内仿真hoa回放和聆听者移动，2)沿着平面波计算和平移，以及3)重新扩展关于聆听者的声场。
6、此外，参考(例如)于2009年11月11-13日在日本宫城县zao举行的internationalworkshop on the principles and applications of spatial hearing中由v.pulkki等人著作的出版物“directional audio coding-perception-based reproductionofspatial sound”中描述的dirac技术。该参考文献描述了定向音频编码作为参考位置相关的声场处理的示例，特别是作为用于空间音频处理的感知激励技术。在电话会议、定向滤波、和虚拟听觉环境中，它具有在空间声音的捕获、编码和重新合成中的应用。
7、声音场景的再现通常聚焦在扬声器设置上，因为这是在私人场所(例如起居室和专业环境即电影院)的典型再现。此处，场景与再现几何的关系是静态的，因为它伴随着强迫聆听者在正面方向上观看的二维图像。随后，声音和视觉对象的空间关系被限定并固定在产生时间。
8、在虚拟现实(vr)中，通过允许用户在场景中自由移动而明确地实现沉浸。因此，有必要追踪用户的移动并将视觉和听觉再现调整到该用户的位置。通常，用户佩戴头戴式显示器(hmd)和耳机。对于利用耳机的沉浸式体验，音频必须被双耳化。双耳化是对人类头部、耳朵和上部躯干如何依据源的方向和距离改变源的声音进行的模拟。这通过针对它们的相对方向的信号与头部相关转移函数(hrtf)的卷积来实现[1,2]。双耳化也使声音看起来是来自场景而不是来自头部内[3]。已经成功达到的常见情况是360°视频再现[4,5]。此处，用户戴着hmd或是手持平板计算机或手机。通过移动她/他的头部或设备，用户可以在任何方向环顾四周。这是三个自由度(3dof)场景，因为用户有三个移动度(俯仰、偏转、翻滚)。在视觉上，这通过将视频投影在用户周围的球体上来实现。音频通常用靠近视频相机的空间麦克风(例如，一阶高保真度立体声响复制(foa))记录[6]。在高保真度立体声响复制领域，用户的头部旋转以直接的方式进行调整[7]。然后例如音频被渲染到放置在用户周围的虚拟扬声器。这些虚拟扬声器信号然后被双耳化。
9、现代vr应用允许六个自由度(6dof)。除了头部旋转之外，用户可以四处移动，从而导致在三个空间维度上平移她/他的位置。6dof再现受到步行区域的整体尺寸的限制。在许多情况下，该区域相当小，例如传统的起居室。6dof在vr游戏中经常遇到。这里，整个场景是利用计算机生成的图像(cgi)合成的。音频通常使用基于对象的渲染而被生成，其中基于追踪数据利用距离相依增益和与用户的相对方向来渲染每个音频对象。可以通过人工混响(artificial reverberation)和衍射来增强真实性[8,9,10]。
10、关于所记录的内容，对于令人信服的视听6dof再现，存在一些明显的挑战。在空间平移领域中空间声音操纵的早期示例是“声学变焦”技术[11,12]。此处，聆听者位置被虚拟地移动到所记录的视觉场景中，类似于放大图像。用户选择一个方向或图像部分，然后可以从平移点收听。这需要所有到达方向(doa)相对于原始的非缩放再现而改变。
11、用于已经使用空间分布记录位置的所记录的内容的6dof再现的方法已经被提出。对于视频，相机数组可以被采用以生成光场渲染(light-field rendering)[13]。对于音频，类似的设置采用分布式麦克风数组或高保真度立体声响复制麦克风。已经表明，从这种记录可以生成放置在任意位置处的“虚拟麦克风”的信号[14]。
12、为了以技术上方便的方式实现这种空间声音修改，可以采用参数声音处理或编码技术(参见[15]的概述)。定向音频编码(dirac)[16]是一种受欢迎的方法，用于将记录转换为表示，该表示由音频频谱和关于声音方向和扩散性的参数辅助信息组成。它用于声学变焦[11]和虚拟麦克风[14]应用。
13、这里提出的方法能够从单个foa麦克风的记本文档来自技高网...
【技术保护点】
1.一种用于从第一声场描述、第二声场描述和与所述第一声场描述和所述第二声场描述的空间信息相关的元数据生成经修改的声场描述的装置，包括：
2.如权利要求1所述的装置，
3.如权利要求1所述的装置，
4.如权利要求3所述的装置，其中所述声场计算器(420)被配置为：
5.如权利要求2所述的装置，
6.如权利要求5所述的装置，
7.如权利要求1所述的装置，其中所述声场计算器(420)被配置为执行基于参数的平移方法。
8.如权利要求1所述的装置，
9.如权利要求8所述的装置，
10.如权利要求1所述的装置，
11.如权利要求1所述的装置，
12.如权利要求1所述的装置，
13.如权利要求1所述的装置，
14.如权利要求1所述的装置，还包括：
15.如权利要求1所述的装置，
16.如权利要求1所述的装置，其中所述声场计算器(420)被配置为，针对一个或多个源，
17.如权利要求16所述的装置，
...【技术特征摘要】
1.一种用于从第一声场描述、第二声场描述和与所述第一声场描述和所述第二声场描述的空间信息相关的元数据生成经修改的声场描述的装置，包括：
2.如权利要求1所述的装置，
3.如权利要求1所述的装置，
4.如权利要求3所述的装置，其中所述声场计算器(420)被配置为：
5.如权利要求2所述的装置，
6.如权利要求5所述的装置，
7.如权利要求1所述的装置，其中所述声场计算器(420)被配置为执行基于参数的平移方法。
8.如权利要求1所述的装置，
9.如权利要求8所述的装置，
10.如权利要求1所述的装置，
11.如权利要求1所述的装置，
12.如权利要求1所述的装置，
13.如权利要求1所述的装置，
14.如权利要求1所述的装置，还包括：
15.如权利要求1所述的装置，
16.如权利要求1所述的装置，其中所述声场计算器(420)被配置为，针对一个或多个源，
17.如权利要求16所述的装置，
18.如权利要求1所述的装置，
19.如权利要求1所述的装置，其中所述声场计算器(420)被配置为：
20.如权利要求1所述的装置，其中所述声场计算器(420)被配置为：
21.如权利要求20所述的装置，其中所述声场计算器(420)被配置为：
22.如...
【专利技术属性】
技术研发人员：于尔根·赫勒，伊曼纽尔·哈毕兹，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。