用于融合虚拟场景描述和收听者空间描述的方法和装置制造方法及图纸

一种用于在物理空间中渲染音频场景的装置，包括被配置为执行以下操作的部件：确定在渲染期间在物理空间内的收听位置(107)；获得虚拟场景的至少一个信息以根据至少一个信息来渲染虚拟场景(113)；获得物理空间的至少一个声学特性(101)；使用虚拟场景的至少一个信息和物理空间的至少一个声学特性来准备音频场景，以使得虚拟场景声学和物理空间声学被合并(107，115)；以及根据收听位置，渲染准备好的音频场景。音频场景。音频场景。

【技术实现步骤摘要】
【国外来华专利技术】用于融合虚拟场景描述和收听者空间描述的方法和装置


[0001]本申请涉及用于融合虚拟场景描述和收听者空间描述的方法和装置，但不仅仅限于用于针对6自由度渲染融合比特流中的虚拟场景描述和收听者空间描述的方法和装置。

技术介绍

[0002]随着时间的推移，向佩戴头戴式设备(HMD)的用户呈现虚拟场景的增强现实(AR)应用(和其他类似的虚拟场景创建应用，诸如混合现实(MR)和虚拟现实(VR))变得更加复杂和精密。该应用可以包括数据，其包括被呈现给用户的视觉分量(或叠加)和音频分量(或叠加)。可以根据用户在增强现实(AR)场景内的位置和定向(针对6自由度应用)，将这些分量提供给用户。
[0003]用于渲染AR场景的场景信息通常包括两个部分。一个部分是虚拟场景信息，其可以在内容创建期间(或由合适的捕获装置或设备)描述，并表示如所捕获的(或最初生成的)场景。虚拟场景可以在编码器输入格式(EIF)数据格式中提供。编码器使用EIF和(所捕获的或所生成的)音频数据来生成场景描述和空间音频元数据(以及音频信号)，可以经由比特流将其传送到渲染(播放)设备或装置。在ISO/IEC JTC1 SC29 WG6MPEG音频编码中在针对关于MPEG
‑
I 6DoF音频的提案征集(CfP)开发的MPEG
‑
I 6DoF音频编码器输入格式中描述了EIF。该实现主要根据该规范来描述，但还可以使用可由场景/内容创建器提供或使用的其他场景描述格式。
[0004]根据EIF，编码器输入数据包含描述MPEGr/>‑
I 6DoF音频场景的信息。这涵盖了虚拟听觉场景的所有内容，即其所有声源和资源数据，诸如音频波形、源辐射模式、关于声学环境的信息等。因此，内容可以包含音频产生元素(诸如对象、通道和高阶全景环绕声(Ambisonics)及其元数据(诸如位置、定向和源方向性模式))和非音频产生元素(诸如在声学上相关的场景几何形状和材料特性)两者。输入数据还允许描述场景的变化。这些变化(被称为更新)可以在不同的时间发生，从而允许将场景制作成动画(例如，移动对象)。可替代地，它们可以被手动触发或者由条件(例如，收听者进入附近)触发或者从外部实体被动态地更新。
[0005]AR音频场景渲染的第二部分与收听者(或终端用户)的物理收听空间相关。可以在AR渲染期间(当收听者正在消费内容时)获得场景或收听者空间信息。
[0006]因此，在实现AR应用(与例如仅以所捕获的虚拟场景为特征的虚拟现实应用相比)时，渲染器必须考虑虚拟场景声学特性以及由其中内容正被消费的物理空间产生的声学特性。收听空间描述很重要，以使得可以针对收听空间来调整音频渲染的声学(acoustics)。这对于音频再现的似真性/合理性很重要，因为期望再现虚拟音频对象，就好像它们真正在物理空间中一样，从而产生将虚拟对象与物理声源混合的错觉。例如，空间的混响特性需要与其他声学效果(诸如遮挡和/或衍射)一起在适当的程度上被再现。
[0007]可以在收听空间描述文件(LSDF)格式中提供物理收听空间信息。渲染设备可以在渲染期间获得LSDF信息。例如，可以使用渲染设备周围的感测或测量或者一些其他手段(诸
如描述收听空间声学的文件或数据条目)来获得LSDF信息。LSDF仅仅是文件格式的一个示例，其促进描述收听空间几何形状和声学特性。
[0008]LSDF指定了MPEG
‑
I 6DoF收听空间描述文件(LSDF)。正在ISO/IEC JTC1 SC29 WG6 MPEG音频编码中开发LSDF。它描述了用于MPEG
‑
I 6DoF音频AR实现的收听空间。在AR中，虚拟内容在现实世界对象和空间之上被增强，因此产生一种收听空间的几何形状的“增强现实”知识对于实际实现很重要的感知。此外，LSDF提供了一种将收听空间环境信息直接提供给渲染器的机制。
[0009]LSDF包括MPEG
‑
I 6DoF音频编码器输入格式的元素的子集。这些元素被用于描述收听空间的物理方面(例如，收听空间的墙壁、天花板和地板以及它们的声学材料特性，诸如镜面反射能量、吸收能量、漫反射能量、透射能量或耦合能量)。此外，LSDF描述了用于将场景EIF中的元素与收听空间中的位置(例如，物理特征或对象)对齐的锚。
[0010]进而，渲染器可以执行渲染，以使得场景似真/合理，并与从LSDF和EIF中获得的信息对齐。

技术实现思路

[0011]根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：确定在渲染期间在物理空间内的收听位置；获得虚拟场景的至少一个信息以根据至少一个信息来渲染虚拟场景；获得物理空间的至少一个声学特性；使用虚拟场景的至少一个信息和物理空间的至少一个声学特性来准备音频场景，以使得虚拟场景声学和物理空间声学被合并；以及根据收听位置，渲染准备好的音频场景。
[0012]上述部件可以进一步被配置为：首先实现音频场景以在物理空间中进行渲染，其中，该音频场景可以能够基于虚拟场景的至少一个信息和物理空间的至少一个声学特性来配置。
[0013]被配置为获得虚拟场景的至少一个信息以根据至少一个信息来渲染虚拟场景的部件可以被配置为：从接收比特流中获得表示虚拟场景的音频元素的至少一个参数。
[0014]上述部件可以进一步被配置为：获得至少一个控制参数，其中，该至少一个控制参数可以被配置为控制被配置为使用虚拟场景的至少一个信息和物理空间的至少一个声学特性来准备音频场景的部件，从接收比特流中获得该至少一个控制参数。
[0015]表示虚拟场景的音频元素的至少一个参数可以包括六自由度虚拟场景的以下中的至少一项：声学反射元素；声学材料；声学音频元素空间范围；以及声学环境特性。
[0016]表示虚拟场景的音频元素的至少一个参数可以包括以下中的至少一项：与虚拟场景相关联的几何形状信息；虚拟场景内的至少一个音频元素的位置；虚拟场景内的至少一个音频元素的形状；虚拟场景内的至少一个音频元素的声学材料特性；虚拟场景内的至少一个音频元素的散射特性；虚拟场景内的至少一个音频元素的透射特性；虚拟场景内的至少一个音频元素的混响时间特性；以及虚拟场景内的至少一个音频元素的扩散对直接声音比率特性。
[0017]表示虚拟场景的音频元素的至少一个参数可以是描述虚拟场景声学的六自由度比特流的一部分。
[0018]被配置为获得物理空间的至少一个声学特性的部件可以被配置为：从位于物理空
间内的至少一个传感器获得传感器信息；以及基于该传感器信息，确定表示物理空间的至少一个声学特性的至少一个参数。
[0019]表示物理空间的至少一个声学特性的至少一个参数可以包括以下中的至少一项：物理空间内的至少一个音频元素的镜面反射能量；物理空间内的至少一个音频元素的吸收能量；物理空间内的至少一个音频元素的漫反射能量；物理空间内的至少一个音频元素的透射能量；物理空间内的至少一个音频元素的耦合能量；与物理空间相关本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在物理空间中渲染音频场景的装置，包括被配置为执行以下操作的部件：确定在渲染期间在所述物理空间内的收听位置；获得虚拟场景的至少一个信息以根据所述至少一个信息来渲染所述虚拟场景；获得所述物理空间的至少一个声学特性；使用所述虚拟场景的所述至少一个信息和所述物理空间的所述至少一个声学特性来准备所述音频场景，以使得虚拟场景声学和物理空间声学被合并；以及根据所述收听位置，渲染准备好的音频场景。2.根据权利要求1所述的装置，其中，所述部件进一步被配置为：首先实现所述音频场景以在所述物理空间中进行渲染，其中，所述音频场景能够基于所述虚拟场景的所述至少一个信息和所述物理空间的所述至少一个声学特性来配置。3.根据权利要求1或2中任一项所述的装置，其中，被配置为获得所述虚拟场景的所述至少一个信息以根据所述至少一个信息来渲染所述虚拟场景的部件被配置为：从接收比特流中获得表示所述虚拟场景的音频元素的至少一个参数。4.根据权利要求1至3中任一项所述的装置，其中，所述部件进一步被配置为：获得至少一个控制参数，其中，所述至少一个控制参数被配置为控制被配置为使用所述虚拟场景的所述至少一个信息和所述物理空间的所述至少一个声学特性来准备所述音频场景的部件，其中，从接收比特流中获得所述至少一个控制参数。5.根据权利要求3所述的装置，其中，表示所述虚拟场景的所述音频元素的所述至少一个参数包括六自由度虚拟场景的以下中的至少一项：声学反射元素；声学材料；声学音频元素空间范围；以及声学环境特性。6.根据权利要求3或从属于权利要求3的任一项权利要求所述的装置，其中，表示所述虚拟场景的所述音频元素的所述至少一个参数包括以下中的至少一项：与所述虚拟场景相关联的几何形状信息；所述虚拟场景内的至少一个音频元素的位置；所述虚拟场景内的至少一个音频元素的形状；所述虚拟场景内的至少一个音频元素的声学材料特性；所述虚拟场景内的至少一个音频元素的散射特性；所述虚拟场景内的至少一个音频元素的透射特性；所述虚拟场景内的至少一个音频元素的混响时间特性；以及所述虚拟场景内的至少一个音频元素的扩散对直接声音比率特性。7.根据权利要求3或从属于权利要求3的任一项权利要求所述的装置，其中，表示所述虚拟场景的所述音频元素的所述至少一个参数是描述所述虚拟场景声学的六自由度比特流的一部分。8.根据权利要求1至7中任一项所述的装置，其中，被配置为获得所述物理空间的所述至少一个声学特性的部件被配置为：从位于所述物理空间内的至少一个传感器获得传感器信息；以及基于所述传感器信息，确定表示所述物理空间的所述至少一个声学特性的至少一个参数。9.根据权利要求8所述的装置，其中，表示所述物理空间的至少一个声学特性的所述至
少一个参数包括以下中的至少一项：所述物理空间内的至少一个音频元素的镜面反射能量；所述物理空间内的至少一个音频元素的吸收能量；所述物理空间内的至少一个音频元素的漫反射能量；所述物理空间内的至少一个音频元素的透射能量；所述物理空间内的至少一个音频元素的耦合能量；与所述物理空间相关联的几何形状信息；所述物理空间内的至少一个音频元素的位置；所述物理空间内的至少一个音频元素的形状；所述物理空间内的至少一个音频元素的声学材料特性；所述物理空间内的至少一个音频元素的散射特性；所述物理空间内的至少一个音频元素的透射特性；所述物理空间内的至少一个音频元素的混响时间特性；以及所述物理空间内的至少一个音频元素的扩散对直接声音比率特性。10.根据权利要求9所述的装置，其中，与所述物理空间相关联的所述几何形状信息包括定义物理空间几何形状的至少一个网格单元。11.根据权利要求10所述的装置，其中，所述至少一个网格单元中的每个网格单元包括至少一个顶点参数和至少一个面参数，其中，每个顶点参数定义相对于网格原点位置的位置，每个面参数包括被配置为标识定义所述面的几何形状的顶点的顶点标识符和标识定义与所述面相关联的声学特性的声学参数的材料参数。12.根据权利要求11所述的装置，其中，标识定义与所述面相关联的声学特性的声学参数的所述材料参数包括以下中的至少一项：所述面的散射特性；所述面的透射特性；所述面的混响时间特性；以及所述面的扩散对直接声音比率特性。13.根据权利要求1至12中任一项所述的装置，其中，所述物理空间的所述至少一个声学特性在收听空间描述文件内。14.根据权利要求1至13中任一项所述的装置，其中，被配置为使用所述虚拟场景的所述至少一个信息和所述物理空间的所述至少一个声学特性来准备所述音频场景，以使得所述虚拟场景声学和所述物理空间声学被合并的部件被配置...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：