用于虚拟现实的有效空间异质音频元素制造技术

在一个方面，存在一种用于渲染空间异质音频元素的方法。在一些实施例中，该方法包括获取表示空间异质音频元素的两个或更多音频信号，其中，所述音频信号的组合提供空间异质音频元素的空间图像。该方法还包括获取与空间异质音频元素相关联的元数据，元数据包括指示音频元素的空间范围的空间范围信息。该方法进一步包括使用以下信息渲染音频元素：i）空间范围信息和ii）指示用户相对于音频元素的位置（例如虚拟位置）和/或取向的定位信息。如虚拟位置）和/或取向的定位信息。如虚拟位置）和/或取向的定位信息。

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟现实的有效空间异质音频元素


[0001]公开了与空间异质音频元素的渲染相关的实施例。

技术介绍

[0002]人们通常感知的声音是从位于某个表面上或某个体积/区域内的不同声源产生的声波的总和。这样的表面或体积/区域可以在概念上被视为具有空间异质特征的单个音频元素（即，在其空间范围内具有一定量的空间源变化的音频元素）。
[0003]以下是空间异质音频元素的示例的列表。
[0004]人群声音：由在空间的限定体积内彼此靠近站立的许多个人产生并到达听众的两只耳朵的语音声音的总和。
[0005]河流声音：从河流的表面产生并到达听众的两只耳朵的溅水声的总和。
[0006]海滩声音：由撞击海滩的海岸线的海浪产生并到达听众的两只耳朵的声音的总和。
[0007]喷泉声音：由撞击喷泉的表面的水流产生并到达听众的两只耳朵的声音的总和。
[0008]繁忙公路声音：由许多汽车产生并到达听众的两只耳朵的声音的总和。
[0009]这些空间异质音频元素中的一些具有感知的空间异质特征，该特征沿着三维（3D）空间中的某些路径不会改变太多。例如，沿河边行走的听众所感知的河流声音的特征不会随着听众沿河边行走而显著改变。类似地，沿海滨行走的听众所感知的海滩声音的特征或者在人群周围行走的听众所感知的人群声音的特征不会随着听众沿着海滨或在人群周围行走而改变太多。
[0010]存在表示具有一定空间范围的音频元素的现有方法，但是所得到的表示不保持音频元素的空间异质特征。一个这样的现有方法是在单声道音频对象周围的位置创建单声道音频对象的多个副本。在单声道音频对象周围具有单声道音频对象的多个副本创建具有特定大小的空间同质音频对象的感知。这个概念用于MPEG
‑
H 3D音频标准的“对象扩展”和“对象发散”特性中以及EBU音频定义模型（ADM）标准的“对象发散”特性中。
[0011]在2016年1月出版的题为“Efficient HRTF
‑
based Spatial Audio for Area and Volumetric Sources”的IEEE Transactions on Visualization and Computer Graphics 22(4):1
‑
1中，描述了使用单声道音频对象表示具有空间范围的音频元素的另一种方式（尽管不保持其空间异质特征），其全部内容通过此引用结合于本文。具体来说，可使用单声道音频对象通过以下步骤来表示具有空间范围的音频元素：将声音对象的面积
‑
体积几何投影到围绕听众的球体上，并且通过使用一对头部相关（HR）滤波器向听众渲染声音，该对HR滤波器被评估为覆盖该声音对象在球体上的几何投影的所有HR滤波器的积分。对于球形体积源，这个积分具有解析解，而对于任意面积
‑
体积源几何，通过使用所谓的蒙特卡罗射线采样对球体上的投影源表面进行采样来评估该积分。
[0012]现有方法中另一种是除了单声道音频信号之外还渲染空间扩散分量，使得空间扩散分量和单声道音频信号的组合创建稍微扩散对象的感知。与单个单声道音频对象对比，
扩散对象没有明显的精确定位。这个概念用于MPEG
‑
H 3D音频标准的“对象扩散”特性中和EBU ADM的“对象扩散”特性中。
[0013]现有方法的组合也是已知的。例如，EBU ADM的“对象范围”特性将创建单声道音频对象的多个副本的概念与添加扩散分量的概念相结合。

技术实现思路

[0014]如上所述，已知各种用于表示音频元素的技术。然而，这些已知技术中的大多数仅能够渲染具有空间同质特征（即，音频元素内没有空间变化）或空间扩散特征的音频元素，这对于以令人信服的方式渲染上面给出的示例中的一些来说太有限了。换言之，这些已知技术不允许渲染具有明显的空间异质特征的音频元素。
[0015]创建空间异质音频元素的概念的一种方式是通过创建多个个体单声道音频对象（本质上是个体音频源）的空间分布集群，并且将多个个体单声道音频对象在某个更高级别（例如，使用场景图或其它编组机制）链接在一起。然而，在许多情况下，特别是对于高度异质的音频元素（即，包含许多个体声源的音频元素，诸如上面列出的示例），这不是有效的解决方案。此外，在要渲染的音频元素是实时捕获的内容的情况下，分别记录形成音频元素的多个音频源中的每一个也可能是不可行或不切实际的。
[0016]因此，需要一种改进的方法来提供空间异质音频元素的有效表示和空间异质音频元素的有效动态6自由度（6DoF）渲染。特别是，希望使听众所感知的音频元素的大小（例如，宽度或高度）对应于不同的收听位置和/或取向，并且将感知的空间特征保持在感知大小之内。
[0017]本公开的实施例允许空间异质音频元素的有效表示和有效动态6DoF渲染，这为音频元素的听众提供与该听众所处的虚拟环境在空间和概念上一致的接近真实的声音体验。
[0018]空间异质音频元素的这种有效动态表示和/或渲染对于内容创建者将会非常有用，他们将能够以非常有效的方式将空间丰富的音频元素结合到6DoF场景中，以用于虚拟现实（VR）、增强现实（AR）或混合现实（MR）应用。
[0019]在本公开的一些实施例中，空间异质音频元素被表示为小数量的（例如，等于或多于2个但通常少于或等于6个）音频信号的组，这些音频信号组合起来提供音频元素的空间图像。例如，空间异质音频元素可被表示为具有相关联的元数据的立体声信号。
[0020]此外，在本公开的一些实施例中，渲染机制可实现空间异质音频元素的动态6DoF渲染，使得随着空间异质音频元素的听众的位置和/或取向改变以受控的方式修改音频元素的感知空间范围，同时保留空间异质音频元素的异质空间特征。空间范围的这种修改可取决于空间异质音频元素的元数据以及听众相对于空间异质音频元素的位置和/或取向。
[0021]在一个方面，存在一种用于为用户渲染空间异质音频元素的方法。在一些实施例中，该方法包括获取表示空间异质音频元素的两个或更多音频信号，其中，所述音频信号的组合提供空间异质音频元素的空间图像。该方法还包括获取与空间异质音频元素相关联的元数据。元数据可包括指定空间异质音频元素的空间范围的空间范围信息。该方法进一步包括使用以下信息渲染音频元素：i）空间范围信息和ii）指示用户相对于空间异质音频元素的位置（例如虚拟位置）和/或取向的定位信息。
[0022]在另一方面，提供一种计算机程序。计算机程序包括指令，所述指令当被处理电路
执行时导致处理电路执行上述方法。在另一方面，提供一种载体，该载体包含计算机程序。该载体是电子信号、光信号、无线电信号和计算机可读存储介质之一。
[0023]在另一方面，提供一种用于为用户渲染空间异质音频元素的设备。该设备被配置为：获取表示空间异质音频元素的两个或更多音频信号，其中，所述音频信号的组合提供空间异质音频元素的空间图像；获取与空间异质音频元素本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于为用户渲染空间异质音频元素的方法（1100），所述方法包括：获取（s1102）表示所述空间异质音频元素的两个或更多音频信号，其中，所述音频信号的组合提供所述空间异质音频元素的空间图像；获取（s1104）与所述空间异质音频元素相关联的元数据，所述元数据包括指示所述空间异质音频元素的空间范围的空间范围信息；以及使用以下信息渲染（s1106）所述空间异质音频元素：i）所述空间范围信息和ii）指示所述用户相对于所述空间异质音频元素的位置和/或取向的定位信息。2.如权利要求1所述的方法，其中，所述空间异质音频元素的所述空间范围对应于在相对于所述空间异质音频元素的第一虚拟位置或第一虚拟取向处所感知的所述空间异质音频元素在一个或多个维度上的大小。3.如权利要求1或2所述的方法，其中，所述空间范围信息指定所述空间异质音频元素的物理大小或感知大小。4.如权利要求3所述的方法，其中，渲染所述空间异质音频元素包括：基于所述用户相对于所述空间异质音频元素的位置和/或所述用户相对于所述空间异质音频元素的取向向量的取向，修改所述两个或更多音频信号中的至少一个。5.如权利要求1
‑
4中任一项所述的方法，其中，所述元数据进一步包括：i）麦克风设置信息，所述麦克风设置信息指示麦克风之间的间距、所述麦克风相对于默认轴的取向和/或所述麦克风的类型；ii）第一关系信息，所述第一关系信息指示所述麦克风与所述空间异质音频元素之间的距离和/或虚拟麦克风相对于所述空间异质音频元素的轴的取向，和/或iii）第二关系信息，所述第二关系信息指示相对于所述空间异质音频元素的默认位置和/或所述默认位置与所述空间异质音频元素之间的距离。6.如权利要求1
‑
5中任一项所述的方法，其中，渲染所述空间异质音频元素包括产生修改的音频信号，所述两个或更多音频信号表示在相对于所述空间异质音频元素的第一虚拟位置和/或第一虚拟取向处所感知的空间异质音频元素，所述修改的音频信号用于表示在相对于所述空间异质音频元素的第二虚拟位置和/或第二虚拟取向处所感知的空间异质音频元素，并且所述用户的所述位置对应于所述第二虚拟位置和/或所述用户的所述取向对应于所述第二虚拟取向。7.如权利要求1
‑
6中任一项所述的方法，其中，所述两个或更多音频信号包括左音频信号（L）和右音频信号（R），渲染所述空间异质音频元素包括产生修改的左信号（L
’
）和修改的右信号（R
’
），[L' R']^T=H
×
[L R]^T，其中H为变换矩阵，并且所述变换矩阵是基于获取的元数据和所述定位信息确定的。8.如权利要求7所述的方法，其中，渲染所述空间异质音频元素包括：生成第一输出信号（EL）和第二输出信号（ER），其中，EL=L
’
*HRTFL，其中HRTFL是用于左耳的头部相关传递函数（或者对应的脉冲响应），并
...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：