用于虚拟现实/增强现实音频播放的装置和方法制造方法及图纸

一种装置，包括至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，该至少一个存储器和该计算机代码被配置为与该至少一个处理器一起使得该装置至少：生成音效信息，其中，该音效信息使得能够至少基于缩放因子来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。音频信号相关联的音频信号处理。音频信号相关联的音频信号处理。

【技术实现步骤摘要】
用于虚拟现实/增强现实音频播放的装置和方法
[0001]本申请是专利技术名称为“用于虚拟现实/增强现实音频播放的装置和方法”的中国专利技术专利申请(申请号为201980008882.7，申请日为2019年1月14日)的分案申请。


[0002]本申请涉及用于空间音频播放的装置和方法。

技术介绍

[0003]在3D空间中，存在定义用户可在所述空间内移动的方式的六个自由度。该移动被划分成两类：旋转移动和平移移动(各自具有三个自由度)。旋转移动足以用于简单的虚拟现实(VR)体验，其中用户可转动他们的头部(俯仰、偏航和横滚)以从静态点体验该空间。平移移动意味着用户还可改变渲染的位置。换句话说，根据他们的意愿来沿着x、y和z轴移动。自由视点增强现实(AR)和VR体验允许旋转移动和平移移动这两者。
[0004]使用术语3DoF(三个自由度)、3DoF+和6DoF(六个自由度)来谈论自由度(和相关体验)是常见的。3DoF+介于3DoF与6DoF之间，因为它允许一些有限的用户移动，例如，在受限的平移自由度的同时允许全运动范围的旋转移动。因此，有时3DoF+可被视为实现受限的6DoF，其中用户是坐着的，但可将他们的头部朝各个方向倾斜。
[0005]目前，ISO/IEC运动图像专家组(MPEG)正以MPEG
‑
I的名义标准化沉浸式媒体技术。这包括用于各种虚拟现实(VR)、增强现实(AR)或混合现实(MR)使用实例的方法。MPEG
‑
I被划分成三个阶段：阶段1a、1b和2。阶段1a和1b考虑3DoF和3DoF+使用实例，然后阶段2将至少在某种意义上允许非受限的6DoF。对于音频标准化，已经将重点放在6DoF音频上，因为已有的方法被认为至少涵盖了3DoF/3DoF+使用实例的重要部分。然而，在某些方面将需要进一步开发至少3DoF+(阶段1b)标准。
[0006]沉浸式或空间音频(用于3DoF/3DoF+/6DoF)可包括各种音频信号和信息。例如，可使用基于通道的床和音频对象、一阶或更高阶的全景环绕声音(ambisonics)(FOA/HOA)和音频对象、这些(诸如仅音频对象)的任何组合、或任何等效的空间音频表示。这些音频信号可作为MPEG
‑
H3D音频(如ISO/IEC 23008
‑
3(MPEG
‑
H部分3)音频编码标准所规定的)连同附加元数据和将构成MPEG
‑
I音频标准的新的渲染技术一起被携带。

技术实现思路

[0007]根据第一方面，提供了一种装置，包括：至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，至少一个存储器和计算机代码被配置为与至少一个处理器一起使得该装置至少：生成音效信息，其中，该音效信息使得能够至少基于缩放因子来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。
[0008]被使得生成音效信息的该装置可被使得生成以下中的至少一个：被配置为标识至少一个音频源的标识符；以及基于至少一个音频源的分类而要被应用的至少一个音频信令处理效果。
[0009]至少一个音频信令处理效果包括以下中的至少一个：增益的加重；增益的去加重；空间范围的增加；以及空间范围的减小。
[0010]至少一个音频源的分类可以至少是：第一类别，其中，至少一个音频源在针对第一缩放因子的第一视口内并且在针对第二缩放因子的第二视口内；第二类别，其中，至少一个音频源不在针对第一缩放因子的第一视口内但在针对第二缩放因子的第二视口内；第三类别，其中，至少一个音频源不在针对第一缩放因子的第一视口内并且不在针对第二缩放因子的第二视口内。
[0011]该装置可进一步被使得：获得与一个或多个音频源有关的音频信号；分析音频信号以生成与一个或多个音频源有关的信息；向至少一个其它装置发送音频信号、与一个或多个音频源有关的信息、以及音效信息。
[0012]被使得获得与一个或多个音频源有关的音频信号的该装置可被使得至少执行以下中的至少一个：捕获音频信号；以及从至少一个音频捕获装置接收音频信号。
[0013]该装置可进一步被使得：捕获至少一个图像，该图像与一个或多个音频源相关联；以及向至少一个其它装置发送具有音频信号的至少一个图像、与一个或多个音频源有关的信息、以及音效信息。
[0014]被使得向至少一个其它装置发送音频信号、与一个或多个音频源有关的信息、以及音效信息的该装置可被使得将音效信息作为以下中的一个来发送：具有音频信号的带内信息；以及具有音频信号的带外信息。
[0015]根据第二方面，提供了一种装置，包括：至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，至少一个存储器和计算机代码被配置为与至少一个处理器一起使得该装置至少：接收至少一个音频信号；接收与至少一个音频源相关联的信息；接收音效信息，该音效信息与至少一个音频源相关联；以及基于与至少一个音频源相关联的信息以及音效信息并还基于至少一个音频源的分类，处理至少一个音频信号。
[0016]被使得基于与至少一个音频源相关联的信息以及音效信息并还基于至少一个音频源的分类来处理至少一个音频信号的该装置可被使得：基于所获得的位置和旋转，确定第一视口；基于所获得的位置和旋转以及缩放因子，确定第二视口；基于与至少一个音频源相关联的信息以及第一视口和第二视口，对至少一个音频源进行分类；基于至少一个音频源的分类，选择将要被应用的至少一个音频信令处理效果。
[0017]被使得接收音效信息的该装置可被使得接收以下中的至少一个：被配置为标识至少一个音频源的标识符；以及基于至少一个音频源的分类而要被应用的至少一个音频信令处理效果。
[0018]至少一个音频信令处理效果可包括以下中的至少一个：增益的加重；增益的去加重；空间范围的增加；以及空间范围的减小。
[0019]至少一个音频源的所述分类可以至少是：第一类别，其中，至少一个音频源在针对第一缩放因子的第一视口内并且在针对第二缩放因子的第二视口内；第二类别，其中，至少一个音频源不在针对第一缩放因子的第一视口内但在针对第二缩放因子的第二视口内；第三类别，其中，至少一个音频源不在针对第一缩放因子的第一视口内并且不在针对第二缩放因子的第二视口内。
[0020]该装置可进一步被使得：接收至少一个图像；对至少一个图像应用第二视口以生
成输出图像；以及显示输出图像。
[0021]该装置可进一步被使得：输出处理后的至少一个音频信号作为所渲染的音频信号。
[0022]根据第三方面，提供了一种方法，包括：生成音效信息，其中，该音效信息使得能够至少基于缩放因子来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。
[0023]生成音效信息可包括生成以下中的至少一个：被配置为标识至少一个音频源的标识符；以及基于至少一个音频源的分类而要被应用的至少一个音频信令处理效果。
[0024]至少一个音频信令处理效果可包括以下中的至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：至少一个处理器；以及包括用于一个或多个程序的计算机代码的至少一个非暂时性存储器，所述至少一个存储器和所述计算机代码被配置为与所述至少一个处理器一起使得所述装置至少：获得与一个或多个音频源有关的音频信号；以及针对所述一个或多个音频源生成音效信息，其中，所述音效信息使得能够至少部分地基于所述一个或多个音频源的相应的分类以及缩放因子来控制与所获得的音频信号相关联的音频信号处理，其中，所述一个或多个音频源的所述相应的分类中的至少一个音频源的至少一个分类是基于：所述至少一个音频源是否位于以所述缩放因子定义的缩放视场中，以及所述至少一个音频源是否位于未缩放视场中，其中，所述缩放视场和所述未缩放视场至少部分重叠，其中，所述未缩放视场与所述缩放视场至少部分不同。2.根据权利要求1所述的装置，其中，所述装置进一步被配置为生成以下中的至少一个：被配置为标识所述一个或多个音频源中的所述至少一个音频源的标识符；或者基于所述至少一个音频源的所述至少一个分类而要被应用的至少一个音频信令处理效果。3.根据权利要求2所述的装置，其中，所述至少一个音频信令处理效果包括以下中的至少一个：增益的加重；增益的去加重；空间范围的增加；或者空间范围的减小。4.根据权利要求2所述的装置，其中，所述至少一个音频源的所述至少一个分类是以下中的至少一个：第一类别，其中，所述至少一个音频源在针对第一缩放因子的第一视口内并且在针对第二缩放因子的第二视口内；第二类别，其中，所述至少一个音频源不在针对所述第一缩放因子的所述第一视口内但在针对所述第二缩放因子的所述第二视口内；或者第三类别，其中，所述至少一个音频源不在针对所述第一缩放因子的所述第一视口内并且不在针对所述第二缩放因子的所述第二视口内。5.根据权利要求1所述的装置，其中，所述装置进一步被配置为：分析所述音频信号以生成与所述一个或多个音频源有关的信息；以及向所述至少一个其它装置发送所述音频信号、与所述一个或多个音频源有关的所述信息、以及所述音效信息。6.根据权利要求1所述的装置，其中，所述装置进一步被配置为执行以下中的至少一个：捕获所述音频信号；或者
从至少一个音频捕获装置接收所述音频信号。7.根据权利要求5所述的装置，其中，所述装置进一步被配置为：捕获至少一个图像，所述至少一个图像与所述一个或多个音频源相关联；以及向所述至少一个其它装置发送具有所述音频信号的所述至少一个图像、与所述一个或多个音频源有关的所述信息、以及所述音效信息。8.根据权利要求5所述的装置，其中，所述装置被配置为将所述音效信息作为以下中的一个来发送：具有所述音频信号的带内信息；或者具有所述音频信号的带外信息。9.一种装置，包括：至少一个处理器；以及包括用于一个或多个程序的计算机代码的至少一个非暂时性存储器，所述至少一个存储器和所述计算机代码被配置为与所述至少一个处理器一起使得所述装置至少：接收至少一个音频信号；接收与至少一个音频源相关联的信息；接收音效信息，所述音效信息与所述至少一个音频源相关联；以及基于所述信息、所述音效信息、缩放因子、以及所述至少一个音频源的分类，处理所述至少一个音频信号，其中，所述至少一个音频源的所述分类被配置为指示：所述至少一个音频源是否位于以所述缩放因子定义的缩放视场中，以及所述至少一个音频源是否位于未缩放视场中，其中，所述缩放视场和所述未缩放视场至少部分重叠，其中，所述未缩放视场与所述缩放视场至少部分不同。10.根据权利要求9所述的装置，其中，所述装置进一步被配置为：基于以下中的至少一个来确定第一视口：所获得的位置、或者所获得的旋转；基于所获得的位置或者所获得的旋转中的至少一个、以及第二缩放因子，确定第二视口；基于与所述至少一个音频源...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：