用于在虚拟现实环境中呈现音频信号的方法和系统技术方案

描述了一种用于在虚拟现实环境中呈现音频信号的方法(910)和系统。方法(910)包括从听音者(181)的起始听音位置(301)周围的起始球体(114)上的起始源位置呈现(911)音频源(311、312、313)的起始音频信号。此外，方法(910)包括确定(912)听音者(181)从起始听音位置(301)移动到目的地听音位置(302)。另外，方法(910)包括基于起始源位置来确定(913)音频源(311、312、313)在目的地听音位置(302)周围的目的地球体(114)上的目的地源位置，以及基于起始音频信号来确定(914)音频源(311、312、313)的目的地音频信号。此外，方法(910)包括从目的地听音位置(302)周围的目的地球体(114)上的目的地源位置呈现(915)音频源(311、312、313)的目的地音频信号。的地音频信号。的地音频信号。

【技术实现步骤摘要】
用于在虚拟现实环境中呈现音频信号的方法和系统
[0001]分案申请的相关信息
[0002]本案是分案申请。该分案的母案是申请日为2018年12月18日、申请号为201880081625.1、专利技术名称为“用于在虚拟现实环境中呈现音频信号的方法和系统”的专利技术专利申请案。
[0003]相关申请的交叉引用
[0004]本申请要求以下优先权申请的优先权：2017年12月18日提交的美国临时申请62/599,848(参考：D17086USP1)和2017年12月18日提交的欧洲专利申请17208087.1(参考：D17086EP)，所述优先权申请通过引用并入本文。


[0005]本文件涉及在虚拟现实(VR)呈现环境中对听觉视口和/或听音位置之间的转换的高效且一致的处理。

技术介绍

[0006]虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用发展迅速，以包含可从不同的视点/视角或听音位置欣赏的声源和场景的日益精细的声音模型。两种不同类别的灵活音频表示可以例如用于VR应用：声场表示和基于对象的表示。声场表示是一种基于物理的方法，对听音位置处的入射波前进行编码。例如，诸如B格式或高阶环境立体声(HOA)之类的方法使用球面谐波分解来表示空间波前。基于对象的方法将复杂的听觉场景表示为包括音频波形或音频信号以及可能随时间变化的相关参数或元数据的单个元素的集合。
[0007]享受VR、AR和MR可以包含用户体验不同的听觉视点或视角。例如，基于房间的虚拟现实可以基于使用6自由度(DoF)的机制来提供。图1示出了6自由度交互的示例，所述示例示出了平移运动(向前/向后、向上/向下和向左/向右)和旋转运动(俯仰、偏航和滚动)。与仅限于头部旋转的3自由度球面视频体验不同，为6自由度交互创建的内容除了头部旋转之外，还允许在虚拟环境内导航(例如，在房间内物理行走)。这可以基于位置跟踪器(例如，基于相机的)和方向跟踪器(例如，陀螺仪和/或加速度计)来实现。6自由度跟踪技术可用于高端桌面VR系统(例如，VR、Oculus Rift、HTC Vive)以及高端移动VR平台(例如，Google Tango)。用户对声音或音频源的方向性和空间幅度的体验对于6自由度体验的真实性至关重要，特别是在场景中和虚拟音频源周围导航的体验。
[0008]可用的音频呈现系统(诸如MPEG
‑
H 3D音频呈现器)通常限于呈现3自由度(即，由听音者的头部运动引起的音频场景的旋转运动)。这种呈现器通常不能处理听音者的听音位置和相关自由度的平移变化。
[0009]本文件针对的技术问题是提供资源高效的方法和系统，用于处理音频呈现的背景下的平移运动。

技术实现思路

[0010]根据一个方面，描述了一种用于在虚拟现实呈现环境中呈现音频信号的方法。所述方法包括从听音者的起始听音位置周围的起始球体上的起始源位置呈现音频源的起始音频信号。此外，所述方法包括确定所述听音者从所述起始听音位置移动到目的地听音位置。另外，所述方法包括基于所述起始源位置来确定所述音频源在所述目的地听音位置周围的目的地球体上的目的地源位置。所述音频源在所述目的地球体上的所述目的地源位置可以通过将所述起始球体上的所述起始源位置投影到所述目的地球体上来确定。该投影可以是例如相对于所述目的地听音位置的透视投影。所述起始球体和所述目的地球体可以具有相同的半径。例如，两个球体可以对应于呈现的背景下的单位球体，例如半径为1米的球体。此外，所述方法包括基于所述起始音频信号来确定所述音频源的目的地音频信号。所述方法进一步包括从所述目的地听音位置周围的所述目的地球体上的所述目的地源位置呈现所述音频源的所述目的地音频信号。
[0011]根据进一步的方面，描述了一种用于在虚拟现实呈现环境中呈现音频信号的虚拟现实音频呈现器。所述音频呈现器配置为从听音者的起始听音位置周围的起始球体上的起始源位置呈现音频源的起始音频信号。此外，所述虚拟现实音频呈现器配置为确定所述听音者从所述起始听音位置移动到目的地听音位置。另外，所述虚拟现实音频呈现器配置为基于所述起始源位置来确定所述音频源在所述目的地听音位置周围的目的地球体上的目的地源位置。此外，所述虚拟现实音频呈现器配置为基于所述起始音频信号来确定所述音频源的目的地音频信号。所述虚拟现实音频呈现器进一步配置为从所述目的地听音位置周围的所述目的地球体上的所述目的地源位置呈现所述音频源的所述目的地音频信号。
[0012]根据另一方面，描述了一种用于生成位流的方法。所述方法包括：确定至少一个音频源的音频信号；确定关于所述至少一个音频源在呈现环境内的位置的位置数据；确定指示所述呈现环境内的音频的音频传播特性的环境数据；以及将所述音频信号、所述位置数据和所述环境数据插入到所述位流中。
[0013]根据进一步的方面，描述了一种音频编码器。所述音频编码器配置为生成位流，所述位流指示至少一个音频源的音频信号；指示所述至少一个音频源在呈现环境内的位置；以及指示指示所述呈现环境内的音频的音频传播特性的环境数据。
[0014]根据另一方面，描述了位流，其中所述位流指示：至少一个音频源的音频信号；所述至少一个音频源在呈现环境内的位置；以及指示所述呈现环境内的音频的音频传播特性的环境数据。
[0015]根据进一步的方面，描述了一种用于在虚拟现实呈现环境中呈现音频信号的虚拟现实音频呈现器。所述音频呈现器包括3D音频呈现器，所述3D音频呈现器配置为从听音者在所述虚拟现实呈现环境内的听音位置周围的球体上的源位置呈现音频源的音频信号。此外，所述虚拟现实音频呈现器包括预处理单元，所述预处理单元配置为确定所述听音者在所述虚拟现实呈现环境内的新听音位置。此外，所述预处理单元配置为更新所述音频信号和所述音频源相对于所述新听音位置周围的球体的所述源位置。所述3D音频呈现器配置为从所述新听音位置周围的所述球体上的所述更新源位置呈现所述音频源的所述更新音频信号。
[0016]根据进一步的方面，描述了一种软件程序。软件程序可以适于在处理器上执行，并
且当在处理器上执行时，适于执行本文件中概述的方法步骤。
[0017]根据另一方面，描述了一种存储介质。存储介质可以包括软件程序，所述软件程序适于在处理器上执行，并且当在处理器上执行时，适于执行本文件中概述的方法步骤。
[0018]根据进一步的方面，描述了一种计算机程序产品。当在计算机上执行时，计算机程序可以包括用于执行本文件中概述的方法步骤的可执行指令。
[0019]应该注意的是，本专利申请中概述的包含其优选实施例的方法和系统可以单独使用或者与本文件中公开的其它方法和系统结合使用。此外，本专利申请中概述的方法和系统的所有方面可以任意组合。特别地，权利要求的特征可以以任意方式彼此组合。
附图说明
[0020]下面参照附图以示例的方式解释本专利技术，其中
[0021]图1a示出了用于提供6自由度音频的示例音频处理系统；
[0022]图1b示出了6自由度音频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在虚拟现实呈现环境中呈现音频信号的方法，所述方法包括：从听音者的起始听音位置周围的起始球体上的起始源位置确定音频源的起始音频信号；接收所述听音者从所述起始听音位置到目的地听音位置的运动的指示；通过将所述起始源位置从所述起始球体投影到在所述目的地听音位置周围的目的地球体上，基于所述起始源位置来确定所述音频源所述目的地球体上的目的地源位置；基于所述起始音频信号来确定所述音频源的目的地音频信号；以及从所述目的地听音位置周围的所述目的地球体上的所述目的地源位置呈现所述音频源的所述目的地音频信号，其中基于相对于所述目的地听音位置的透视投影，将所述起始源位置从所述起始球体投影到所述目的地球体上。2.根据权利要求1所述的方法，其中所述目的地源位置被确定为使得所述目的地源位置对应于所述目的地听音位置和所述起始源位置之间的射线与所述目的地球体的交叉点。3.根据权利要求1所述的方法，其中确定所述目的地音频信号包括确定所述起始源位置和所述目的地听音位置之间的目的地距离；以及基于所述目的地距离来确定所述目的地音频信号。4.根据权利要求3所述的方法，其中确定所述目的地音频信号包括将距离增益应用于所述起始音频信号；并且所述距离增益取决于所述目的地距离。5.根据权利要求4所述的方法，其中确定所述目的地音频信号包括提供距离函数，所述距离函数指示作为音频信号的源位置和所述听音者的听音位置之间的距离的函数的所述距离增益；以及基于所述目的地距离的所述距离函数的函数值来确定应用于所述起始音频信号的所述距离增益。6.根据权利要求3所述的方法，其中确定所述目的地音频信号包括确定所述起始源位置和所述起始听音位置之间的起始距离；以及基于所述起始距离来确定所述目的地音频信号。7.根据权利要求4所述的方法，其中应用于所述起始音频信号的所述距离增益是基于所述起始距离的所述距离函数的函数值来确定的。8.根据权利要求1所述的方法，其中确定所述目的地音频信号包括基于所述起始音频信号的强度来确定所述目的地音频信号的强度。9.根据权利要求1所述的方法，其中确定所述目的地音频信号包括确定所述音频源的方向性轮廓；其中所述方向性轮廓指示不同方向上的所述起始音频信号的强度；以及基于所述方向性轮廓来确定所述目的地音频信号。10.根据权利要求9所述的方法，其中所述方向性轮廓指示将应用于所述起始音频信号，用于确定所述目的地音频信号的方向性增益。11.根据权利要求9所述的方法，其中所述方向性轮廓指示方向性增益函数；以及
所述方向性增益函数指示作为音频源的源位置和所述听音者的听音位置之间的方向性角度的函数的所述方向性增益。12.根据权利要求9所述的方法，其中确定所述目的地音频信号包括确定所述目的地源位置和所述目的地听音位置之间的目的地角度；以及基于所述目的地角度来确定所述目的地音频信号。13.根据权利要求12所述的方法，其中所述目的地音频信号是基于所述目的地角度的方向性增益函数的函数值来确定的。14.根据权利要求9所述的方法，其中确定所述目的地音频信号包括确定所述起始源位置和所述起始听音位置之间的起始角度；以及基于所述起始角度来确定所述目的地音频信号。15.根据权利要求14所述的方法，其中所述目的地音频信号是基于所述起始角度的所述方向性增益函数的函数值来确定的。16.根据权利要求15所述的方法，其中确定所述目的地音频信号包括使用所述起始角度和所述目的地角度的所述方向性增益函数的所述函数值来修改所述起始音频信号的强度，以确定所述目的地音频信号的强度。17.根据权利要求1所述的方法，其中确定所述目的地音频信号包括确定指示所述目的地源位置和所述目的地听...

【专利技术属性】
技术研发人员：利昂，
申请(专利权)人：杜比国际公司，
类型：发明
国别省市：