用于处理虚拟现实环境中的听音位置之间的全局过渡的方法和系统技术方案

本申请涉及用于处理虚拟现实环境中的听音位置之间的全局过渡的方法和系统。描述了一种用于在虚拟现实渲染环境(180)中渲染音频的方法(900)。所述方法(900)包括从围绕监听器(181)的听音位置(201)的球体(114)上的原始源位置渲染(901)原始音频场景(111)的原始音频源(113)的原始音频信号。此外，所述方法(900)包括确定(902)所述监听器(181)从所述原始音频场景(111)内的所述听音位置(201)移动到不同的目的地音频场景(112)内的听音位置(202)。此外，所述方法(900)包括将淡出增益应用(903)到所述原始音频信号以确定经修改的原始音频信号；以及从围绕所述听音位置(201，202)的所述球体(114)上的所述原始源位置渲染(903)所述原始音频源(113)的所述经修改的原始音频信号。号。号。

【技术实现步骤摘要】
用于处理虚拟现实环境中的听音位置之间的全局过渡的方法和系统
[0001]分案申请的相关信息
[0002]本申请是申请号为201880081930.0、申请日为2018年12月18日、专利技术名称为“用于处理虚拟现实环境中的听音位置之间的全局过渡的方法和系统”的专利技术专利申请的分案申请。
[0003]相关申请交叉引用
[0004]本申请要求在此引入作为参考的以下优先权申请的优先权：2017年12月18日提交的美国临时申请62/599,841(参考文献：D17085USP1)和2017年12月18日提交的欧洲申请17208088.9(参考文献：D17085EP)。


[0005]本文档涉及在虚拟现实(VR)渲染环境中对听觉视口和/或听音位置之间的过渡的有效且一致的处理。

技术介绍

[0006]虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用正在快速发展成包括能够从不同视点/视角或听音位置享受的声源和场景的日益细化的声学模型。两种不同类的灵活音频表示可以例如被用于VR应用：声场表示和基于对象的表示。声场表示是对听音位置处的入射波前进行编码的基于物理的方案。例如，诸如B格式或更高阶高保真度立体声响复制(HOA)的方案使用球谐函数分解来表示空间波前。基于对象的方案将复杂听觉场景表示为包括音频波形或音频信号和可能随时间变化的关联参数或元数据的奇异元素的集合。
[0007]享受VR、AR和MR应用可以包括由用户体验不同听觉视点或视角。例如，可以基于使用6个自由度(DoF)的机制来提供基于房间的虚拟现实。图1图示了6个DoF交互的示例，其示出了平移移动(向前/向后、向上/向下和向左/向右)和旋转移动(俯仰、偏航和滚动)。与限于头部旋转的3DoF球形视频体验不同，为6DoF交互创建的内容除了头部旋转之外还允许虚拟环境内的导航(例如，在房间内物理走动)。这能够基于位置跟踪器(例如，基于照相机)和方向跟踪器(例如，陀螺仪和/或加速度计)来实现。6DoF跟踪技术可以在更高端桌面VR系统(例如，VR、Oculus Rift、HTC Vive)上以及在高端移动VR平台(例如，Google Tango)上提供。用户对声音或音频源的方向性和空间范围的体验对于6DoF体验的真实性是关键的，特别是对导航通过场景和虚拟音频源周围的体验。
[0008]可用的音频渲染系统(诸如MPEG
‑
H 3D音频渲染器)通常被限于3DoF的渲染(即，由监听器的头部移动引起的音频场景的旋转移动)。监听器的听音位置的平移更改和关联DoF通常不能由此类渲染器处理。
[0009]本文档涉及为在音频渲染的上下文中处理平移移动提供资源高效的方法和系统的技术问题。

技术实现思路

[0010]根据一方面，描述了一种用于在虚拟现实渲染环境中渲染音频的方法。该方法包括从围绕监听器的听音位置的球体上的原始源位置渲染原始音频场景的原始音频源的原始音频信号。此外，该方法包括确定监听器从原始音频场景内的听音位置移动到不同目的地音频场景内的听音位置。另外，该方法包括将淡出增益应用到原始音频信号以确定经修改的原始音频信号。该方法进一步包括从围绕听音位置的球体上的原始源位置渲染原始音频源的经修改的原始音频信号。
[0011]根据又一方面，描述了一种用于在虚拟现实渲染环境中渲染音频的虚拟现实音频渲染器。该虚拟现实音频渲染器被配置成从围绕监听器的听音位置的球体上的原始源位置渲染原始音频场景的原始音频源的原始音频信号。另外，该虚拟现实音频渲染器被配置成确定监听器从原始音频场景内的听音位置移动到不同目的地音频场景内的听音位置。此外，该虚拟现实音频渲染器被配置成将淡出增益应用到原始音频信号以确定经修改的原始音频信号，并且从围绕听音位置的球体上的原始源位置渲染原始音频源的经修改的原始音频信号。
[0012]根据又一方面，描述了一种用于生成指示要在虚拟现实渲染环境内被渲染的音频信号的位流的方法。该方法包括：确定原始音频场景的原始音频源的原始音频信号；确定关于原始音频源的原始源位置的原始位置数据；生成包括原始音频信号和原始位置数据的位流；接收监听器在虚拟现实渲染环境内从原始音频场景移动到目的地音频场景的指示；确定目的地音频场景的目的地音频源的目的地音频信号；确定关于目的地音频源的目的地源位置的目的地位置数据；以及生成包括目的地音频信号和目的地位置数据的位流。
[0013]根据另一方面，描述了一种被配置成生成指示要在虚拟现实渲染环境内被渲染的音频信号的位流的编码器。该编码器被配置成：确定原始音频场景的原始音频源的原始音频信号；确定关于原始音频源的原始源位置的原始位置数据；生成包括原始音频信号和原始位置数据的位流；接收监听器在虚拟现实渲染环境内从原始音频场景移动到目的地音频场景的指示；确定目的地音频场景的目的地音频源的目的地音频信号；确定关于目的地音频源的目的地源位置的目的地位置数据；以及生成包括目的地音频信号和目的地位置数据的位流。
[0014]根据又一方面，描述了一种用于在虚拟现实渲染环境中渲染音频信号的虚拟现实音频渲染器。该音频渲染器包括3D音频渲染器，该3D音频渲染器被配置成在虚拟现实渲染环境内从围绕监听器的听音位置的球体上的源位置渲染音频源的音频信号。此外，该虚拟现实音频渲染器包括预处理单元，该预处理单元被配置成确定在虚拟现实渲染环境内监听器的新听音位置。此外，该预处理单元被配置成相对于围绕新听音位置的球体来更新音频源的音频信号和源位置。该3D音频渲染器被配置成从围绕新听音位置的球体上的更新的源位置来渲染音频源的更新的音频信号。
[0015]根据又一方面，描述了一种软件程序。软件程序可以适于在处理器上执行，并且在处理器上被运行时适于执行本文档中概述的方法步骤。
[0016]根据另一方面，描述了一种存储介质。该存储介质可以包括软件程序，该软件程序适于在处理器上执行，并且在处理器上被运行时适于执行本文档中概述的方法步骤。
[0017]根据又一方面，描述了一种计算机程序产品。该计算机程序可以包括在计算机上
被运行时用于执行本文档中概述的方法步骤的可执行指令。
[0018]应注意的是，包含如在本专利申请中概述的其优选实施例的方法和系统可以被单独使用或与本文档中公开的其它方法和系统结合使用。此外，本专利申请中概述的方法和系统的所有方面可以被任意组合。具体地说，权利要求的特征可以以任意方式被相互组合。
附图说明
[0019]下面参照附图以示例性方式解释本专利技术，其中
[0020]图1a示出了用于提供6Dof音频的示例音频处理系统；
[0021]图1b示出了在6Dof音频和/或渲染环境内的示例情况；
[0022]图1c示出了从原始音频场景到目的地音频场景的示例过渡；
[0023]图2图示了用于在不同音频场景之间的过渡期间确定空间音频信号的示例方案；
[0024]图3示出了示例音频场景；
[0025]图4a图示了在对音频场景内听音位置的更改本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在使用用于渲染3个自由度3DoF的音频渲染器的虚拟现实渲染环境中渲染音频的方法，所述方法包括，
‑
由所述音频渲染器在虚拟现实渲染环境内从围绕监听器的原始听音位置的球体上的原始源位置渲染原始音频场景的原始音频源的原始音频信号；
‑
确定存在所述监听器的移动，其中所述移动在所述虚拟现实渲染环境内从所述原始音频场景内的所述原始听音位置到目的地音频场景内的目的地听音位置；
‑
基于所述移动的所述确定，通过将淡出增益应用到所述原始音频信号来确定经修改的原始音频信号；以及
‑
由所述音频渲染器从围绕所述原始听音位置的球体上的所述原始源位置渲染所述原始音频源的所述经修改的原始音频信号。2.根据权利要求1所述的方法，其进一步包括：
‑
确定所述目的地音频场景的目的地音频源的目的地音频信号；
‑
确定在围绕所述目的地听音位置的所述球体上的目的地源位置；
‑
将淡入增益应用到所述目的地音频信号以确定经修改的目的地音频信号；以及
‑
由所述音频渲染器从围绕所述目的地听音位置的所述球体上的所述目的地源位置渲染所述目的地音频源的所述经修改的目的地音频信号。3.根据权利要求2所述的方法，其中在从所述原始音频场景内的所述原始听音位置到所述目的地音频场景内的所述目的地听音位置的整个所述移动期间，从相对于所述监听器的相同位置渲染所述经修改的原始音频信号。4.根据权利要求2所述的方法，其中所述目的地音频场景不包含所述原始音频源。5.根据权利要求2所述的方法，其进一步包括，
‑
确定所述监听器在过渡时间...

【专利技术属性】
技术研发人员：利昂，
申请(专利权)人：杜比国际公司，
类型：发明
国别省市：