用于处理音频场景以进行音频渲染的方法、装置和系统制造方法及图纸

技术编号:43413557 阅读:28 留言:0更新日期:2024-11-22 17:49
本公开涉及处理音频场景信息以进行音频渲染的方法。方法包括:接收音频场景描述,音频场景描述包括三维音频场景的表示和关于音频场景内的声源的源位置的信息;接收对音频场景内的收听者的收听者位置的指示;获得与音频场景内的源位置与收听者位置之间的声衍射路径相关的衍射信息;基于衍射信息对声源执行音频渲染;以及输出衍射信息的表示。本公开进一步涉及对应的装置、计算机程序和计算机可读存储介质。

【技术实现步骤摘要】
【国外来华专利技术】

本公开涉及处理音频场景信息以进行音频渲染的技术。具体地,本公开涉及基于体素的场景表示和音频渲染。


技术介绍

1、运动图片专家组(mpeg)是由国际标准化组织(iso)和国际电工委员会(iec)联合建立的工作组联盟,其为包括音频编码在内的媒体编码设定标准。mpeg是在iso/iec sc 29下组织的,并且音频组目前被标识为工作组(wg)6。wg 6当前正在制定新的音频标准(也称为mpeg-i沉浸式音频,iso/iec 23090-4)。

2、新的mpeg-i标准通过支持场景和这种场景周围的各种运动(如在虚拟现实(vr)、增强现实(ar)、混合现实(mr)和/或扩展现实(xr)应用中使用如三自由度(3dof)或六自由度(6dof)等各种自由度的运动)来实现来自不同视点和/或视角或收听位置的听觉体验。6dof交互将仅限于头部旋转(俯仰、侧转和滚动)的3dof球面视频/音频体验扩展为包括平移运动(前/后、上/下和左/右),以使得除了头部旋转之外还能够在虚拟环境内漫游(例如,在房间内以身体行走)。

3、对于vr、ar、mr和xr应用中的音频本文档来自技高网...

【技术保护点】

1.一种处理音频场景信息以进行音频渲染的方法(300),所述方法(300)包括:

2.根据权利要求1所述的方法(300),其中,输出(S350)所述衍射信息的表示包括输出包括所述衍射信息和关于场景状态的信息的数据元素,所述场景状态包括所述音频场景描述和所述收听者位置(210)。

3.根据前述权利要求中任一项所述的方法(300),其中,所述衍射信息的表示被输出到比特流和/或存储装置。

4.根据前述权利要求中任一项所述的方法,其中,所述衍射信息被输出以供同一渲染实例稍后重复用于音频渲染,或者供另一渲染实例稍后重复使用。

5.根据前述权利要求中任...

【技术特征摘要】
【国外来华专利技术】

1.一种处理音频场景信息以进行音频渲染的方法(300),所述方法(300)包括:

2.根据权利要求1所述的方法(300),其中,输出(s350)所述衍射信息的表示包括输出包括所述衍射信息和关于场景状态的信息的数据元素,所述场景状态包括所述音频场景描述和所述收听者位置(210)。

3.根据前述权利要求中任一项所述的方法(300),其中,所述衍射信息的表示被输出到比特流和/或存储装置。

4.根据前述权利要求中任一项所述的方法,其中,所述衍射信息被输出以供同一渲染实例稍后重复用于音频渲染,或者供另一渲染实例稍后重复使用。

5.根据前述权利要求中任一项所述的方法(300),其中,根据iso/iec设定的标准,比如mpeg-i标准,所述衍射信息的表示作为voxscenediffractionprecomputedpathdata()语法元素的一部分输出。

6.根据前述权利要求中任一项所述的方法(300),其中,所述衍射信息指示虚拟声源的虚拟源位置。

7.根据前述权利要求中任一项所述的方法(300),其中,所述三维音频场景的表示是基于体素的表示;并且

8.根据权利要求7所述的方法(300),其中,关于所述立方体体积的所述一对极角体素的信息包括对指派给所述极角体素的相应体素索引的指示,所述基于体素的音频场景表示的体素具有唯一指派的连续体素索引。

9.根据权利要求1至6中任一项所述的方法(300),其中,所述三维音频场景的表示是基于体素的表示;

10.根据前述权利要求中任一项所述的方法(300),进一步包括:

11.根据权利要求10所述的方法(300),进一步包括:

12.根据权利要求11所述的方法(300),其中,确定所述当前场景状态是否对应于已知场景状态包括基于所述当前场景状态确定哈希值。

13.根据权利要求11或12所述的方法(300),进一步包括:

14.根据权利要求11至13中任一项所述的方法(300),进一步包括:

15.根据前述权利要求中任一项所述的方法(300),进一步包括:从比特流或存储装置接收查找表或查找表的条目,所述查找表包括多项预先计算的衍射信息,每项预先计算的衍射信息与相应的已知场景状态相关联,所述已知场景状态包括已知音频场景描述和已知收听者位置。

16.根据前述权利要求中任一项所述的方法(300),其中,所述三维音频场景的表示是基于体素的表示,包括关于多个遮挡体素的位置和材料属性的信息。

17.一种压缩音频场景以进行三维音频渲染的方法,所述方法包括:

18.根据权利要求17所述的方法,其中,所述几何区域具有立方体形状,所述方法进一步包括从所述体素化表示的所述多个体素中确定所述一组体素的至少第一边界体素和第二...

【专利技术属性】
技术研发人员:P·塞蒂亚万L·特伦蒂夫D·菲舍尔C·J·费什
申请(专利权)人:杜比国际公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1