用于6DOF音频渲染的方法、设备和系统及用于6DOF音频渲染的数据表示和位流结构技术方案

本公开涉及用于将音频信号编码到位流中(具体地说在编码器处)的方法、设备和系统，其包括：将与3DoF音频渲染关联的音频信号数据编码或包含到所述位流的一或多个第一位流部分中，以及将与6DoF音频渲染关联的元数据编码或包含到所述位流的一或多个第二位流部分中。本公开进一步涉及用于解码音频信号和基于所述位流的音频渲染的方法、设备和系统。

【技术实现步骤摘要】
【国外来华专利技术】用于6DOF音频渲染的方法、设备和系统及用于6DOF音频渲染的数据表示和位流结构相关申请案本申请要求2018年4月11日提交的美国临时申请序列号62/655,990的权益，该申请通过引用以其整体被并入本文中。
本公开涉及提供用于六自由度(6DoF)音频渲染的设备、系统和方法，具体地说，与用于6DoF音频渲染的数据表示和位流结构有关。
技术介绍
目前缺乏用于与用户的六自由度(6DoF)移动组合来渲染音频的适当解决方案。尽管存在用于与三自由度(3DoF)移动(偏航、俯仰、滚动)组合来渲染通道、对象和一阶/更高阶高保真度立体声响复制(HOA)信号的解决方案，但是缺乏对与用户的六自由度(6DoF)移动(偏航、俯仰、滚动和平移移动)组合来处置此类信号的支持。一般地，3DoF音频渲染提供声场，其中一或多个音频源在围绕预定听者位置(称为3DoF位置)的角位置处被渲染。3DoF音频渲染的一个示例被包含在MPEG-H3D音频标准(缩写为MPEG-H3DA)中。尽管MPEG-H3DA被开发来支持用于3DoF的通道、对象和HO本文档来自技高网...

【技术保护点】
1.一种用于将音频信号编码到位流中(具体地说在编码器处)的方法，所述方法包括：/n将与3DoF音频渲染关联的音频信号数据编码或包含到所述位流的一或多个第一位流部分中；以及/n将与6DoF音频渲染关联的元数据编码或包含到所述位流的一或多个第二位流部分中。/n

【技术特征摘要】
【国外来华专利技术】20180411 US 62/655,9901.一种用于将音频信号编码到位流中(具体地说在编码器处)的方法，所述方法包括：
将与3DoF音频渲染关联的音频信号数据编码或包含到所述位流的一或多个第一位流部分中；以及
将与6DoF音频渲染关联的元数据编码或包含到所述位流的一或多个第二位流部分中。


2.根据权利要求1所述的方法，其中
与3DoF音频渲染关联的所述音频信号数据包含一或多个音频对象的音频信号数据。


3.根据权利要求2所述的方法，其中
所述一或多个音频对象位于围绕默认3DoF听者位置的一或多个球体上。


4.根据权利要求1至3中任一项所述的方法，其中
与3DoF音频渲染关联的所述音频信号数据包含一或多个音频对象的方向数据和/或一或多个音频对象的距离数据。


5.根据权利要求1至4中任一项所述的方法，其中
与6DoF音频渲染关联的所述元数据指示一或多个默认3DoF听者位置。


6.根据权利要求1至5中任一项所述的方法，其中
与6DoF音频渲染关联的所述元数据包含或指示以下中的至少一个：
6DoF空间的描述，任选地包含对象坐标；
一或多个音频对象的音频对象方向；
虚拟现实VR环境；以及
与距离衰减、遮挡和/或混响有关的参数。


7.根据权利要求1至6中任一项所述的方法，进一步包含：
从一或多个音频源接收音频信号；以及
基于来自所述一或多个音频源的所述音频信号和变换函数来生成与3DoF音频渲染关联的所述音频信号数据。


8.根据权利要求7所述的方法，其中
通过使用所述变换函数将来自所述一或多个音频源的所述音频信号变换为3DoF音频信号来生成与3DoF音频渲染关联的所述音频信号数据。


9.根据权利要求7或8所述的方法，其中
所述变换函数将所述一或多个音频源的所述音频信号映射或投影到位于围绕默认3DoF听者位置的一或多个球体上的相应音频对象上。


10.根据权利要求7至9中任一项所述的方法，进一步包含：
基于与距离衰减、遮挡和/或混响有关的环境特性和/或参数来确定所述变换函数的参数化。


11.根据权利要求1至10中任一项所述的方法，其中
所述位流是MPEG-H3D音频位流或使用MPEG-H3D音频语法的位流。


12.根据权利要求11所述的方法，其中
所述位流的所述一或多个第一位流部分表示所述位流的有效载荷，以及
所述一或多个第二位流部分表示所述位流的一或多个扩展容器。


13.一种用于解码和/或音频渲染(具体地说在解码器或音频渲染器处)的方法，所述方法包括：
接收位流，所述位流在与所述位流的一或多个第一位流部分中包含3DoF音频渲染关联的音频信号数据，并且在所述位流的一或多个第二位流部分中进一步包含与6DoF音频渲染关联的元数据，以及
基于所接收的位流来执行3DoF音频渲染和6DoF音频渲染中的至少一个。


14.根据权利要求13所述的方法，其中，
在执行3DoF音频渲染时，基于所述位流的所述一或多个第一位流部分中的与3DoF音频渲染关联的所述音频信号数据来执行所述3DoF音频渲染，同时丢弃所述位流的所述一或多个第二位流部分中的与6DoF音频渲染关联的所述元数据。


15.根据权利要求13或权利要求14所述的方法，其中，
在执行6DoF音频渲染时，基于所述位流的所述一或多个第一位流部分中的与3DoF音频渲染关联的所述音频信号数据和所述位流的所述一或多个第二位流部分中的与6DoF音频渲染关联的所述元数据来执行所述6DoF音频渲染。


16.根据权利要求13至15中任一项所述的方法，其中
与3DoF音频渲染关联的所述音频信号数据包含一或多个音频对象的音频信号数据。


17.根据权利要求16所述的方法，其中
所述一或多个音频对象位于围绕默认3DoF听者位置的一或多个球体上。


18.根据权利要求13至17中任一项所述的方法，其中
与3DoF音频渲染关联的所述音频信号数据包含一或多个音频对象的方向数据和/或一或多个音频对象的距离数据。


19.根据权利要求13至18中任一项所述的方法，其中
与6DoF音频渲染关联的所述元数据指示一或多个默认3DoF听者位置。


20.根据权利要求13至19中任一项所述的方法，其中
与6DoF音频渲染关联的所述元数据包含或指示以下中的至少一个：
6DoF空间的描述，可选地包含对象坐标；
一或多个音频对象的音频对象方向；
虚拟现实VR环境；以及
与距离衰减、遮挡和/或混响有关的参数。


21.根据权利要求13至20中任一项所述的方法，其中
基于来...

【专利技术属性】
技术研发人员：利昂·特连蒂夫，克里斯托弗·费尔施，丹尼尔·费希尔，
申请(专利权)人：杜比国际公司，
类型：发明
国别省市：荷兰;NL