用于对具有范围的音频对象进行建模的方法技术

描述了一种对扩展音频对象进行建模以用于虚拟或增强现实环境中的音频渲染的方法

【技术实现步骤摘要】
【国外来华专利技术】用于对具有范围的音频对象进行建模的方法、装置和系统
[0001]相关申请的交叉引用
[0002]本申请要求以下优先申请的优先权：于
2021
年4月
29
日提交的美国临时申请
63/181,865(
参考号：
D21045USP1)、
于
2021
年9月
22
日提交的美国临时申请
63/247,156(
参考号：
D21045USP2)
以及于
2021
年9月
30
日提交的欧洲申请
21200055.8(
参考号：
D21045EP)。


[0003]本文档涉及基于对象的音频渲染，并且更具体地涉及在虚拟现实
(VR)
环境中渲染具有范围的音频对象
。

技术介绍

[0004]新的
MPEG
‑
I
标准通过在虚拟现实
(VR)、
增强现实
(AR)、
混合现实
(MR)
和
/
或扩展现实
(XR)
应用中支持全六自由度
(6DoF)
来实现来自不同视点和
/
或视角或收听位置的听觉体验
。6DoF
交互将仅限于头部旋转
(
俯仰
、
侧转和滚动
)
的
3DoF
球面视频
/
音频体验扩展为包括平移运动
(
前
/
后
、
上
/
下和左
/
右
)
，以使得除了头部旋转之外还允许在虚拟环境内漫游
(
例如，在房间内物理上行走
)。
[0005]对于
VR
应用中的音频渲染，已经广泛采用了通过将复杂的听觉场景表示为多个单独的音频对象的基于对象的方法，每个单独的音频对象与定义该对象在场景中的方位
/
位置和轨迹的参数或元数据相关联
。
音频对象不是点音频源，而是可以被提供有反映从该音频对象获得的听觉感知的空间范围
。
这种音频对象可以发出将在
VR
实施中进行渲染的一个或多个声源
。
[0006]为了创建对收听者来说自然且真实的
6DoF
体验，收听者对声音或音频源
(
对象
)
的方向性和空间范围的体验对于
6DoF
渲染
、
特别是对于实现遍历场景和围绕虚拟音频源的漫游体验来说是至关重要的
。
由于
6DoF
渲染另外涉及收听者收听位置的较大平移变化，因此不断变化的收听位置与具有复杂结构的音频对象范围之间的复杂相互作用可能导致
6DoF
渲染难以实施
。
特别地，对这种位置
‑
对象相互作用进行建模需要更多数量的参数，这使得在对应的音频处理中的计算复杂度非常高
。
[0007]可以注意到，可用的音频渲染系统
(
如
MPEG
‑
H 3D
音频渲染器
)
通常仅限于渲染
3DoF(
即，由收听者的头部运动引起的音频场景的旋转运动
)
，其不考虑收听者收听位置的平移变化
。
即使是
3DoF+
也只是增加了收听者收听位置的微小平移变化，而没有考虑收听者的较大平移运动
。
因此，未能考虑收听者的较大平移运动的现有技术在
6DoF
声音的真正沉浸式渲染中可能会遇到困难
。
[0008]因此，需要提供一种简单的方式来实施音频对象的
6DoF
渲染
。
特别地，考虑到
6DoF
渲染时重要的用户运动，简化音频对象的
(
空间
)
范围的建模可能是期望的
。

技术实现思路

[0009]根据一方面，描述了一种对扩展音频对象进行建模以用于虚拟或增强现实环境
(
或一般而言，计算机介导的现实环境
)
中的音频渲染的
(
例如，计算机实施的
)
方法
。
所述方法可以包括获得指示扩展音频对象的几何形式的范围表示以及与同所述扩展音频对象相关联的一个或多个第一音频源相关的信息
。
可以使用音频传感器来捕获所述一个或多个第一音频源，作为与扩展音频对象相关联的记录的音频源
。
具体地，所述方法可以包括基于虚拟或增强现实环境中的用户位置
(
即，收听者的收听位置
)
使用扩展音频对象的几何形式
(
例如，指示所述几何形式的范围表示
)
来获得相对点
。
另外，所述方法可以包括基于用户位置和相对点来确定针对范围表示的范围参数
。
[0010]特别地，范围参数可以描述在用户位置处感知的扩展音频对象的空间扩展
。
因此，可以理解，扩展音频对象的这种空间扩展可以根据用户位置而变化，并且扩展音频对象可以针对各种用户位置自适应地建模
。
为了有效地对扩展音频对象进行建模，所述方法还可以包括确定一个或多个第二音频源相对于用户位置的位置
。
这样的一个或多个第二音频源可以被视为用于在对应用户位置处对扩展音频对象进行建模的虚拟
、
再现音频源
。
此外，所述方法可以包括输出扩展音频对象的经修改表示，以用于对扩展音频对象进行建模
。
可以注意到，经修改表示包括所确定的范围参数和所述一个或多个第二音频源的位置
。
[0011]如以上所配置的，所提出的方法允许用简单的参数对扩展音频对象进行建模
。
特别地，在扩展音频对象的空间范围和针对给定用户位置计算的
(
多个
)
第二
(
虚拟
)
音频源的对应位置已知的情况下，扩展音频对象可以被有效地建模为具有与给定用户位置相对应的适当
(
感知
)
大小，这可以适用于扩展音频对象的后续渲染
(
例如
6DoF)。
由此，由于可能不需要关于音频对象的形式
/
位置
/
取向以及用户位置的移动的详细信息，音频渲染的计算复杂度可以被降低
。
[0012]换句话说，所提出的方法有效地将
6DoF
数据
(...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种对扩展音频对象进行建模以用于虚拟或增强现实环境中的音频渲染的计算机实施的方法，所述方法包括：获得指示扩展音频对象的几何形式的范围表示以及与同所述扩展音频对象相关联的一个或多个第一音频源相关的信息；使用指示所述扩展音频对象的所述几何形式的所述范围表示来获得最接近在所述虚拟或增强现实环境中的用户位置的相对点；基于所述用户位置和所述相对点来确定所述范围表示的范围参数，所述范围参数描述在所述用户位置处感知的所述扩展音频对象的空间扩展；确定一个或多个第二音频源相对于所述用户位置的位置，以用于对所述扩展音频对象进行建模；以及输出所述扩展音频对象的经修改表示以用于对所述扩展音频对象进行建模，所述经修改表示包括所述范围参数和所述一个或多个第二音频源的所述位置
。2.
根据权利要求1所述的计算机实施的方法，进一步包括基于所述扩展音频对象的所述经修改表示来渲染所述扩展音频对象，其中，所述扩展音频对象是使用所述一个或多个第二音频源的所确定的位置和所述范围参数来渲染的
。3.
根据权利要求2所述的计算机实施的方法，其中，所述渲染包括
6DoF
音频渲染，进一步包括获得所述用户位置
、
所述扩展音频对象的位置和
/
或取向以及几何形状以用于所述渲染
。4.
根据权利要求1或权利要求2所述的计算机实施的方法，进一步包括基于所述一个或多个第一音频源来确定用于对所述扩展音频对象进行建模的所述一个或多个第二音频源
。5.
根据前述权利要求中任一项所述的计算机实施的方法，其中，所述范围参数进一步基于所述扩展音频对象的位置和
/
或取向来确定
。6.
根据权利要求5所述的计算机实施的方法，进一步包括：基于所述用户位置
、
所述相对点以及所述扩展音频对象的所述位置和
/
或取向来确定相对范围角度，其中，所述范围参数是基于所述相对范围角度来确定的
。7.
根据前述权利要求中任一项所述的计算机实施的方法，其中，确定所述一个或多个第二音频源的所述位置包括：基于所述用户位置
、
所述相对点以及所述扩展音频对象的所述几何形式来确定圆弧；以及将所确定的一个或多个第二音频源定位在所述圆弧上
。8.
根据权利要求7所述的计算机实施的方法，其中，所述定位涉及将所有所述第二音频源等距地分布在所述圆弧上
。9.
根据权利要求7或8所述的计算机实施的方法，其中，所述定位取决于所述第二音频源之间的相关性水平和
/
或内容创建者意图
。10.
根据从属于权利要求4的前述权利要求中任一项所述的计算机实施的方法，其中，所述范围参数进一步基于所确定的一个或多个第二音频源的数量来确定
。11.
根据权利要求
10
所述的计算机实施的方法，其中，所确定的一个或多个第二音频源的所述数量是独立于所述用户位置和
/
或所述相对点的预定常数
。12.
根据权利要求
10
当从属于权利要求4时所述的计算机实施的方法，其中，确定用于
对所述扩展音频对象进行建模的所述一个或多个第二音频源包括基于所述相对范围角度来确定所述一个或多个第二音频源的所述数量
。13.
根据权利要求
12
所述的计算机实施的方法，其中，所述一个或多个第二音频源的所述数量随着所述相对范围角度的增大而增大
。14.
根据从属于权利要求4的前述权利要求中任一项所述的计算机实施的方法，其中，确定用于对所述扩展音频对象进行建模的所述一个或多个第二音频源进一步包括：复制所述一个或多个第一音频源或者将所述一个或多个第一音频源的加权混合相加；以及对所复制或相加的第一音频源应用去相关过程
。15.
根据前述权利要求中任一项所述的计算机实施的方法，其中，所述范围表示指示用于表示所述扩展音频对象的空间扩展的二维或三维几何形式
。16.
根据前述权利要求中任一项所述的计算机实施的方法，其中，所述扩展音频对象...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：杜比国际公司，
类型：发明
国别省市：