用于虚拟现实音频的基于优先级的声场编解码制造技术

一种被配置为获得图像数据的示例设备包括存储器，其被配置为存储一个或多个优先级值，该一个或多个优先级值中的每一个与关联于图像数据的图像对象的类型相关联。该设备包括一个或多个处理器，其耦接到存储器，并且被配置为将图像数据中的图像对象与在一个或多个音频流中表示的一个或多个音频源相关联。该一个或多个处理器还被配置为将相应优先级值指派给在一个或多个音频流中表示的一个或多个音频源中的每一个，以及基于指派的优先级值编解码立体混响系数。解码立体混响系数。解码立体混响系数。

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟现实音频的基于优先级的声场编解码
[0001]本申请要求于2020年11月18日提交的美国申请第16/951,636号的优先权，该美国申请要求于2019年11月22日提交的美国临时申请第62/939,470号的权益，每个申请的全部内容通过引用并入本文。


[0002]本公开涉及诸如音频数据的媒体数据的处理。

技术介绍

[0003]计算机介导现实系统正在被开发以允许计算设备增强或添加、移除或减去或概括地说修改用户体验的现有现实。计算机介导现实系统(也可以称为“扩展现实系统”或“XR系统”)可以包括例如虚拟现实(VR)系统、增强现实(AR)系统和混合现实(MR)系统。计算机介导现实系统的感知成功通常与此类计算机介导现实系统在视频和音频体验方面提供逼真的沉浸式体验的能力有关，其中视频和音频体验以用户期望的方式调整。尽管人类视觉系统比人类听觉系统更敏感(例如，在对场景中各种物体的感知定位方面)，但确保足够的听觉体验是确保逼真的沉浸式体验的越来越重要的因素，尤其是视频体验改进允许更好地定位视频对象，从而使用户能够更好地识别音频内容的来源。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种被配置为获得图像数据的设备，包括：存储器，其被配置为存储一个或多个优先级值，所述一个或多个优先级值中的每一个与关联于所述图像数据的图像对象的类型相关联；以及一个或多个处理器，其耦接到所述存储器，并且被配置为：将所述图像数据中的图像对象与在一个或多个音频流中表示的一个或多个音频源相关联；将相应优先级值指派给在所述一个或多个音频流中表示的所述一个或多个音频源中的每一个；以及基于所指派的优先级值编解码立体混响系数。2.如权利要求1所述的设备，其中，所述一个或多个处理器还被配置为将在所述一个或多个音频流中表示的所述一个或多个音频源空间映射到相关联图像对象。3.如权利要求2所述的设备，其中，所述存储器还被配置为存储位置信息，其中所述位置信息包括每个音频源的θ角及角。4.如权利要求3所述的设备，其中，所述位置信息还包括每个音频源的V向量，并且所述一个或多个处理器还被配置为使经空间映射的音频源与所述V向量匹配。5.如权利要求4所述的设备，其中，所述一个或多个处理器还被配置为使经空间映射的音频源与仅在前景中的V向量匹配。6.如权利要求4所述的设备，其中，所述一个或多个处理器还被配置为修改所述V向量以在编解码在所述一个或多个音频流中表示的所述一个或多个音频源中的至少两个时区分所述一个或多个音频源中的所述至少两个的信噪比。7.如权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：与较低优先级值音频源相比，为较高优先级值音频源编解码更多比特。8.如权利要求1所述的设备，其中，所述一个或多个处理器还被配置为基于所指派的优先级值及可用资源来编解码多个立体混响系数。9.如权利要求8所述的设备，其中，所述可用资源是电池能量级别。10.如权利要求1所述的设备，其中，所述一个或多个处理器还被配置为通过混合或插值中的至少一个来组合在所述一个或多个音频流中表示的所述一个或多个音频源中的至少两个。11.如权利要求1所述的设备，其中，所述设备包括移动手持机。12.如权利要求1所述的设备，其中，所述设备包括扩展现实头戴式设备，以及其中，声学空间包括由相机捕获的视频数据表示的场景。13.如权利要求1所述的设备，其中，所述设备包括扩展现实头戴式设备，以及其中，声学空间包括虚拟世界。14.如权利要求1所述的设备，还包括被配置为呈现声学空间的头戴式设备。15.一种获得图像数据的方法，包括：由存储器存储一个或多个优先级值，所述一个或多个优先级值中的每一个与关联于所述图像数据的图像对象的类型相关联；
由一个或多个处理器将所述图像数据中的图像对象与在一个或多个音频流中表示的一个或多个音频源相关联；由所述一个或多个处理器将相应优先级值...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：