分级空间分辨率编解码器制造技术

本发明专利技术公开了一种分级空间分辨率编解码器，其在用于传送沉浸式音频内容的目标带宽改变时自适应地调整该音频内容的表示。该音频内容可由自适应数量的内容类型诸如声道/对象、更高阶高保真度立体声响复制(HOA)表示，并由自适应空间编码技术编码以支持传输声道或用户的目标比特率。自适应空间编码技术可以包括用于生成自适应数量的声道/对象的自适应声道/对象空间编码技术，以及用于生成HOA的自适应阶次的自适应HOA空间编码或HOA压缩技术。该自适应可以根据与期望质量相关联的目标比特率以及确定声道、对象和HOA的优先级的分析来进行。高优先级声道/对象可被编码到高质量比特流中，而低优先级声道/对象可被转换并编码为HOA。为HOA。为HOA。

【技术实现步骤摘要】
【国外来华专利技术】分级空间分辨率编解码器
[0001]相关申请的交叉引用
[0002]本申请要求于2020年9月25日提交的美国临时申请号63/083,788的权益，该美国临时申请的公开内容以引用方式全文并入本文。


[0003]本公开涉及音频通信领域；并且更具体地，涉及被设计成使用自适应空间编码技术来传送沉浸式音频内容的数字信号处理方法。还描述了其他方面。

技术介绍

[0004]消费电子设备正在提供日益复杂且性能不断改善的数字音频编码和解码能力。传统上，主要使用提供左右音频声道的双声道立体声格式来生产、分发和消费音频内容。最近的市场发展旨在使用支持多声道音频、基于对象的音频和/或高保真度立体声响复制(Ambisonics)的更丰富的音频格式(例如Dolby Atmos或MPEG
‑
H)来提供更加沉浸式的听者体验。
[0005]沉浸式音频内容的传送与更大的带宽需求相关联，即需要相比用于立体声内容的更大的数据速率来进行流式传输和下载。如果带宽有限，则需要可在保持可能的最佳音频质量的同时减小音频数据大小的技术。感知音频编码中常本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对音频内容进行编码的方法，所述方法包括：由编码设备接收所述音频内容，所述音频内容由多个内容类型表示，第一内容类型包括多个场景元素；确定所述第一内容类型的所述多个场景元素的优先级；基于所述多个场景元素的所述优先级和用于传输所述音频内容的目标比特率，将所述第一内容类型的自适应数量的所述多个场景元素编码到第一内容流中；基于所述目标速率和所述第二内容类型的场景元素的优先级，将所述第一内容类型的未被选择用于编码到所述第一内容流中的剩余场景元素编码到第二内容流中，所述第二内容流表示第二内容类型的编码；以及基于所述目标比特率生成包括所述第一内容流和所述第二内容流的传输流以用于传输。2.根据权利要求1所述的方法，其中所述第一内容类型具有比所述第二内容类型更高质量的所述音频内容的声场表示。3.根据权利要求1所述的方法，其中用于支持所述第一内容类型的传输的比特率高于用于支持所述第二内容类型的传输的比特率。4.根据权利要求1或3所述的方法，其中确定所述第一内容类型的所述多个场景元素的所述优先级包括：基于所述多个场景元素的空间显著性生成所述第一内容类型的所述多个场景元素的优先级排序，其中具有较高空间显著性的场景元素比具有较低空间显著性的场景元素具有更高质量的声场表示。5.根据权利要求1或3所述的方法，其中将所述第一内容类型的所述自适应数量的所述多个场景元素编码到所述第一内容流中包括：随着所述目标比特率改变，基于所选择的场景元素具有比所述第一内容类型的未被选择用于编码到所述第一内容流中的所述剩余场景元素的所述优先级更高的优先级，来选择所述自适应数量的所述场景元素。6.根据权利要求1所述的方法，其中基于所述目标速率和所述第二内容类型的场景元素的优先级，将所述第一内容类型的未被选择用于编码到所述第一内容流中的所述剩余场景元素编码到所述第二内容流中包括：将所述第一内容类型的所述剩余场景元素转换为所述第二内容类型的场景元素；以及基于所述目标比特率，对与从所述音频内容接收的所述第二内容类型的场景元素组合的所转换的场景元素进行编码，以生成所述第二内容流。7.根据权利要求6所述的方法，其中对与从所述音频内容接收的所述第二内容类型的场景元素组合的所转换的场景元素进行编码包括：确定所述第二内容类型的多个场景元素的优先级，所述第二内容类型的所述多个场景元素包括所转换的场景元素和从所述音频内容接收的所述第二内容类型的所述场景元素；基于所述第二内容类型的所述多个场景元素的所述优先级和所述目标比特率，将所述第二内容类型的自适应数量的所述多个场景元素编码到所述第二内容流中；基于所述目标比特率将所述第二内容类型的未被选择用于编码到所述第二内容流中的剩余场景元素编码到第三内容流中，所述第三内容流表示第三内容类型的编码；以及
生成所述传输流以包括所述第三内容流。8.根据权利要求6或7所述的方法，其中所述第一内容类型具有比所述第二内容类型更高质量的所述音频内容的声场表示，并且所述第二内容类型具有比所述第三内容类型更高质量的所述音频内容的声场表示。9.根据权利要求6或7所述的方法，其中用于支持所述第一内容类型的传输的比特率高于用于支持所述第二内容类型的传输的比特率，并且用于支持所述第二内容类型的传输的所述比特率高于用于支持所述第三内容类型的传输的比特率。10.根据权利要求6或7所述的方法，其中确定所述第二内容类型的所述多个场景元素的所述优先级包括：基于所述多个场景元素的空间显著性生成所述第二内容类型的所述多个场景元素的优先级排序，其中具有较高空间显著性的场景元素比具有较低空间显著性的场景元素具有更高质量的声场表示。11.根据权利要求6或7所述的方法，其中将所述第二内容类型的所述自适应数量的所述多个场景元素编码到所述第二内容流中包括：随着所述目标比特率改变，基于所选择的场景元素具有比所述第二内容类型的未被选择用于编码到所述第二内容流中的所述剩余场景元素的所述优先级更高的优先级，来选择所述第二内容类型的所述自适应数量的所述场景元素。12.根据权利要求1或7所述的方法，其中基于所述目标比特率将所述第一内容类型的未被选择用于编码到所述第一内容流中的所述剩余场景元素编码到所述第二内容流中包括：将所述第一内容类型的所述剩余场景元素的第一子集转换为所述第二类型的场景元素；基于所述目标比特率将所转换的场景元素编码到所述第二内容流中；基于所述目标比特率，将所述第一内容类型的所述剩余场景元素的未被转换为所述第二类型的场景元素的第二子集编码到第三内容流中，所述第三内容流表示第三内容类型的编码；以及生成所述传输流以包括所述第三内容流。13.根据权...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：苹果公司，
类型：发明
国别省市：