用于自适应音频的混合型基于优先度的渲染系统和方法技术方案

本发明专利技术涉及用于自适应音频的混合型基于优先度的渲染系统和方法。实施例针对通过以下步骤来渲染自适应音频的方法：接收包括基于声道的音频、音频对象以及动态对象的输入音频，其中，动态对象被分类为一组低优先度动态对象和一组高优先度动态对象；在音频处理系统的第一渲染处理器中渲染基于声道的音频、音频对象以及低优先度动态对象；并且在音频处理系统的第二渲染处理器中渲染高优先度动态对象。渲染音频然后经过虚拟化和后处理步骤以便通过条形音箱和其他类似的具有有限高度能力的扬声器回放。器回放。器回放。

【技术实现步骤摘要】
用于自适应音频的混合型基于优先度的渲染系统和方法
[0001]本申请是申请号为202010452760.1、申请日为2016年2月4日、专利技术名称为“用于自适应音频的混合型基于优先度的渲染系统和方法”的专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求2015年2月6日提交的美国临时专利申请No.62/113268的优先权，该申请全文通过引用并入于此。


[0004]一个或多个实现总体上涉及音频信号处理，更具体地涉及一种用于自适应音频内容的混合型基于优先度的渲染策略。

技术介绍

[0005]数字影院的引入和真实三维(“3D”)或虚拟3D内容的开发创建了新的声音标准，诸如音频的多个声道的合并以允许内容创建者的创造力更大并且观众的听觉体验更有包围感且更逼真。作为用于分发空间音频的手段，扩展超出传统的扬声器馈送和基于声道的音频是关键的，并且对于基于模型的音频描述一直存在相当大的兴趣，基于模型的音频描述允许收听者选择期望的回放配置，从而特别针对他们选择的配置渲染音频。声音的空间呈现利用音频对象，音频对象是具有视在源位置(例如，3D坐标)、视在源宽度和其他参数的相关参数化源描述的音频信号。进一步的发展包括下一代空间音频(也被称为“自适应音频”)格式已经被开发，该空间音频格式包括音频对象和传统的基于声道的扬声器馈送、连同音频对象的位置元数据的混合。在空间音频解码器中，声道被直接传输到它们相关联的扬声器，或者被下混到现有的扬声器组，并且音频对象被解码器以灵活的(自适应的)方式渲染。与每个对象相关联的参数化源描述(诸如3D空间中的位置轨迹)连同连接到解码器的扬声器的数量和位置一起被取作输入。渲染器然后利用某些算法(诸如平移法则)来在所附连的一组扬声器上分发与每个对象相关联的音频。每个对象的创作空间意图因此被最佳地呈现在收听房间里存在的特定扬声器配置上。
[0006]高级的基于对象的音频的出现显著地提高了传输到各种不同扬声器阵列的音频内容的性质以及渲染处理的复杂度。例如，影院声轨可以包括与屏幕上的图像、对话、噪声以及从屏幕上的不同地方发出的声效相对应的许多个不同的声音元素，并且与背景音乐和环境效果组合以创建总体听觉体验。准确的回放要求以在声源位置、强度、移动和深度方面与屏幕上的显示内容尽可能紧密地对应的方式再现声音。
[0007]尽管高级的3D音频系统(诸如Atmos
TM
系统)大部分是针对影院应用设计和部署的，但是消费者级系统正被开发以将影院级的、自适应的音频体验带到家庭环境和办公室环境。与影院相比，这些环境在场地大小、声学特性、系统功率以及扬声器配置方面受到明显的约束。目前的专业级空间音频系统因此需要适于将高级对象音频内容渲染到以不同的扬声器配置和回放能力为特征的收听环境。为此，已经开发出了某些虚拟化技术来扩展传统的立体声或环绕声扬声器阵列的能力，从而通过使用复杂的渲染算法和技术(诸
如内容相关的渲染算法、反射声传输等)来重建空间声音提示。这样的渲染技术已经导致开发出了为了渲染不同类型的自适应音频内容(诸如对象音频元数据内容(OAMD)床和ISF(中间空间格式)对象)而优化的基于DSP的渲染器和电路。已经开发出了不同的DSP电路来利用自适应音频的关于渲染特定OAMD内容的不同特性。然而，这样的多处理器系统需要针对各处理器的存储器带宽和处理能力进行优化。
[0008]因此需要一种为用于自适应音频的多处理器渲染系统中的两个或更多个处理器提供可伸缩处理器负荷的系统。
[0009]在家里越来越多地采用基于环绕声和影院的音频也已经导致开发出了超出标准的两路或三路直立型或书架型扬声器的不同类型和配置的扬声器。已经开发出了不同扬声器来回放特定内容，诸如作为5.1或7.1系统的一部分的条形音箱(soundbar)扬声器。条形音箱表示其中两个或更多个驱动器并置在单个外壳(扬声器箱体)中并且典型地沿着单个轴排列的一类扬声器。例如，流行的条形音箱典型地包括在矩形箱体中排成一行的4
‑
6个扬声器，该矩形箱体被设计为装在电视机或计算机监视器的顶部、下面或正前方以将声音直接传输出屏幕。由于条形音箱的配置，与通过物理放置(例如，高度驱动器)或其他技术提供高度提示的扬声器相比，某些虚拟化技术可能难以实现。
[0010]因此进一步需要一种对自适应音频虚拟化技术进行优化以通过条形音箱扬声器系统回放的系统。
[0011]背景部分中所讨论的主题不应仅由于它在背景部分中被提及就假定是现有技术。类似地，背景部分中所提及的问题或者与背景部分的主题相关联的问题不应被假定为以前已经在现有技术中被认识到。背景部分中的主题仅表示不同的方法，这些方法本身也可以是专利技术。Dolby、Dolby TrueHD和Atmos是杜比实验室许可公司的商标。

技术实现思路

[0012]描述了关于一种通过以下步骤来渲染自适应音频的方法的实施例：接收包括基于声道的音频、音频对象以及动态对象的输入音频，其中，动态对象被分类为低优先度动态对象的集合和高优先度动态对象的集合；在音频处理系统的第一渲染处理器中渲染基于声道的音频、音频对象和低优先度动态对象；以及在音频处理系统的第二渲染处理器中渲染高优先度动态对象。输入音频可以根据包括音频内容和渲染元数据的基于对象音频的数字比特流格式进行格式化。基于声道的音频包括环绕声音频床，音频对象包括符合中间空间格式的对象。低优先度动态对象和高优先度动态对象由优先度阈值区分，优先度阈值可以由以下中的一个定义：包括输入音频的音频内容的创作者、用户选择的值以及由音频处理系统执行的自动化处理。在实施例中，优先度阈值被编码在对象音频元数据比特流中。低优先度音频对象和高优先度音频对象的音频对象的相对优先度可以由它们各自在对象音频元数据比特流中的位置确定。
[0013]在实施例中，所述方法进一步包括：在基于声道的音频、音频对象和低优先度动态对象在第一渲染处理器中被渲染以生成渲染音频期间或之后，穿过第一渲染处理器将高优先度音频对象传递到第二渲染处理器；并且对渲染音频进行后处理以便传输到扬声器系统。后处理步骤包括以下中的至少一个：上混、音量控制、均衡化、低音管理以及用于促进输入音频中存在的高度提示的渲染以便通过扬声器系统回放的虚拟化步骤。
[0014]在实施例中，扬声器系统包括条形音箱扬声器，该条形音箱扬声器具有沿着单个轴传输声音的多个并置驱动器，并且第一渲染处理器和第二渲染处理器被体现在通过传输链路耦接在一起的单独的数字信号处理电路中。优先度阈值由以下中的至少一个确定：第一渲染处理器和第二渲染处理器的相对处理能力、与第一渲染处理器和第二渲染处理器中的每个渲染处理器相关联的存储器带宽以及传输链路的传输带宽。
[0015]实施例进一步针对一种通过以下步骤来渲染自适应音频的方法：接收包括音频分量和相关联的元数据的输入音频比特流，音频分量每个均具有选自以下的音频类型：基于声道的音频、音频对象以及动态对象；基于各自的音频类型来确定每个音频分量的解码器格式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渲染自适应音频的方法，包括：接收输入音频，所述输入音频包括静态的基于声道的音频和至少一个动态对象，其中，所述动态对象基于优先度值被分类为低优先度动态对象和高优先度动态对象；渲染所述动态对象，包括使用第一渲染处理渲染低优先度动态对象以及使用第二渲染处理渲染高优先度动态对象，其中，基于为第一渲染处理和第二渲染处理中的每一个提供的相应的处理能力，第一渲染处理不同于第二渲染处理，其中，所述动态对象的渲染包括基于所述优先度值与优先度阈值的比较来将动态对象分类为低优先度动态对象或高优先度动态对象，并且其中，所述动态对象的渲染包括基于所述分类来选择第一渲染处理或第二渲染处理，并且与所述分类独立地渲染所述基于声道的音频。2.如权利要求1所述的方法，其中，所述基于声道的音频包括环绕声音频床，并且所述输入音频还包括符合中间空间格式的音频对象，并且所述基于声道的音频是使用第一渲染处理来渲染的。3.如权利要求1所述的方法，还包括对渲染的音频进行后处理以便传输到扬声器系统。4.如权利要求3所述的方法，其中，所述后处理步骤包括以下中的至少一个：上混、音量控制、均衡化、和低音管理。5.如权利要求4所述的方法，其中，后处理步骤还包括虚拟化步骤，从而促进所述输入音频中存在的高度提示的渲染以便通过扬声器系统回放。6.如权利要求2所述的方法，其中，第一渲染处理是在第一渲染处理器中执行的，所述第一渲染处理器被优化以渲染基于声道的音频和静态对象；...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：