空间音频渲染和编码制造技术

一种编码器（501）生成通过第一缩混和表征音频对象的数据来表示音频场景的数据。此外，指示残余缩混的扩散程度的方向相关扩散参数被提供，其中残余缩混对应于在所述音频对象被提取的情况下的音频场景的音频分量的缩混。渲染设备（503）包括从编码器（501）接收数据的接收器（701）。电路（703）从音频对象为空间扬声器配置生成信号。变换器（709）通过对残余缩混应用第一变换为空间扬声器配置生成非扩散声信号，并且另一变换器（707）通过对残余缩混应用第二变换为空间扬声器配置生成信号，其通过对残余缩混应用解相关来实现。所述变换取决于方向相关扩散参数。信号被组合以便生成输出信号。

【技术实现步骤摘要】
【国外来华专利技术】空间音频渲染和编码
本专利技术涉及空间音频渲染和/或编码，并且具体地但不排他地，涉及具有不同的空间扬声器配置的空间音频渲染系统。
技术介绍
各种源信号的数字编码在过去数十年里已变得日益重要，因为数字信号表示和通信已日益代替模拟表示和通信。例如，诸如语音和音乐这样的音频内容是越来越多地基于数字内容编码的。音频编码格式已被开发来提供越来越有能力的、变化的且灵活的音频服务，并且特别地，支持空间音频服务的音频编码格式已被开发。像DTS和杜比数码（DolbyDigital）这样的众所周知的音频编码技术产生编码的多声道音频信号，所述编码的多声道音频信号将空间像表示为在固定位置处的收听者周围被放置的大量声道。对于与对应于多声道信号的设置不同的扬声器设置，空间像将是次优的。并且，这些基于声道的音频编码系统典型地不能够应付不同数目的扬声器。MPEG环绕提供多声道音频编码工具，所述多声道音频编码工具允许现有的基于单音或立体声的编码器被扩展到多声道音频应用。图1图示了MPEG环绕系统的元件的例子。使用通过对原始多声道输入的分析所获得的空间参数，MPEG环绕解码器能够通过单音信号或立体声信号的受控上混（upmix）来重建空间像以便获得多声道输出信号。因为多声道输入信号的空间像被参数化，所以MPEG环绕允许通过不使用多声道扬声器设置的渲染装置来解码相同的多声道比特流。例子是在头戴式耳机上的虚拟环绕重放，这被称为MPEG环绕双声道解码过程。在这种模式下，逼真的环绕体验能够在使用普通头戴式耳机时被提供。另一例子是高阶多声道输出（例如7.1声道）到低阶设置（例如5.1声道）的修剪。为了提供音频的更加灵活的表示，MPEG标准化了称为“空间音频对象编码”（MPEG-DSAOC）的格式。和诸如DTS、杜比数码以及MPEG环绕这样的多声道音频编码系统对比，SAOC提供对单独的音频对象而不是音频声道的高效编码。然而在MPEG环绕中，每个扬声器声道可以被认为源自声音对象的不同混合，SAOC使得单独的声音对象在解码器侧可得到以用于如图2中所图示的交互式操纵。在SAOC中，多个声音对象连同允许声音对象在渲染侧被提取的参数数据一起被编码成单音或立体声缩混（downmix），从而允许单独的音频对象可用于例如由终端用户操纵。实际上，类似于MPEG环绕，SAOC同样创建单音或立体声缩混。此外，对象参数被计算并且被包括。在解码器侧，用户可以操纵这些参数以便控制单独对象的各种特征，诸如位置、水平、均衡，或者甚至以便应用诸如混响这样的效果。图3图示了使得用户能够控制被包含在SAOC比特流中的单独对象的交互式接口。借助于渲染矩阵，单独的声音对象被映射到扬声器声道上。实际上，在用于渲染空间声音的渲染配置方面的变化和灵活性在近年来已随着越来越多的再现格式变得可供主流消费者使用而显著地增加。这需要音频的灵活表示。随着MPEG环绕编解码器的引入已采取了重要的步骤。然而，音频仍然针对特定扩音器设置被产生和发送。在不同的设置之上和在非标准（即，灵活的或用户定义的）扬声器设置之上的再现未被指定。这种问题能够部分地由SAOC解决，所述SAOC发送音频对象而非再现声道。这允许解码器侧将音频对象放置在空间中的任意位置处，只要该空间被扬声器充分地覆盖。这样，在被发送音频与再现设置之间不存在关系，因此任意扬声器设置能够被使用。这对于例如其中扬声器几乎从不在预定位置处的、典型起居室中的家庭影院设置来说是有利的。在SAOC中，在解码器侧判定对象在声音场景中被放置在的地方，其从艺术观点看常常不是期望的。SAOC标准确实提供了用来在比特流中发送默认渲染矩阵从而消除解码器职责的方式。然而，所提供的方法要么依赖固定的再现设置要么依靠未指定的语法。因此，SAOC没有提供独立于扬声器设置来发送音频场景的规范手段。更重要的是，SAOC没有准备好对于扩散信号分量的如实渲染。尽管存在包括所谓的多声道背景对象以便捕获扩散声的可能性，但是这个对象束缚于一个特定的扬声器配置。针对3D音频的音频格式的另一规范正由3D音频联盟（3DAA）开发，所述3D音频联盟（3DAA）是由SRS（声音检索系统）实验室所发起的行业联盟。3DAA致力于开发用于3D音频的传输的标准，这“将促进从当前扬声器馈送范式到灵活的基于对象的方法的转变”。在3DAA中，允许旧有多声道缩混连同单独的声音对象一起发送的比特流格式将被定义。此外，对象定位数据被包括。生成3DAA音频流的原理在图4中被图示。在3DAA方法中，声音对象在扩展流中被独立地接收，并且这些可以被从多声道缩混中提取。结果得到的多声道缩混连同单独地可用的对象一起被渲染。对象可以由所谓的符干（stems）构成。这些符干基本上是分组的（缩混的）音轨或对象。因此，对象可以由包装成符干的多个子对象构成。在3DAA中，多声道参考混合能够被与音频对象的选择一起发送。3DAA发送针对每个对象的3D位置数据。对象然后能够使用3D位置数据被提取。替换地，逆混合矩阵可以被发送，从而描述对象与参考混合之间的关系。根据3DAA的描述，声音场景信息很可能通过给每个对象分配角度和距离而被发送，从而指示对象应该相对于例如默认正向被放置在的地方。这对于点源来说是有用的，但是未能描述宽源（像例如合唱或欢呼）或扩散声场（诸如气氛）。当所有点源被从参考混合中提取时，环境多声道混合保持不变。与SAOC类似，3DAA中的残余对于特定扬声器设置而言是固定的。因此，SAOC和3DAA方法两者都合并了能够在解码器侧被单独地操纵的单独的音频对象的传输。两个方法之间的差别是SAOC通过提供相对于缩混表征对象的参数来提供关于音频对象的信息（即，使得音频对象在解码器侧从缩混生成），然而3DAA将音频对象作为完全且独立的音频对象（即，其能够在解码器侧从缩混独立地生成）来提供。典型的音频场景将包括不同类型的声音。特别地，音频场景将常常包括大量特定且空间定义明确的音频源。此外，音频场景可以典型地包含表示一般环境音频环境的扩散声分量。这样的扩散声可以包括例如混响效应、非定向噪声等。关键问题是如何处理这样的不同音频类型以及特别地如何在不同的扬声器配置中处理这样的不同类型的音频。诸如SAOC和3DAA这样的格式能够灵活地渲染点源。然而，尽管这样的方法可能优于基于声道的方法，但是扩散声源在不同的扬声器配置下的渲染是次优的。用于区分声音点源和扩散声的渲染的不同方法已在VillePulkki的文章“SpatialSoundReproductionwithDirectionalAudioCoding”,JournalAudioEngineeringSociety,Vol.55,No.6,June2007中被提出。该文章提出了一种被称为DirAC（定向音频编码）的方法，其中缩混连同使得能够在合成侧再现空间像的参数一起被发送。在DirAC中传送的参数通过方向和扩散分析被获得。具体地，DirAC公开了除传送针对声源的方位角和仰角之外，扩散指示也被传送。在合成期间，缩混被动态地划分成两个流，对应于非扩散声的一个，以及对应于扩散声的另一个。非扩散声流用针对点状声源的技术被再现，以及扩散声流通过针对感知缺少突出方向的声音的技术被渲染。文章中所描述的缩混是单音或本文档来自技高网...

【技术保护点】
一种空间音频渲染设备，包括：用于提供残余缩混和表征至少一个音频对象的数据的电路（701），残余缩混对应于在所述至少一个音频对象被提取的情况下的音频场景的音频分量的缩混；用于接收指示残余缩混的扩散程度的扩散参数的接收器（701）；用于通过对残余缩混应用第一变换为空间扬声器配置生成第一组信号的第一变换器（709），第一变换取决于扩散参数；用于通过对残余缩混应用第二变换为空间扬声器配置生成第二组信号的第二变换器（707），第二变换取决于扩散参数并且包括残余缩混的至少一个声道的解相关；用于从表征至少一个音频对象的数据为空间扬声器配置生成第三组信号的电路（703）；以及用于通过组合第一、第二以及第三组信号为空间扬声器配置生成输出的一组信号的输出电路（711）；并且其中，扩散参数是方向相关的。

【技术特征摘要】
【国外来华专利技术】2012.01.19 US 61/588,3941.一种空间音频渲染设备，包括：用于提供残余缩混和表征至少一个音频对象的数据的电路，残余缩混对应于在所述至少一个音频对象被提取的情况下的音频场景的音频分量的缩混；用于接收指示残余缩混的扩散程度的扩散参数的接收器（701）；用于通过对残余缩混应用第一变换为空间扬声器配置生成第一组信号的第一变换器（709），第一变换取决于扩散参数；用于通过对残余缩混应用第二变换为空间扬声器配置生成第二组信号的第二变换器（707），第二变换取决于扩散参数并且包括残余缩混的至少一个声道的解相关；用于从表征至少一个音频对象的数据为空间扬声器配置生成第三组信号的电路（703）；以及用于通过组合第一、第二以及第三组信号为空间扬声器配置生成输出的一组信号的输出电路（711）；并且其中，扩散参数是方向相关的。2.根据权利要求1所述的空间音频渲染设备，其中扩散参数包括针对残余缩混的不同声道的单独的扩散值。3.根据权利要求1所述的空间音频渲染设备，其中对于残余缩混的至少一个声道，在输出信号中相对于第一变换的贡献的第二变换的贡献因指示增加的扩散的扩散参数而增加。4.根据权利要求1所述的空间音频渲染设备，其中第一组信号和第二组信号的组合能量基本上与扩散参数无关。5.根据权利要求1所述的空间音频渲染设备，其中第二变换器（707）被布置成响应于与第二组信号中的第一信号相关联的扬声器位置到与第二组信号中的不同信号相关联的至少一个邻近扬声器位置的距离而调整第二组信号中的第一信号的音频水平。6.根据权利要求1所述的空间音频渲染设备，其中残余缩混包括比空间扬声器配置的扬声器位置的数目要少的声道，并且其中第二变换器（707）被布置成通过对残余缩混的至少第一声道应用多个解相关来生成第二组信号中的多个信号。7.根据权利要求6所述的空间音频渲染设备，其中第二变换器（707）被布置成通过对残余缩混的第二声道应用多个解相关来生成第二组信号中的另外的多个信号，第二声道不是至少第一声道中的声道。8.根据权利要求1所述的空间音频渲染设备，其中第二组信号包括比空间扬声器配置中的扬声器位置的数目要少的信号。9.根据权利要求1所述的空间...

【专利技术属性】
技术研发人员：JGH科彭斯，EGP舒伊杰斯，AWJ奧门，LM范德科霍夫，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL