用于平移音频对象的处理方法和系统技术方案

本发明专利技术涉及用于在多声道扬声器设置上平移音频对象的方法和系统。本发明专利技术涉及沿着轴处理音频对象的方法，所述音频对象包括音频对象横坐标和音频对象散布，所述方法用于在沿着所述轴对准的数量为N的多个声音换能器上对音频对象进行空间化恢复；所述声音换能器中的每一个包括换能器横坐标；N至少等于2；所述方法包括多个步骤。

【技术实现步骤摘要】
【国外来华专利技术】用于平移音频对象的处理方法和系统
本专利技术涉及用于在多声道扬声器设置上平移音频对象的声音处理方法和系统。
技术介绍
声音平移系统(soundpanningsystem)是音频制作和再现链的典型部件。它们已经普遍出现在电影混合阶段中达数十年，最近出现在电影院和家庭电影院中，并且允许使用多个扬声器来空间化音频内容。现代系统通常采用包括音频数据和依赖于时间的位置元数据的一个或多个音频输入流，并且将所述音频流动态地分发到多个扬声器，该多个扬声器空间布置是任意的。依赖于时间的位置元数据通常包括三维(3D)坐标，诸如笛卡尔坐标或球坐标。通常使用类似的3D坐标来描述扬声器空间布置。理想地，所述平移系统考虑扬声器的空间位置和音频节目的空间位置，并动态地调整输出扬声器增益，使得被平移的流的被感知的位置是输入元数据的位置。典型的平移系统在给定位置元数据的情况下计算N个扬声器增益的集合，并将所述N个增益应用于输入音频流。已经开发了许多用于研究或剧场设施的平移系统技术。自从Blumlein工作以来，尤其是在GB394325中，立体声系统就已经为人所知，其后是如US2298618中所述的用于Fantasia电影的系统，以及诸如WarnerPhonic之类的其它电影相关系统。立体声乙烯基盘的标准化允许立体声音频系统的大规模大众化。然后对内容创建系统(尤其是混音台)的调整是强制性的，因为它们只能进行单声混音(monophonicsoundmixing)。开关被添加到控制台以将声音引导到一个声道，或同时引导到两个声道。这种离散平移系统被广泛使用直到1960年代中期，在1960年代中期的时侯双电位计系统被引入以便允许立体声平移的连续变化而不使原始信号劣化。基于相同的重新分割原理，此后所谓的环绕平移系统被引入以允许在多于两个声道上分发单声信号，例如在电影音轨的上下文中，其中使用三到七个声道是普遍的。最常见的实现，通常称为“成对平移”，由双立体声平移系统组成，一个用于左-右分发，以及另一个用于前-后分发。然后，通过添加第三平移系统以管理水平换能器层之间的上-下声音重新分割来将这样的系统扩展到三维是平凡的。但是，在一些情况下，必须将换能器定位在左-右或前-后位置之间，例如中央声道被放置在左声道和右声道的中间并且用于电影音轨中的对话。这要求立体声平移系统的实质性修改。实际上，出于美学或技术原因，可以期望经由左声道和右声道或者单独经由中央声道或者甚至同时经由三个声道来重放中央信号。诸如DolbyAtmos或Auro-Max之类的基于对象的音频格式的出现最近需要在中间位置添加附加的换能器，例如沿着电影院的墙壁添加，以便确保所述音频对象的良好定位精度。这种系统通常由上面提到的所谓的成对平移系统管理，其中换能器被成对使用。除了其它原因之外，这种成对平移系统的使用还可以通过房间中的换能器组的对称性来证明其合理性。在这种系统中使用的坐标通常是笛卡尔坐标，并且假设换能器沿着房间的面围绕观众定位。公开了其它方法，诸如基于向量的幅度平移(VBAP)，一种允许计算位于三角形3D网格的顶点上的换能器的增益的算法。进一步的发展允许VBAP在包括四边形面(WO2013181272A2)或任意n边形(WO2014160576)的布置上使用。VBAP最初是为了在任意布置上产生点源平移而开发的。在“Uniformspreadingofamplitudepannedvirtualsources”(Proc.1999IEEEWorkshoponApplicationsofSignalProcessingtoAudioandAcoustics，新帕尔茨，纽约，1999年10月17-20日)中，Pulkki提出了对VBAP的新增加，即用于允许源的均匀散布(spread)的多向幅度平移(MDAP)。该方法基本上涉及在原始源位置周围的附加源，然后使用VBAP平移这些附加源并将其叠加到原始平移增益。如果需要非均匀散布，或者更一般地在三维平移情况下的密集扬声器布置上，那么附加源的数量可以非常高并且计算开销将是大量的。MDAP是在MPEG-HVBAP渲染器中使用的方法。类似地，在三维平移方法的上下文中，WO2014159272(Renderingofaudioobjectswithapparentsizetoarbitraryloudspeakerlayouts)引入了源宽度技术，该技术基于在初始源周围创建多个虚拟源，其贡献最终总计为形成换能器增益。在“Anoptimizationapproachtocontrolsoundsourcespreadwithmultichannelamplitudepanning”(Proc.CSV24，伦敦，2017年7月23-27日)中，Franck等提出了用于源宽度控制的另一种方法，该方法基于凸优化技术，这种方法在没有源宽度的情况下将自身还原为VBAP。一些虚拟源方法还涉及去相关(decorrelation)步骤，诸如WO2015017235。基于声场的球谐函数表示的高保真度立体声响复制(Ambisonics)也已被广泛用于音频平移(最近的示例在WO2014001478中给出)。原始高保真度立体声响复制平移技术中的最重要的缺点是扬声器布置应在3D空间中尽可能规则，从而强制使用规则布局，诸如扬声器位于柏拉图立体或者3D球体的其它最大程度地规则的棋盘形布置的顶点处。这种约束常常限制高保真度立体声响复制平移用于特殊情况。为了克服这些限制，使用例如VBAP和高保真度立体声响复制二者的混合方法已经在WO2011117399中公开，并且在WO2013143934中进一步完善。高保真度立体声响复制的另一个问题是点源几乎从不会仅被一个或两个扬声器重放：因为该技术基于在给定位置中或在给定空间中声场的重建，对于单个点源来说，大数量的扬声器将发射可能相移的信号。虽然它理论上允许在具体位置中的声场的完美重建，但这种行为也意味着在这方面偏离中心的收听位置在某种程度上是次优的：在一些情况下，优先效应将使得点源被感知为来自空间中的非预期位置。还提出了能够使用完全任意空间布局的其它方法，例如基于距离的音频平移(DBAP)(“Distance-basedAmplitudePanning”，Lossius等，ICMC2009)。在“Evaluationofdistancebasedamplitudepanningforspatialaudio”中，与三阶高保真度立体声响复制相比，DBAP显示出令人满意的结果，尤其是当收听者关于扬声器布置是偏离中心的时，并且DBAP还显示出在大多数配置中表现得非常类似于VBAP。DBAP最突出的问题是选择基于距离的衰减规律(attenuationlaw)，这对算法至关重要。如US20160212559中所示，由于该算法不考虑空间扬声器密度的事实，常数规律(constantlaw)只能处理规则布置，并且DBAP在不规则的空间扬声器布置方面有问题。还提出了扬声器放置校正幅度平移(SPCAP)(“Anovelmultichannelpanningmethodforstandardandarbitraryloudspeakerconfiguratio本文档来自技高网...

【技术保护点】
1.一种沿着轴处理音频对象的方法，所述音频对象(151)包括音频对象横坐标和音频对象散布，所述方法用于在沿着所述轴对准的数量为N的多个声音换能器上对音频对象进行空间化恢复；所述声音换能器中的每一个包括换能器横坐标(152)；N至少等于2；所述方法包括以下步骤：·执行第一处理(110)，所述第一处理(110)包括将所述多个声音换能器中的每一个的换能器横坐标(152)和音频对象横坐标(151)映射在圆象限上，为所述多个换能器产生N个换能器角度(154)以及为所述音频对象产生一个音频对象角度(153)；·执行包括以下子步骤的第三处理(130)：ο(132)经由

【技术特征摘要】
【国外来华专利技术】2017.01.27 EP 17153650.11.一种沿着轴处理音频对象的方法，所述音频对象(151)包括音频对象横坐标和音频对象散布，所述方法用于在沿着所述轴对准的数量为N的多个声音换能器上对音频对象进行空间化恢复；所述声音换能器中的每一个包括换能器横坐标(152)；N至少等于2；所述方法包括以下步骤：·执行第一处理(110)，所述第一处理(110)包括将所述多个声音换能器中的每一个的换能器横坐标(152)和音频对象横坐标(151)映射在圆象限上，为所述多个换能器产生N个换能器角度(154)以及为所述音频对象产生一个音频对象角度(153)；·执行包括以下子步骤的第三处理(130)：ο(132)经由对于所述多个换能器中的每一个计算有效换能器数量(159)，ο(133)经由为所述多个换能器中的每一个计算换能器增益Pi(160)i∈[1..N]·执行包括以下子步骤的第四处理(140)：ο(142)通过将所述增益(162)除以所述有效换能器数量(159)，为数量为N的所述多个换能器中的每一个计算初始增益值Gi(163)ο(143)通过经由计算总发射功率和经由为数量为N的所述多个换能器中的每一个计算校正的增益(164)来确保功率守恒；其特征在于：·所述方法还包括执行包括以下子步骤的第二处理(120)：ο(122)从所述多个换能器识别最接近音频对象的第一换能器α(155)和第二换能器β(156)，以及ο(123)根据立体声平移规律在所述第一换能器α(155)和所述第二换能器β(156)上计算增益Qα(157)和Qβ(158)；·所述第三处理(130)还包括：ο附加子步骤(131)：创建包括基本上等于所述音频对象角度(153)的虚拟换能器角度的虚拟换能器，并将所述虚拟换能器角度添加到数量为N的换能器角度(154)的列表，从而创建数量为N+1的换能器角度的扩展列表；ο修改的子步骤(133)：计算所述换能器增益，所述子步骤(133)通过还包括经由下式计算与所述虚拟换能器角度对应的虚拟换能器增益PN+1(161)来进行修改，·所述第四处理(140)还包括：ο附加子步骤(141)：通过使用在第二处理(120)中计算出的所述增益Qα(157)和Qβ(158)来在所述第一换能器α(155)和所述第二换能器β(156)上重新分发所述虚拟换能器增益PN+1(161)，根据其中i＝α或i＝β来为所述第一换能器α(155)产生修改的增益P′α(162)以及为所述第二换能器β(156)产生修改的增益P′β(162)；其中所述初始增益值Gi(163)的所述计算是利用所述第一换能器α(155)的所述修改的增益P′α(162)而不是所述增益Pα以及所述第二换能器β(156)的所述修改的增益P′β(162)而不是所述增益Pβ进行的。2.如权利要求1所述的方法，其中所述立体声平移规律是以下中的任何一个或任意组合：正切平移规律，sin-cos平移规律。3.一种处理音频对象的方法，用于在数量为N的多个声音换能器上对音频对象进行空间化恢复，所述多个声音换能器位于包括天花板、前壁和侧壁的平行六面体房间的内表面上；N至少等于2，所述声音换能器根据包括X轴、Y轴和Z轴的XYZ标准正交坐标系来定位，由此所述Z轴朝着所述天花延板伸并与所述天花板正交，Y轴朝着所述前壁延伸并与所述前壁正交，并且X轴朝着所述侧壁延伸并与所述侧壁正交，其中所述音频对象和所述换能器中的每一个对于横坐标包括相对于所述XYZ标准正交坐标系的笛卡尔坐标(200)；其中所述音频对象包括相对于所述XYZ标准正交坐标系的散布值，其中所述方法包括以下步骤：-在第一步骤(201)中，仅使用所述多个换能器的Z横坐标以及Z散布值，获得所述多个换能器中的每一个的Z增益(207)，-在第二步骤(202)中，针对换能器布置确定唯一Z坐标列表，从而有效地构建Z层，-在第三步骤(203)中，对于所述Z层中的每一个，仅使用所述Z层的换能器的Y横坐标和Y散布值，并且对于所述多个换能器中的每一个获得Y增益(208)，-在第四步骤(204)中，对于每个所述Z层，确定唯一Y坐标列表，从而有效地构建Y行，-在第五步骤(205)中，对于每个Z层并且对于每个Y行，仅使用该行的换能器的X横坐标和X散布值，获得所述多个换能器中的每一个的X增益(209)，-在第六步骤(206)中，使所述X增益(209)、Y增益(208)和Z增益(207)逐个地相乘，并应用2-范数归一化以获得整个换能器布置的最终换能器增益(210)，其特征在于：-利用如权利要求1-2所述的方法沿着Z轴执行第一步骤(201)中的所述Z增益(207)的所述确定，-利用如权利要求1-2所述的方法沿着Y轴执行第三步骤(203)中的所述Y增益(207)的所述确定，-利用如权利要求1-2所述的方法沿着X轴执行第五步骤(205)中的所述X增益(207)的所述确定。4.一种处理音频对象的方法，用于在位于球体的内表面上的数量为N的多个换能器上对音频对象进行空间化恢复，N至少等于2；所述音频对象包括音频对象位置和音频对象散布；所述方法包括以下步骤：·执行包括以下子步骤的第一处理(301)：ο基于所述多个换能器、音频对象位置和音频对象散布(预先)计算有效换能器数量βi，以及ο通过1和βi的原始值之间的仿射函数来修改βi，从而产生修改的有效换能器数量(313)；·对于给定的对象坐标执行第二处理，包括ο第一步骤(302)：为网格中每个刻面计算VBAP增益，并找到每个换能器增益Qi都为正的封闭刻面，并丢弃其它增益，从而产生三个VBAP增益(314)，ο第二步骤(303)：在换能器布置中创建虚拟换能器，所述虚拟换能器位于对象位置(311)处，使得修改的布置包括N+1个换能器，ο第三步骤(304)：为N+1个换能器计算原始SPCAP增益(315)，ο第四步骤(305)：通过使用上面在上述第一步骤(302)中计算出的三个VBAP增益Qi(312)和原始SPCAP增益(315)来重新分发为虚拟的第(N+1)个换能器计算的增益，从而产生N个修改的SPCAP增益(316)，ο第五步骤(306)：通过将原始SPCAP增益(316)除以由上述第一系统预先计算的修改的有效换能器数量(313)来计算初始增益值Gi(317)以及ο第六步骤(307)：通过计算总发射功率以及通过划分初始增益(317)来为每个换能器产生校正的增益(318)来确保功率守恒，其特征在于：·所述有效换能器数量(313)的计算使用以下公式：·第二处理的第三步骤(304)使用以下公式：其中θis是源和换能器之间的角度；·第二处理的第四步骤(305)使用以下公式：i使得扬声器i属于有源VBAP刻面。5.一种用于沿着轴处理音频对象的系统，所述音频对象(151)包括音频对象横坐...

【专利技术属性】
技术研发人员：B·伯纳德，F·贝克尔，
申请(专利权)人：奥罗技术公司，
类型：发明
国别省市：比利时,BE