指示游戏音频内容的基于对象的音频的编码和呈现制造技术

在一些实施例中，一种方法(典型地由游戏控制台执行)用于产生基于对象的音频节目，所述基于对象的音频节目指示游戏音频内容(与玩游戏或者游戏中的事件相关的音频内容，可选地，还有关于该游戏的其他信息)，并且包括至少一个音频对象通道和至少一个扬声器通道。在其他实施例中，游戏控制台被配置为产生这样的基于对象的音频节目。一些实施例实现对象聚类，在所述对象聚类中，将输入对象的音频内容混合以产生至少一个聚类的音频对象，或者将至少一个输入对象的音频内容与扬声器通道音频混合。响应于所述节目，空间呈现系统(例如，在游戏控制台的外部)可以在了解回放扬声器配置的情况下进行操作以产生扬声器馈送，所述扬声器馈送指示所述节目的扬声器和对象通道内容的空间混合。

【技术实现步骤摘要】
【国外来华专利技术】指示游戏音频内容的基于对象的音频的编码和呈现相关申请的交叉引用本申请要求2012年8月7日提交的美国临时专利申请No.61/580,559和2013年7月31日提交的美国临时专利申请No.61/860,357的优先权，这些专利申请的全部内容通过引用并入这里。
本专利技术涉及音频信号处理，并且更特别地，涉及音频数据比特流的编码和呈现(render)，所述音频数据比特流包括至少一个音频对象通道和对象相关元数据以及扬声器通道，并且指示游戏的音频内容。一些实施例是被配置为产生这样的编码的音频数据比特流的游戏控制台。一些实施例产生、解码和/或呈现已知为DolbyDigital(AC-3)或DolbyDigitalPlus(EnhancedAC-3或E-AC-3)的格式之一的音频数据。
技术介绍
Dolby、DolbyDigital和DolbyDigitalPlus是DolbyLaboratoriesLicensingCorporation(杜比实验室特许公司)的商标。杜比实验室提供分别已知为DolbyDigital和DolbyDigitalPlus的AC-3和E-AC-3的专有实现。音频在玩视频游戏的体验中是关键组成，并且随着行业增长，生成游戏声音的技术变得越来越复杂。当代游戏中的游戏声音是使用音频对象生成的，这些音频对象在游戏控制台中经过处理以产生基于扬声器通道的节目(有时称之为基于扬声器通道的“混合”)。包括若干个扬声器通道的混合典型地被编码(例如，被编码为AC-3或E-AC-3比特流)，并且编码的音频被递送到呈现系统。为了实现回放，呈现系统响应于编码的音频所指示的扬声器通道产生扬声器馈送。图1是典型的常规游戏控制台(当代游戏控制台之一)的音频处理元件的框图。典型地，在常规游戏中听到的声音中的许多声音被存储为单独的单通道文件(除了一些周围环境音轨和音乐音轨之外，这些音轨典型地被存储为2通道或5通道文件)，并且对于这些文件的访问由在玩游戏期间发生的事件触发。在图1中被标记为“音频资源”的音频数据是这样的存储的音频文件的例子。典型的游戏控制台包括音频引擎(例如，图1系统的游戏音频引擎1)，该音频引擎被配置为管理被存储的音频文件的库、监视游戏状态/用户输入、在适当的时间播放音频文件中的适当的一个音频文件、相应地定位所访问的声音(以使得它们在回放期间将被感知为是从适当的位置发出的)、然后最后产生基于扬声器通道的混合(例如，从图1的引擎1输出的5.1扬声器通道PCM音频)。游戏控制台典型地还包括音频混合器(例如，图1系统的游戏控制台音频混合器3)，该音频混合器耦合并且配置为用系统声音、警报、额外的音乐(以及可选地，其他音频内容)增补基于扬声器通道的混合。游戏控制台典型地还包括编码器(例如，图1系统的编码器5)，该编码器耦合并且配置为(实时地)对修改的(混合的)基于扬声器通道的混合(例如，从图1的混合器3输出的5.1扬声器通道PCM)进行编码以产生编码的音频比特流(例如，从图1的编码器5输出的具有AC-3格式的编码的比特流)以用于递送到(典型地，通过S/PDIF链路发送到)呈现系统进行呈现。图1系统的编码器5可以实现为常规的“DolbyDigitalLive(杜比数字实时)”编码器，该编码器响应于来自混合器3的5.1扬声器通道PCM音频输出经编码的AC-3比特流。常常在常规的游戏音频产生期间，当创建基于扬声器通道的混合(例如，从图1的引擎1或混合器3输出的基于扬声器通道的混合，该混合包括扬声器通道，但是不包括任何对象通道，或者从图1的编码器5输出的基于扬声器通道的混合的编码版本，该编码版本也指示扬声器通道，但是不指示任何对象通道)时，原始的基于对象的音频内容(例如，图1系统的音频资源)的大部分空间信息丢失。当最终的回放系统没有准确地呈现基于扬声器通道的混合时，最终的收听者体验也将受损。专利技术人认识到，希望地是在由游戏控制台产生(并且从该控制台输出以便进行呈现)的编码的音频中不仅包括扬声器通道，而且还包括指示至少一个音频对象(例如，指示响应于在玩游戏期间发生的事件从文件读取的或者以其他方式访问的所存储的音频内容)的至少一个对象通道以及关于至少一个这样的音频对象的描述性信息(元数据)(例如，回放期间作为时间的函数的、每个音频对象的位置轨迹和感知大小)包括在所述编码的音频中。因此，本专利技术游戏控制台的典型实施例被配置为产生基于对象的音频节目(指示游戏音频内容)，并且典型地还输出该节目以便递送到了解回放系统扬声器配置的外部空间呈现系统(例如，装置)。典型地，用于呈现基于对象的音频节目的空间呈现系统可操作为产生扬声器馈送，这些扬声器馈送指示该节目的扬声器通道和对象通道内容的适当的空间混合。已知利用高端回放系统(例如，在电影院里)来呈现基于对象的音频节目。例如，作为电影原声音乐的基于对象的音频节目可以指示许多不同的声音元素(音频对象)，这些声音元素对应于屏幕上的图像、对话、噪声和从屏幕上的(或者相对于屏幕的)不同地方发出的声音效果、以及用以创建预期的总体听觉体验的背景音乐和周围环境效果(这些可以由节目的扬声器通道指示)。这样的节目的准确回放要求关于音频对象大小、位置、强度、移动和深度以尽可能接近地对应于内容创建者的意图的方式再现声音。基于对象的音频节目表示优于常规的基于扬声器通道的音频节目的显著改进，这是因为基于扬声器通道的音频就特定音频对象的空间回放而言比基于对象通道的音频更加受限。基于扬声器通道的音频节目仅由扬声器通道构成(而不由对象通道构成)，并且每个扬声器通道典型地确定在收听环境中的对于特定的单独扬声器的扬声器馈送。已经提出了用于产生并且呈现基于对象的音频节目的各种方法和系统。在产生基于对象的音频节目期间，典型地假定任意数量的扩音器将用于回放该节目，并且(典型地，在电影院里)将用于回放的扩音器在回放环境中将被安置在任意位置；不一定在(标称)水平平面中或者在产生节目时已知的任何其他预定布置中。典型地，节目中所包括的对象相关元数据指示呈现参数，这些呈现参数用于例如使用三维扬声器阵列在视在空间位置处或者沿着轨迹(在三维体积中)呈现该节目的至少一个对象。例如，节目的对象通道可以具有相应的元数据，该元数据指示在该处对象(由对象通道指示)将被呈现的视在空间位置的三维轨迹。轨迹可以包括“底层”位置(在回放环境的被假定为位于底层上的扬声器子集的平面中，或者在回放环境的另一水平平面中)的序列和“高于底层”位置(每个通过驱动被假定为位于回放环境的至少一个其他水平平面中的扬声器子集而确定)的序列。例如在PCT国际申请No.PCT/US2001/028783中描述了呈现基于对象的音频节目的例子，该申请于2011年9月29日以国际公开No.WO2011/119401A2被公开，并且被转让给本申请的受让人。基于对象的音频节目的呈现的出现显著地增加了经过处理的音频数据的量和呈现系统必须执行的呈现的复杂度，部分是因为基于对象的音频节目可指示许多对象(每个具有相应的元数据)，并且可针对包括许多扩音器的系统的回放来进行呈现。已经提出了限制基于对象的音频节目中所包括的对象通道的数量以使得预期的呈现系统具有呈现该节目的能力。例如，2012年12月21日本文档来自技高网...

【技术保护点】
一种用于产生基于对象的音频节目的方法，所述基于对象的音频节目指示游戏音频内容，并且包括至少一个音频对象通道和至少一个扬声器通道，所述方法包括以下步骤：(a)确定至少一个音频对象通道，其中，每个所述音频对象通道指示至少一个音频对象，并且至少一个所述音频对象通道指示游戏音频内容；(b)确定至少一个扬声器通道，其中，至少一个所述扬声器通道指示附加游戏音频内容；和(c)产生基于对象的音频节目，包括通过对指示每个所述音频对象通道和每个所述扬声器通道的数据进行编码来产生基于对象的音频节目。

【技术特征摘要】
【国外来华专利技术】2012.08.07 US 61/680,559;2013.07.31 US 61/860,3571.一种用于产生基于对象的音频节目的方法，所述基于对象的音频节目指示游戏音频内容，所述方法包括以下步骤：(a)确定至少一个音频对象通道，其中，每个所述音频对象通道指示至少一个音频对象，并且至少一个所述音频对象通道指示游戏音频内容；(b)确定至少一个扬声器通道，所述至少一个扬声器通道与第一扬声器配置相关联，其中，至少一个所述扬声器通道指示附加游戏音频内容；和(c)产生基于对象的音频节目，包括通过对指示每个所述音频对象通道和每个所述扬声器通道的数据进行编码来产生基于对象的音频节目，其中，步骤(a)包括以下步骤：(d)识别指示游戏音频内容的输入音频对象集合，其中，所述集合由N个音频对象构成，并且N是正整数；和(e)用缩减的音频对象集合取代所述输入音频对象集合，其中，所述缩减的集合由M个音频对象构成，并且M为小于N的正整数，并且所述至少一个音频对象通道指示所述缩减的音频对象集合，并且其中，步骤(c)包括以下步骤：产生所述基于对象的音频节目，以使得所述基于对象的音频节目指示所述缩减的音频对象集合，并且包括M个对象通道和与第二扬声器配置相关联的至少一个扬声器通道，所述第二扬声器配置与所述第一扬声器配置不同。2.根据权利要求1所述的方法，还包括如下步骤：操作游戏控制台来玩游戏，包括通过访问指示至少一个所述音频对象的数据来玩游戏，并且其中，步骤(a)、(b)和(c)由所述游戏控制台在玩游戏期间执行。3.根据权利要求2所述的方法，还包括以下步骤：将配置数据断言到所述游戏控制台，并且其中，执行对象聚类的步骤是响应于配置数据来确定将包括在所述基于对象的音频节目中的有限数量的音频对象通道。4.根据权利要求2所述的方法，其中，与输入对象通道相关联的对象相关元数据指示所述输入对象通道指示从大型源发出的声音，并且其中，步骤(b)包括执行对象聚类的所述步骤，对象聚类的所述步骤响应于对象相关元数据被执行以将所述输入对象通道的音频内容与至少一个输入扬声器通道的音频内容混合以确定至少一个所述扬声器通道。5.根据权利要求2所述的方法，其中，与输入对象通道相关联的对象相关元数据指示所述输入对象通道指示混响声音，并且其中，步骤(b)包括执行对象聚类的所述步骤，对象聚类的所述步骤响应于所述对象相关元数据被执行以将所述输入对象通道的音频内容与至少一个输入扬声器通道的音频内容混合以确定至少一个所述扬声器通道。6.根据权利要求2所述的方法，其中，与输入对象通道相关联的对象相关元数据指示所述输入对象通道指示混响声音，并且其中，步骤(a)和(b)包括以下步骤：响应于所述对象相关元数据，确定所述混响声音的干涩版本，并且产生指示所述混响声音的干涩版本的混响的音频内容；确定指示所述混响声音的干涩版本的一个所述音频对象通道；和确定指示所述混响声音的干涩版本的混响的至少一个所述扬声器通道。7.根据权利要求1所述的方法，其中，所述基于对象的音频节目是AC-3或E-AC-3比特流。8.根据权利要求1所述的方法，还包括以下步骤：响应于所述基于对象的音频节目，操作空间呈现系统来产生扬声器馈送，所述扬声器馈送指示每个所述扬声器通道和每个所述音频对象通道的音频内容的混合。9.根据权利要求1所述的方法，其中，步骤(e)包括以下步骤：将所述输入音频对象中的至少两个输入音频对象的音频内容混合以产生至少一个聚类的音频对象。10.根据权利要求1所述的方法，其中，步骤(e)包括以下步骤：将所述输入音频对象中的至少一个输入音频对象的音频内容与扬声器通道的音频内容混合以产生至少一个混合的扬声器通道。11.根据权利要求1所述的方法，其中，步骤(e)包括以下步骤：定义用于由与所述输入音频对象集合的每个输入音频对象相关联的元数据指示的至少一个参数的误差阈值；和将所述输入音频对象中的与如下元数据相关联的每个输入音频对象识别为所述缩减音频对象集合中的一个音频对象，对于该元数据，所述至少一个参数超过所述误差阈值。12.根据权利要求1所述的方法，还包括以下步骤：响应于所述基于对象的音频节目和指示至少一个附加对象的附加音频内容产生附加的基于对象的音频节目，包括通过在不执行所述基于对象的音频节目的全解码、混合和重新编码的情况下，将所述附加音频内容作为附加的基于对象的音频节目的至...

【专利技术属性】
技术研发人员：S·胡克斯，N·R·特斯恩高斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US