面向对象的音频流系统技术方案

描述了一种用于提供面向对象的音频的系统和方法。通过将声源与这些声源的属性(例如位置、速度、方向性等)相关联来创建音频对象。可以除声道以外还使用音频对象，或替代声道来使用音频对象，以例如通过使音频对象成流来经由网络向客户端设备分发声音。对象可以限定空间中与二维坐标和三维坐标相关联的位置。可以基于可用网络资源和客户端设备资源使对象自适应成流传送至客户端设备。客户端设备上的再现器可以使用对象的属性来确定如何再现对象。再现器还基于与客户端设备的再现环境相关的信息来调整对象的回放。还描述了音频对象创建技术的多种示例。

【技术实现步骤摘要】
【国外来华专利技术】面向对象的音频流系统相关申请本申请要求根据35U. S. C第119条第(e)项享有2009年8月14提交的专利技术名称 "Production, Transmission,Storage and Rendering System for Multi-DimensionalAudio”的美国临时专利申请No. 61/233，931的优先权，在此并入其公开的全部作为参考。
技术介绍
诸如立体声和环绕声之类的现有音频分发系统基于非灵活的范例，其中实现了从产生点至回放环境的固定数目的声道。传统上，贯穿整个音频链，在创建的声道的数目与物理上传输或记录的声道数目之间存在一对一的对应关系。在一些情况下，通过被称作混合 (mix-down)的过程减少了可用声道的数目以适应回放配置，其中所述回放配置具有比传输流中提供的声道数目要少的再现声道。混合的普通示例是将立体声混入单声道以经由单个扬声器再现，以及将多声道环绕声混入立体声以经由两个扬声器回放。音频分发系统也不适于3D视频应用，因为其不能够从三维空间中精确地再现声音。这些系统受到扬声器的数目和位置的限制，并且受到以下事实的限制一般会忽视心理声学原理。结果，即使最精巧的声音系统也只是创建了对声学空间的粗糙仿真，而并没有接近真实的3D或多维呈现。
技术实现思路
描述了一种用于提供面向对象的音频的系统和方法。在一些实施例中，通过将声源与这些声源的属性(例如位置、速度、方向性等)相关联来创建音频对象。可以除声道以外还使用音频对象，或替代声道来使用音频对象，以例如通过使音频对象成流来经由网络向客户端设备分发声音。对象可以限定空间中与二维坐标和三维坐标相关联的位置。可以基于可用网络资源和客户端设备资源使对象自适应成流传送至客户端设备。客户端设备上的再现器可以使用对象的属性来确定如何再现对象。再现器还基于与客户端设备的再现环境相关的信息来调整对象的回放。还描述了音频对象创建技术的多种示例。在一些实施例中，一种产生面向对象的音频流的方法包括选择音频对象以在音频流中传输，其中音频对象包括音频信号数据和对象元数据。对象元数据可以包括一个和多个对象属性。所述方法还包括将具有对象元数据的对象报头进行组装，提供具有音频信号数据的音频有效载荷，利用一个和多个处理器组合对象报头和音频有效载荷以形成音频流的至少一部分，以及经由网络传输音频流。在各种实施例中，一种用于产生面向对象的音频流的系统可以包括在一个和多个处理器中实现的面向对象的成流模块。面向对象的成流模块可以选择对声源加以表示的音频对象，其中音频对象包括音频信号数据和对象元数据。对象元数据可以包括声源的一个和多个属性。面向对象的成流模块还可以包括将对象元数据与音频信号数据一起编码，以形成单个面向对象的音频流的至少一部分。此外，面向对象的成流模块还可以经由网络传输面向对象的音频流。为了概括本公开，本文已经描述了本专利技术的一些方面、优势和新颖特征。应该理解，根据本文公开的本专利技术的任意特定实施例，可能没有必要实现所有这些优势。因此，可以以如下方式实现或执行本文所公开的专利技术实现或优化根据本文教导的一个优势或一组优势，而没有必要实现可能是本文教导或建议的其它优势。附图说明贯穿附图，参考数字被重复使用，以指示所引用元件之间的对应性。提供附图来示出本文所描述的本专利技术的实施例，而非限制本专利技术的范围。图IA和IB示出了面向对象的音频系统的实施例；图2示出了面向对象的音频系统的另一实施例；图3示出了用于本文所描述的任意面向对象的音频系统中的成流模块的实施例。图4示出了面向对象的音频流格式的实施例；图5A示出了音频流组装过程的实施例；图5B示出了音频流再现过程的实施例；图6示出了自适应音频对象成流系统的实施例；图7示出了自适应音频对象成流过程的实施例；图8示出了自适应音频对象再现过程的实施例；图9示出了针对面向对象的音频捕获的示例场景；图10示出了用于面向对象的音频捕获的系统的实施例；以及图11示出了用于面向对象的音频捕获的过程的实施例。具体实施例方式I.介绍除了以上描述的现有系统的问题之外，音频分发系统还没有充分地考虑听众的回放环境。相反，音频系统被设计为向最终的收听环境传送指定数目的声道，而没有对环境、 听众偏好或心理声学原理的实现进行任意的补偿。传统上，将这些功能和能力留给了系统集成器。本公开描述了用于使面向对象的音频成流的系统和方法，其解决了这些问题中的至少一部分。在一些实施例中，通过将声源与这些声源的属性(例如，位置、速度、方向性等)相关联来创建音频对象。可以使用音频对象来替代声道，或者除了声道之外还使用音频对象，以例如通过使音频对象成流来经由网络向客户端设备分发声音。在一些实施例中， 这些对象与声道不相关或者没有横跨(pan)声道之间的位置，而是利用相关联的二维或三维坐标限定了其在空间上的位置。客户端设备上的再现器可以使用对象的属性来确定如何再现对象。在一些实施例中，再现器还可以基于可用计算资源来调整再现和/或流化，以考量再现器的环境。类似地，可以基于诸如可用带宽之类的网络条件来调整音频对象的流化。 还描述了音频对象创建技术的各种示例。有利地，本文描述的系统和方法可以减少或克服关于刚性音频声道分发模型的缺点。作为概括，图IA和IB介绍了面向对象的音频系统的实施例。后面的附图描述了这些面向对象的音频系统可以实现的技术。例如，图2至图5B描述了用于使面向对象的音频成流的各种示例技术。图6至8描述了用于基于环境和网络条件使面向对象的音频自适应地成流并对其进行再现的示例技术。图9至11描述了示例音频对象创建技术。当用于本文时，术语“成流(streaming)，，及其派生词，除了具有其通常含义之外， 还意味着将内容从一个计算系统(例如服务器)分发至另一计算系统(例如客户端)。术语“成流”及其派生词还可以涉及通过使用包括BitTorrent和相关协议的各种协议中的任意一种协议来经由对等网络分发内容。II.面向对象的咅频系统概要图IA和IB示出了面向对象的音频系统100AU00B的实施例。可以以计算机硬件和/或软件实现面向对象的音频系统100A、100B。有利地，在一些实施例中，面向对象的音频系统100AU00B可以启用内容创建者创建音频对象、使这些对象成流以及再现对象，而不用被绑定到固定的声道模型上。具体地参考图1A，面向对象的音频系统IOOA包括音频对象创建系统110A、在内容服务器120A中实现的成流模块122A以及用户系统140中实现的再现器142A。音频对象创建系统IlOA可以向用户提供创建和修改音频对象的功能。安装在内容服务器120A上的成流模块122A可以用于使音频对象成流来经由网络130向用户系统140传送。网络130可以包括LAN、WAN、因特网、或其组合。用户系统140上的再现器142A可以再现音频对象，以输出至一个或多个扬声器。在所描述的实施例中，音频对象创建系统IlOA包括对象创建模块114和面向对象编码器112A。对象创建模块114可以例如将音频数据与该音频数据的属性相关联，以提供用于创建对象的功能。任意类型的音频可以被用于产生音频对象。可以将音频生成为对象并使其成流的一些示例可以包括与电影、电视、电影预告、音乐、音乐视频、其它在线视频、 本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：詹姆斯·特雷西，泰米斯·卡奇诺斯，阿兰·D·克拉梅尔，
申请(专利权)人：SRS实验室有限公司，
类型：发明
国别省市：