从基于对象的音频转换到HOA制造技术

一种装置获得音频对象的音频信号的基于对象的表示。所述音频信号对应于时间间隔。此外，所述装置获得所述音频对象的空间向量的表示，其中所述空间向量在高阶立体混响HOA域中限定且基于第一多个扩音器位置。所述装置基于所述音频对象的所述音频信号和所述空间向量产生多个音频信号。所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。

【技术实现步骤摘要】
【国外来华专利技术】从基于对象的音频转换到HOA本申请主张2015年10月8日提交的美国临时专利申请62/239,043的权益，所述申请的全部内容以引用的方式并入本文中。
本公开涉及音频数据，并且更具体地说涉及高阶立体混响音频数据的译码。
技术介绍
高阶立体混响(HOA)信号(常常由多个球面谐波系数(SHC)或其它分层元素表示)是声场的三维表示。HOA或SHC表示可以独立于用以重放从SHC信号渲染的多通道音频信号的局部扬声器几何布置的方式来表示声场。SHC信号还可有助于向后兼容性，因为SHC信号可被渲染为众所周知的且被高度采用的多通道格式(例如，5.1音频通道格式或7.1音频通道格式)。因此，所述SHC表示可实现还适应向后兼容性的对声场的更好表示。
技术实现思路
在一个实例中，本公开描述一种用于解码经译码音频位流的装置，所述装置包括：存储器，其经配置以存储经译码音频位流；以及一或多个处理器，其电耦合到所述存储器，所述一或多个处理器经配置以：从经译码音频位流获得音频对象的音频信号的基于对象的表示，所述音频信号对应于时间间隔；从经译码音频位流获得音频对象的空间向量的表示，其中所述空间向量在高阶立体混响(HOA)域中限定且基于第一多个扩音器位置；基于音频对象的音频信号和所述空间向量产生多个音频信号，其中所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。在另一实例中，本公开描述一种用于编码经译码音频位流的装置，所述装置包括：存储器，其经配置以存储音频对象的音频信号和指示音频对象的虚拟源位置的数据，所述音频信号对应于时间间隔；以及一或多个处理器，其电耦合到所述存储器，所述一或多个处理器经配置以：接收音频对象的所述音频信号和指示音频对象的虚拟源位置的所述数据；基于指示音频对象的虚拟源位置的所述数据和指示多个扩音器位置的数据确定高阶立体混响(HOA)域中音频对象的空间向量；以及在经译码音频位流包含所述音频信号的基于对象的表示和表示空间向量的数据。在另一实例中，本公开描述一种用于解码经译码音频位流的方法，所述方法包括：从经译码音频位流获得音频对象的音频信号的基于对象的表示，所述音频信号对应于时间间隔；从经译码音频位流获得音频对象的空间向量的表示，其中所述空间向量在高阶立体混响(HOA)域中限定且基于第一多个扩音器位置；基于音频对象的音频信号和所述空间向量产生多个音频信号，其中所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。在另一实例中，本公开描述一种用于编码经译码音频位流的方法，所述方法包括：接收音频对象的音频信号和指示音频对象的虚拟源位置的数据，所述音频信号对应于时间间隔；基于指示音频对象的虚拟源位置的所述数据和指示多个扩音器位置的数据确定高阶立体混响(HOA)域中音频对象的空间向量；以及在经译码音频位流中包含音频信号的基于对象的表示和表示空间向量的数据。在另一实例中，本公开描述一种用于解码经译码音频位流的装置，所述装置包括：用于从经译码音频位流获得音频对象的音频信号的基于对象的表示的装置，所述音频信号对应于时间间隔；用于从经译码音频位流获得音频对象的空间向量的表示的装置，其中所述空间向量在高阶立体混响(HOA)域中限定且基于第一多个扩音器位置；以及用于基于音频对象的音频信号和所述空间向量产生多个音频信号的装置，其中所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。在另一实例中，本公开描述一种用于编码经译码音频位流的装置，所述装置包括：用于接收音频对象的音频信号和指示音频对象的虚拟源位置的数据的装置，所述音频信号对应于时间间隔；以及用于基于指示音频对象的虚拟源位置的所述数据和指示多个扩音器位置的数据确定高阶立体混响(HOA)域中音频对象的空间向量的装置。在另一实例中，本公开描述一种存储指令的计算机可读存储媒体，所述指令在执行时致使装置的一或多个处理器：从经译码音频位流获得音频对象的音频信号的基于对象的表示，所述音频信号对应于时间间隔；从经译码音频位流获得音频对象的空间向量的表示，其中所述空间向量在高阶立体混响(HOA)域中限定且基于第一多个扩音器位置；以及基于音频对象的音频信号和所述空间向量产生多个音频信号，其中所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。在另一实例中，本公开描述一种存储指令的计算机可读存储媒体，所述指令在执行时致使装置的一或多个处理器：接收音频对象的音频信号和指示音频对象的虚拟源位置的数据，所述音频信号对应于时间间隔；基于指示音频对象的虚拟源位置的所述数据和指示多个扩音器位置的数据确定高阶立体混响(HOA)域中音频对象的空间向量；以及在经译码音频位流中包含音频信号的基于对象的表示和表示空间向量的数据。在附图和以下描述中阐明本公开的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。附图说明图1是说明可执行本公开中所描述的技术的各个方面的系统的图式。图2是说明具有各种阶数和子阶数的球面谐波基底函数的图式。图3是说明根据本公开的一或多种技术的音频编码装置的实例实施方案的框图。图4是说明根据本公开的一或多种技术的用于与图3中展示的音频编码装置的实例实施方案一起使用的音频解码装置的实例实施方案的框图。图5是说明根据本公开的一或多种技术的音频编码装置的实例实施方案的框图。图6是说明根据本公开的一或多种技术的向量编码单元的实例实施方案的图式。图7是展示理想球面设计位置的实例集合的表。图8是展示理想球面设计位置的另一实例集合的表。图9是说明根据本公开的一或多种技术的向量编码单元的实例实施方案的框图。图10是说明根据本公开的一或多种技术的音频解码装置的实例实施方案的框图。图11是说明根据本公开的一或多种技术的向量解码单元的实例实施方案的框图。图12是说明根据本公开的一或多种技术的向量解码单元的替代实施方案的框图。图13是说明根据本公开的一或多种技术的音频编码装置的实例实施方案的框图，其中所述音频编码装置经配置以编码基于对象的音频数据。图14是说明根据本公开的一或多种技术的用于基于对象的音频数据的向量编码单元68C的实例实施方案的框图。图15是说明VBAP的概念图。图16是说明根据本公开的一或多种技术的音频解码装置的实例实施方案的框图，其中所述音频解码装置经配置以解码基于对象的音频数据。图17是说明根据本公开的一或多种技术的音频编码装置的实例实施方案的框图，其中所述音频编码装置经配置以量化空间向量。图18是说明根据本公开的一或多种技术的用于与图17中展示的音频编码装置的实例实施方案一起使用的音频解码装置的实例实施方案的框图。图19是说明根据本公开的一或多种技术的渲染单元210的实例实施方案的框图。图20说明根据本公开的一或多种技术的汽车扬声器重放环境。图21是说明根据本公开的一或多种技术的音频编码装置的实例操作的流程图。图22是说明根据本公开的一或多种技术的音频解码装置的实例操作的流程图。图23是说明根本文档来自技高网...

【技术保护点】
一种用于解码经译码音频位流的装置，所述装置包括：存储器，其经配置以存储经译码音频位流；以及一或多个处理器，其电耦合到所述存储器，所述一或多个处理器经配置以：从所述经译码音频位流获得音频对象的音频信号的基于对象的表示，所述音频信号对应于时间间隔；从所述经译码音频位流获得所述音频对象的空间向量的表示，其中所述空间向量在高阶立体混响HOA域中限定且基于第一多个扩音器位置；以及基于所述音频对象的所述音频信号和所述空间向量产生多个音频信号，其中所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。

【技术特征摘要】
【国外来华专利技术】2015.10.08 US 62/239,043;2016.09.15 US 15/266,9101.一种用于解码经译码音频位流的装置，所述装置包括：存储器，其经配置以存储经译码音频位流；以及一或多个处理器，其电耦合到所述存储器，所述一或多个处理器经配置以：从所述经译码音频位流获得音频对象的音频信号的基于对象的表示，所述音频信号对应于时间间隔；从所述经译码音频位流获得所述音频对象的空间向量的表示，其中所述空间向量在高阶立体混响HOA域中限定且基于第一多个扩音器位置；以及基于所述音频对象的所述音频信号和所述空间向量产生多个音频信号，其中所述多个音频信号的每一相应音频信号对应于不同于所述第一多个扩音器位置的第二多个扩音器位置处的多个局部扩音器中的相应扩音器。2.根据权利要求1所述的装置，其中所述一或多个处理器经配置以：从一或多个相机获得图像；以及基于所述图像确定局部扩音器设置信息，所述局部扩音器设置信息表示所述多个局部扩音器的位置。3.根据权利要求2所述的装置，其中所述一或多个处理器经配置以：将所述音频对象的所述音频信号和所述空间向量转换为描述所述时间间隔期间的声场的HOA系数的集合；以及通过将渲染格式施加到所述HOA系数集合产生所述多个音频信号，所述局部扩音器设置信息呈所述渲染格式的形式。4.根据权利要求1所述的装置，其中所述一或多个处理器经配置以：将所述音频对象的所述音频信号和所述空间向量转换为描述所述时间间隔期间的声场的HOA系数的集合；以及通过将渲染格式施加到所述HOA系数集合产生所述多个音频信号。5.根据权利要求4所述的装置，其中所述一或多个处理器经配置使得，作为将所述音频信号和所述空间向量转换为所述HOA系数集合的一部分，所述一或多个处理器确定所述HOA系数集合使得所述HOA系数集合等效于所述音频信号乘以所述空间向量的转置。6.根据权利要求4所述的装置，其中所述音频对象为第一音频对象，所述空间向量为第一空间向量，且所述一或多个处理器经配置以：从所述经译码音频位流获得多个基于对象的表示，所述多个基于对象的表示的每一相应基于对象的表示是多个音频对象的相应音频对象的相应表示，所述多个音频对象包含所述第一音频对象；从所述经译码音频位流获得多个空间向量表示，所述多个表示的每一相应空间向量表示是所述多个音频对象的相应音频对象的空间向量的相应表示，所述多个空间向量表示的每一相应空间向量表示在所述HOA域中限定且基于所述第一多个扩音器位置，所述多个空间向量表示包含所述第一音频对象的所述空间向量的所述表示；针对所述多个音频对象的每一相应音频对象，确定所述相应音频对象的相应HOA系数集合使得所述相应音频对象的所述HOA系数集合等效于所述相应音频对象的音频信号乘以所述相应音频对象的所述空间向量的转置；以及基于所述多个音频对象的所述HOA系数集合的总和确定描述所述声场的所述HOA系数集合。7.根据权利要求4所述的装置，其中：所述空间向量等效于多个操作数的总和，所述多个操作数的每一相应操作数对应于所述第一多个扩音器位置的相应扩音器位置，针对所述第一多个扩音器位置的每一相应扩音器位置：多个扩音器位置向量包含所述相应扩音器位置的扩音器位置向量，对应于所述相应扩音器位置的所述操作数等效于所述相应扩音器位置的增益因数乘以所述相应扩音器位置的所述扩音器位置向量，且所述相应扩音器位置的所述增益因数指示所述相应扩音器位置处所述音频信号的相应增益。8.根据权利要求7所述的装置，其中，针对范围从1到N的每一值n，所述第一多个扩音器位置的第n扩音器位置向量等效于通过第一矩阵、第二矩阵和第三矩阵的相乘产生的矩阵的转置，所述第一矩阵由与所述多个扩音器位置中的扩音器位置的数目等效的数目的单一相应行元素组成，所述相应行元素的第n元素等效于1，且所述相应行的所述第n元素以外的元素等效于0，所述第二矩阵是通过渲染矩阵和所述渲染矩阵的转置的相乘产生的矩阵的逆矩阵，所述第三矩阵等效于所述渲染矩阵，所述渲染矩阵基于所述第一多个扩音器位置，且N等效于所述第一多个扩音器位置中的扩音器位置的数目。9.一种用于编码经译码音频位流的装置，所述装置包括：存储器，其经配置以存储音频对象的音频信号和指示所述音频对象的虚拟源位置，所述音频信号对应于时间间隔；以及一或多个处理器，其电耦合到所述存储器，所述一或多个处理器经配置以：接收所述音频对象的所述音频信号和指示所述音频对象的所述虚拟源位置的所述数据；基于指示所述音频对象的所述虚拟源位置的所述数据和指示多个扩音器位置的数据确定高阶立体混响HOA域中所述音频对象的空间向量；以及在经译码音频位流中包含所述音频信号的基于对象的表示和表示所述空间向量的数据。10.根据权利要求9所述的装置，其中所述一或多个处理器经配置以：从一或多个相机获得图像；以及基于所述图像确定所述扩音器位置。11.根据权利要求9所述的装置，其中：所述一或多个处理器经配置以量化所述空间向量，且表示所述空间向量的所述数据包括所述经量化空间向量。12.根据权利要求9所述的装置，其中描述所述时间间隔期间含有所述音频信号的声场的高阶立体混响HOA系数的集合等效于所述音频信号乘以所述空间向量的转置。13.根据权利要求9所述的装置，其中所述音频对象为第一音频对象，所述空间向量为第一空间向量，且所述一或多个处理器经配置以：在所述经译码音频位流中包含多个基于对象的表示，所述多个基于对象的表示的每一相应基于对象的表示是多个音频对象的相应音频对象的相应表示，所述多个音频对象包含所述第一音频对象；以及针对所述多个音频对象的每一相应音频对象：基于指示所述相应音频对象的相应虚拟源位置的数据和指示所述多个扩音器位置的所述数据确定所述相应音频对象的相应空间向量的表示，所述相应音频对象的所述相应空间向量在所述HOA域中限定，其中所述相应音频对象的相应HOA系数集合等效于所述相应音频对象的所述音频信号乘以所述相应音频对象的所述相应空间向量的转置；以及在所述经译码音频位流中包含所述相应音频对象的所述相应空间向量的所述表示。14.根据权利要求9所述的装置，其中所述一或多个处理器经配置使得，作为确定所述空间向量的一部分，所述一或多个处理器：确定用于将高阶立体混响HOA系数的集合渲染到针对所述扩音器位置处的扩音器的扩音器馈送中的渲染格式；确定多个扩音器位置向量，其中：所述多个扩音器位置向量的每一相应扩音器位置向量对应于所述多个扩音器位置的相应扩音器位置，且所述一或多个处理器经配置使得，作为确定所述多个扩音器位置向量的一部分，针对所述多个扩音器位置的每一相应扩音器位置，所述一或多个处理器：基于所述音频对象的位置坐标确定所述相应扩音器位置的增益因数，所述相应扩音器位置的所述增益因数指示所述相应扩音器位置处的所述音频信号的相应增益；以及基于所述渲染格式确定对应于所述相应扩音器位置的所述扩音器位置向量；以及将所述空间向量确定为多个操作数的总和，所述多个操作数的每一相应操作数对应于所述多个扩音器位置的相应扩音器位置，其中针对所述多个扩音器位置的每一相应扩音器位置，对应于所述相应扩音器位置的所述操作数等效于所述相应扩音器位置的所述增益因数乘以对应于所述相应扩音器位置的所述扩音器位...

【专利技术属性】
技术研发人员：金墨永，迪潘让·森，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US