用于低频效果的音频渲染制造技术

总体上，技术的各方面是针对用于低频效果的音频渲染。包括存储器和处理器的设备可以被配置为执行该技术。存储器可以存储表示声场的音频数据。处理器可以分析音频数据以识别声场的低频效果分量的空间特性，并且基于空间特性处理音频数据以渲染低频效果扬声器馈入。该处理器还可以将低频效果扬声器馈入输出到具有低频效果能力的扬声器。低频效果能力的扬声器。低频效果能力的扬声器。

【技术实现步骤摘要】
【国外来华专利技术】用于低频效果的音频渲染
[0001]本申请要求于2019年12月13日提交的美国申请第16/714,468号的优先权，该申请要求于2019年6月20日提交的希腊申请第20190100269号的权益，每个申请的全部内容通过引用整体并入本文。


[0002]本公开涉及媒体数据(比如音频数据)的处理。

技术介绍

[0003]音频渲染是指产生扬声器馈入的过程，该扬声器馈入将一个或多个扬声器(例如，头戴式耳机、扩音器、包括骨传导扬声器的其他换能器等)配置为重现由音频数据表示的声场。音频数据可符合一个或多个格式，包括基于场景的音频格式(比如在运动图像专家组
–
MPEG
‑
H音频编解码标准中指定的格式)、基于对象的音频格式和/或基于声道的音频格式。
[0004]音频回放设备可以将音频渲染器应用于音频数据，以便生成或以其他方式获得扬声器馈入。在一些实例中，音频回放设备可以处理音频数据以获得专用于重现低频效果(LFE，其也可以被称为低于比如120或150赫兹的阈值的低音)的一个或多个扬声器馈入，该低频效果潜在地被输出到比如重低音炮(subwoofer)的具有LFE能力的扬声器。

技术实现思路

[0005]本公开总体上涉及针对低频效果(LFE)的音频渲染的技术。该技术的各种方面可以实现LFE的空间化渲染以潜在地改进声场的低频分量(例如，低于200赫兹
–
Hz、150Hz、120Hz或100Hz的阈值频率)的重现。并非同等地处理音频数据的所有方面以获得LFE扬声器馈入，本技术的各个方面可以分析音频数据以识别与LFE分量相关联的空间特性，且基于空间特性以各种方式处理(例如，渲染)音频数据以更可能更准确地空间化声场内的LFE分量。
[0006]因此，该技术的各种方面可以改进音频回放设备的操作，因为LFE分量在声场内的潜在更准确的空间化可以改进沉浸且由此改进总体收听体验。此外，该技术的各种方面可以解决以下问题，其中音频回放设备可被配置为在专用LFE声道被音频数据破坏或以其他方式由音频数据不正确地编解码时使用嵌入音频数据的其他中间频率(通常称为中频)或高频分量中的LFE来重构声场的LFE分量，如贯穿本公开更详细地描述。通过潜在地更准确的重建(在空间化方面)，该技术的各个方面可以改进音频数据的中频或高频分量中的LFE音频渲染。
[0007]在一个示例中，该技术涉及设备，该设备包括：存储器，其被配置为存储表示声场的音频数据；和一个或多个处理器，其被配置为：分析该音频数据以识别该声场的低频效果分量的空间特性；基于该空间特性处理该音频数据以渲染低频效果扬声器馈入；和将低频效果扬声器馈入输出到具有低频效果能力的扬声器。
[0008]在另一个示例中，该技术涉及方法，该方法包括：分析表示声场的音频数据以识别该声场的低频效果分量的空间特性；基于该空间特性处理该音频数据以渲染低频效果扬声
器馈入；以及将该低频效果扬声器馈入输出到具有低频效果能力的扬声器。
[0009]在另一个示例中，该技术涉及设备，该设备包括：用于分析表示声场的音频数据以识别该声场的低频效果分量的空间特性的部件；用于基于该空间特性处理该音频数据以渲染低频效果扬声器馈入的部件；和用于将低频效果扬声器馈入输出到具有低频效果能力的扬声器的部件。
[0010]在另一个示例中，该技术涉及其上存储有指令的非暂时性计算机可读存储介质，该指令在执行时使设备的一个或多个处理器：分析表示声场的音频数据以识别该声场的低频效果分量的空间特性；基于该空间特性处理该音频数据以渲染低频效果扬声器馈入；以及将低频效果扬声器馈入输出到具有低频效果能力的扬声器。
[0011]在附图和以下描述中阐述本公开的一个或多个示例的细节。根据说明书和附图以及根据权利要求书，该技术的各个方面的其他特征、目的和优点将显而易见。
附图说明
[0012]图1是图示了可执行本公开中所描述的技术的各个方面的示例系统的框图。
[0013]图2是更详细地图示了图1的示例中所示的LFE渲染器单元的框图。
[0014]图3是更详细地图示了图1中所示的LFE渲染器单元的另一个示例的框图。
[0015]图4是图示了图1
‑
3中所示的LFE渲染器单元在执行低频效果渲染技术的各个方面时的示例性操作的流程图。
[0016]图5是图示了图1的示例中所示的内容消费者设备14的示例组件的框图。
具体实施方式
[0017]市场上存在各种基于“环绕声”声道的格式。例如，它们的范围从5.1家庭影院系统(其在进军客厅方面超越立体声已经是最成功的)到由日本广播公司(Nippon Hoso Kyokai，NHK)开发的22.2系统。内容创建者(例如，好莱坞工作室)希望一次就制作电影的声轨，且不用花费精力针对每一个扬声器配置对其进行再混音。运动图像专家组(MPEG)已经发布了允许使用元素(例如，高阶全环境立体混响(ambisonic)
–
HOA系数)的分层集来表示声场的标准，该元素的分层(hierarchical)集无论是在由各种标准定义的位置中还是在非均匀位置中，都可以被渲染到用于包括5.1和22.2配置的大多数扬声器配置的扬声器馈入。
[0018]MPEG发布了作为MPEG
‑
H 3D音频标准的标准，正式标题为“信息技术
–
异构环境中的高效编解码和媒体递送
–
第三部分：3D音频”，其于2014年7月25日由ISO/IEC JTC 1/SC 29提出，文档标识符为ISO/IEC DIS 23008
‑
3。MPEG还发布了第二版3D音频标准，标题为“信息技术
–
异构环境中的高效编码和媒体递送
–
第三部分：3D音频”，其于2016年10月12日由ISO/IEC JTC 1/SC 29提出，文档标识符为ISO/IEC 23008
‑
3:201x(E)。在本公开中对“3D音频标准”的引用可以指上述标准中的一者或两者。
[0019]如上所述，元素的分层集的一个示例是球面谐波系数(SHC)集。以下表达式展示了使用SHC的声场的描述或表示：
[0020][0021]该表达式示出了时间t时的声场的任何点处的压力p
i
可以由SHC唯一地表示。这里，c是声速(～343m/s)，是参照点(或观测点)，j
n
(
·
)是n阶的球面贝塞尔函数，并且是n阶和m子阶的球面谐波基函数(也可以被称为球面基函数)。可以认识到，方括号中的项是信号(即，)的频域表示，其可以通过各种时间
‑
频率变换来近似，比如离散傅立叶变换(DFT)、离散余弦变换(DCT)或小波变换。分层集的其他示例包括小波变换系数集和多分辨率基函数的其他系数集。
[0022]SHC可以由各种麦克风阵列配置物理地获取(例如，记录)，或可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：存储器，被配置为存储表示声场的音频数据；和一个或多个处理器，被配置为：分析所述音频数据以识别所述声场的低频效果分量的空间特性；基于所述空间特性处理所述音频数据以渲染低频效果扬声器馈入；和将所述低频效果扬声器馈入输出到具有低频效果能力的扬声器。2.根据权利要求1所述的设备，其中，所述设备耦合到所述具有低频效果能力的扬声器，所述具有低频效果能力的扬声器被配置为基于所述低频效果扬声器馈入重现所述声场的低频效果分量。3.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：基于所述音频数据生成反映所述声场内的声学能量级的球面热图；和基于所述球面热图识别所述声场的所述低频效果分量的所述空间特性。4.根据权利要求1所述的设备，其中，所述空间特性包括所述声场内所述低频效果分量源自的一个或多个方向。5.根据权利要求1所述的设备，其中，所述音频数据包括具有多个音频声道的基于声道的音频数据，其中，所述多个音频声道中的每个音频声道与所述声场内的不同位置相关联，并且其中，所述一个或多个处理器被配置为：基于所述空间特性，将第一权重应用于所述多个音频声道中的第一音频声道以获得第一加权音频信道，所述第一权重不同于应用于所述多个音频声道中的第二音频声道的第二权重；将所述第一加权音频声道与通过将所述第二权重应用于所述第二音频声道而获得的第二加权音频声道混合以获得混合音频声道；和基于所述混合音频声道确定所述具有低频效果能力的扬声器馈入。6.根据权利要求1所述的设备，其中，所述音频数据包括基于对象的音频数据，所述基于对象的音频数据包括音频对象和元数据，所述元数据指示所述音频对象在所述声场中源自何处，并且其中，所述一个或多个处理器被配置为：从所述基于对象的音频数据提取所述元数据；和基于所述元数据识别所述空间特性。7.根据权利要求1所述的设备，其中，所述音频数据包括基于对象的音频数据，所述基于对象的音频数据定义多个音频对象，并且其中，所述一个或多个处理器被配置为：将所述多个音频对象中的每一者从空间域变换为球面谐波域，以获得对应的高阶全环境立体混响系数集；将所述对应的高阶全环境立体混响系数集中的每个集混合成单个高阶全环境立体混响系数集；以及分析所述单个高阶全环境立体混响系数集以识别所述空间特性。
8.根据权利要求1所述的设备，其中，所述音频数据包括基于场景的音频数据，所述基于场景的音频数据包括高阶全环境立体混响系数，并且其中，所述一个或多个处理器被配置为：将所述基于场景的音频数据渲染到一个或多个音频声道；和分析所述一个或多个音频声道以识别所述空间特性。9.根据权利要求8所述的设备，其中，所述一个或多个音频声道围绕表示所述声场的球面均匀分布。10.根据权利要求1所述的设备，其中，所述设备耦合到多个具有低频效果能力的扬声器，其中，所述低频效果扬声器馈入是第一低频效果扬声器馈入，并且其中，所述一个或多个处理器被配置为基于所述空间特性来处理所述音频数据以渲染所述第一低频效果扬声器馈入和第二低频效果扬声器馈入，所述第一低频效果扬声器馈入不同于所述第二低频效果扬声器馈入。11.一种方法，包括：分析表示声场的音频数据以识别所述声场的低频效果分量的空间特性；基于所述空间特性处理所述音频数据以渲染低频效果扬声器馈入；以及将所述低频效果扬声器馈入输出到具有低频效果能力的扬声器。12.根据权利要求11所述的方法，还包括基于所述低频效果扬声器馈入来重现所述声场的低频效果分量。13.根据权利要求11所述的方法，其中，分析所述音频数据包括：基于所述音频数据生成反映所述声场内的声学能量级的球面热图；和基于所述球面热图识别所述声场的所述低频效果分量的空间特性。14.根据权利要求11所述的方法，其中，所述空间特性包括所述声场内所述低频效果分量源自的一个或多个方向。15.根据权利要求11所述的方法，其中，所述音频数据包括具有多个音频数据声道的基于声道的音频数据，其中，所述多个音频声道中的每个音频声道与所述声场内的不同位置相关联，并且其中，处理所述音频数据包括：基于所述空间特性，将第一权重应用于所述多个音频声道中的第一音频声道以获得第一加权音频信道，所述第一权重不同于应用于所述多个音频声道中的第二音频声道的第二权重；将所述第一加权音频声道与通过将所述第二权重应用于所述第二音频声道而获得的第二加权音频声道混合以获得混合音频声道；以及基于所述混合音频声道确定所述具有低频效果能力的扬声器馈入。16.根据权利要求11所述的方法，其中，所述音频数据包括基于对象的音频数据，所述基于对象的音频数据包括音频对象和元数据，所述元数据指示所述音频对象在所述声场中源自的位置，以及其中，分析所述音频数据包括：<...

【专利技术属性】
技术研发人员：J菲洛斯，A谢弗西夫，GB戴维斯，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：