空间音频下混频制造技术

空间音频对象中的音频数据信道与一个或多个所记录声音的方向和位置中的一者或多者相关联，这些信道将被再现为空间声音。可视化空间声音对象表示空间声音的快照/缩略图。为了(通过体验快照或缩略图)预览空间声音，用户操纵可视化空间声音对象的取向，并且渲染这些信道的加权下混频，以供作为空间预览声音输出，例如，将单个输出音频信号提供给空间音频渲染器；在预览声音中，被取向为朝向用户的一个或多个信道受到的突显超过被取向为背离用户的信道受到的突显。也描述了其他方面并要求对其他方面进行保护。

Spatial audio down mixing

【技术实现步骤摘要】
【国外来华专利技术】空间音频下混频本非临时专利申请要求2017年9月29日提交的美国临时专利申请62/566,228的较早提交日期的权益。
该
整体涉及用于音频处理的计算机化数据处理系统和方法，并且具体地，涉及空间音频处理。
技术介绍
在增强现实(AR)、虚拟现实(VR)和混合现实(MR)应用(由本文所使用的术语“模拟现实”或SR所涵盖)中产生三维(3D)声音效果通常被用来增强媒体内容。被设计为产生3D声音的空间音频格式的示例包括MPEG-H(运动图像专家组)3D音频标准、HOA(高阶高保真度立体声响复制)空间音频技术和DOLBYATMOS环绕声技术。例如，声音设计者通过操纵空间音频对象中包含的声音来增添3D声音效果，从而增强SR应用中的场景，其中声音是能够受到虚拟定位以供空间音频系统在SR应用程序创建的虚拟3D空间的任何位置回放的环境声音和/或离散声音。
技术实现思路
本文所述的空间音频下混频的实施方案使增强现实/虚拟现实/混合现实(SR)应用程序开发者以及由SR应用程序创建的SR体验中的收听者能够通过音频数据预览声音，其中该音频数据中对声音进行了编码并且该音频数据能够被创作到SR应用程序中。在一个实施方案中，其中记录或编码了声音的音频数据被存储为保留一个或多个所记录声音的空间特征的空间音频对象。在一个实施方案中，空间音频对象包含表示一个或多个所记录声音的多个音频数据信道，每个信道与所记录声音的来源的方向和位置(距离)中的任何一者或多者相关联。需注意，可存在与给定方向或位置相关联的两个或更多个此类信道，例如多信道麦克风拾音器。在其他实施方案中，空间音频对象包含声场的高保真度立体声响复制格式(球谐格式)表示的多个信道，其中，在该情况下，每个信道与相应的空间分布相关联，例如，B格式WXYZ信道。为了随后启用听觉预览，对音频信道进行空间音频下混频操作。在一个实施方案中，空间音频下混频包括生成可视化空间声音对象(或者更一般地，呈现空间音频对象的可视化)以表示或使得用户能够体验多个音频数据信道的听觉快照，以及在用户界面(例如，图形用户界面)中呈现该可视化空间声音对象。例如，可视化空间声音对象可以是虚拟球体(例如，拓扑球体、立方体、气泡、多面体)或者其他二维或三维虚拟对象，其能够表示从空间内的共享位置沿多个方向发出的多个声音信道。更一般地，这些信道中的每者可基于该信道的相应方向或位置与该视觉表示的一部分相关联。在一个实施方案中，图形用户界面被配置为使其用户能够操纵可视化空间声音对象和收听位置之间的相对取向(例如，在转动可视化空间声音对象时保持收听位置固定，或者在不转动声音对象的情况下移动收听位置)。预览过程包括基于可视化空间声音对象相对于收听位置(例如，用户所在位置)的取向对多个音频数据信道中的每个信道进行加权。在一个实例中，预览过程是将加权信道中的每者取向为与相应加权信道的初始取向相对的方向，并且对重新取向的加权信道进行下混频。在视觉上朝向预先确定的对象(诸如表示用户位置的预先确定的对象)取向(例如，面向用户的观察位置或者观察取向)的信道可比背离预先确定的对象取向(例如，背离用户或观察位置)的信道受到更高的加权。加权信道被下混频成一个或多个虚拟扬声器驱动信号，并且这些信号将被空间音频处理器转换以驱动两个或更多个真实扬声器(例如，左右耳机对)，其中该真实扬声器呈现下混频加权信道的声音，作为空间音频对象的听觉预览。通过这种方式，可视化空间声音对象充当空间音频对象中的所记录声音的快照或缩略图的容器。可通过对可视化空间声音对象进行取向直至该对象的图形部分(表示所关注的特定声音)直接面向用户或者在用户的方向上，来按照一次一个的方式浏览或预览所记录的声音。在一些情况下，响应于可视化空间声音对象被取向为使得两个或更多个部分(对应于该两个或更多个声音)的部分直接面向用户，可同时预览两个或更多个声音作为混合或混频。该对象可包含真实世界环境的不同环境声音，例如，一个或多个信道可以是在特定海滩上记录的声音(例如，单麦克风信道记录、多信道记录)，另一信道可以是在高山森林中记录的声音，而另一信道可以是在城市中记录的声音。该对象还可包含作为虚拟3D环境的合成声音的信道。预览过程继续进行，其中对象的音频信道被根据面向用户的图形部分进行加权，然后相应地被下混频成驱动一个或多个声音输出换能器(例如，听筒扬声器、外放扬声器)的一个或多个音频信号，用户通过该换能器听到预览声音(而不是也包含在该对象中的任何其他声音)。在一个实施方案中，生成可视化空间声音对象以表示多个音频数据信道的快照包括将多个音频数据信道中的每个信道分配到空间内的共享位置，并且将每个所分配的信道取向为从共享位置朝外发射(虚拟声音)。例如，每个所分配的信道被取向为使用所分配的信道从共享位置朝外发射虚拟声音(该发射所遵循的方向与所分配的信道中占主导的所记录声音所源自的方向相反)，从而形成音频数据的虚拟球体。针对每个经取向的信道向可视化空间声音对象添加相应图像，其中，相应图像是经取向的信道中占主导的所记录声音的来源的图像。这导致形成记录在音频数据中的声音的虚拟球体(或其他多维虚拟表示)，其中，每个所分配的信道被取向为沿所分配的信道中占主导的所记录声音所源自的方向相反的方向进行发射。在一个实施方案中，生成可视化空间声音对象包括针对可视化空间声音对象的经取向的信道中的每者向可视化空间声音对象添加图像。该图像可以是静止图像，或者它可以是视频序列的部分，并且可以针对经取向的信道中的每者被添加至可视化声音对象。该图像可以是经取向的信道中占主导的所记录声音的来源的图像，或者是与所记录声音相关联的场景的来源的图像，诸如代表森林声音的树、代表城市声音的汽车、代表海滩声音的海浪、瀑布水流冲落的视频、海浪拍打海滩的视频、树木在风中摇动的视频等等。添加图像使得该图像被显示在可视化空间声音对象的表面的一部分上，该部分对应于与该部分相关联的经取向的信道的朝外方向。这些图像可覆盖虚拟球体的表面，就像可从太空看到的地球上的大陆一样；它们充当预览声音的视觉辅助。然而，在一些实施方案中，可以在没有图像作为视觉辅助的情况下对声音进行预览。在一个实施方案中，呈现可视化空间声音对象是在用户界面中执行的，该用户界面被配置为使得用户能够操纵(例如，在触摸屏上使用手指，通过鼠标输入在屏幕上移动光标或者通过讲出语音命令)可视化空间声音对象的取向。可视化空间声音对象的图像可以(例如)在2D或3D显示模式下被显示到平面显示屏上。用户界面可被配置为使所显示的可视化空间声音对象根据所接收的用户输入并且实时地围绕不同的轴旋转，或者更一般地，相对于用户对可视化空间声音对象进行取向，使得可视化空间声音对象的不同部分对用户可见。在一个实施方案中，可视化空间声音对象的对用户可见的部分包括被添加到该对象并与经取向的信道中的一者或多者相关联的图像。因此，可以一次使一个部分面向或指向用户，使得当该对象的取向改变时，按照一次一个的方式预览该对象中包含的声音。在一个实施方案中，基于可视化空间声音对象的取向对多个音频数据信道本文档来自技高网...

【技术保护点】
1.一种用于处理空间音频的计算机实现的方法，所述方法包括：/n接收被编码为保留一个或多个所记录声音的空间特征的空间音频对象，其中，所述空间音频对象包括表示所述一个或多个所记录声音的多个音频数据信道，每个信道与方向和位置中的任何一者或多者相关联；/n呈现所述空间音频对象的视觉表示，其中，所述多个音频数据信道中的每者基于其相应的方向或位置与所述视觉表示的一部分相关联；/n基于所述视觉表示的取向对所述多个音频数据信道中的每个信道进行加权，其中，与所述视觉表示的被取向为朝向预先确定对象的一部分相关联的信道受到的加权高于与所述视觉表示的被取向为背离所述预先确定对象的一部分相关联的信道受到的加权；/n对所述加权音频数据信道进行下混频；以及/n基于所述下混频加权信道呈现声音。/n

【技术特征摘要】
【国外来华专利技术】20170929 US 62/566,2281.一种用于处理空间音频的计算机实现的方法，所述方法包括：
接收被编码为保留一个或多个所记录声音的空间特征的空间音频对象，其中，所述空间音频对象包括表示所述一个或多个所记录声音的多个音频数据信道，每个信道与方向和位置中的任何一者或多者相关联；
呈现所述空间音频对象的视觉表示，其中，所述多个音频数据信道中的每者基于其相应的方向或位置与所述视觉表示的一部分相关联；
基于所述视觉表示的取向对所述多个音频数据信道中的每个信道进行加权，其中，与所述视觉表示的被取向为朝向预先确定对象的一部分相关联的信道受到的加权高于与所述视觉表示的被取向为背离所述预先确定对象的一部分相关联的信道受到的加权；
对所述加权音频数据信道进行下混频；以及
基于所述下混频加权信道呈现声音。


2.根据权利要求1所述的计算机实现的方法，其中呈现所述视觉表示包括：
显示所述视觉表示，其中所述视觉表示包括与所述视觉表示的所述部分中的一个相对应的图像，所述图像表示由所述多个信道中的一个或多个信道表示的占主导的所记录声音，所述一个或多个信道与所述视觉表示的所述部分中的所述一个部分相关联。


3.根据前述权利要求中任一项所述的计算机实现的方法，其中，对所述加权音频数据信道进行下混频包括将所述加权信道中的每者取向为与相应加权信道的初始取向相对的方向，并且对所述重新取向的加权信道进行下混频。


4.根据前述权利要求中任一项所述的计算机实现的方法，其中，基于所述下混频加权信道来呈现声音会将所述声音模拟为源自对应于所述视觉表示的位置。


5.根据前述权利要求中任一项所述的计算机实现的方法，还包括：
接收用户输入，所述用户输入用以相对于所述用户来重新取向所述视觉表示，使得所述视觉表示的不同部分对所述用户可见。


6.根据权利要求5所述的计算机实现的方法，其中，所述视觉表示的对所述用户可见的所述不同部分包括表示由与所述视觉表示的所述不同部分相关联的信道表示的占主导的所记录声音的图像。


7.根据前述权利要求中任一项所述的计算机实现的方法，其中，基于所述视觉表示的所述取向对所述多个音频数据信道中的每个信道进行加权是基于所述虚拟表示的更新取向重复执行的。


8.根据前述权利要求中任一项所述的计算机实现的方法，其中，呈现所述视觉表示包括显示表面具有多个图像的属于球体或多面体中的一者的球体，其中，每个图像是所述视觉表示的所述不同部分并且表示由与所述不同部分相关...

【专利技术属性】
技术研发人员：C·T·尤班克，M·S·康诺利，S·E·平托，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US