3D沉浸式空间音频系统和方法技术方案

本发明专利技术提供了用于通过耳机将三维沉浸式空间音频传递给用户的方法和系统，其中，所述耳机包括一个或者多个扬声器条件。所述方法和所述系统在用户的耳朵处重新创建超现实的声场，包括对高度和深度知觉的提示。在许多其它潜在用途和应用当中，本公开的所述方法和所述系统可以实施为虚拟现实应用。

【技术实现步骤摘要】
【国外来华专利技术】本申请要求于2014年11月11日提交的美国临时专利申请第62/078,074号的优先权，该申请的全部公开内容以引用的方式并入本文。
技术介绍
在许多情况下，需要生成声场，该声场包括与信号源(其可以是虚拟源)在声场内的位置有关的信息。这种信息导致听者认为信号是源于虚拟源的位置，即，认为信号源于在三维空间中相对于听者的位置的位置。例如，为了向观众提供更为身临其境、现实的体验，可以用环绕声输出伴随电影的音频。进一步的示例发生在计算机游戏的场景(context)中，其中，输出至用户的音频信号包括空间信息，从而使用户认为音频并非来自扬声器，而是来自在三维空间中的(虚拟)位置。例如可以通过使用耳机扬声器来将包含空间信息的声场传递至用户，通过该耳机扬声器来接收双耳信号。双耳信号包括足够的信息来重新创建包围一个或者多个虚拟信号源的虚拟声场。在这种情况下，例如为了保持音频和视频的关系(例如，同步性、一致性等)，需要考虑用户的头部移动以维持稳定的声场。响应于用户埋头，无法维持稳定的声场或者音频场可能例如导致用户认为虚拟源(诸如，汽车)飞入了空中。但是，更常见的情况是，无法考虑用户的头部移动会使源位置变成在用户的头部内。
技术实现思路
为了提供对本公开的一些方面的基本理解，本
技术实现思路
以简化形式介绍了对概念的选择。本
技术实现思路
不是本公开的广泛概述，而且并不旨在识别本公开的关键元素或者至关重要的元素或者描绘本公开的范围。本
技术实现思路
仅仅呈现本公开的概念中的一些概念，作为下述具体实施方式的前言。本公开大体上涉及用于信号处理的方法和系统。更具体地，本公开的方面涉及处理包含空间信息的音频信号。本公开的一个实施例涉及一种用于向用户提供三维空间音频的方法，该方法包括：将来自在虚拟扬声器环境中的音频源的音频信号输入编码为声场格式，从而生成声场数据；基于采集的与用户的移动相关联的移动数据来使声场围绕用户动态旋转；利用一个或者多个动态音频滤波器来处理编码的音频信号；将声场数据解码成一对双耳空间声道；以及将该一对双耳空间声道提供至用户的耳机装置。在另一实施例中，用于提供三维空间音频的方法进一步包括：基于用户所在的虚拟环境的参数，利用动态房间效果来处理声源。在另一实施例中，在用于提供三维空间音频的方法中的利用一个或者多个动态音频滤波器来处理编码的音频信号进一步包括：考虑来自周围虚拟扬声器环境的人体听觉提示。在又一实施例中，用于提供三维空间音频的方法进一步包括：将在空间上记录的房间脉冲响应参数化为方向分量和漫射分量。在又一实施例中，用于提供三维空间音频的方法进一步包括：处理方向分量和漫射分量以生成数对解相关的漫射混响踪迹滤波器(pairsofdecorrelated,diffusereverbtailfilters)。在另一实施例中，用于提供三维空间音频的方法进一步包括：通过利用声学响应的随机性来对解相关的漫射混响踪迹滤波器进行建模，其中，声学响应包括房间脉冲响应。本公开的另一实施例涉及一种用于向用户提供三维空间音频的系统，该系统包括至少一个处理器和非暂时性计算机可读介质，该非暂时性计算机可读介质耦合至该至少一个处理器，在该非暂时性计算机可读介质上存储有指令，该指令在由该至少一个处理器执行时使该至少一个处理器：将来自在虚拟扬声器环境中的音频源的音频信号输入编码为声场格式，从而生成声场数据；基于采集的与用户的移动相关联的移动数据来使声场围绕用户动态旋转；利用一个或者多个动态音频滤波器来处理编码的音频信号；将声场数据解码成一对双耳空间声道；以及将该一对双耳空间声道提供至用户的耳机装置。在另一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：基于用户所在的虚拟环境的参数，利用动态房间效果来处理声源。在另一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：在维持来自周围虚拟扬声器环境的声学提示的同时使声场围绕用户动态旋转。在又一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：从用户的耳机装置采集与用户的移动相关联的移动数据。在又一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：在考虑来自周围虚拟扬声器环境的人体听觉提示的同时利用一个或者多个动态音频滤波器来处理编码的音频信号。在另一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：将在空间上记录的房间脉冲响应参数化为方向分量和漫射分量。在又一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：处理方向分量和漫射分量以生成数对解相关的漫射混响踪迹滤波器。在又一实施例中，进一步使在用于提供三维空间音频的系统中的至少一个处理器：通过利用声学响应的随机性来对解相关的漫射混响踪迹滤波器进行建模，其中，声学响应包括房间脉冲响应。在一个或者多个实施例中，本文所描述的方法和系统可以可选地包括以下附加特征中的一个或者多个：在维持来自周围虚拟扬声器环境的声学提示的同时使声场围绕用户动态旋转；从用户的耳机装置采集与用户的移动相关联的移动数据；将在虚拟扬声器环境中的每个音频源作为单输入声道连同音频源的球面坐标位置矢量一起输入；和/或球面坐标位置矢量识别在虚拟扬声器环境中音频源相对于用户的位置。本文所公开的处理器和存储系统中的一些或者全部的实施例也可以配置为执行上面所公开的方法实施例中的一些或者全部。上面所公开的方法中的一些或者全部的实施例也可以表示为体现在诸如光学存储器或者磁存储器等暂时性或者非暂时性处理器可读存储介质上的指令，或者表示为经由诸如互联网或者电话连接等通信网络提供至处理器或者数据处理装置的传播信号。本公开的方法和系统的应用性的进一步的范围通过下面给出的具体实施方式将变得显而易见。然而，应该理解，具体实施方式和具体示例在指示方法和系统的实施例时仅仅以举例的方式被给出，因为对本领域的技术人员而言，在本文所公开的概念的精神和范围内的各种变化和修改通过本具体实施方式将变得显而易见。附图说明结合随附权利要求书和附图，通过对以下具体实施方式的研究，对于本领域的技术人员而言，本公开的这些和其它目标、特征和特性将变得显而易见。在附图中：图1是示出了根据本文所描述的一个或者多个实施例的在用于向用户提供三维沉浸式空间音频的示例系统中的虚拟源的示意图，该虚拟源包括单音频输入和描述了该源相对于用户位置的位置矢量。图2是示出了根据本文所描述的一个或者多个实施例的用于向用户提供三维沉浸式空间音频的示例方法和系统的框图。图3是示出了根据本文所描述的一个或者多个实施例的用于将系统操作为向用户提供三维沉浸式空间音频的示例类数据和组件的框图。图4是示出了根据本文所描述的一个或者多个实施例的在双耳响应分解期间创建的示例滤波器的示意图。图5是示出了根据本文所描述的一个或者多个实施例的示例响应测量连同对漫射性的分析的图示。图6是示出了根据本文所描述的一个或者多个实施例的用于向用户提供三维沉浸式空间音频的示例方法的流程图。图7是示出了根据本文所描述的一个或者多个实施例的设置为向用户提供三维沉浸式空间音频的示例计算装置的框图。本文所提供的标题仅仅是为方便而设，并且并不一定会影响本公开所要求的范围或者含义。在附图中，为了易于理解并且为了方便起见，相同的参考数字和本文档来自技高网...

【技术保护点】
一种用于向用户提供三维空间音频的方法(600)，所述方法包括：将来自在虚拟扬声器环境中的音频源的音频信号输入编码为声场格式，从而生成声场数据(605)；基于采集的与所述用户的移动相关联的移动数据来使所述声场围绕所述用户动态旋转(610)；利用一个或者多个动态音频滤波器来处理所编码的音频信号(615)；将所述声场数据解码成一对双耳空间声道(620)；以及将所述一对双耳空间声道提供至所述用户的耳机装置(625)。

【技术特征摘要】
【国外来华专利技术】2014.11.11 US 62/078,0741.一种用于向用户提供三维空间音频的方法(600)，所述方法包括：将来自在虚拟扬声器环境中的音频源的音频信号输入编码为声场格式，从而生成声场数据(605)；基于采集的与所述用户的移动相关联的移动数据来使所述声场围绕所述用户动态旋转(610)；利用一个或者多个动态音频滤波器来处理所编码的音频信号(615)；将所述声场数据解码成一对双耳空间声道(620)；以及将所述一对双耳空间声道提供至所述用户的耳机装置(625)。2.根据权利要求1所述的方法，进一步包括：基于所述用户所在的所述虚拟环境的参数，利用动态房间效果来处理声源。3.根据权利要求1所述的方法，其中，在维持来自所述周围虚拟扬声器环境的声学提示的同时使所述声场围绕所述用户动态旋转。4.根据权利要求1所述的方法，其中，从所述用户的所述耳机装置采集与所述用户的移动相关联的所述移动数据。5.根据权利要求1所述的方法，其中，利用一个或者多个动态音频滤波器来处理所编码的音频信号包括：考虑来自所述周围虚拟扬声器环境的人体听觉提示。6.根据权利要求1所述的方法，其中，将在所述虚拟扬声器环境中的每个音频源作为单输入声道连同所述音频源的球面坐标位置矢量一起输入。7.根据权利要求6所述的方法，其中，所述球面坐标位置矢量识别在所述虚拟扬声器环境中所述音频源相对于所述用户的位置。8.根据权利要求1所述的方法，进一步包括：将在空间上记录的房间脉冲响应参数化为方向分量和漫射分量。9.根据权利要求8所述的方法，进一步包括：处理所述方向分量和漫射分量以生成数对解相关的漫射混响踪迹滤波器。10.根据权利要求9所述的方法，进一步包括：通过利用声学响应的随机性来对所述解相关的漫射混响踪迹滤波器进行建模，其中，所述声学响应包括房间脉冲响应。11.一种用于向用户提供三维空间音频的系统，所述系统包括：至少一个处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介...

【专利技术属性】
技术研发人员：马尔钦·戈泽勒，弗兰克·伯兰德，布赖恩·奥图尔，伊恩·凯利，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US