用于虚拟现实（VR）、增强现实（AR）和混合现实（MR）系统的分布式音频捕获技术技术方案

能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的用于捕获音频的系统和方法。一些系统可以包括环境中的多个分布式监测设备，每个监测设备具有麦克风和位置跟踪单元。该系统能够捕获音频信号，同时还捕捉位置跟踪信号，该位置跟踪信号指示在捕获音频信号期间监测设备随时间的位置。该系统能够基于音频信号和位置跟踪信号生成环境中的声波场的至少一部分的表示。该系统还可以基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。

Distributed Audio Capture Technology for Virtual Reality (VR), Augmented Reality (AR) and Hybrid Reality (MR) Systems

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术相关申请的交叉引用与本申请一起提交的申请数据表中标识出的国外或国内优先权要求的任何和所有申请在此根据37CFR1.57通过引用并入。也就是说，本申请要求2016年12月5日提交的题为“DISTRIBUTEDAUDIOCAPTURINGTECHNIQUESFORVIRTUALREALITY(VR),AUGMENTEDREALITY(AR),ANDMIXEDREALITY(MR)SYSTEMS(用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术)”的美国临时专利申请No.62/430,268的优先权，其全部内容在此引入作为参考。
本公开涉及能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的分布式音频捕获技术。
技术介绍
现代计算和显示技术促进了虚拟现实、增强现实和混合现实系统的发展。虚拟现实或“VR”系统为用户创建模拟的环境来体验。这可以通过将计算机生成的图像通过头戴式显示器呈现给用户来完成。该图像创建让用户沉浸在模拟环境中的感觉体验。虚拟现实场景通常仅涉及计算机生成的图像的呈现，而不是还包括实际的真实世界的图像的呈现。增强现实系统通常用模拟元素来补充真实世界环境。例如，增强现实或“AR”系统可以通过头戴式显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也能够呈现在显示器上，以增强现实世界环境。该计算机生成的图像可以包括与现实世界环境相关的元素。这样的元素可以包括模拟文本、图像、对象等。混合现实或MR系统还将模拟对象引入到现实世界环境中，但是这些对象通常具有比AR系统更大程度的交互性。图1描绘了示例的AR/MR场景1，其中用户看到以背景中的人、树、建筑为特征的真实世界的公园设置6以及实体平台20。除了这些项目以外，计算机生成的图像也呈现给用户。计算机生成的图像可以包括例如站在真实世界的平台20上的机器人雕像10，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色2，尽管这些元素2、10不实际存在于真实的世界环境中。生成有助于虚拟图像元素的自然感觉、令人信服的呈现的VR/AR/MR技术可能具有挑战性。但是音频可以帮助VR/AR/MR体验更加身临其境。因此，需要用于这些类型系统的改进的音频技术。
技术实现思路
在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为从声源捕获多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来生成由声源创建的声波场的至少一部分的表示。在一些实施例中，一种设备包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式监测设备接收从声源捕获的多个音频信号，从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号生成由声源创建的声波场的至少一部分的表示；以及存储音频信号和位置跟踪信号的存储器。在一些实施例中，一种方法包括：从多个分布式监测设备接收从声源捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号生成由声源创建的声波场的至少一部分的表示。在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为捕获环境中的多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。在一些实施例中，一种设备包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式监测设备接收在环境中捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性；以及存储音频信号和位置跟踪信号的存储器。在一些实施例中，一种方法包括：从多个分布式监测设备接收在环境中捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及基于音频信号和位置跟踪信号确定环境的一个或多个声学特性。在一些实施例中，一种系统包括：多个分布式摄像机，位于空间的周边，以便从多个不同的视点捕获空间的中心部分的多个视频；多个分布式麦克风，位于空间的周边，以便在捕获多个视频期间捕获多个音频信号；以及处理器，被配置为接收多个视频、多个音频信号和关于空间内每个麦克风的位置的位置信息，处理器还被配置为基于音频信号和位置信息生成空间的声波场的至少一部分的表示。在一些实施例中，一种设备，包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式摄像机接收从多个视点捕获的场景的多个视频；从多个分布式麦克风接收在捕获多个视频期间捕获的多个音频信号；接收关于多个麦克风的位置的位置信息；以及基于音频信号和位置信息生成声波场的至少一部分的表示；以及存储音频信号和位置跟踪信号的存储器。在一些实施例中，一种方法包括：从多个分布式摄像机接收从多个视点捕获的场景的多个视频；从多个分布式麦克风接收在捕获多个视频期间捕获的多个音频信号；接收关于多个麦克风的位置的位置信息；以及基于音频信号和位置信息生成声波场的至少一部分的表示。附图说明图1示出了使用示例AR/MR系统的用户对增强/混合现实场景的视图。图2示出了示例VR/AR/MR系统。图3示出了用于使用多个分布式设备来创建声波场的表示的系统。图4是示出用于创建声波场的图3中所示系统的操作方法的示例实施例的流程图。图5示出了用于使用多个用户设备来创建事件的声波场的表示的基于网络的系统。图6是示出用于创建事件的声波场的图5中所示的基于网络的系统的操作的示例实施例的流程图。图7示出了能够用于确定环境的声学特性的系统的示例实施例。图8是示出用于使用图7中所示的系统来确定环境的一个或多个声学特性的方法的示例实施例的流程图。图9示出了用于执行体积视频捕获的示例系统。图10示出了用于在体积视频捕获期间捕获音频的示例系统。图11是示出用于使用图10中所示的系统来捕获体积视频的音频的示例方法的流程图。具体实施方式图2示出了示例虚拟/增强/混合现实系统80。虚拟/增强/混合现实系统80包括显示器62以及支持该显示器62的功能的各种机械和电子模块和系统。显示器62可以耦合到框架64，框架64由用户60佩戴并且被配置为将显示器62定位在用户60的眼睛的前方。在一些实施例中，扬声器66耦合到框架64并且定位为邻近用户的耳道(在一些实施例中，未示出的另一个扬声器定位为邻近用户的另一个耳道以提供立体/可塑造声音控制)。显示器62诸如通过有线或无线连接68可操作地耦合到本地数据处理模块70，该本地数据处理模本文档来自技高网...

【技术保护点】
1.一种系统，包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中，所述监测设备被配置为从声源捕获多个音频信号并捕获多个位置跟踪信号，所述多个位置跟踪信号分别指示在捕获所述多个音频信号期间所述监测设备随时间的位置；以及处理器，所述处理器被配置为接收所述多个音频信号和所述多个位置跟踪信号，所述处理器还被配置为基于所述音频信号和所述位置跟踪信号来生成由所述声源创建的声波场的至少一部分的表示。

【技术特征摘要】
【国外来华专利技术】2016.12.05 US 62/430,2681.一种系统，包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中，所述监测设备被配置为从声源捕获多个音频信号并捕获多个位置跟踪信号，所述多个位置跟踪信号分别指示在捕获所述多个音频信号期间所述监测设备随时间的位置；以及处理器，所述处理器被配置为接收所述多个音频信号和所述多个位置跟踪信号，所述处理器还被配置为基于所述音频信号和所述位置跟踪信号来生成由所述声源创建的声波场的至少一部分的表示。2.根据权利要求1所述的系统，其中，在所述多个分布式监测设备之间存在未知的相对空间关系。3.根据权利要求2所述的系统，其中，所述多个分布式监测设备是移动的。4.根据权利要求1所述的系统，其中，所述位置跟踪单元包括全球定位系统(GPS)。5.根据权利要求1所述的系统，其中，所述声波场的表示包括对于多个时间在网格上的多个空间点中的每一个处的声音值。6.根据权利要求1所述的系统，其中，所述处理器还被配置为确定所述声源的位置。7.根据权利要求1所述的系统，其中，所述处理器还被配置为将所述声波场映射到虚拟、增强或混合现实环境。8.根据权利要求1所述的系统，其中，使用所述声波场的表示，所述处理器还被配置为确定所述声波场内的所选的位置处的虚拟音频信号，所述虚拟音频信号估计在所选的位置处由麦克风已经检测到的音频信号。9.根据权利要求8所述的系统，其中，所述位置基于虚拟或增强现实环境内的虚拟、增强或混合现实系统的用户的位置来选择。10.一种设备，包括：处理器，所述处理器被配置为执行包括以下步骤的方法：从多个分布式监测设备接收从声源捕获的多个音频信号；从所述多个监测设备接收多个位置跟踪信号，所述多个位置跟踪信号分别指示在捕获所述多个音频信号期间所述监测设备随时间的位置；基于所述音频信号和所述位置跟踪信号生成由所述声源创建的声波场的至少一部分的表示；以及存储器，其用于存储所述音频信号和所述位置跟踪信号。11.根据权利要求10所...

【专利技术属性】
技术研发人员：G·A·桑格，B·L·施密特，A·A·塔吉克，T·M·奥加拉，D·M·沙姆韦，A·豪沃思，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US