用于虚拟现实（VR）、增强现实（AR）和混合现实（MR）系统的分布式音频捕获技术技术方案

本发明专利技术涉及用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术。能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的用于捕获音频的系统和方法。一些系统可以包括环境中的多个分布式监测设备，每个监测设备具有麦克风和位置跟踪单元。该系统能够捕获音频信号，同时还捕捉位置跟踪信号，该位置跟踪信号指示在捕获音频信号期间监测设备随时间的位置。该系统能够基于音频信号和位置跟踪信号生成环境中的声波场的至少一部分的表示。该系统还可以基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。特性。特性。

【技术实现步骤摘要】
用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术
[0001]本申请是申请日为2017年12月4日、PCT国际申请号为PCT/US2017/064540、中国国家阶段申请号为201780085379.2、专利技术名称为“用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术”的申请的分案申请。
[0002]相关申请的交叉引用
[0003]与本申请一起提交的申请数据表中标识出的国外或国内优先权要求的任何和所有申请在此根据37CFR1.57通过引用并入。也就是说，本申请要求2016年12月5日提交的题为“DISTRIBUTED AUDIO CAPTURING TECHNIQUES FOR VIRTUAL REALITY(VR),AUGMENTED REALITY(AR),AND MIXED REALITY(MR)SYSTEMS(用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术)”的美国临时专利申请No.62/430,268的优先权，其全部内容在此引入作为参考。


[0004]本公开涉及能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的分布式音频捕获技术。

技术介绍

[0005]现代计算和显示技术促进了虚拟现实、增强现实和混合现实系统的发展。虚拟现实或“VR”系统为用户创建模拟的环境来体验。这可以通过将计算机生成的图像通过头戴式显示器呈现给用户来完成。该图像创建让用户沉浸在模拟环境中的感觉体验。虚拟现实场景通常仅涉及计算机生成的图像的呈现，而不是还包括实际的真实世界的图像的呈现。
[0006]增强现实系统通常用模拟元素来补充真实世界环境。例如，增强现实或“AR”系统可以通过头戴式显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也能够呈现在显示器上，以增强现实世界环境。该计算机生成的图像可以包括与现实世界环境相关的元素。这样的元素可以包括模拟文本、图像、对象等。混合现实或MR系统还将模拟对象引入到现实世界环境中，但是这些对象通常具有比AR系统更大程度的交互性。
[0007]图1描绘了示例的AR/MR场景1，其中用户看到以背景中的人、树、建筑为特征的真实世界的公园设置6以及实体平台20。除了这些项目以外，计算机生成的图像也呈现给用户。计算机生成的图像可以包括例如站在真实世界的平台20上的机器人雕像10，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色2，尽管这些元素2、10不实际存在于真实的世界环境中。
[0008]生成有助于虚拟图像元素的自然感觉、令人信服的呈现的VR/AR/MR技术可能具有挑战性。但是音频可以帮助VR/AR/MR体验更加身临其境。因此，需要用于这些类型系统的改进的音频技术。

技术实现思路

[0009]在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为从声源捕获多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来生成由声源创建的声波场的至少一部分的表示。
[0010]在一些实施例中，一种设备包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式监测设备接收从声源捕获的多个音频信号，从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号生成由声源创建的声波场的至少一部分的表示；以及存储音频信号和位置跟踪信号的存储器。
[0011]在一些实施例中，一种方法包括：从多个分布式监测设备接收从声源捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号生成由声源创建的声波场的至少一部分的表示。
[0012]在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为捕获环境中的多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。
[0013]在一些实施例中，一种设备包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式监测设备接收在环境中捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性；以及存储音频信号和位置跟踪信号的存储器。
[0014]在一些实施例中，一种方法包括：从多个分布式监测设备接收在环境中捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及基于音频信号和位置跟踪信号确定环境的一个或多个声学特性。
[0015]在一些实施例中，一种系统包括：多个分布式摄像机，位于空间的周边，以便从多个不同的视点捕获空间的中心部分的多个视频；多个分布式麦克风，位于空间的周边，以便在捕获多个视频期间捕获多个音频信号；以及处理器，被配置为接收多个视频、多个音频信号和关于空间内每个麦克风的位置的位置信息，处理器还被配置为基于音频信号和位置信息生成空间的声波场的至少一部分的表示。
[0016]在一些实施例中，一种设备，包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式摄像机接收从多个视点捕获的场景的多个视频；从多个分布式麦克风接收在捕获多个视频期间捕获的多个音频信号；接收关于多个麦克风的位置的位置信息；以及基于音频信号和位置信息生成声波场的至少一部分的表示；以及存储音频信号和位置跟踪信号的存储器。
[0017]在一些实施例中，一种方法包括：从多个分布式摄像机接收从多个视点捕获的场景的多个视频；从多个分布式麦克风接收在捕获多个视频期间捕获的多个音频信号；接收关于多个麦克风的位置的位置信息；以及基于音频信号和位置信息生成声波场的至少一部分的表示。
附图说明
[0018]图1示出了使用示例AR/MR系统的用户对增强/混合现实场景的视图。
[0019]图2示出了示例VR/AR/MR系统。
[0020]图3示出了用于使用多个分布式设备来创建声波场的表示的系统。
[0021]图4是示出用于创建声波场的图3中所示系统的操作方法的示例实施例的流程图。
[0022]图5示出了用于使用多个用户设备来创建事件的声波场的表示的基于网络的系统。
[0023]图6是示出用于创建事件的声波场的图5中所示的基于网络的系统的操作的示例实施例的流程图。...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中，所述监测设备被配置为捕获环境中的多个音频信号并捕获多个位置跟踪信号，所述多个位置跟踪信号分别指示在捕获所述多个音频信号期间所述监测设备随时间的位置；以及处理器，所述处理器被配置为接收所述多个音频信号和所述多个位置跟踪信号，所述处理器还被配置为基于所述音频信号和所述位置跟踪信号确定所述环境的一个或多个声学特性。2.根据权利要求1所述的系统，其中，所述一个或多个声学特性包括所述环境中的声反射或吸收，或所述环境的声频响应。3.根据权利要求1所述的系统，其中，在所述多个分布式监测设备之间存在未知的相对空间关系。4.根据权利要求1所述的系统，其中，所述多个分布式监测设备是可移动的。5.根据权利要求1所述的系统，其中，所述位置跟踪单元包括全球定位系统(GPS)。6.根据权利要求1所述的系统，其中，所述位置跟踪信号还包括关于所述监测设备的相应方位的信息。7.根据权利要求1所述的系统，其中，所述多个分布式监测设备包括虚拟现实系统、增强现实系统或混合现实系统。8.根据权利要求7所述的系统，其中，所述处理器还被配置为识别所述多个音频信号内的已知源声音。9.根据权利要求8所述的系统，其中，所述已知源声音包括由所述虚拟现实系统、增强现实系统或混合现实系统中的一者播放的声音。10.根据权利要求9所述的系统，其中，所述已知源声音包括声学脉冲或声学音调的扫描。11.根据权利要求8所述的系统，其中，所述已知源声音包括由用户佩戴的虚拟现实系统、增强现实系统或混合现实系统捕获的所述用户的话语。12.根据权利要求8所述的系统，其中，所述处理器还被配置为识别一个或多个环境改变的声音并将其与所述已知源声音相关联。13.根据权利要求7所述的系统，其中，所述处理器还被配置为将所述环境的所述一个或多个声学特性发送到所述多个虚拟现实系统、增强现实系统或混合现实系统。14.根据权利要求13所述的系统，其中，所述多个虚拟现实系统、增强现实系统或混合现实系统被配置为使用所述一个或多个声学特性来增强在虚拟现实、增强现实或混合现实体验期间播放给用户的音频。15.一种设备，包括：处理器，其被配置为执行方法，所述方法包括：从多个分布式监测设备接收在环境中捕获的多个音频信号；从所述多个监测设备接收多个位置跟踪信号，所述多个位置跟踪信号分别指示在捕获所述多个音频信号期间所述监测设备随时间的位置；基于所述音频信号和所述位置跟踪信号确定所述环境的一个或多个声学特性；以及存储器，其存储所述音频信号和所述位置跟踪信号。
16.根据权利要求15所述的设备，其中，所述一个或多个声学特性包括所述环境中的声反射或吸收，或所述环境的声频响应。17.根据权利要求15所述的设备，其中，所述位置跟踪信号还包括关于所述监测设备的相应方位的信息。18.根据权利要求15所述的设备，其中，所述多个分布式监测设备包括虚拟现实系统、增强现实系统或混合现实系统。19.根据权利要求18所述的设备，其中，所述处理器还被配置为识别所述多个音频信号内的已知源声音。20.根据权利要求19所述的设备，其中，所述已知源声音包括由所述虚拟现实系统、增强现实系统或混合现实系统中的一者播放的声音。21.根据权利要求19所述的设备，其中，所述已知源声音包括声学脉冲或声学音调的扫描。22.根据权利要求19所述的设备，其中，所述已知源声音包括由用户佩戴的虚拟现实系统、增强现实系统或混合现实系统捕获的所述用户的话语。23.根据权利要求19所述的设备，其中，所述处理器还被配置为识别一个或多个环境改变的声音并将其与所述已知源声音相关联。24.根据权利要求18所述的设备，其中，所述处理器还被配置为将所述环境的所述一个或多个声学特性发送到所述多个虚拟现实系统、增强现实系统或混合现实系统。25.一种方法，包括：从多个分布式监测设备接收在环境中捕获的多个音频信号；从所述多个监测设备接收多个位置跟踪信号，所述多个位置跟踪信号分别指示在捕获所述多个音频信号期间所述监测设备随时间的位置；以及基于所述音频信号和所述位置跟踪信号确定所述环境的一个或多个声学特性。26.根据权利要求25所述的方法，其中，所述一个或多个声学特性包括所述环境中的声反射或吸收，或所述环境的声频响应。27.根据权利要求25所述的方法，其中，所述位置跟踪信号还包括关于所述监测设备的相应方位的信息。28.根据权利要求25所述的方法，其中，所述多个分布式监测设备包括虚拟现实系统、增强现实系统或混合现实系统。29.根据权利要求28所述的方法，还包括识别所述多个音频信号内的已知源声音。30.根据权利要求29所述的方法，其中，所述已知源声音包括由所述虚拟现实系统、增强现实系统或混合现实系统中的一者播放的声音。31.根据权利要求29所述的方法，其中，所述已知源声音包括声学脉冲或声学音调的扫描。32.根据权利要求29所述的方法，其中，所述已知源声音包括由用户佩戴...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：