当前位置: 首页 > 专利查询>奇跃公司专利>正文

混合现实空间音频制造技术

技术编号:24334977 阅读:66 留言:0更新日期:2020-05-29 21:52
公开了一种向混合现实环境的用户呈现音频信号的方法。根据该方法的示例,检测与混合现实环境相关联的音频事件。音频事件与第一音频信号相关联。确定用户相对于混合现实环境的位置。识别与用户的位置相关联的声学区域。确定与第一声学区域相关联的第一声学参数。使用第一声学参数确定传递函数。将传递函数应用于第一音频信号以产生第二音频信号,然后向用户呈现第二音频信号。

Mixed real space audio

【技术实现步骤摘要】
【国外来华专利技术】混合现实空间音频相关申请的交叉引用本申请根据35U.S.C.§119(e)要求2017年10月17日提交的序列号为62/573,448的美国临时专利申请和2018年2月15日提交的序列号为62/631,418的美国临时专利申请的优先权益,这两个申请的全部内容为所有目的通过引用并入本文中。
本公开一般地涉及用于呈现音频信号的系统和方法,更具体地,涉及用于向混合现实环境的用户呈现音频信号的系统和方法。
技术介绍
虚拟环境在计算环境中普遍存在,可用于视频游戏(其中虚拟环境可以表示游戏世界);地图(其中虚拟环境可以表示要导航的地形);模拟(其中虚拟环境可以模拟真实环境);数字叙事(其中虚拟角色可以在虚拟环境中彼此交互);以及许多其它应用。现代计算机用户通常舒适地感知虚拟环境并与之交互。然而,用于呈现虚拟环境的技术可能会限制用户在虚拟环境中的体验。例如,传统的显示器(例如,2D显示屏)和音频系统(例如,固定扬声器)可能无法通过创建引人注目的、逼真的沉浸式体验的方式来实现虚拟环境。虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)以及相关技术(统称为“XR”)共享向XR系统的用户呈现感官信息的能力,这些感官信息对应于由计算机系统中的数据表示的虚拟环境。通过将虚拟的视觉和音频提示与真实的景象和声音进行结合,此类系统能够提供独特地增强的沉浸感和真实感。因此,可能希望以声音听上去像在用户的真实环境中——自然地并且与用户对声音的期望一致地——发生的方式向XR系统的用户呈现数字声音。一般来说,用户希望虚拟声音具有在其被听到的真实环境的声学特性。例如,在大型音乐厅中的XR系统的用户期望XR系统的虚拟声音具有巨大的洞穴似的声音品质;相反,小公寓中的用户期望声音更加减弱、接近和直接。现有技术经常达不到这些期望,例如所呈现的虚拟音频未考虑用户的周围环境,从而导致会影响用户体验的不真实感。对XR系统用户的观察表明,虽然用户可能对虚拟内容与真实环境之间的视觉失配(例如,照明不一致)的容忍度相对较高;但是可能对听觉失配更为敏感。我们自己的听觉体验在一生中是不断完善的,可以使我们敏锐地意识到我们的物理环境如何影响我们听到的声音;而且我们对与期望不一致的声音高度敏感。对于XR系统,这种不一致会是不和谐的,会使引人注目的沉浸式体验变得花哨、极具模仿意味。在极端的例子中,听觉不一致会导致晕动和其它不良作用,因为内耳无法调和听觉刺激与其相应的视觉提示。本专利技术旨在通过向用户呈现虚拟声音来解决这些缺点,其中声音的呈现基于用户真实环境的各方面而包含一个或多个回放参数。例如,呈现可以包含模拟的混响效果,其中混响的一个或多个参数取决于用户真实环境的属性,例如房间的立方体积或房间墙壁的材料。通过将用户物理环境特性考虑进去,本文描述的系统和方法可以模拟将用户听到的内容,使得虚拟声音就像是在该环境中自然生成的真实声音。通过以忠于声音在真实世界中的行为的方式呈现虚拟声音,用户可以体验到与混合现实环境的增强的联系感。类似地,通过呈现对用户的移动和环境做出响应的位置感知虚拟内容,该内容变得更主观,更具互动性和更真实,例如,用户在A点的体验可能与他或她在B点的体验完全不同。这种增强的真实感和交互性可以为新的混合现实应用(例如,使用空间感知音频实现新颖形式的游戏玩法、社交功能或交互行为的那些应用)提供基础。
技术实现思路
公开了向混合现实环境的用户呈现音频信号的系统和方法。根据一种示例方法,检测与所述混合现实环境相关联的音频事件。所述音频事件与第一音频信号相关联。确定所述用户相对于所述混合现实环境的位置。识别与所述用户的位置相关联的声学区域。确定与所述第一声学区域相关联的第一声学参数。使用所述第一声学参数确定传递函数(transferfunction)。将所述传递函数应用于所述第一音频信号以产生第二音频信号,然后向所述用户呈现所述第二音频信号。附图说明图1A至1C示出了根据本公开的一个或多个示例的示例混合现实环境。图2示出了根据本公开的一个或多个示例的示例混合现实系统的示例可穿戴头部单元。图3A示出了根据本公开的一个或多个示例的可用于向混合现实环境提供输入的示例混合现实手持式控制器。图3B示出了根据本公开的一个或多个示例的可以被包括在示例混合现实系统中的示例辅助单元。图4示出了根据本公开的一个或多个示例的示例混合现实系统的示例功能框图。图5示出了根据本公开的一个或多个示例的示例混合现实系统的部件的示例配置。图6示出了根据本公开的一个或多个示例的用于在混合现实系统中呈现音频信号的示例过程的流程图。图7至8示出了根据本公开的一个或多个示例的用于确定混合现实系统的房间的声学参数的示例过程的流程图。图9示出了根据本公开的一个或多个示例的在混合现实环境中在声学上耦合的房间的示例。图10示出了根据本公开的一个或多个示例的声学图结构的示例。图11示出了根据本公开的一个或多个示例的用于确定混合现实系统的声学环境的复合声学参数的示例过程的流程图。图12至14示出了根据本公开的一个或多个示例的示例可穿戴混合现实系统的部件。图15示出了根据本公开的一个或多个示例的示例混合现实系统的部件的示例配置。图16至20示出了根据本公开的一个或多个示例的用于向混合现实系统的用户呈现音频信号的示例过程的流程图。图21示出了根据本公开的一个或多个示例的用于确定混合现实系统的用户的位置的示例过程的流程图。具体实施方式在对示例的以下描述中,参考形成其一部分的附图,并且在附图中通过图示的方式示出了可以实践的具体示例。应当理解,在不脱离所公开的示例的范围的情况下,可以使用其它示例并且可以做出结构改变。混合现实环境像所有人一样,混合现实系统的用户存在于真实环境中,即,用户可以感知的“真实世界”的三维部分及其所有内容。例如,用户使用普通的人类感觉(视觉、听觉、触觉、味觉、嗅觉)感知真实环境,并通过在真实环境中移动自己的身体来与真实环境互动。真实环境中的位置可以被描述为坐标空间中的坐标;例如,坐标可以包括纬度、经度和相对于海平面的高度;三个正交维度中的与参考点的距离;或其它合适的值。同样,矢量可以描述坐标空间中具有方向和大小的量。计算设备可以在例如与该设备相关联的存储器中维护虚拟环境的表示。如本文所使用的,虚拟环境是三维空间的计算表示。虚拟环境可以包括对象、动作、信号、参数、坐标、矢量或与该空间相关联的其它特性的表示。在一些示例中,计算设备的电路(例如,处理器)可以维持和更新虚拟环境的状态;例如,处理器可以在第一时间t0处基于与虚拟环境相关联的数据和/或由用户提供的输入,确定第二时间t1处的虚拟环境的状态。例如,如果虚拟环境中的对象在时间t0处位于第一坐标,并且具有某些编程的物理参数(例如,质量、摩擦系数);从用户处接收到的输入指示应该在方向矢量上向对象施加力;处理器可以运用运动学定律来使用基础力学确定对象在本文档来自技高网
...

【技术保护点】
1.一种向混合现实环境的用户呈现音频信号的方法,所述方法包括:/n检测与所述混合现实环境相关联的音频事件,其中所述音频事件与第一音频信号相关联;/n确定所述用户相对于所述混合现实环境的位置;/n识别与所述用户的位置相关联的第一声学区域;/n确定与所述第一声学区域相关联的第一声学参数;/n使用所述第一声学参数确定传递函数;/n将所述传递函数应用于所述第一音频信号以产生第二音频信号;以及/n向所述用户呈现所述第二音频信号。/n

【技术特征摘要】
【国外来华专利技术】20171017 US 62/573,448;20180215 US 62/631,4181.一种向混合现实环境的用户呈现音频信号的方法,所述方法包括:
检测与所述混合现实环境相关联的音频事件,其中所述音频事件与第一音频信号相关联;
确定所述用户相对于所述混合现实环境的位置;
识别与所述用户的位置相关联的第一声学区域;
确定与所述第一声学区域相关联的第一声学参数;
使用所述第一声学参数确定传递函数;
将所述传递函数应用于所述第一音频信号以产生第二音频信号;以及
向所述用户呈现所述第二音频信号。


2.根据权利要求1所述的方法,其中,所述第一音频信号包括波形音频文件。


3.根据权利要求1所述的方法,其中,所述第一音频信号包括现场音频流。


4.根据权利要求1所述的方法,其中:
所述用户与可穿戴系统相关联,所述可穿戴系统包括一个或多个传感器以及被配置为呈现所述混合现实环境的视图的显示器;并且
识别所述第一声学区域包括检测来自所述一个或多个传感器的第一传感器输入,以及基于所述第一传感器输入识别所述第一声学区域。


5.根据权利要求4所述的方法,其中,确定所述第一声学参数包括检测来自所述一个或多个传感器的第二传感器输入,以及基于所述第二传感器输入确定所述第一声学参数。


6.根据权利要求5所述的方法,其中,确定所述第一声学参数进一步包括基于所述第二传感器输入识别所述声学区域的几何特性,以及基于所述几何特性确定所述第一声学参数。


7.根据权利要求5所述的方法,其中,确定所述第一声学参数进一步包括基于所述第二传感器输入识别与所述声学区域相关联的材料,以及基于所述材料确定所述第一声学参数。


8.根据权利要求4所述的方法,其中,所述可穿戴系统进一步包括麦克风,所述麦克风位于所述第一声学区域中,并且基于由所述麦克风检测到的信号确定所述第一声学参数。


9.根据权利要求1所述的方法,其中,所述第一声学参数对应于混响参数。


10.根据权利要求1所述的方法,其中,所述第一声学参数对应于滤波参数。


11.根据权利要求1所述的方法,进一步包括:
识别第二声学区域,所述第二声学区域在声学上耦合到所述第一声学区域;以及
确定与所述第二声学区域相关联的第二声学参数,
其中使用所述第二声学参数确定所述传递函数。


12.一种系统,包括:
可穿戴头部单元,其包括:
显示器,其被配置为呈现混合现实环境的视图;
扬声器;
一个或多个传感器;以及
电路,其被配置为执行方法,所述方法包括:
检测与所述混合现实环境相关联的音频事件,其中所述音频事件与第一音频信号相关联;
基于所述一个或多个传感器,确定所述可穿戴头部单元相对于所述混合现实环境的位置;
识别与所述用户的位置相关联的第一声学区域;
确定与所述第一声学区域相关联的第一声学参数;
使用所述第一声学参数确定传递函数;

【专利技术属性】
技术研发人员:B·L·施密特J·塔吉克JM·约特
申请(专利权)人:奇跃公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1