混合现实乐器制造技术

公开了一种方法，该方法包括以下步骤：识别混合现实环境中的第一真实对象，混合现实环境具有用户；识别混合现实环境中的第二真实对象；在混合现实环境中生成对应于第二真实对象的第一虚拟对象；在混合现实环境中识别第一真实对象与第一虚拟对象之间的碰撞；确定与碰撞相关联的第一属性；基于第一属性，确定对应于碰撞的第一音频信号；以及经由一个或多个扬声器，向用户呈现第一音频信号。

【技术实现步骤摘要】
【国外来华专利技术】混合现实乐器
本申请要求于2018年2月15日提交的美国临时专利申请号62/631,405的在35U.S.C.§119(e)下的权益，其内容通过引用以其整体加以合并。本公开大体涉及用于呈现音频信号的系统和方法，并且特别地涉及用于呈现对应于混合现实环境中的乐器的音频信号的系统和方法。
技术介绍
虚拟环境在计算环境中是普遍存在的，发现用于视频游戏(其中，虚拟环境可表示游戏世界)；地图(其中，虚拟环境可表示待导航的地形)；模拟(其中，虚拟环境可模拟真实环境)；数字讲故事(其中，虚拟角色可在虚拟环境中彼此交互)；和许多其他应用。现代计算机用户通常舒适感知虚拟环境并且与虚拟环境交互。然而，关于虚拟环境的用户体验可能受限于用于呈现虚拟环境的技术。例如，常规显示器(例如，2D显示屏)和音频系统(例如，固定扬声器)可能不能够以产生令人信服、现实并且沉浸式体验的方式实现虚拟环境。虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)、和相关技术(统称为“XR”)共享向XR系统的用户呈现对应于由计算机系统中的数据表示的虚拟环境的感觉信息的能力。本公开预期了VR、AR和MR系统之间的区别(尽管在一方面中(例如，视觉方面)一些系统可被分类为VR，并且同时在另一方面中(例如，音频方面)被分类为AR或MR))。如本文所使用的，VR系统呈现了在至少一个方面中替换用户的真实环境的虚拟环境；例如，VR系统可以向用户呈现虚拟环境的视图，而同时模糊他或她的真实环境的视图，诸如利用光阻头戴式显示器。类似地，VR系统可以向用户呈现对应于虚拟环境的音频，而同时阻挡(衰减)来自真实环境的音频。VR系统可能经历由用虚拟环境替换用户的真实环境导致的各种缺点。一个缺点是当用户在虚拟环境中的视场不再对应于他或她的内耳的状态时可能出现的晕动病的感觉，他或她的内耳的状态检测真实环境(非虚拟环境)中的个人的平衡和取向。类似地，用户可能经历他们自己的身体和四肢(用户依赖于其身体和四肢的视图来在真实环境中感觉“触地(grounded)”)不直接可见的VR环境中的混乱取向。另一个缺点是置于VR系统上的计算负担(例如，存储、处理能力)，该VR系统必须呈现全3D虚拟环境，特别地在试图使用户沉浸在虚拟环境中的实时应用中。类似地，这样的环境可能需要达到非常高标准的真实性以被认为是沉浸式的，因为用户倾向于对虚拟环境中的甚至较小的不完美敏感—其中的任何一个可能破坏虚拟环境中的用户的沉浸感。进一步地，VR系统的另一个缺点在于，系统的这样的应用不能利用真实环境中的广泛的感觉数据，诸如人们在真实世界中体验的各种视觉和声音。相关缺点在于，VR系统可能努力创建多个用户可以交互的共享环境，因为共享真实环境中的物理空间的用户可能不能够在虚拟环境中直接看到彼此或彼此交互。如本文所使用的，在至少一个方面中，AR系统呈现重叠或覆盖真实环境的虚拟环境。例如，AR系统可以向用户呈现覆盖在用户的真实环境的视图上的虚拟环境的视图，诸如利用呈现显示的图像同时允许光穿过显示器到用户的眼睛中的透射式头戴式显示器。类似地，AR系统可以向用户呈现对应于虚拟环境的音频，而同时在来自真实环境的音频中混合。类似地，如本文所使用的，如AR系统那样，MR系统在至少一个方面中呈现重叠或覆盖真实环境的虚拟环境，并且可以附加地在至少一个方面中允许MR系统中的虚拟环境可以与真实环境交互。例如，虚拟环境中的虚拟角色可以切换真实环境中的灯开关，使得真实环境中的对应的灯泡接通或关断。作为另一个示例，虚拟角色可以对真实环境中的音频信号作出反应(诸如用面部表情)。通过维持真实环境的呈现，AR和MR系统可以避免VR系统的前述缺点中的一些缺点；例如，用户的晕动病减少，因为来自真实环境(包括用户自己的身体)的视觉线索可以保持可见，并且这样的系统不需要向用户呈现完全实现3D环境以便是沉浸式的。进一步地，AR和MR系统可以利用真实世界感觉输入(例如，场景、对象和其他用户的视图和声音)来创建增强该输入的新应用。XR系统可向用户提供与虚拟环境交互的各种方式；例如，XR系统可包括用于检测用户的位置和取向、面部表情、语音和其他特性的各种传感器(例如，相机、麦克风等)；并将该信息作为输入呈现给虚拟环境。一些XR系统可包含配备传感器的输入设备，诸如虚拟“木槌”、真实木槌、接触传感器、手指传感器等，并且可以被配置为检测输入设备的位置、取向或其他特性。XR系统可通过将虚拟视觉和音频线索与真实视觉和声音组合来提供独特地强化的沉浸感和真实性。因此，在一些XR系统中，期望呈现增强、改进或更改对应的真实环境的虚拟环境。本公开涉及包含交互式虚拟声源(诸如乐器)的XR系统，该XR系统向用户呈现对应于真实环境中的真实对象与虚拟环境中的虚拟对象之间的交互的音频信号。
技术实现思路
本公开的示例描述了用于将音频信号呈现给混合现实环境的用户的系统和方法。在一个示例中，一种方法可识别混合现实环境中的第一真实对象和第二真实对象。该方法可生成对应于第二真实对象的虚拟对象。该方法然后可在混合现实环境中识别第一真实对象与虚拟对象之间的碰撞。该方法可确定与碰撞相关联的第一属性，并且基于第一属性，确定对应于碰撞的第一音频信号。该方法然后可经由一个或多个扬声器向用户呈现第一音频信号。附图说明图1A-1C示出了示例混合现实环境。图2A-2D示出了可用于生成并且与混合现实环境交互的示例混合现实系统的组件。图3A示出了可用于向混合现实环境提供输入的示例混合现实手持式控制器。图3B示出了可与示例混合现实系统一起使用的示例辅助单元。图4示出了用于示例混合现实系统的示例功能框图。图5示出了用于创建包括混合现实系统中的真实对象的混合现实乐器的过程的示例流程图。图6A示出了混合现实系统的用户的示例真实环境。图6B示出了混合现实系统中的真实对象的示例视图。图6C示出了对应于示例混合现实系统中的真实对象的示例虚拟对象。图7示出了混合现实系统中的虚拟对象的参数的示例表示。图8示出了混合现实环境的示例呈现。图9示出了用于操作混合现实系统中的混合现实乐器的示例流程图。图10A-10C示出了识别用于混合现实系统中的混合现实乐器的碰撞参数的示例。具体实施方式在以下示例的描述中，对附图进行参考，该附图形成以下示例的描述的一部分，并且在附图中，通过图示可以实践的具体示例的方式示出。应理解，在不脱离所公开的示例的范围的情况下，可以使用其他示例并且可以做出结构改变。混合现实环境像所有人一样，混合现实系统的用户存在于真实环境中—即，“真实世界”的三维部分和可由用户感知的其所有内容。例如，用户使用个人的普通人类感觉(视觉、声音、触觉、味道、气味)感知真实世界，并且通过在真实环境中移动个人自己的身体与真实环境交互。真实环境中的位置可被描述为坐标空间中的坐标；例如，坐标可包括纬度、经度和相对于海平面的海拔；在三个正交维度上距参考点的距离；或其他适合的值。同样地，本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n识别混合现实环境中的第一真实对象，所述混合现实环境具有用户；/n识别所述混合现实环境中的第二真实对象；/n在所述混合现实环境中生成对应于所述第二真实对象的第一虚拟对象；/n在所述混合现实环境中识别所述第一真实对象与所述第一虚拟对象之间的碰撞；/n确定与所述碰撞相关联的第一属性；/n基于所述第一属性，确定对应于所述碰撞的第一音频信号；以及/n经由第一扬声器，向所述用户呈现所述第一音频信号。/n

【技术特征摘要】
【国外来华专利技术】20180215 US 62/631,4051.一种方法，包括：
识别混合现实环境中的第一真实对象，所述混合现实环境具有用户；
识别所述混合现实环境中的第二真实对象；
在所述混合现实环境中生成对应于所述第二真实对象的第一虚拟对象；
在所述混合现实环境中识别所述第一真实对象与所述第一虚拟对象之间的碰撞；
确定与所述碰撞相关联的第一属性；
基于所述第一属性，确定对应于所述碰撞的第一音频信号；以及
经由第一扬声器，向所述用户呈现所述第一音频信号。


2.根据权利要求1所述的方法，其中，识别所述碰撞包括基于所述第一真实对象的位置和所述第一真实对象的速度来预测碰撞。


3.根据权利要求1所述的方法，其中，所述第一属性是与所述虚拟对象相关联的音高，并且确定第一音频信号包括生成对应于所述音高的音频信号。


4.根据权利要求1所述的方法，其中，所述第一属性包括与所述虚拟对象相关联的材料，并且确定所述第一音频信号包括：
生成音频信号，以及
基于所述材料的声学特性来修改所述音频信号。


5.根据权利要求1所述的方法，还包括在显示器上同时呈现所述虚拟对象和所述第二真实对象的视图。


6.根据权利要求1所述的方法，其中，所述第一真实对象包括传感器，并且识别所述碰撞包括基于所述传感器的输出来预测碰撞。


7.根据权利要求1所述的方法，其中，确定所述第一音频信号包括：
基于所述第一属性来生成MIDI参数；以及
使用声音引擎，基于所述MIDI参数来生成所述第一音频信号。


8.一种方法，包括：
识别混合现实环境中的第一真实对象，所述混合现实环境具有用户；
识别所述混合现实环境中的第二真实对象；
在所述混合现实环境中生成对应于所述第一真实对象的第一虚拟对象；
在所述混合现实环境中生成对应于所述第二真实对象的第二虚拟对象；
在所述混合现实环境中识别所述第一虚拟对象与所述第二虚拟对象之间的碰撞；
确定与所述碰撞相关联的第一属性；
基于所述第一属性，确定对应于所述碰撞的第一音频信号；以及
经由第一扬声器，向所述用户呈现所述第一音频信号。


9.一种系统，包括：
可穿戴头部设备，其包括：
用于显示虚拟环境的显示器，所述显示器包括透射目镜，通过所述透射目镜，真实环境是可见的；和
扬声器；以及
一个或多个处理器，其被配置...

【专利技术属性】
技术研发人员：A·A·塔吉克，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US