增强现实空间音频体验制造技术

本发明专利技术呈现了用于沉浸式增强现实(AR)体验的设备、介质和方法，该AR体验使用具有空间音频的眼戴设备。该眼戴设备具有处理器、存储器和图像传感器和扬声器系统。该眼戴设备捕捉该设备周围的环境的图像信息，并且识别在相同环境内的对象位置。然后，该眼戴设备将虚拟对象与所识别的对象位置相关联。该眼戴设备监视该设备相对于该虚拟对象的定位并且呈现音频信号以提醒用户所识别的对象在该环境中。信号以提醒用户所识别的对象在该环境中。信号以提醒用户所识别的对象在该环境中。

【技术实现步骤摘要】
【国外来华专利技术】增强现实空间音频体验
相关申请的交叉引用
[0001]本申请要求于2020年12月7日提交的美国临时专利申请序列号63/122,349的优先权，该专利申请的内容全文以引用方式并入本文。


[0002]本公开中阐述的示例涉及具有用于用户娱乐的空间音频反馈的便携式电子设备，包括可穿戴设备诸如眼戴器。

技术介绍

[0003]当今可用的许多类型的计算机和电子设备，诸如移动设备(例如，智能电话、平板电脑和笔记本电脑)、手持式设备(例如，智能指环、专用配件)和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)，包括各种传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备和输出设备。
附图说明
[0004]从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。
[0005]除非另外指出，否则附图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个非限制性示例。附图中包括以下附图：
[0006]图1A是适用于增强现实系统的眼戴设备的示例性硬件配置的侧视图(右)；
[0007]图1B是图1A的眼戴设备的右角部的顶部局部剖视图，图1B描绘了右可见光相机和电路板；
[0008]图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，图1C示出了左可见光相机；
[0009]图1D是图1C的眼戴设备的左角部的顶部局部剖视图，图1D描绘了左可见光相机和电路板；
[0010]图2A和图2B是在增强现实系统中利用的眼戴设备的示例性硬件配置的后视图；
[0011]图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
[0012]图4A是示例性增强现实系统的功能框图，该增强现实系统包括经由各种网络连接的可穿戴设备(例如，眼戴设备)、另一电子设备和服务器系统；
[0013]图4B是增强现实系统的一方面的流程图；
[0014]图4C是用于在增强现实系统的一个示例中使用的“智能部件”的功能框图；
[0015]图5是图4A的增强现实系统中移动设备的示例性硬件配置的图形表示；
[0016]图6A和图6B是用于描述自然特征追踪、即时定位与地图构建以及空间音频的图示；
[0017]图7A、图7B、图7C、图7D、图7E和图7F是用于提供随着眼戴设备的定位改变而变化的物理输出的示例性方法的流程图；
[0018]图8A、图8B和图8C是描绘眼戴设备的示例性使用的图示。
[0019]图9是用于测试与虚拟对象相关联的定向音频的示例性图形用户界面；
[0020]图10是呈现在眼戴设备显示器上的虚拟对象的透视图。
具体实施方式
[0021]呈现了用于沉浸式AR体验的设备、方法和介质的示例，该AR体验使用具有空间音频的眼戴设备。该眼戴设备具有处理器、存储器、图像传感器和扬声器系统。该眼戴设备捕捉该设备周围的环境的图像信息，并且识别在相同环境内的对象位置。然后，该眼戴设备将虚拟对象与所识别的对象位置相关联。该眼戴设备监视该设备相对于该虚拟对象的定位并且呈现音频信号以提醒用户所识别的对象在该环境中。
[0022]以下具体实施方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开主题及其相关教导内容的透彻理解的目的，包括了许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式应用或实践。本文中所使用的术语和命名仅仅是出于描述特定方面的目的，并且并不旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定详细示出。
[0023]本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或包括链路等的电连接，由一个系统元件产生或提供的电信号或磁信号通过该电连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接元件或连接元件或设备不一定直接彼此连接，并且可以由中间部件、元件或通信介质隔开，中间部件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
[0024]出于说明和讨论的目的，仅以示例的方式给出了眼戴设备、手持式设备、相关联部件和任意附图中包含相机和/或惯性测量单元的任何其他完整设备的定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机和/或惯性测量单元的方向或定向。
[0025]示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的产生或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。现在详细参考附图所示和下文所讨论的示例。
[0026]图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见和/
或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他示例中，眼戴器100可包括在左侧的触摸板。
[0027]触摸板181的表面被配置为检测手指触摸、轻击和手势(例如，移动的触摸)，以便与眼戴器在图像显示器上显示的GUI一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。
[0028]对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使GUI在图像显示器上显示和/或突出显示项目，该项目可被投影到光学组件180A、180B中的至少一者上。在触摸板181上双击可选择项目或图标。在特定方向上(例如，从前到后、从后到前、从上到下或从下到上)滑动或轻扫手指可使项目或图标在特定方向上滑动或滚动；例如，以移动到下一项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，以移动到前一项目、图标、视频、图像、页面或幻灯片。触摸板181实际上可以在眼戴设备100上的任何地方。
[0029]在一个示例中，在触摸板181上单击的所识别的手指手势发起对呈现在光学组件180A、180B的图像显示器上的图像中的图形用户界面元素的选择或按压。基于所识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种眼戴设备，包括：扬声器系统；至少一个具有视场的图像传感器；支撑结构，所述支撑结构被配置为戴在用户头上，所述支撑结构支撑所述扬声器系统和所述至少一个图像传感器；和处理器、存储器以及所述存储器中的程序，其中由所述处理器执行所述程序将所述眼戴设备配置为：用所述至少一个图像传感器来捕获所述眼戴设备周围的环境的图像信息；识别所述环境内的对象位置；将虚拟对象与所识别的对象位置相关联；响应于所捕获的图像信息而监视所述眼戴设备相对于所述虚拟对象的定位；并且响应于所监视的定位，用所述扬声器系统呈现音频信号以提醒所述用户所识别的对象在所述环境中。2.根据权利要求1所述的眼戴设备，其中所述扬声器系统包括产生至少三个定向音频区域的至少两个扬声器，并且其中为了呈现所述音频信号，所述眼戴器被配置为：确定所述眼戴设备相对于所述对象位置的当前定向；响应于所述当前定向而选择所述至少三个定向音频区域中的一个定向音频区域；并且用所述至少两个扬声器中的第一扬声器呈现第一音频信号，并且用所述至少两个扬声器中的第二扬声器呈现与所述虚拟对象相关联的第二音频信号，所述第一音频信号和所述第二音频信号响应于所选择的定向音频区域。3.根据权利要求2所述的眼戴设备，其中所述眼戴设备的所述支撑结构包括：具有第一侧和第二侧的框架；从所述框架的第一侧延伸的第一镜腿，所述第一镜腿具有邻近所述框架的所述第一侧的近侧端部和远侧端部；和从所述框架的第二侧延伸的第二镜腿，所述第二镜腿具有邻近所述框架的所述第二侧的近侧端部和远侧端部；其中当所述支撑结构定位在所述用户的所述头部上时，所述至少两个扬声器中的所述第一扬声器定位在所述第一镜腿上，使得所述第一扬声器邻近所述用户的第一耳朵，并且所述至少两个扬声器中的所述第二扬声器定位在所述第二镜腿上，使得所述第二扬声器邻近所述用户的第二耳朵。4.根据权利要求1所述的眼戴设备，进一步包括：显示器，所述显示器具有与所述视场相对应的观看区域；其中由所述处理器执行所述程序将所述眼戴设备配置为：确定所述对象位置何时在所述显示器的所述观看区域内；并且当所识别的对象位置被确定为在所述观看区域内时，响应于所监视的定位而在所述显示器上呈现包括所述对象位置中的所述虚拟对象的视频信号。5.根据权利要求4所述的眼戴设备，其中由所述处理器执行所述程序进一步将所述眼戴设备配置为：从至少第一对象类型和第二对象类型中随机选择所述虚拟对象的对象类型，所述第一
对象类型与第一组动画状态相关联并且所述第二对象类型与第二组动画状态相关联；其中为了呈现所述虚拟对象，所述眼戴设备被配置为当选择所述第一对象类型时呈现所述第一组动画状态，并且当选择所述第二对象类型时呈现所述第二组动画状态。6.根据权利要求5所述的眼戴设备，其中所述第一对象类型与正分数相关联并且所述第二对象类型与负分数相关联，并且其中由所述处理器执行所述程序进一步将所述眼戴设备配置为：维护所述用户的积分；检测所述眼戴设备何时在所述对象位置的预定义阈值内；并且当所述虚拟对象具有所述第一对象类型时，将所述积分增加所述正分数，并且当所述虚拟对象具有所述第二对象类型时，将所述积分减少所述负分数。7.根据权利要求1所述的眼戴设备，其中为了识别所述环境内的所述对象位置，所述眼戴设备被配置为：在所述环境内生成随机位置；并且将所述随机位置识别为所述对象位置。8.根据权利要求1所述的眼戴设备，进一步包括：显示器，所述显示器具有与所述视场相对应的观看区域；其中所述虚拟对象具有第一动画状态和第二动画状态，并且其中由所述处理器执行所述程序将所述眼戴设备配置为：当所述眼戴设备相对于所述虚拟对象的所述位置大于第一预定义距离时，在所述显示器上显示所述第一动画状态；并且当所述眼戴设备相对于所述虚拟对象的所述位置达到所述第一预定义距离时，从所述第一动画状态转换到第二动画状态。9.根据权利要求1所述的眼戴设备，其中由所述处理器执行所述程序将所述眼戴设备配置为：随着所述眼戴设备的所监视的定位接近所述虚拟对象，所述音频信号的分贝水平指数级增大。10.根据权利要求6所述的眼戴设备，其中所述眼戴设备进一步包括无线通信部件，所述眼戴设备通过网络可操作地连接到服务器系统，并且所述所监视的定位...

【专利技术属性】
技术研发人员：伊尔泰里斯，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：