利用对象操纵的增强现实体验制造技术

本发明专利技术提供了利用包括定位检测系统和显示系统的眼戴设备的增强现实体验。该眼戴设备检测用户在物理环境中的手势或移动中的至少一者，并且将该手势与保持在该眼戴设备的存储器内的虚拟对象的设置相关联。然后，该眼戴设备可基于检测到的手势或移动来改变该虚拟对象的属性。然后，该眼戴设备提供对应于该虚拟对象的一个或多个属性的输出。该虚拟对象可以是例如音乐播放器或虚拟游戏件。是例如音乐播放器或虚拟游戏件。是例如音乐播放器或虚拟游戏件。

【技术实现步骤摘要】
【国外来华专利技术】利用对象操纵的增强现实体验
相关申请的交叉引用
[0001]本申请要求2020年6月29日提交的美国临时专利申请序列号63/045,452和2021年3月4日提交的美国专利申请序列号17/192,144的优先权，这两个专利申请的全部内容据此以引用方式并入。


[0002]本公开中阐述的示例涉及增强现实(AR)和可穿戴移动设备(诸如眼戴设备)领域。更具体地，但不作为限制，本公开描述了与虚拟图像进行用户交互以提供利用对象操纵的增强现实体验。

技术介绍

[0003]当今可用的许多类型的计算机和电子设备，诸如移动设备(例如，智能电话、平板电脑和膝上型电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)，包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和图形用户界面(GUI)，用户可通过这些部件与显示内容交互。
[0004]增强现实(AR)将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。
[0005]高级AR技术，诸如计算机视觉和对象追踪，可用于创建在感知上丰富和沉浸的体验。计算机视觉算法从数字图像或视频中捕获的数据中提取关于物理世界的三维数据。对象识别和追踪算法可用于检测数字图像或视频中的对象，估计其定向或姿态，并且追踪其随时间的移动。
附图说明
[0006]从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。
[0007]除非另外指出，否则图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个具体实施，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：
[0008]图1A是适用于增强现实产生系统的眼戴设备的示例性硬件配置的侧视图(右)；
[0009]图1B是图1A的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
[0010]图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
[0011]图1D是图1C的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和
电路板；
[0012]图2A和图2B是在增强现实产生系统中利用的眼戴设备的示例性硬件配置的后视图；
[0013]图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
[0014]图4是包括经由各种网络连接的可穿戴设备(例如，眼戴设备)和服务器系统的示例性增强现实产生系统的功能框图；
[0015]图5是用于图4的增强现实产生系统的移动设备的示例性硬件配置的图形表示；
[0016]图6是在用于描述即时定位与地图构建的示例性环境中的用户的示意性图示；
[0017]图7是列出示例性方法中的步骤的流程图，该方法涉及检测手势或移动中的至少一者，以及响应于检测到的手势或移动来改变音乐播放器的设置。
[0018]图8是列出使用与图7中所示的过程类似的过程来在物理环境中控制音乐播放器的步骤的流程图。
[0019]图9是列出示例性方法中的步骤的流程图，该方法包括显示物理环境中的一个或多个对象，以及改变所显示的对象的定向或位置中的至少一者。
[0020]图10A、图10B和图10C是使用响应于手势或移动中的至少一者来控制音乐播放器的方法的虚拟增强现实体验的透视图。
[0021]图11A、图11B和图11C是使用响应于手势或移动中的至少一者来控制虚拟游戏件的方法的虚拟增强现实体验的透视图。
[0022]图12是从眼戴设备内部观察的视图，其示出了可以由该眼戴系统识别的各种手势。
具体实施方式
[0023]参考包括用于使用对象操纵的增强现实体验的系统的示例来描述各种具体实施和细节。眼戴设备检测用户在物理环境中的手势或移动。眼戴设备可将该手势或移动与保持在眼戴设备的存储器内的虚拟对象相关联。然后，眼戴设备可响应于检测到的手势或移动来改变虚拟对象的属性或设置。眼戴设备提供对应于虚拟对象的一个或多个属性的输出。在一个示例中，虚拟对象可以是音乐播放器，其中眼戴器用户可通过手势或移动来改变属性，诸如音量、歌曲队列等。在另一个示例中，虚拟对象可以是由眼戴设备在物理环境中显示的对象。例如，虚拟对象可以是三维游戏件。
[0024]以下具体实施方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
[0025]本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接(包括链路等)，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以
由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
[0026]术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，物品最靠近对象的端部可以被称为近侧端部，而大致相对的端部可以被称为远侧端部。
[0027]出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的眼戴设备、其他移动设备、相关联部件和结合了相机、惯性测量单元或两者的任何其他设备的定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或定向。
[0028]示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的生产或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
[0029]现在详细本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种增强现实系统，包括：定位检测系统；显示系统；语音识别系统；眼戴设备，所述眼戴设备包括所述定位检测系统、所述显示系统、处理器和存储器；和所述存储器中的程序，其中由所述处理器执行所述程序将所述眼戴设备配置为执行功能，包括用于以下的功能：使用所述图像捕获系统捕获所述物理环境的图像；检测所述用户在所述物理环境中的手势或移动中的至少一者；将所述至少一个手势或移动与对象的控制设置相关联，所述对象被存储在所述眼戴设备的所述存储器中，其中所述对象的所述控制设置响应于所述至少一个检测到的手势或移动而改变；以及提供输出，所述输出反映所述对象的响应于所述至少一个手势或移动的改变的设置。2.根据权利要求1所述的系统，其中所述眼戴设备进一步包括音频输出，所述对象是音乐播放器，并且所述输出是音频输出。3.根据权利要求2所述的系统，其中所检测到的手势或移动控制至少当前歌曲的显示，所述当前歌曲是暂停、在歌曲队列内向后移动还是向前移动，音量，或它们的组合。4.根据权利要求2所述的系统，其中所述显示系统显示所述音乐播放器的视觉图形表示。5.根据权利要求1所述的系统，其中所述对象是虚拟游戏件。6.根据权利要求5所述的系统，其中所检测到的手势或移动控制至少所述虚拟游戏件的所述位置或定向。7.根据权利要求5所述的系统，其中所述显示系统显示所述虚拟游戏件的视觉图形表示。8.一种用于与眼戴设备一起使用的增强现实方法，所述眼戴设备具有定位检测系统、图像捕获系统、语音识别系统和显示系统，所述方法包括：使用所述图像捕获系统捕获所述物理环境的图像；检测所述用户在所述物理环境中的至少一个手势或移动；将所述至少一个手势或移动与对象的控制设置相关联，所述对象被存储在所述眼戴设备的所述存储器中，其中所述对象的所述控制设置响应于所检测到的手势或移动而改变；以及提供输出，所述输出反映所述对象的响应于所述至少一个手势或移动的改变的设置。9.根据权利要求8所述的方法，其中所述眼戴设备进一步包括音频输出，所述对象是音乐播放器，并且所述输出是音频输出。10.根据权...

【专利技术属性】
技术研发人员：伊尔泰里斯，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：