增强现实引导制造技术

本发明专利技术公开了用于使用眼戴设备在环境中引导用户的增强现实引导。该眼戴设备包括显示系统和定位检测系统。通过以下操作在环境中引导用户：监视该眼戴设备在该环境内的当前定位，识别在该当前定位的阈值内的标记定位，这些标记定位是相对于该环境而限定的并且是与引导标记相关联的，登记这些标记定位，生成包括这些引导标记的叠层图像，以及在该眼戴设备的显示器上呈现该叠层图像。的显示器上呈现该叠层图像。的显示器上呈现该叠层图像。

【技术实现步骤摘要】
【国外来华专利技术】增强现实引导
相关申请的交叉引用
[0001]本申请要求于2020年5月29日提交的名称为“AUGMENTED REALITY GUIDANCE”，申请号为16/887,333的美国专利申请的优先权，该专利申请的内容全部以引用方式并入本文。


[0002]本公开中阐述的示例涉及增强现实(AR)和可穿戴移动设备(诸如眼戴设备)领域。更具体地，但不作为限制，本专利技术描述了对用户在环境中的增强现实引导。

技术介绍

[0003]当今可用的许多类型的计算机和电子设备(诸如移动设备(例如，智能电话、平板电脑和笔记本电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器))包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和用户可与显示内容交互的图形用户界面(GUI)。
[0004]增强现实(AR)将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。
[0005]高级AR技术，诸如计算机视觉和对象追踪，可用于创建在感知丰富和沉浸式体验。计算机视觉算法从数字图像或视频中捕获的数据中提取关于物理世界的三维数据。对象追踪算法可用于检测数字图像或视频中的对象并且追踪其移动。
附图说明
[0006]从以下参考附图的实施例方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。
[0007]除非另外指出，否则图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个实施例，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：
[0008]图1A是适用于增强现实产生系统的眼戴设备的示例性硬件配置的侧视图(右)；
[0009]图1B是图1A的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
[0010]图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
[0011]图1D是图1C的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和电路板；
[0012]图2A和图2B是在增强现实产生系统中利用的眼戴设备的示例性硬件配置的后视
图；
[0013]图3是三维场景的图形描述，由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像；
[0014]图4是包括经由各种网络连接的可穿戴设备(例如，眼戴设备)和服务器系统的示例性增强现实产生系统的功能框图；
[0015]图5是用于图4的增强现实产生系统的移动设备的示例性硬件配置的图形表示；
[0016]图6是示例性环境中用于描述即时定位与地图构建的的用户的示意性图示；
[0017]图7是列出在物理环境中显示虚拟对象的示例性方法中的步骤的流程图；
[0018]图8A、图8B、图8C、图8D和图8E是包括示例性虚拟引导增强现实体验的步骤的流程图；并且
[0019]图9A、图9B、图9C、图9D、图9E和图9F是将用户引导到环境内的位置的虚拟引导增强现实体验的透视图示。实施例方式
[0020]参考示例描述了各种实施例和细节，其包括一种利用包括定位检测系统和显示系统的眼戴设备来提供增强现实引导体验的系统。该眼戴设备监视其在环境内的当前定位并且在眼戴设备的预定距离内的记录标记定位。眼戴设备生成并呈现叠层图像，这些叠层图像包括用于在记录的标记定位处显示的引导标记。这使得眼戴设备能够在环境中引导用户到达环境内的物理目的地。
[0021]以下实施例方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
[0022]本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接(包括链路等)，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
[0023]术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，物品最靠近对象的端部可以被称为近端，而大致相对的端部可以被称为远端。
[0024]出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的眼戴设备、其他移动设备、相关联部件和结合了相机、惯性测量单元或两者的任何其他设备的定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方
向或定向。
[0025]示例的其他目的、优点和新颖特征将部分地在以下实施例方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的生产或操作来了解。本申请的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
[0026]现在详细参考附图所示和下文所讨论的示例。
[0027]图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；或者，边界可清楚可见或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他实施例中，眼戴设备100可包括在左侧的触摸板。
[0028]在图像显示器上的触摸板181表面被配置为检测手指触摸、轻击和手势(例如，移动触摸)，以便与眼戴设备上显示的GUI一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。
[0029]对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使GUI在图像显示器上显示或突出显示项目，该项目可被投影到光学组件180A、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在环境中引导用户的增强现实引导系统，所述系统包括：定位检测系统；显示系统；眼戴设备，所述眼戴设备包括所述定位检测系统、所述显示系统、处理器和存储器；和所述存储器中的程序，其中由安装在所述眼戴设备的所述处理器执行所述程序来实现功能，包括用于以下的功能：利用所述定位检测系统来监视所述眼戴设备在所述环境内的当前定位；识别在所述当前定位的预定义阈值内的第一标记定位，所述第一标记定位是相对于所述环境而限定的并且是与第一引导标记相关联的；利用所述定位检测系统来登记所述第一标记定位；响应于所述眼戴设备的所述当前定位而利用所述显示系统来生成叠层图像，所述叠层图像包括用于在所述第一标记定位处显示的所述第一引导标记；由所述显示系统呈现所述叠层图像；识别在所述当前定位的所述预定义阈值内的第二标记定位，所述第二标记定位是相对于所述环境而限定的并且是与第二引导标记相关联的；利用所述定位检测系统来登记所述第二标记定位；响应于所述眼戴设备的所述当前定位而利用所述显示系统来生成另一叠层图像，所述另一叠层图像包括用于在所述第二标记定位处显示的所述第二引导标记；以及由所述显示系统呈现所述另一叠层图像。2.根据权利要求1所述的系统，其中所述第二引导标记是最终目的地标记，并且所述第二标记定位与所述环境中的物理目的地相关联。3.根据权利要求2所述的系统，其中所述最终目的地标记是动态图像，并且其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：监控一个计数器；在显示系统响应计数器和眼戴设备的当前位置的情况下，生成包括用于在第二标记位置显示的第二引导标记的连续叠加图像，所述第二引导标记在所述接续叠层图像中的相邻图像中具有不同定向。4.根据权利要求1所述的系统，其中所述另一叠层图像进一步包括用于在所述第一标记定位以及所述第二标记定位处显示的所述第一引导标记。5.根据权利要求4所述的系统，其中所述第二引导标记具有多个视觉属性，并且其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：确定所述第二标记定位与所述眼戴设备的所述当前定位之间的距离；调整响应于所确定距离的多个视觉属性中的至少一个视觉属性；以及生成，利用响应所述眼戴设备的所述当前定位的所述显示系统，所述另一叠层图像，所述另一叠层图像包括根据确定距离调整的所述第二引导标记。6.根据权利要求5所述的系统，其中所述至少一个属性包括所述第二引导标记的大小。7.根据权利要求4所述的系统，其中所述第二引导标记与第一视觉图像相关联并且与第二视觉图像相关联，并且其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：
确定所述第二标记定位与所述眼戴设备的所述当前定位之间的距离；如果所确定的距离小于第一预定义距离且大于第二预定义距离，则选择所述第一视觉图像；如果所确定的距离小于所述第二预定义距离，则选择所述第二视觉图像；以及生成，利用响应所述眼戴设备当前定位的所述显示系统，所述另一叠层图像，所述另一叠层图像包括针对所述第二引导标记的所选择的第一视觉图像或第二视觉图像。8.根据权利要求4所述的系统，其中由所述处理器执行所述程序进一步将所述眼戴设备配置为执行附加功能，包括用于以下的功能：识别在所述当前定位的所述预定义阈值内的第三标记定位，所述第三标记定位是相对于所述环境而限定的并且是与第三引导标记相关联的；以及利用所述定位检测系统来登记所述第三标记定位；其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：响应于所述眼戴设备的所述当前定位而利用所述显示系统来生成所述另一叠层图像，所述另一叠层图像包括用于在所述第三标记定位处显示的所述第三引导标记以及所述第一引导标记和所述第二引导标记。9.根据权利要求8所述的系统，其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：识别所述第一标记定位何时在另一预定义距离内，所述另一预定义距离是更小的预定义距离；其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：响应于所述眼戴设备的所述当前定位而利用所述显示系统来生成所述另一叠层图像，所述另一叠层图像包括用于在所述第二标记定位处显示的所述第二引导标记和用于在所述第三标记定位处显示的所述第三引导标记，同时抑制所述第一引导标记。10.根据权利要求1所述的系统，其中所述第一引导标记包括多个视觉属性，并且其中由所述处理器执行所述程序进一步将所述眼戴设备配置为执行附加功能，包括用于以下的功能：感测邻近所述第一标记定位的环境特性；以及调整响应所感测特性的所述多个视觉属性中的至少一个视觉属性；其中用于生成所述另一叠层图像的所述功能包括用于以下的功能：响应于所述眼戴设备的所述当前定位而利用所述显示系统来生成所述另一叠层图像，所述另一叠层图像包括同样响应于所感测的特性而调整的所述第一引导标记。11.根据权利要求1所述的系统，其中所述显示系统包括：由所述眼戴设备支撑的透视显示器，用于显示所述第一引导标记和所述第二引导标记。12.一种用于使用眼戴设备在环境中引导用户的增强现实引导方法，所述眼戴设备具有定位检测系统和显示系统，所述方法包括：利用所述定位检测系统来监视所述眼戴设备在所述环境内的当前定位；识别在所述当前定位的预定义阈值内的第一标记定位，所述第一标记定位是相对于所述环境而限定的并且是与第一引导标记相关联的；
利用所述定位检测系统来登记所述第一标记定位；生成叠层图像，利用响应于所述眼戴设备当前定位的所述显示系统，所述叠层图像包括用于在所述第一标记定位处...

【专利技术属性】
技术研发人员：姜新薰，德米特罗，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：