对受限访问对象的虚拟访问制造技术

在促进增强现实(AR)移动设备的用户与第一现实世界对象之间的交互的方法中，使显示设备将数字信息叠加在相机的视场内的过程控制环境的各部分上。所叠加的信息与环境的地图中的节点相关联，并且节点与环境中的其他对象相对应。使显示器指示到第一对象的方向。在检测到指示对第一对象的选择的用户输入之后，使显示器将第一对象的数字模型或图像叠加在当前位于视场内的过程控制环境的部分上。使用户接口提供与第一对象相关联的一个或多个虚拟控件和/或一个或多个显示。

【技术实现步骤摘要】
【国外来华专利技术】对受限访问对象的虚拟访问相关申请的交叉索引本申请要求于2017年9月27日提交的、名称为“AugmentedRealityPlatform”的美国临时专利申请No.62/564,074的权益，该美国临时申请的全部公开内容通过引用合并于本文。
本公开内容总体上涉及增强现实技术，更具体地，涉及可以在过程控制或其他环境中使用的增强现实平台。
技术介绍
随着探索对该技术的新应用，提供将数字信息(例如，文本、图像、动画等)叠加在现实世界环境上的增强现实(AR)系统变得越来越普遍。AR系统通常提供特定于用户的当前现实世界周围情境的信息。对于此类系统，通常需要现实世界的知识，例如当前在用户视图中的物理事物的知识，以及用户的当前位置及其周围的物理布局。为了使这种信息可用于AR系统，通常创建表示用户环境及其中对象的三维(3D)数字模型。然后，可以利用与环境中的特定位置和/或特定对象有关的特定类型的数据(例如，描述)、图形(例如，图标)等来增强3D模型。当配备有适当AR装备的用户移动通过映射的环境时，可以通过将数字信息叠加在用户的现实世界视图(例如，实时相机视图或作为用户通过其观察环境的头戴式显示器)上，而无需呈现/显示3D模型的其余部分。常规地，这种3D模型是由人类设计师手动构建的，和/或使用3D扫描器构建的。然而，对于涉及具有复杂布局和/或大量对象的环境的应用，这两种方法都可能非常耗时且费力。此外，对环境的任何改变(例如，当在环境内移动或替换/更新对象时)可能需要重复整个建模过程，或者其他耗时费力的过程。r>当前的AR系统还可能面临其他缺点。例如，当用于相对密集的环境(例如，具有多个对象的环境，该多个对象紧密邻近和/或具有大量信息要显示在AR视图中)中时，AR系统可能会使用户遭受可能容易导致感官超载的大量信息，和/或用户可能不容易觉察所有信息的情境(context)。此外，某些对象可能在AR视图中被遮挡。例如，对象可以位于封装体内，或者可以驻留在难以接近或不方便(例如，远距离)的位置。
技术实现思路
本文公开了用于提供增强现实体验的技术、系统、装置和方法。所述技术、系统、装置和方法可以适用于例如工业过程控制系统、环境和/或工厂(其在本文中可互换地称为“过程控制”或“过程”系统、环境和/或工厂)。通常，此类系统和工厂以分布的方式提供对一个或多个过程的控制，这些过程进行操作以制造、精炼或以其他方式转化原始物理材料以生成或生产产品。然而，在一些实施例中，本文描述的技术、系统、装置和方法可以用于其他类型的环境中，和/或用于除了增强现实之外的情境中(例如，在虚拟现实(VR)情境中)。通常，过程控制环境会引起以上在“
技术介绍
”部分中讨论的许多各种困难，这些困难与生成和使用常规的增强现实(AR)系统或平台相关联。例如，此类环境通常包含大量不同的对象(例如，罐、泵、阀、马达、变送器等)，这些对象紧密邻近和/或与大量信息(例如，传感器读数、诊断状态等)相关联。此外，这些对象可能经常移动或替换。本文描述的AR平台可以克服或改善这些困难中的一些或全部，并且因此可以非常适合在过程控制环境中使用。利用AR平台，由使用AR移动设备的用户生成三维(3D)模型。AR移动设备可以是AR头盔、AR耳机、AR护目镜、智能眼镜、智能手机、平板电脑、或能够支持位置跟踪(如下文所述)并且可以向用户呈现AR体验的任何其他合适类型的移动设备。3D模型指示过程控制环境内感兴趣点的3D地点/位置，这些3D地点/位置对应于不同的现实世界对象(例如，现场设备、罐、传送器、控制器、开关等)。添加到3D模型的对象在本文中称为AR平台或系统的“节点”。如本文中使用的术语，“对象”(也称为“现实世界对象”)可以是任何物理事物(例如，设备、部件、装备、结构等)、事物的部分(例如，设备或部件的元件等)、或事物的组合(例如，一组相关的设备或部件等)。在过程控制环境中，例如，对象可以是现场设备(例如，阀、泵、传感器等)、装备件(例如，传送器、罐等)、过程控制器、开关等。在一些实现方式中，当在AR移动设备上启动AR应用时(例如，当由用户特别激活时，或者在设备上电时)，用户在某个参考或“地标”地点“登记”或注册AR移动设备。例如，用户可以使用AR移动设备的相机在地标地点扫描QR码或代码/标识符的另一视觉表示。扫描代码的动作可以为用户/设备建立起始地点(例如，{x，y，z}空间中的坐标{0，0，0})。在注册之后，用户可以开始随同AR移动设备物理移动通过过程控制环境。合适的定位技术(例如，由用户的AR移动设备提供)可用于跟踪用户通过过程工厂的移动。由于GPS或GNSS单元在许多过程工厂环境中可能无法很好地起作用，并且无法提供定向数据或准确的海拔数据(尤其是室内的过程控制环境)，因此可以使用其他定位和/或定向技术。例如，可以使用惯性测量单位(IMU)数据(例如，由加速度计、陀螺仪等生成)和相机图像数据的融合来跟踪AR移动设备相对于地标地点的位置，以及AR移动设备的定向(例如，AR移动设备的相机的视场的方向，其可以对应于用户面对的方向)。在一种实现方式中，例如，采用由开发的视觉惯性里程计(VIO)技术来跟踪位置和定向。当到达将要添加为节点的真实对象或其附近时，并且面对对象的方向(例如，如果戴有AR头盔或护目镜)或将设备相机指向对象(例如，如果设备是平板电脑或智能手机)，用户可以选择添加新节点的选项。例如，AR移动设备可以在用户说出语音命令“添加节点”时识别该语音命令，或者(例如，如果该设备是平板电脑或智能手机)AR移动设备可以允许用户在AR移动设备显示器的图形用户界面(GUI)上选择“添加节点”或类似的选项/控件。然后，AR移动设备可以捕获对象的图像，并且对该图像进行处理以估计AR移动设备与对象之间的距离。替代地，可以使用其他传感器(例如，lidar、雷达等)来确定AR移动设备与对象之间的距离。然后，AR移动设备可以基于AR移动设备的当前位置和定向以及AR移动设备与对象之间的距离来确定对象相对于地标地点的位置。替代地，远程服务器或其他计算设备/系统可以处理由AR移动设备捕获的图像数据以确定相对于地标地点的对象位置。用户还可以指定新节点的名称或类型(例如，阀、泵等)和/或其他信息(例如，对象的型号或其他标识符、对象的简短描述等)。然后，可以将指定的信息与AR系统的后端数据库中的新节点相关联。后端数据库可以包含由用户(以及也可能其他用户)添加的节点库，带有相对于地标地点的相关联3D地点，以共同地建立过程控制环境中的对象/资产的虚拟3D“地图”。数据库还可以例如存储其他节点信息，诸如相关和/或连接的节点的列表。在特定过程控制环境中的至少一个感兴趣的对象已被映射(即，使用AR移动设备添加到节点库)之后，在地标地点注册其AR移动设备的任何用户(包括映射用户)可以对过程控制环境进行增强的巡视。当具有注册的AR移动设备的用户将AR移动设备的相机的视场指向包括特定现实世界对象的区域时(例如，如果用户在戴着AR头盔或护目镜时注视着该区域)，并且如果对象本文档来自技高网...

【技术保护点】
1.一种在过程控制环境中促进增强现实(AR)移动设备的用户与第一现实世界对象之间的交互的方法，所述方法包括：/n通过AR系统的一个或多个处理器，当所述用户移动通过所述过程控制环境时，使所述AR移动设备的显示器将数字信息叠加在所述过程控制环境中位于所述AR移动设备的相机的视场内的各部分上，所叠加的信息与所述过程控制环境的地图中的节点相关联，并且所述节点与所述过程控制环境中的其他现实世界对象相对应；/n通过所述一个或多个处理器，使所述AR移动设备的所述显示器在所述第一现实世界对象未位于所述相机的所述视场内时指示到所述第一现实世界对象的方向；以及/n在检测到经由所述AR移动设备进行的、指示对所述第一现实世界对象的选择的用户输入之后，通过所述一个或多个处理器使所述AR移动设备的所述显示器将以下各项叠加在所述过程控制环境中当前位于所述相机的所述视场内但不包括所述第一现实世界对象的部分上：/n所述第一现实世界对象的数字模型或数字图像，以及/n用户界面，所述用户界面提供至少(i)一个或多个虚拟控件和/或(ii)一个或多个显示，所述一个或多个虚拟控件提供对所述第一现实世界对象的用户控制，所述一个或多个显示呈现与所述第一现实世界对象的状态、设置和/或输出相关联的信息。/n...

【技术特征摘要】
【国外来华专利技术】20170927 US 62/564,074;20180716 US 16/036,3841.一种在过程控制环境中促进增强现实(AR)移动设备的用户与第一现实世界对象之间的交互的方法，所述方法包括：
通过AR系统的一个或多个处理器，当所述用户移动通过所述过程控制环境时，使所述AR移动设备的显示器将数字信息叠加在所述过程控制环境中位于所述AR移动设备的相机的视场内的各部分上，所叠加的信息与所述过程控制环境的地图中的节点相关联，并且所述节点与所述过程控制环境中的其他现实世界对象相对应；
通过所述一个或多个处理器，使所述AR移动设备的所述显示器在所述第一现实世界对象未位于所述相机的所述视场内时指示到所述第一现实世界对象的方向；以及
在检测到经由所述AR移动设备进行的、指示对所述第一现实世界对象的选择的用户输入之后，通过所述一个或多个处理器使所述AR移动设备的所述显示器将以下各项叠加在所述过程控制环境中当前位于所述相机的所述视场内但不包括所述第一现实世界对象的部分上：
所述第一现实世界对象的数字模型或数字图像，以及
用户界面，所述用户界面提供至少(i)一个或多个虚拟控件和/或(ii)一个或多个显示，所述一个或多个虚拟控件提供对所述第一现实世界对象的用户控制，所述一个或多个显示呈现与所述第一现实世界对象的状态、设置和/或输出相关联的信息。


2.根据权利要求1所述的方法，其中，使所述AR移动设备的所述显示器指示到所述第一现实世界对象的所述方向发生在检测到指示对所述第一现实世界对象的选择的所述用户输入之后。


3.根据权利要求2所述的方法，其中，指示对所述第一现实世界对象的选择的所述用户输入包括请求针对所述第一现实世界对象的用户界面的语音命令。


4.根据权利要求2所述的方法，其中，使所述AR移动设备的所述显示器指示到所述第一现实世界对象的所述方向包括：
使指向所述第一现实世界对象的所述方向的箭头与所述数字模型或数字图像一起被叠加在所述过程控制环境的所述部分上。


5.根据权利要求1所述的方法，其中，使所述AR移动设备的所述显示器指示到所述第一现实世界对象的所述方向发生在检测到指示对所述第一现实世界对象的选择的所述用户输入之前。


6.根据权利要求5所述的方法，其中，使所述AR移动设备的所述显示器指示到所述第一现实世界对象的所述方向响应于检测到以下各项而发生：(i)所述第一现实世界对象在所述AR移动设备的阈值距离内以及(ii)所述第一现实世界对象当前未位于所述相机的所述视场内。


7.根据权利要求1所述的方法，其中，使所述AR移动设备的所述显示器将所述数字模型或数字图像叠加在所述过程控制环境的所述部分上包括：
使用web服务接口从数据库获取所述数字模型或数字图像。


8.根据权利要求1所述的方法，其中，使所述AR移动设备的所述显示器将所述数字模型或数字图像以及所述用户界面叠加在所述过程控制环境的所述部分上包括：
响应于检测到对所述数字模型或数字图像的用户选择，使所述显示器还将所述用户界面叠加在所述过程控制环境的所述部分上。


9.一种用于在过程控制环境中促进增强现实(AR)移动设备的用户与第一现实世界对象之间交互的服务器，所述服务器被配置为：
当所述用户移动通过所述过程控制环境时，使所述AR移动设备的显示器将数字信息叠加在所述过程控制环境中位于所述AR移动设备的相机的视场内的各部分上，所叠加的信息与所述过程控制环境的地图中的节点相关联，并且所述节点与所述过程控制环境中的其他现实世界对象相对应；
使所述AR移动设备的所述显示器当所述第一现实世界对象未位于所述相机的所述视场内时指示到所述第一现实世界对象的方向；以及
在检测到经由所述AR移动设备进行的、指示对所述第一现实世界对象的选择的用户输入之后，使所述AR移动设备的所述显示器将以下各项叠加在所述过程控制环境中当前位于所述相机的所述视场内但不包括所述第一现实世界对象的部分上：
所述第一现实世界对象的数字模型或数字图像，以及
用户界面，所述用户界面提供至少(i)一个或多...

【专利技术属性】
技术研发人员：J·A·克鲁斯，T·D·施莱斯，B·M·毕晓普，
申请(专利权)人：费希尔罗斯蒙特系统公司，
类型：发明
国别省市：美国;US