过程控制环境中的虚拟X射线视觉制造技术

在向增强现实(AR)移动设备的用户提供虚拟增强视觉的方法中，确定与过程控制环境的地图相关联的第一节点对应于当前在AR移动设备的相机的视场内的第一现实世界对象。确定第一节点与一个或多个其他节点之间的关系，该关系指示与一个或多个其他节点相对应的一个或多个其他对象至少部分地被第一对象遮挡。至少部分地响应于确定该关系，从存储器获取描述一个或多个其他对象的一个或多个数字模型或图像。当第一对象在相机的视场中时，使AR移动设备的显示器向用户呈现所获取的数字模型或图像。

【技术实现步骤摘要】
【国外来华专利技术】过程控制环境中的虚拟X射线视觉相关申请的交叉索引本申请要求于2017年9月27日提交的、名称为“AugmentedRealityPlatform”的美国临时专利申请No.62/564,074的权益，该美国临时申请的全部公开内容通过引用合并于本文。
本公开内容总体上涉及增强现实技术，更具体地，涉及可以在过程控制或其他环境中使用的增强现实平台。
技术介绍
随着探索对该技术的新应用，提供将数字信息(例如，文本、图像、动画等)叠加在现实世界环境上的增强现实(AR)系统变得越来越普遍。AR系统通常提供特定于用户的当前现实世界周围情境的信息。对于此类系统，通常需要现实世界的知识，例如当前在用户视图中的物理事物的知识，以及用户的当前位置及其周围的物理布局。为了使这种信息可用于AR系统，通常创建表示用户环境及其中对象的三维(3D)数字模型。然后，可以利用与环境中的特定位置和/或特定对象有关的特定类型的数据(例如，描述)、图形(例如，图标)等来增强3D模型。当配备有适当AR装备的用户移动通过映射的环境时，可以通过将数字信息叠加在用户的现实世界视图(例如，实时相机视图或作为用户通过其观察环境的头戴式显示器)上，而无需呈现/显示3D模型的其余部分。常规地，这种3D模型是由人类设计师手动构建的，和/或使用3D扫描器构建的。然而，对于涉及具有复杂布局和/或大量对象的环境的应用，这两种方法都可能非常耗时且费力。此外，对环境的任何改变(例如，当在环境内移动或替换/更新对象时)可能需要重复整个建模过程，或者其他耗时费力的过程。当前的AR系统还可能面临其他缺点。例如，当用于相对密集的环境(例如，具有多个对象的环境，该多个对象紧密邻近和/或具有大量信息要显示在AR视图中)中时，AR系统可能会使用户遭受可能容易导致感官超载的大量信息，和/或用户可能不容易觉察所有信息的情境(context)。此外，某些对象可能在AR视图中被遮挡。例如，对象可以位于封装体内，或者可以驻留在难以接近或不方便(例如，远距离)的位置。
技术实现思路
本文公开了用于提供增强现实体验的技术、系统、装置和方法。所述技术、系统、装置和方法可以适用于例如工业过程控制系统、环境和/或工厂(其在本文中可互换地称为“过程控制”或“过程”系统、环境和/或工厂)。通常，此类系统和工厂以分布的方式提供对一个或多个过程的控制，这些过程进行操作以制造、精炼或以其他方式转化原始物理材料以生成或生产产品。然而，在一些实施例中，本文描述的技术、系统、装置和方法可以用于其他类型的环境中，和/或用于除了增强现实之外的情境中(例如，在虚拟现实(VR)情境中)。通常，过程控制环境会引起以上在“
技术介绍
”部分中讨论的许多各种困难，这些困难与生成和使用常规的增强现实(AR)系统或平台相关联。例如，此类环境通常包含大量不同的对象(例如，罐、泵、阀、马达、变送器等)，这些对象紧密邻近和/或与大量信息(例如，传感器读数、诊断状态等)相关联。此外，这些对象可能经常移动或替换。本文描述的AR平台可以克服或改善这些困难中的一些或全部，并且因此可以非常适合在过程控制环境中使用。利用AR平台，由使用AR移动设备的用户生成三维(3D)模型。AR移动设备可以是AR头盔、AR耳机、AR护目镜、智能眼镜、智能手机、平板电脑、或能够支持位置跟踪(如下文所述)并且可以向用户呈现AR体验的任何其他合适类型的移动设备。3D模型指示过程控制环境内感兴趣点的3D地点/位置，这些3D地点/位置对应于不同的现实世界对象(例如，现场设备、罐、传送器、控制器、开关等)。添加到3D模型的对象在本文中称为AR平台或系统的“节点”。如本文中使用的术语，“对象”(也称为“现实世界对象”)可以是任何物理事物(例如，设备、部件、装备、结构等)、事物的部分(例如，设备或部件的元件等)、或事物的组合(例如，一组相关的设备或部件等)。在过程控制环境中，例如，对象可以是现场设备(例如，阀、泵、传感器等)、装备件(例如，传送器、罐等)、过程控制器、开关等。在一些实现方式中，当在AR移动设备上启动AR应用时(例如，当由用户特别激活时，或者在设备上电时)，用户在某个参考或“地标”地点“登记”或注册AR移动设备。例如，用户可以使用AR移动设备的相机在地标地点扫描QR码或代码/标识符的另一视觉表示。扫描代码的动作可以为用户/设备建立起始地点(例如，{x，y，z}空间中的坐标{0，0，0})。在注册之后，用户可以开始随同AR移动设备物理移动通过过程控制环境。合适的定位技术(例如，由用户的AR移动设备提供)可用于跟踪用户通过过程工厂的移动。由于GPS或GNSS单元在许多过程工厂环境中可能无法很好地起作用，并且无法提供定向数据或准确的海拔数据(尤其是室内的过程控制环境)，因此可以使用其他定位和/或定向技术。例如，可以使用惯性测量单位(IMU)数据(例如，由加速度计、陀螺仪等生成)和相机图像数据的融合来跟踪AR移动设备相对于地标地点的位置，以及AR移动设备的定向(例如，AR移动设备的相机的视场的方向，其可以对应于用户面对的方向)。在一种实现方式中，例如，采用由开发的视觉惯性里程计(VIO)技术来跟踪位置和定向。当到达将要添加为节点的真实对象或其附近时，并且面对对象的方向(例如，如果戴有AR头盔或护目镜)或将设备相机指向对象(例如，如果设备是平板电脑或智能手机)，用户可以选择添加新节点的选项。例如，AR移动设备可以在用户说出语音命令“添加节点”时识别该语音命令，或者(例如，如果该设备是平板电脑或智能手机)AR移动设备可以允许用户在AR移动设备显示器的图形用户界面(GUI)上选择“添加节点”或类似的选项/控件。然后，AR移动设备可以捕获对象的图像，并且对该图像进行处理以估计AR移动设备与对象之间的距离。替代地，可以使用其他传感器(例如，lidar、雷达等)来确定AR移动设备与对象之间的距离。然后，AR移动设备可以基于AR移动设备的当前位置和定向以及AR移动设备与对象之间的距离来确定对象相对于地标地点的位置。替代地，远程服务器或其他计算设备/系统可以处理由AR移动设备捕获的图像数据以确定相对于地标地点的对象位置。用户还可以指定新节点的名称或类型(例如，阀、泵等)和/或其他信息(例如，对象的型号或其他标识符、对象的简短描述等)。然后，可以将指定的信息与AR系统的后端数据库中的新节点相关联。后端数据库可以包含由用户(以及也可能其他用户)添加的节点库，带有相对于地标地点的相关联3D地点，以共同地建立过程控制环境中的对象/资产的虚拟3D“地图”。数据库还可以例如存储其他节点信息，诸如相关和/或连接的节点的列表。在特定过程控制环境中的至少一个感兴趣的对象已被映射(即，使用AR移动设备添加到节点库)之后，在地标地点注册其AR移动设备的任何用户(包括映射用户)可以对过程控制环境进行增强的巡视。当具有注册的AR移动设备的用户将AR移动设备的相机的视场指向包括特定现实世界对象的区域时(例如，如果用户在戴着AR头盔或护目镜时注视着该区域)，并且如本文档来自技高网...

【技术保护点】
1.一种在现实世界的过程控制环境中向增强现实(AR)移动设备的用户提供虚拟增强视觉的方法，所述方法包括：/n通过AR系统的一个或多个处理器，确定与所述过程控制环境的地图相关联的第一节点对应于当前位于所述AR移动设备的相机的视场内的第一现实世界对象；/n通过所述一个或多个处理器，确定所述第一节点和与所述地图相关联的一个或多个其他节点之间的关系，所述关系指示与所述一个或多个其他节点相对应的一个或多个其他现实世界对象至少部分地被所述第一现实世界对象遮挡；/n至少部分地响应于确定所述第一节点和所述其他节点之间的关系，通过所述一个或多个处理器从存储器获取描述所述一个或多个其他现实世界对象的一个或多个数字模型或数字图像；以及/n通过所述一个或多个处理器，使所述AR移动设备的显示器在所述第一现实世界对象位于所述相机的所述视场中时向所述用户呈现所获取的数字模型或数字图像。/n

【技术特征摘要】
【国外来华专利技术】20170927 US 62/564,074;20180716 US 16/036,3791.一种在现实世界的过程控制环境中向增强现实(AR)移动设备的用户提供虚拟增强视觉的方法，所述方法包括：
通过AR系统的一个或多个处理器，确定与所述过程控制环境的地图相关联的第一节点对应于当前位于所述AR移动设备的相机的视场内的第一现实世界对象；
通过所述一个或多个处理器，确定所述第一节点和与所述地图相关联的一个或多个其他节点之间的关系，所述关系指示与所述一个或多个其他节点相对应的一个或多个其他现实世界对象至少部分地被所述第一现实世界对象遮挡；
至少部分地响应于确定所述第一节点和所述其他节点之间的关系，通过所述一个或多个处理器从存储器获取描述所述一个或多个其他现实世界对象的一个或多个数字模型或数字图像；以及
通过所述一个或多个处理器，使所述AR移动设备的显示器在所述第一现实世界对象位于所述相机的所述视场中时向所述用户呈现所获取的数字模型或数字图像。


2.根据权利要求1所述的方法，其中，确定所述第一节点对应于当前位于所述相机的视场内的第一现实世界对象包括：
检测至少所述AR移动设备的当前定向；以及
至少基于所述当前定向和由所述地图指示的所述第一节点的位置，确定所述第一现实世界对象当前位于所述相机的所述视场内。


3.根据权利要求1所述的方法，其中，确定所述第一节点对应于当前位于所述相机的视场内的第一现实世界对象包括：
确定所述第一节点对应于(i)当前位于所述相机的视场内并且(ii)当前位于所述AR移动设备的阈值距离内的第一现实世界对象。


4.根据权利要求1所述的方法，其中，确定所述第一节点和所述一个或多个其他节点之间的关系包括：
访问指定所述关系的节点数据库。


5.根据权利要求1所述的方法，其中，确定所述第一节点和所述一个或多个其他节点之间的关系包括：
确定通过所述AR移动设备从所述第一现实世界对象获得的节点标识符；以及
使用所述节点标识符来确定所述关系。


6.根据权利要求5所述的方法，其中，确定节点标识符包括：
确定通过所述AR移动设备扫描所述第一现实世界对象上的QR码获得的节点标识符。


7.根据权利要求1所述的方法，其中，从存储器获取描述所述一个或多个其他现实世界对象的一个或多个数字模型或数字图像包括：
从所述存储器获取描述所述一个或多个现实世界对象的一个或多个三维(3D)数字模型。


8.根据权利要求1所述的方法，其中，从存储器获取描述所述一个或多个现实世界对象的一个或多个数字模型或数字图像包括：
获取描述所述一个或多个现实世界对象的所述一个或多个数字图像。


9.根据权利要求1所述的方法，其中，确定所述第一节点和与所述地图相关联的一个或多个其他节点之间的关系包括：
确定所述第一现实世界对象是机柜，其中，所述一个或多个其他现实世界对象位于所述机柜中。


10.一种用于在现实世界的过程控制环境中向增强现实(AR)移动设备的用户提供虚拟增强视觉的服务器，所述服务器被配置为：
确定与所述过程控制环境的地图相关联的第一节点对应于当前位于所述AR移动设备的相机的视场内的第一现实世界对象；
确定所述第一节点和与所述地图相关联的一个或多个其他节点之间的关系，所述关系指示与所述一个或多个其他节点相对应的一个或多个其他现实世界对象至少部分地被所述第一现实世界对象遮挡；
至少部分地响应于确定所述第一节点和所述其他节点之间的关系，从存储器获取描述所述一个或多个其他现实世界对象的一个或多个数字模型或数字图像；以及
使所述AR移动设备的显示器在所述第一现实世界对象位于所...

【专利技术属性】
技术研发人员：J·A·克鲁斯，T·D·施莱斯，B·M·毕晓普，
申请(专利权)人：费希尔罗斯蒙特系统公司，
类型：发明
国别省市：美国;US