利用至少一个信息元素对准和增强物理基础设施的部分子空间制造技术

本公开涉及一种用于利用至少一个信息元素(4)来增强物理基础设施的计算机实现的方法，包括：

【技术实现步骤摘要】
【国外来华专利技术】利用至少一个信息元素对准和增强物理基础设施的部分子空间


[0001]本文公开的实施例涉及一种利用至少一个信息元素来增强物理基础设施的计算机实现的方法。本文公开的实施例还涉及与所公开的方法相对应的增强现实引擎、移动设备、计算机程序产品和计算机可读存储介质。

技术介绍

[0002]增强现实(AR)在现实世界环境中向用户提供交互式体验。驻留在现实世界环境中的对象由计算机生成的信息来增强。所显示的叠加信息可以在增强现实中与物理现实世界交织，使得其被用户感知为真实环境的沉浸场景。增强现实可被用于增强自然环境或情况，并且向用户或操作者提供感知上丰富的体验。在高级增强现实技术的帮助下，关于用户周围的真实世界的环境信息可以变成交互式的，并且可以由用户来操纵。在增强现实中，关于环境及其对象的信息被叠加在现实世界上。所显示的信息可以是虚拟的或真实的，例如，允许感知其他真实感测或测量的信息，诸如与它们在空间中的位置精确对准地叠加的电磁无线电波。增强技术通常实时地并且在具有环境元素或对象的语义上下文中执行。
[0003]在许多使用情况下，有必要相对于物理现实世界中的特定位置或对象放置增强现实注释。其他用户稍后希望在他们靠近相应地点或对象时检索、查看或编辑该信息。
[0004]在工业应用中，这对于与一件物理基础设施相关的信息特别有用。然而，用途不限于工业。一个特定示例可以是机器调试、服务和维护相关信息，如材料/参数的类型等，并且可以在调试、服务和维护活动期间预先提供和/或永久地注释。
[0005]另外的示例是建筑工地，其可以通过将3D模型和信息与地理参考数据组合而在设计过程期间实时地“数字地建立”在稍后的位置上。这使得能够实现改进的现场设计和规划讨论、安装验证、冲突检测以及在建造/安装期间的改进的效率。
[0006]另外的示例是来自机器的实况数据馈送。可以经由AR以任何所需的形式在任何时间、任何地点使数据可用。
[0007]另外的示例是使用头戴式增强现实显示器查看用于在化学或制药工厂中修复过程自动化设备的逐步工作流信息。
[0008]另外的示例是发电厂中的检查预排，其使用智能电话上的增强现实应用来创建注释以对潜在问题进行文档记录。
[0009]存在许多不同的方法来创建增强现实内容并随后检索增强现实内容。这些常规方法包括基于标记的增强现实，其中，增强现实内容在三维图形编程环境中创建并被锚定到二维视觉标记。然后，当该二维视觉标记在由用户操纵的客户端设备/移动设备的相机内时，可以检索增强现实内容。基于标记的增强现实通常被用在增强现实营销应用中，例如，将三维模型放置在杂志广告的顶部。
[0010]另一种常规方法是基于对象的增强现实。增强现实内容在三维图形编程环境中创建，然后被锚定到三维计算机辅助设计CAD数据模型。当客户端设备/移动设备使用基于模
型的跟踪方法检测到真实对象时检索增强现实内容。基于对象的增强现实经常被用在工业环境中的维护应用中。
[0011]另一种常规方法是地理参考的增强现实。增强现实内容被生成并且然后在地理上参考的内容中被检索。这受到所采用的GPS系统的精度限制。
[0012]另外的常规方法是在用户的客户端设备能够识别的增强环境内放置基本上是三维模型的全息图。之后，当另一用户在同一地点使用同一客户端设备时，全息透镜（hololen）可以基于环境的三维重建来识别该地点，并在同一地点显示全息图。
[0013]另外的常规方法是广域RF定位技术，例如超宽带，其可以在几厘米的精度内跟踪增强现实设备的位置。这需要安装用于跟踪的基站，或者测量已安装的现场设备的内置无线网络的信号强度。
[0014]另外的常规方法是基于标记的光学跟踪技术。增强现实设备上的相机识别被放置在贯穿工厂的不同位置处的光学标记。每个光学标记被设计成易于被图像处理技术识别。增强现实设备上的软件检测标记，从而识别用户处于工厂的哪个部分；然后基于标记从设备的相机位置出现的视角来执行姿态估计。因此，当检测到标记时，AR设备具有对其在工厂内的精确位置的良好估计。这种技术具有以下缺点：必须将特殊标记放置在工厂中精确限定的位置处。
[0015]另外的常规方法是广域视觉惯性测距法。为此，首先使用具有相机和附加惯性/磁传感器的增强现实设备来绘制（map）工厂的区域。收集数据以创建环境的(通常稀疏的)3D特征图或点云。这可以存储在AR设备本身上，或者存储在服务器上。随后，AR设备使用其在其相机图像中检测的光学特征来搜索所创建的特征图，并且因此推断其当前位置。这种技术具有以下缺点：亮度的变化(例如由于太阳辐射)干扰了定位期间识别特征的质量。
[0016]另外的常规方法是激光扫描、照相测量和随后的服务器侧图像处理。这里，作为第一步骤，一个用户创建地点的激光扫描，例如通过推动具有激光扫描器和全向相机的手推车通过建筑物并且每几米按下“扫描”按钮。这就创建了有色点云，其被上传到服务器。随后，为了本地化AR设备，AR设备拍摄其所在位置的一张或多张照片并将其发送到服务器。服务器执行图像处理以找出该图像可能在存储的点云内的何处，并将其作为姿态估计返回给AR设备。
[0017]上面列出的每种技术遭受一些缺陷，例如，在准备工作、标记的长期耐久性、空间精度或跨这些技术的互操作性方面。

技术实现思路

[0018]因此，需要提供一种用于在相对于真实设备的准确位置处精确地增强物理基础设施的方法和装置。
[0019]本文的实施例一般涉及用至少一个信息元素增强物理基础设施的计算机实现的方法。
[0020]在一个实施例中，该方法包括计算机实现的步骤，所述步骤包括：
‑
获取所述物理基础设施内的第一空间环境的3维数据，所述第一空间环境是由所述第一空间环境的坐标系来确定尺寸的，
‑
将至少一个第二空间环境定义为所述第一空间环境的部分子空间，所述至少一
个第二空间环境通过所述至少一个第二空间环境的坐标系来确定尺寸，且所述至少一个第二空间环境包括至少一个第一标记项目和至少一个第二标记项目，
‑
加载或创建所述至少一个第二空间环境(3)的至少一个同时定位和映射地图(SLAM)，所述至少一个同时定位和映射地图是由所述至少一个同时定位和映射地图的坐标系来确定尺寸的，
‑
将所述至少一个同时定位和映射地图的坐标系与所述至少一个第二空间环境的坐标系对准，
‑
识别至少一个第一标记标识符和至少一个第二标记标识符，所述至少一个第一标记标识符对应于所述至少一个第一标记项，并且所述至少一个第二标记标识符对应于所述至少一个第二标记项，
‑
通过使用所述至少一个第一标记项和所述至少一个第二标记项将所述第一空间环境的坐标系与所述至少一个第二空间环境的坐标系对准，来确定所述至少一个第二空间环境相对于所述第一空间环境的绝对位置和取向，
‑
定义与物理基础设施的至少一个组件相关的至少一个信息元素，
‑
确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种利用至少一个信息元素(4)来增强物理基础设施的计算机实现的方法，所述方法包括以下计算机实现的步骤：
‑
获取所述物理基础设施内的第一空间环境(1)的3维数据，所述第一空间环境(1)是由所述第一空间环境的坐标系来确定尺寸的，
‑
将至少一个第二空间环境(2)定义为所述第一空间环境(1)的部分子空间，所述至少一个第二空间环境(2)是由所述至少一个第二空间环境(3)的坐标系来确定尺寸的，并且所述至少一个第二空间环境(2)包括至少一个第一标记项(5)和至少一个第二标记项(5)，
‑
加载或创建所述至少一个第二空间环境(3)的至少一个同时定位和映射地图(SLAM)，所述至少一个同时定位和映射地图是由所述至少一个同时定位和映射地图的坐标系来确定尺寸的，
‑
识别至少一个第一标记标识符和至少一个第二标记标识符，所述至少一个第一标记标识符对应于所述至少一个第一标记项(5)并且所述至少一个第二标记标识符对应于所述至少一个第二标记项(5)，
‑
通过匹配所述至少一个第一标记项(5)和所述至少一个第二标记项(5)以对准所述第一空间环境的坐标系和所述至少一个第二空间环境(3)的坐标系，来确定所述至少一个第二空间环境(2)相对于所述第一空间环境(1)的绝对位置和取向，
‑
定义与所述物理基础设施的至少一个组件相关的所述至少一个信息元素(4)，
‑
确定所述信息元素(4)在所述至少一个第二空间环境(3)的坐标系中的空间坐标，
‑
在所述确定的空间坐标处利用所述至少一个信息元素(4)来增强所述物理基础设施。2.根据权利要求1所述的方法，其中，所述至少一个信息元素(4)被配置成由用户和/或机器修改、添加和/或删除。3.根据前述权利要求中的一项所述的方法，其中，增强所述物理基础设施包括通过以下来增强：
‑
注释，
‑
文本，
‑
3D模型，
‑
图表，
‑
动画，
‑
移动的3D模型，
‑
指令文件，
‑
照片，
‑
视频，
‑
箭头，
‑
绘图，
‑
实况数据，和/或
‑
到实况数据的链接。4.根据前述权利要求中的一项所述的方法，包括提供增强所述至少一个信息元素(4)的音频输出和/或语音输出的步骤。5.根据前述权利要求中的一项所述的方法，
其中，所述至少一个第一标记标识符和/或所述至少一个第二标识符包括：
‑
文本，
‑
数字代码，
‑
标识符标签的文本，
‑
街道标志的文本，
‑
招贴画，
‑
标志，
‑
条形码，
‑
QR码，
‑
由图像处理算法返回的对象的类别，和/或
‑
由3D对象检测算法返回的对象的类别。6.根据前述权利要求...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：