具有周界限定功能的基于增强现实的系统技术方案

具有周界限定功能的基于增强现实的系统。本发明专利技术涉及一种基于增强现实(AR)的检查系统，该基于AR的检查系统包括：坐标测量仪器，该坐标测量仪器具有第一摄像单元、第一计算机单元以及第一通信单元；以及AR装置，该AR装置具有第二摄像单元、第二计算机单元以及第二通信单元，其中，所述第一通信单元和所述第二通信单元是可连接的，所述坐标测量仪器和所述AR装置各被配置为建立相对于背景环境的参照状态，所述第一计算机单元和所述第二计算机单元中的至少一个被配置为检测由所述第一摄像单元和所述第二摄像单元中的至少一个拍摄的图像中的二维或三维结构化形状。

Augmented Reality Based System with Perimeter Definition Function

【技术实现步骤摘要】
具有周界限定功能的基于增强现实的系统
本专利技术涉及一种包括坐标测量仪器和增强现实(AR)装置的检查系统。
技术介绍
根据本专利技术的系统的坐标测量仪器可以是激光跟踪仪、激光扫描器、摄像机系统、铰接臂、视距仪、经纬仪或全站仪。这种坐标测量仪器特色为近距离和远距离物体的单点测量(并且具体还跟踪近距离和远距离物体)，并且基于飞行时间激光技术、图像处理技术或角度编码器技术工作。利用这种坐标测量仪器的测量处理可能非常复杂且耗时，并且通常需要高水平的技能。特别困难的是检测待测量物体和瞄准本身。遗憾的是，本领域的检查系统缺乏用于这种瞄准过程的自动化和人类工程学(ergonomics)。尤其是市场上可获的检查系统不提供用户与坐标测量仪器之间的无缝且直接的交互。因此，本专利技术的一个目的是，提供一种在人类工程学和效率方面的改进的检查系统。
技术实现思路
本专利技术涉及一种基于增强现实(AR)的检查系统，该基于AR的检查系统包括：坐标测量仪器，该坐标测量仪器具有第一摄像单元、第一计算机单元以及第一通信单元；以及AR装置，该AR装置具有第二摄像单元、第二计算机单元以及第二通信单元，其中，所述第一通信单元和所述第二通信单元是可连接的，所述坐标测量仪器和所述AR装置各被配置为建立相对于背景环境(setting)的参照状态，所述第一计算机单元和所述第二计算机单元中的至少一个被配置为检测由所述第一摄像单元和所述第二摄像单元中的至少一个拍摄的图像中的二维或三维结构化形状，并且所述AR装置被配置为提供所述背景环境的真实视图，根据相应的AR数据将覆层(overlay)设置到所述真实视图上，其中，所述AR数据与所检测到的结构化形状至少部分在空间上相关联，接收覆层的选择，并且基于所选择的覆层向所述坐标测量仪器发送触发信号，其中，所述触发信号被配置成致使所述坐标测量仪器测量所述结构化形状的至少一部分，该结构化形状与对应于所选择的覆层的AR数据相关联。结构化形状可以是任何有方法地/系统性地形成的轮廓、外形或边缘。具体的例子是几何形状，像线条、表面、曲线、流形、对称性、矩形、圆形以及椭圆体。可以通过图像信息的对比度或颜色分析或者通过其它图像处理算法来检测这种结构。建立相对于所述背景环境的参照状态例如可以通过计算机视觉技术和/或借助于放置在所述背景环境中的参照标记来实现。具体来说，所述AR装置可以另外或另选地被配置为建立相对于所述坐标测量仪器的参照状态。针对该参照功能，所述坐标测量仪器可以包括标识特征，该标识特征可以由所述AR装置检测并被用于确定所述AR装置相对于所述坐标测量仪器的姿态。一旦参照所述坐标测量仪器，所述AR装置可以将姿态数据传送至所述坐标测量仪器。在所述坐标测量仪器一侧，建立相对于所述背景环境的参照状态例如可以通过扫描已知其3D模型的所述背景环境的点云，或者通过瞄准并精确测量已知其3D坐标的多个参照目标来实现。如果所述AR装置通过透明面盔(visor)(诸如，处于眼镜上或者在头戴式显示器头盔上)来提供所述背景环境的真实视图，所述覆层可以是通过所述AR装置所包括的投影仪投射到所述面盔上的投影。如果所述AR装置在屏幕(诸如，处于智能电话、平板计算机或显示护目镜上)上提供所述背景环境的真实视图，所述覆层可以是显示在所述屏幕上的视频流上的图形。所述覆层根据AR数据来提供，所述AR数据至少包括关于所述覆层的视觉外观以及由3D坐标定义的覆层的形状和尺寸的信息。由于所述AR装置相对于所述背景环境的参照状态并且由于所述AR数据的可用性，因而，所述AR装置的计算机单元能够参照用户的视野确定在何处提供所述覆层。通常，所述AR数据在空间上与所述背景环境中的某些位置相关联。所述AR数据中的至少部分在空间上与所述背景环境中的结构化形状相关联，该结构化形状已经借助于图像处理在由所述第一摄像单元和/或第二摄像单元中记录的图像中被检测到。可以以许多不同方式实现对覆层的选择的接收。在根据本专利技术的检查系统的特定示例中，这样的选择可以由用户(该用户正携带所述AR装置)执行，因为该用户用手指或任何指示装置指向他所感知的，作为与所检测到的结构化形状相关联的覆层。所述第一摄像单元和第二摄像单元中的至少一个可以被配置为识别该指向手势并将该指尖的位置与因此定位的覆层匹配。选择覆层的另一示例可以是AR装置上的滚轮，通过该滚轮，用户可以滚动分配给所检测到的结构化形状的多个覆层，其中当前选择的可以以图形方式标记。利用另一控制功能(例如，按下滚轮)，可以确认当前选择的覆层的选择，其自动地使AR装置发送触发信号。手势触发信号可以包括触发成分和坐标成分(coordinatewisecomponent)。所述触发成分可以实施为关于要进行的特定任务(即，测量命令)的、采用机器语言的信息。然后，所述触发信号的所述坐标成分可以仅包括所述坐标测量仪器可以瞄准并测量的至少一个3D坐标。所述第一通信单元可以被配置为接收所述触发信号，并且所述第一计算机单元可以被配置为将所述触发信号转换成所述坐标测量仪器的控制参数。所述AR装置的第二通信单元因此可以被配置为将所述触发信号发送至所述坐标测量仪器的第一通信单元。将所述触发信号转换成控制参数可以包括对所述触发信号的所述触发成分后面的命令的解释，以及将所述触发信号的坐标成分(coordinativecomponent)后面的3D坐标从所述AR装置的坐标系变换成所述坐标测量仪器的坐标系。还可以的是，所述3D坐标已经参照全局坐标系加以表达，该全局坐标系可以链接至所述背景环境。在本专利技术的具体实施方式中，所述第二计算机单元被配置为检测所述结构化形状，并且基于所检测到的结构化形状生成所述AR数据。在本专利技术的另一实施方式中，所述第一计算机单元被配置为检测所述结构化形状，并且基于所检测到的结构化形状生成所述AR数据。所述第一计算机和所述第二计算机也可以被配置为检测所述结构化形状，并且基于所检测到的结构化形状生成所述AR数据。所述坐标测量仪器可以被配置为判定与所生成的AR数据相关联的结构化形状是可通过所述坐标测量仪器达到的还是从所述坐标测量仪器的视角看被障碍物遮挡。在(所述AR装置的)第二摄像单元已经检测到所述结构化形状的情况下，该功能是有用的，因为所述结构化形状可能是在所述AR装置的视野中，但是从所述坐标测量仪器的视角看被遮挡。例如，当所述坐标测量仪器发送的测量射束可以到达所述结构化形状时，或者当所述坐标测量仪器的测量探针可以到达所述结构化形状时，可通过所述坐标测量仪器来达到所述结构化形状。所述坐标测量仪器、所述AR装置以及外部计算机中的至少一个可以被配置为生成基于障碍物的AR数据。可以将外部计算机实施为与至少所述AR装置并且具体还与所述坐标测量仪器无线地连接的服务器，从而管理检查过程。基于障碍物的这种AR数据可以包括以下中的至少一个：警告通知，该警告通知声明所述选择结构化形状处于从所述坐标测量仪器的视角看到的视图之外(并且因此，所选择的结构化形状的测量是不可能的)；以及指示符，该指示符表明应该把所述坐标测量仪器放置在何处(代替地，以使所选择的结构化形状不再处于从所述坐标测量仪器的视角看到的视图之外)。例如，所述坐标测量仪器可以被实施为以下中的一种：激光跟踪仪、激光扫描器、全站仪、铰接本文档来自技高网...

【技术保护点】
1.一种基于增强现实(AR)的检查系统，该基于AR的检查系统包括：‑坐标测量仪器，该坐标测量仪器具有第一摄像单元、第一计算机单元以及第一通信单元，以及‑AR装置，该AR装置具有第二摄像单元、第二计算机单元以及第二通信单元，其中，·所述第一通信单元和所述第二通信单元是可连接的，·所述坐标测量仪器和所述AR装置各被配置为·建立相对于背景环境的参照状态，·所述第一计算机单元和所述第二计算机单元中的至少一个被配置为·检测由所述第一摄像单元和所述第二摄像单元中的至少一个拍摄的图像中的二维或三维结构化形状，并且·所述AR装置被配置为·提供所述背景环境的真实视图，·根据相应的AR数据将覆层设置到所述真实视图上，其中，所述AR数据与所检测到的结构化形状至少部分在空间上相关联，·接收覆层的选择，并且·基于所选择的覆层向所述坐标测量仪器发送触发信号，其中，所述触发信号被配置成致使所述坐标测量仪器测量所述结构化形状的至少一部分，该结构化形状与对应于所选择的覆层的AR数据相关联。

【技术特征摘要】
2018.02.08 EP 18155893.31.一种基于增强现实(AR)的检查系统，该基于AR的检查系统包括：-坐标测量仪器，该坐标测量仪器具有第一摄像单元、第一计算机单元以及第一通信单元，以及-AR装置，该AR装置具有第二摄像单元、第二计算机单元以及第二通信单元，其中，·所述第一通信单元和所述第二通信单元是可连接的，·所述坐标测量仪器和所述AR装置各被配置为·建立相对于背景环境的参照状态，·所述第一计算机单元和所述第二计算机单元中的至少一个被配置为·检测由所述第一摄像单元和所述第二摄像单元中的至少一个拍摄的图像中的二维或三维结构化形状，并且·所述AR装置被配置为·提供所述背景环境的真实视图，·根据相应的AR数据将覆层设置到所述真实视图上，其中，所述AR数据与所检测到的结构化形状至少部分在空间上相关联，·接收覆层的选择，并且·基于所选择的覆层向所述坐标测量仪器发送触发信号，其中，所述触发信号被配置成致使所述坐标测量仪器测量所述结构化形状的至少一部分，该结构化形状与对应于所选择的覆层的AR数据相关联。2.根据权利要求1所述的基于AR的检查系统，其中，所述触发信号包括·触发成分，和·坐标成分。3.根据权利要求1或2所述的基于AR的检查系统，其中，·所述第一通信单元被配置为·接收所述触发信号，并且·所述第一计算机单元被配置为·将所述触发信号转换成所述坐标测量仪器的控制参数。4.根据前述权利要求中的任一项所述的基于AR的检查系统，其中，·所述第二计算机单元被配置为·检测所述结构化形状，并且·基于所检测到的结构化形状生成所述AR数据。5.根据前述权利要求中的任一项所述的基于AR的检查系统，其中，·所述第一计算机单元被配置为·检测所述结构化形状，并且·基于所检测到的结构化形状生成所述AR数据。6.根据权利要求5所述的基于AR的检查系统，其中，·所述坐标测量仪器被配置为·判定与所生成的AR数据相关联的结构化形状是能够通过所述坐标测量仪器达到的还是从所述坐标测量仪器的视角看被障碍物遮挡。7.根据权利要求6所述的基于AR的检查系统，其中，·所述坐标测量仪器、所述AR装置以及外部计算机中的至少一个被配置为·生成基于所述障碍物的AR数据。8.根据权利要求7所述的基于AR的检查系统，其中，所述AR数据包括以下中的至少一个：·警告通知，该警告通知声明所选择的结构化形状处于从所述坐标测量仪器的视角看到的视图之外，和·指示符，该指示符表明应该把所述坐标测量仪器放置在何处以使所选择的结构化形状不再处于从所述坐标测量仪器的视角看到的视图之外...

【专利技术属性】
技术研发人员：M·绍雷，M·莱陶，
申请(专利权)人：莱卡地球系统公开股份有限公司，
类型：发明
国别省市：瑞士,CH