提供对3D测量数据生成的反馈的移动现实捕获装置制造方法及图纸

本发明专利技术涉及提供对3D测量数据生成的反馈的移动现实捕获装置。本发明专利技术还涉及一种通过被配置成在3D测量数据的生成期间被搬运和移动的移动现实捕获装置提供环境的3D测量的系统。使用运动状态跟踪器来确定移动现实捕获装置的运动模式，如果所确定的运动模式与该移动现实捕获装置的定义移动相对应，则将系统配置成，自动地执行移动现实捕获装置的预期运动模式的获得。将移动类别关联至移动现实捕获装置的环境特定测量移动，基于这种关联，将移动现实捕获装置的预期(最佳实践)运动模式关联至当前移动类别。通过执行所确定的运动模式与预期运动模式的比较，提供与所确定的运动模式和预期运动模式的比较有关的反馈。预期运动模式的比较有关的反馈。预期运动模式的比较有关的反馈。

【技术实现步骤摘要】
提供对3D测量数据生成的反馈的移动现实捕获装置


[0001]本专利技术涉及一种通过被配置成在3D测量数据的生成期间被搬运(carried)和移动的移动现实捕获装置来提供环境的3D测量的系统。

技术介绍

[0002]举例来说，建筑物和周围地形的3D测量是建筑师或工匠所关注的，以便分别快速评估房间的实际状况或者建筑工地的施工进度，例如有效且高效地计划接下来的工作步骤。借助于实际状态的数字可视化(例如，采用点云或矢量文件模型的形式)，或者借助于增强现实功能，可以检查用于另一些步骤的不同选项或者扩展选项，并且可选地以容易访问的方式将所述选项呈现给雇员或客户。
[0003]再例如，将3D测量用于环境的地图构建(mapping)，例如，用于生成建筑物的楼层和房间平面图、地下设施的隧道平面图、或者工厂中的管道地图。
[0004]可以例如借助于光飞行时间方法或摄影测量法对环境进行光学扫描，以便测量场景的3D坐标。例如，借助于发射测量激光束(laser measurement beam)的激光扫描仪，例如使用脉冲化电磁辐射，来对环境进行扫描，其中，接收来自环境的反向散射表面点的回波，并且获得距该表面点的距离并将该距离与关联的测量激光束的角发射方向相关联。这样，生成三维点云。例如，距离测量可以基于脉冲的飞行时间、形状和/或相位。
[0005]对于附加信息，可以例如借助于RGB摄像机或红外摄像机，来将激光扫描仪数据与摄像机数据组合，例如提供高分辨率光谱信息。
[0006]例如，在激光雷达(光检测和测距)扫描仪中使用的测距模块能够检测强度变化，但是没有颜色敏感性，这就是为什么纯粹由激光雷达模块生成的3D模型、特别是点云或矢量文件模型只能以灰度级显示的缘故。结果，由于缺乏色彩效果并且缺乏色彩支持的深度效果，许多细节对人类观察者来说仍然是隐藏的。因此，通常借助于参照激光雷达模块的“灰色”3D点云与来自摄像机的彩色数据来生成“着色”3D点云，这使得显示对于人眼更容易。
[0007]不同数据类型(例如激光扫描仪数据、摄像机数据、以及来自全球导航卫星系统的定位数据)的参照和融合现在越来越标准化。
[0008]特别地，现实捕获装置可以是移动的并且被配置成同时提供测量数据和参照数据，例如其中，至少该装置的轨迹数据(例如位置和/或姿势(pose)数据)提供有探测数据(例如激光雷达模块数据和/或摄像机数据)，使得可以将现实捕获装置的不同位置和/或姿势的探测数据组合成公共坐标系。通常，将现实捕获装置配置成，例如借助于同时定位和映射(SLAM)功能，来自主创建新环境的3D地图。
[0009]然后，该三维模型数据可以借助于特征识别算法来进行分析，以例如借助于使用由来自CAD模型的虚拟对象数据提供的形状信息，来自动识别由探测数据捕获的语义特征和/或几何特征。这样的特征识别(特别是用于识别几何图元)现今被广泛用于分析3D数据。
[0010]现有技术监测装置的特定问题涉及改变环境状况的操纵(handling)，诸如表面反
射率的改变，这需要激光雷达传感器能够应对大的动态范围，即，从最低可测量强度水平到最高可测量强度水平的范围。另一些问题涉及环境光的变化，这可能使摄像机传感器饱和或者导致摄像机数据的低信噪比。
[0011]对于移动的(例如，手持式或背包支撑式)，基于激光雷达的现实捕获装置(诸如Leica BLK2GO)，与固定的激光扫描仪相比，出现了一系列新的问题。举例来说，测量员与装置之间的近距离导致所获取的点云中的阴影，从而要求测量员在不同的测量场景中操作装置时学习特定的手势(gesture)或移动，以确保平滑的操作和足够的数据质量。这种具有挑战性的测量场景包括紧挨着墙壁行走、走过长走廊、开门、或者走楼梯或下楼梯。
[0012]举例来说，当紧挨着墙壁行走时，测量员应当将手中的装置保持得远离墙壁。这可能需要更换握持该装置的手。当开门或走过长走廊时，装置应当被向上并向一侧举起，以使装置不被测量员的身体阻挡，并且从测量员后面接收更多的数据点，以改进SLAM算法。例如，这是需要的，因为对于长走廊来说，走廊的末端可能太远，而仅留有侧面的墙用于SLAM过程，这可能是不够的。当开门时，环境发生突然变化，而门一打开就记录许多新的数据点，这使定位变得困难。当走下楼梯时，装置需要向下倾斜，使得激光扫描仪的测量区域仍然“到达”楼梯/地板并覆盖来自那里的数据点。用户应当走上楼梯或者将装置向下倾斜足够远，使得装置的传感器可以看到楼梯。另一些问题区域可以是(列表不是穷尽的)装置的掉落检测、转弯期间的测量、行得太慢或太快、操作者的技能水平之间的差异、左手式移动与右手式移动之间的差异等。
[0013]在移动现实捕获装置设置在机器人载具(例如，自主移动的基于地面的或空中的载具)上的情况下，可能出现类似的问题。举例来说，移动现实捕获装置可以由腿式机器人(例如，四腿机器人)搬运，因为该腿式机器人可以对付诸如楼梯之类的障碍物，所以它通常能够在建筑物中自由移动。另一可能性是使用空中无人机(例如，四旋翼无人机)、这使得进一步通用于测量难以接近的区域，但是由于有限的负载容量和电池电力，而常常以更少的测量时间和/或传感器复杂性为代价。

技术实现思路

[0014]因此，本专利技术的目的是，提供利用移动现实捕获装置的改进的现实捕获，其更易于使用并且允许更快且更可靠地捕获变化的环境，特别是建筑物或工业设施的室内和室外环境。
[0015]另一目的是，提供利用移动现实捕获装置的改进的现实捕获，其不太易受改变的环境状况的影响。
[0016]这些目的是通过实现独立权利要求的特征的至少一部分来实现的。按另选或有利的方式进一步开发本专利技术的特征在附属专利权利要求中进行了描述。
[0017]本专利技术涉及一种提供环境的3D测量的系统，其中，该系统包括被配置成在3D测量数据的生成期间被搬运和移动的移动现实捕获装置。移动现实捕获装置包括3D测量单元，该3D测量单元被配置成，提供3D测量数据的生成，用于执行环境相对于该移动现实捕获装置的空间3D测量，其中，将3D测量单元配置成，以绕第一装置轴线的360度视场以及绕垂直于第一装置轴线的第二装置轴线的120度视场来提供空间3D测量。
[0018]例如，将3D测量单元具体实施为激光扫描仪，该激光扫描仪被配置成，在移动现实
捕获装置的移动期间，执行测量激光束相对于两个旋转轴线的扫描移动，以便基于该扫描移动来提供3D测量数据的生成。
[0019]该系统还包括惯性测量单元(IMU)，该惯性测量单元包括具有加速度计和/或陀螺仪的传感器，并且该惯性测量单元被配置成，连续地生成与移动现实捕获装置的姿势和/或加速度相关的IMU数据。
[0020]举例来说，移动现实捕获装置包括被配置成生成关于该移动现实捕获装置的移动的惯性数据的惯性测量单元。另选地或者另外，将移动现实捕获装置配置成，与正被附接至该移动现实捕获装置的伴随装置(例如，平板电脑或智能手机)进行通信，并且使用伴随装置的惯性测量单元的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提供环境(31)的3D测量的系统，所述系统包括移动现实捕获装置(1)，所述移动现实捕获装置被配置成在3D测量数据的生成期间被搬运和移动，其中，所述系统包括：
·
3D测量单元，所述3D测量单元设置在所述移动现实捕获装置(1)上，并且所述3D测量单元被配置成提供所述3D测量数据的生成，用于执行所述环境(31)相对于所述移动现实捕获装置(1)的空间3D测量，其中，所述3D测量单元被配置成，以绕第一装置轴线(8)的360度视场以及绕垂直于所述第一装置轴线(8)的第二装置轴线(11)的120度视场来提供所述空间3D测量，
·
惯性测量单元(20)，所述惯性测量单元包括具有加速度计和/或陀螺仪的传感器，并且所述惯性测量单元被配置成，连续地生成与所述移动现实捕获装置(1)的姿势和/或加速度相关的IMU数据，以及
·
同时定位和地图构建单元，所述同时定位和地图构建单元被配置成执行同时定位和地图构建过程，所述同时定位和地图构建过程包括生成所述环境的地图以及确定所述移动现实捕获装置(1)在所述环境的所述地图中的轨迹，其特征在于，所述系统包括运动状态跟踪器(19)，所述运动状态跟踪器被配置成，使用与所述移动现实捕获装置(1)的移动有关的运动数据来确定所述移动现实捕获装置(1)的运动模式(21)，其中，如果所确定的运动模式(21)与关联至所述移动现实捕获装置(1)的环境特定测量移动的定义移动类别(23)相对应，则所述系统被配置成，针对所述环境特定测量移动，自动地执行所述移动现实捕获装置(1)的预期运动模式(26)的获得，并且执行所确定的运动模式(21)与所述预期运动模式(26)的比较，其中，所述系统被配置成，提供与所确定的运动模式(21)和所述预期运动模式(26)的比较有关的反馈(27)，特别是其中，所述移动现实捕获装置(1)被配置成，考虑所述反馈(27)以自动地执行与所述预期运动模式(26)相关联的动作。2.根据权利要求1所述的系统，其中，所述系统包括数据库，所述数据库包括多个定义运动模式(26)，各个定义运动模式与所述移动现实捕获装置(1)的环境特定测量移动相关联，特别是其中，各个定义运动模式(26)是预定义的或者用户定义的，其中，所述数据库被用于所确定的运动模式(21)的归类和/或所述预期运动模式(26)的所述获得。3.根据权利要求2所述的系统，其中，所述系统被配置成，与远程服务器计算机建立数据连接，并且向所述远程服务器计算机提供运动数据，其中，所述系统被配置成：
·
根据所述运动数据来检测所述移动现实捕获装置(1)的搬运者(30)的典型行为，并且向所述远程服务器计算机发送对应的运动数据，其中，所发送的数据被专用于更新存储在所述远程服务器计算机处的预定义运动模式，并且
·
从所述远程服务器计算机接收经更新的预定义运动模式。4.根据前述权利要求中的一项所述的系统，其中，所述预期运动模式(26)提供：
·
所述移动现实捕获装置(1)关于所述移动现实捕获装置(1)的三个相互垂直的旋转轴线的标称取向或一序列标称取向，和/或
·
所述移动现实捕获装置(1)相对于所述移动现实捕获装置(1)的当前位置的关于三个相互垂直的空间轴线的标称相对位置变化或者一序列标称相对位置变化。5.根据前述权利要求中的一项所述的系统，其中，所确定的运动模式(21)与所述定义
移动类别(23)的对应关系和/或所述预期运动模式(26)的所述获得是由机器学习算法(22)来提供的，所述机器学习算法包括由卡尔曼滤波器处理所述运动数据，用于估计所述移动现实捕获装置(1)的姿态参数，特别是速度参数，特别是其中，处理所述运动数据是针对每至少1.5秒钟的时间窗口分段执行的，或者其中，处理所述运动数据是通过连续地处理连续生成的运动数据的时间系列而以滚动方式执行的。6.根据权利要求5所述的系统，其中，所确定的运动模式(21)与所述定义移动类别(23)的对应关系和/或所述预期运动模式(26)的所述获得是通过考虑特征提取步骤来提供的，所述特征提取步骤：
·
提供从多个不同信号特征中检测信号特征，其中，所述多个不同信号特征中的各个信号特征指示多个定义环境特定测量移动中的定义环境特定测量移动，并且
·
被用于所述姿态参数的估计，特别是所述速度参数的估计，特别是其中，所述特征提取步骤是由深度学习算法(24)来提供的，所述深度学习算法被配置成独立地学习所述信号特征，或者其中，所述特征提取步骤是通过在所述运动数据的频域或时域中利用定义统计计算所述运动数据来提供的。7.根据前述权利要求中的一项所述的系统，其中，所述系统被配置成，对运动数据进行分析以便生成移动模型，所述移动模型考虑在所述移动现实捕获装置(1)被所述搬运者(30)搬运和对准时，针对所述移动现实捕获装置的相对移动的运动范围的参数，和/或所述移动现实捕获装置(1)与伴随装置(17)和/或所述搬运者(30)的组合的重量分布，其中，所述移动模型被考虑用于以下项中的至少一项：提供所确定的运动模式(21)与所述定义移动类别(23)的对应关系、获得所述预期运动模式(26)、以及比较所确定的运动模式(21)与所述预期运动模式(26)，特别是其中，所述移动现实捕获装置(1)与所述伴随装置(17)和/或所述搬运者(30)的组合的质心和惯性矩被确定。8.根据权利要求7所述的系统，其中，所述移动现实捕获装置(1)包括校准功能，所述校准功能是基于将被所述搬运者(30)执行的所述移动现实捕获装置(1)的...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：赫克斯冈技术中心，
类型：发明
国别省市：