使用机器人装置的状态来映射环境制造方法及图纸

本文描述的某些示例使机器人装置能够准确地映射周围环境。机器人装置使用图像捕获装置，并且图像捕获装置和机器人装置中的至少一者在环境内移动。与图像捕获装置和机器人装置中的至少一者的移动相关联的测量值用于确定机器人装置的状态。机器人装置的状态相对于由映射引擎构建的环境的模型对图像捕获装置和机器人装置建模。通过将机器人装置的状态与机器人装置的所测量的变化进行比较，可以构建机器人装置的状态的准确表示。映射引擎使用此状态来更新环境的模型。

【技术实现步骤摘要】
【国外来华专利技术】使用机器人装置的状态来映射环境
本专利技术涉及使用机器人装置来映射环境。本专利技术与使用机器人装置的状态生成环境的模型具有特定但非排他性的相关性，其中当机器人装置在环境内移动时基于测量值来更新状态。
技术介绍
在计算机视觉和机器人领域，通常需要构建环境的表示，诸如可使用机器人装置导航的三维空间。构建三维空间的表示允许将现实世界环境映射到虚拟或数字领域，其中环境地图可以由电子装置使用和操纵。例如，可移动机器人装置可能需要三维空间的表示，以允许同时定位和映射(通常称为“SLAM”)，从而在其环境中进行导航。机器人装置可以在室内家庭或商业环境或室外自然环境中操作。环境的表示可以使该空间内的物体的模型能够被识别和/或提取。这些可用于对真实世界环境执行测量和/或用于生产三维复制品，例如经由增材制造系统。类似地，在三维空间中检测人体部位可以实现新的人机交互，从而使得能够使用物理世界中的动作来操纵物体的虚拟表示。有多种技术可用于构建环境的表示。例如，运动恢复结构和多视角立体视觉是可用于实现此目的的两种技术。许多技术从环境的图像中提取特征，然后所述特征在图像与图像之间进行关联以构建三维表示。使用减少数量的点或特征来生成表示的某些技术被称为“稀疏”技术。例如，这些技术可以使用十到一百个特征和/或点来生成表示。这些可能与生成具有数千或数百万个点的表示的“密集”技术形成对比。“稀疏”技术的优势在于它们更容易实时实施，例如以每秒30帧左右的帧速率；使用有限数量的点或特征限制了构建三维表示所需的处理范围。相比之下，由于计算要求，执行环境的实时“密集”映射更加困难。例如，通常优选离线执行“密集”映射，例如从提供的30分钟图像数据生成“密集”表示可能需要10小时。当从移动的捕获装置生成环境的表示时，存在确定捕获装置在空间内的位置和取向以及处理不可预测的运动(例如扩展的“断断续续”或“循环”运动)的挑战。例如，不平坦的地形和操作条件可能导致捕获装置位置和取向的频繁变化，并且自主机器人装置可能会重新访问三维空间内先前捕获的位置。图像数据的捕获也可能是实时连续的，导致捕获到的数据量很大。这些因素都对现实世界的系统提出了挑战；许多技术可能会在有限的数据或严格定义的捕获轨迹上取得成功，但很难从移动机器人装置实时构建表示。StefanLeutenegger等人在他们的论文“Keyframe-BasedVisual-InertialSLAMUsingNonlinearOptimization”(Robotics：ScienceandSystems2013，德国柏林，2013年6月24-28日)中描述了在SLAM系统中融合视觉和惯性线索的方法。该论文描述了惯性测量单元(IMU)的使用，该单元包含一系列加速度计和陀螺仪，以测量机器人装置所承受的力。然而，在实践中，已经发现使用论文中提出的IMU会出现漂移和退化，这导致构建三维模型时出现问题。所提出的解决方案还对关键帧进行操作，并且需要基于姿态图的映射系统；它必须从关键帧构建一致的世界模型，这些关键帧可能会呈现场景及其中物体的不同视图。还有一个问题是建模不明确。WO2016/189274A1描述了对三维空间建模的方法。来自至少一个捕获装置的图像数据用于生成三维空间的三维模型。在某些示例中，基于至少一个模型属性将三维模型分割成活动部分和非活动部分。这些示例被配置为使用活动部分随时间更新三维模型。还执行配准以随时间将三维模型的活动部分与三维模型的非活动部分对齐。该配准将在观察三维空间的区域之后生成的三维模型的活动部分与在对所述区域的至少一次先前观察之后生成的模型的非活动部分对齐。WO2016/189274A1的方法在没有姿态图的情况下操作。这使得它们与以前的方法不兼容，诸如Leutenegger等人提出的那些在映射环境的同时构建姿态图的方法。虽然WO2016/189274A1中提出的方法为构建环境模型提供了改进，但将它们应用于某些现实世界的机器人装置一直存在问题。例如，某些机器人装置不以平滑的方式移动，例如它们通常具有不同于由手持装置追踪的平滑路径的图像路径。它们还经常穿越非平面景观，所述非平面景观导致相机移动不稳定。已经发现，在某些情况下，甚至WO2016/189274A1的实施方式也难以实时处理来自这些机器人装置的图像。
技术实现思路
根据本专利技术的一个方面，提供了一种用于机器人装置的映射系统，该机器人装置包括用于在环境内移动机器人装置的一个或多个致动器和用于图像捕获装置的可移动支架。该映射系统包括状态引擎以基于运动学误差、里程计误差和几何误差来联合优化机器人装置的当前状态和机器人装置的先前状态。机器人装置的每个状态包括指示机器人装置相对于环境的模型的姿态的数据和指示图像捕获装置相对于模型的姿态的数据。运动学误差包括与可移动支架相关联的运动学测量值和从当前状态导出的图像捕获装置相对于机器人装置的姿态的函数。里程计误差包括与一个或多个致动器相关联的里程计测量值和当前状态与先前状态之间的里程计差异的函数。几何误差包括来自捕获装置的图像数据与环境的模型的比较，该比较使用基于当前状态的投影。映射系统被配置为使用状态引擎优化后的当前状态来更新模型。在某些示例中，可移动支架包括多个关节，并且图像捕获装置相对于机器人装置的姿态是使用正向运动学确定的。在某些示例中，机器人装置相对于模型的姿态和图像捕获装置相对于模型的姿态被定义在六个自由度内。在某些示例中，状态引擎被配置为使用线性先验联合优化当前状态和先前状态，状态引擎被配置为基于运动学误差、里程计误差、几何误差和先前状态的边缘化来更新优化后的线性先验。在此类示例中，映射引擎可以被配置为使用变形图来将模型的第一组部分与模型的第二组部分对齐，变形图指示模型中给定位置的待用于在对齐期间在给定位置处修改模型的邻域集。在这些示例中，映射引擎可以被配置为在循环闭合期间将模型的第一组部分与模型的第二组部分对齐，其中在循环闭合之后，重新初始化线性先验和先前状态。在某些示例中，模型包括表面元模型，其中表面元模型中的每个表面元至少包括定义表面元在三维中的位置的数据和定义表面元在三维中的法向向量的数据，其中每个表面元表示三维空间中的二维区域。在某些示例中，映射系统被配置为为图像捕获装置生成没有姿态图的模型。根据本专利技术的第二方面，提供了一种机器人装置，其包括：图像捕获装置，其相对于机器人装置可移动地安装；一个或多个致动器，其用于相对于环境移动机器人装置和图像捕获装置中的一者或多者；状态引擎，其用于更新机器人装置的状态；以及映射引擎，其用于使用机器人装置的状态生成环境的三维模型。机器人装置的状态至少包括图像捕获装置相对于三维模型的变换。状态引擎被配置为基于机器人装置的状态与从一个或多个致动器获得的测量值的比较来更新机器人装置的状态。映射引擎被配置为基于机器人装置的状态将来自图像捕获装置的图像与三维模型进行比较以更新三维模型。在某些示例中，映射引擎被配置为确定迭代最近点误差，并且其中状态引擎被配置为另外使用迭代最近点误差来更新机器人装置本文档来自技高网...

【技术保护点】
1.一种用于机器人装置的映射系统，所述机器人装置包括用于在环境内移动所述机器人装置的一个或多个致动器和用于图像捕获装置的可移动支架，所述映射系统包括：/n状态引擎，其用于基于运动学误差、里程计误差和几何误差来联合优化所述机器人装置的当前状态和所述机器人装置的先前状态，/n其中所述机器人装置的每个状态包括指示所述机器人装置相对于所述环境的模型的姿态的数据和指示所述图像捕获装置相对于所述模型的姿态的数据，/n其中所述运动学误差包括与所述可移动支架相关联的运动学测量值和从所述当前状态导出的所述图像捕获装置相对于所述机器人装置的姿态的函数，/n其中所述里程计误差包括与所述一个或多个致动器相关联的里程计测量值和所述当前状态与所述先前状态之间的里程计差异的函数，/n其中所述几何误差包括来自所述捕获装置的图像数据与所述环境的所述模型的比较，所述比较使用基于所述当前状态的投影，/n其中所述映射系统被配置为使用所述状态引擎优化后的所述当前状态来更新所述模型。/n

【技术特征摘要】
【国外来华专利技术】20190124 GB 1901006.51.一种用于机器人装置的映射系统，所述机器人装置包括用于在环境内移动所述机器人装置的一个或多个致动器和用于图像捕获装置的可移动支架，所述映射系统包括：
状态引擎，其用于基于运动学误差、里程计误差和几何误差来联合优化所述机器人装置的当前状态和所述机器人装置的先前状态，
其中所述机器人装置的每个状态包括指示所述机器人装置相对于所述环境的模型的姿态的数据和指示所述图像捕获装置相对于所述模型的姿态的数据，
其中所述运动学误差包括与所述可移动支架相关联的运动学测量值和从所述当前状态导出的所述图像捕获装置相对于所述机器人装置的姿态的函数，
其中所述里程计误差包括与所述一个或多个致动器相关联的里程计测量值和所述当前状态与所述先前状态之间的里程计差异的函数，
其中所述几何误差包括来自所述捕获装置的图像数据与所述环境的所述模型的比较，所述比较使用基于所述当前状态的投影，
其中所述映射系统被配置为使用所述状态引擎优化后的所述当前状态来更新所述模型。


2.根据权利要求1所述的映射系统，其中所述可移动支架包括多个关节，并且所述图像捕获装置相对于所述机器人装置的所述姿态是使用正向运动学确定的。


3.根据权利要求1或权利要求2所述的映射系统，其中所述机器人装置相对于所述模型的所述姿态和所述图像捕获装置相对于所述模型的所述姿态被定义在六个自由度内。


4.根据权利要求1至3中任一项所述的映射系统，其中所述状态引擎被配置为使用线性先验联合优化所述当前状态和所述先前状态，所述状态引擎被配置为基于所述运动学误差、所述里程计误差、所述几何误差和所述先前状态的边缘化来更新优化后的所述线性先验。


5.根据权利要求4所述的映射系统，其中所述映射引擎被配置为使用变形图来将所述模型的第一组部分与所述模型的第二组部分对齐，所述变形图指示所述模型中给定位置的待用于在对齐期间在所述给定位置处修改所述模型的邻域集。


6.根据权利要求5所述的映射系统，其中所述映射引擎被配置为在循环闭合期间将所述模型的所述第一组部分与所述模型的所述第二组部分对齐，其中在所述循环闭合之后，重新初始化所述线性先验和所述先前状态。


7.根据权利要求1至6中任一项所述的映射系统，其中所述模型包括表面元模型，其中所述表面元模型中的每个表面元至少包括定义所述表面元在三维中的位置的数据和定义所述表面元在三维中的法向向量的数据，其中每个表面元表示三维空间中的二维区域。


8.根据权利要求1至7中任一项所述的映射系统，其中所述映射系统被配置为为所述图像捕获装置生成没有姿态图的模型。


9.一种机器人装置，包括：
图像捕获装置，相对于所述机器人装置移动地安装；
一个或多个致动器，用于相对于环境移动所述机器人装置和所述图像捕获装置中的一者或多者；
状态引擎，用于更新所述机器人装置的状态；以及
映射引擎，用于使用所述机器人装置的所述状态生成所述环境的三维模型，
其中所述机器人装置的所述状态至少包括所述图像捕获装置相对于所述三维模型的变换，
其中所述状态引擎被配置为基于所述机器人装置的所述状态与从所述一个或多个致动器获得的测量值的比较来更新所述机器人装置的所述状态，并且
其中所述映射引擎被配置为基于所述机器人装置的所述状态将来自所述图像捕获装置的图像与所述三维模型进行比较以更新所述三维模型。


10.根据权利要求9所述的机器人装置，其中所...

【专利技术属性】
技术研发人员：查尔斯·弗莱彻·豪斯雅戈，迈克尔·布洛施，斯特凡·卢特内格尔，
申请(专利权)人：帝国理工学院创新有限公司，
类型：发明
国别省市：英国;GB