自主和非自主平台中的地图构建优化制造技术

本公开涉及自主和非自主平台中的地图构建优化。本公开的位置感知技术采用视觉惯性传感数据收集和分析硬件，参照特定示例实施方式实现了传感器、技术和硬件设计的使用方面的改进，其可以使特定实施例能够以提高的速度和准确度向机器提供位置感知。

Map Construction Optimization in Autonomous and Non-Autonomous Platforms

This disclosure relates to map construction optimization in autonomous and non-autonomous platforms. The position sensing technology of the present disclosure adopts visual inertial sensing data collection and analysis hardware, and improves the use of sensors, technology and hardware design with reference to specific example embodiments, which can enable specific embodiments to provide position sensing to machines with improved speed and accuracy.

【技术实现步骤摘要】
自主和非自主平台中的地图构建优化与其他申请的交叉引用本申请是2016年8月29日提交的名称为“用于自主和非自主地图构建的视觉惯性位置感知(Visual-InertialPositionalAwarenessForAutonomousAndNon-AutonomousMapping)”的美国专利申请第15/250,581号的部分继续申请(代理人卷号：PERC1002-1)，该申请通过引用并入本文。以下美国专利申请通过引用并入本文：2016年8月29日提交的名称为“用于自主和非自主设备的视觉惯性位置感知(Visual-InertialPositionalAwarenessForAutonomousAndNon-AutonomousDevice)”的美国非临时申请第15/250,419号(代理人卷号：PERC1000-1)，以及2016年8月29日提交的名称为“用于自主和非自主跟踪的视觉惯性位置感知(Visual-InertialPositionalAwarenessForAutonomousAndNon-AutonomousTracking)”的美国非临时申请第15/250,393号(代理人卷号：PERC1001-1)。
所公开的技术总体上涉及检测移动设备的位置和定位，并且更具体地涉及视觉处理和惯性传感器数据在定位和引导技术中的应用。
技术介绍
本节中讨论的主题不应仅仅由于在本节中提及而成为现有技术。类似地，不应假定在本节中提及的或与作为背景提供的主题相关联的问题先前已经在现有技术中认识到。本节中的主题仅表示不同的方法，其本身也可以对应于所要求保护的技术的实施方式。自主机器人一直是科幻小说的素材。实现真正的自主机器人的一个技术挑战是机器人需要能够标识他们在哪里，他们曾经在哪里以及计划他们去哪里。传统的SLAM技术近年来有了很大的改进，然而，为机器人和自导式移动平台提供快速准确和可靠的位置感知仍然存在相当大的技术挑战。随着近来诸如OculusRiftTM、PlayStationTMVR、SamsungGearTMVR、HTCViveTM等虚拟现实耳机的广泛使用，一种新类型的设备已经兴起，该设备——不是自主的，而是由人类用户穿戴的——将从快速、准确和可靠的位置信息中受益。然而，在使机器和设备能够标识他们在何处，他们去过哪里以及计划他们将要去哪里的领域，仍然存在许多技术挑战。一个特别具有挑战性的领域涉及精确和快速地识别位置和障碍物。已经尝试了各种不同的方法。例如RFID/WiFi方法已被证明是昂贵的并且精度有限。已经发现基于深度传感器的方法成本高并且存在功耗和干扰问题。基于标记的方法要求将标记放置在工作区域内，这限制了设备可操作的有用区域。视觉方法目前速度很慢，导致在快速运动应用中使用时出现故障。这些方法也可能会受到模糊性的影响。然而，这些实施方案未能达到广泛采用所需的标准。向迄今为止的设备提供快速、可靠、经济的位置感知的挑战在很大程度上仍未解决。附图说明在附图中，遍及不同的视图，相同的附图标记通常指代相似的部分。而且，附图不一定按比例绘制，而是通常将重点放在说明所公开的技术的原理上。在以下描述中，参考以下附图来描述所公开的技术的各种实施方式，其中：图1示出了用于视觉惯性传感器的控制单元的示例。图2示出了图1中的成像部件的示例。图3示出了图1中的特征缓冲区的操作方法。图4示出了图1中的惯性部件的示例。图5示出了在其中可以实施本文描述的技术的成像配置的示例。图6示出了视觉惯性传感系统的示例。图7示出了实施跟踪过程的示例跟踪系统。图8A示出了用于实施跟踪过程的跟踪系统的示例再定位过程。图8B示出了在一种实施方式中再定位搜索策略选择过程的示例。图9示出了在一种实施方式中占用网格地图的示例。图10是一种在点云中改进3D点和关键帧姿态的代表性方法，以引导包括具有距离计算和多轴惯性测量单元(IMU)的相机的移动设备。图11示出了重新投影误差的示例。图12在其中可以实施一种实施方式的示例机器人引导应用。图13在其中可以实施一种实施方式的示例VR应用。图14在其中可以实施一种实施方式的示例AR应用。图15是一种使用来自具有距离计算和多轴惯性测量单元(IMU)的相机的信息来引导移动设备的代表性方法。图16是一种更新包括具有距离计算和多轴惯性测量单元(IMU)的相机的移动单元的位置的代表性方法。图17是一种使用混合点网格来引导包括具有距离计算和多轴惯性测量单元(IMU)的相机的移动单元的代表性方法。具体实施方式参考附图进行以下详细描述。描述示例的实施方式来说明所公开的技术，而不是限制由权利要求限定的范围。本领域的普通技术人员将认识到以下描述中的各种等同变化。本文件参考具体示例实施方式描述采用视觉惯性传感数据收集和分析硬件的位置感知技术。讨论组织如下。首先，将给出各种实施方式所解决的一些问题的介绍。然后，一个实施方式的高级描述将在体系结构级别进行讨论。接下来，讨论由一些实施方式所使用的过程，用以高效处理图像和惯性数据。最后，将参照(i)机器人和自导式自主平台，(ii)虚拟现实耳机和可穿戴设备，以及(iii)增强现实耳机和可穿戴设备的特定应用来说明所公开的技术。对具体示例的参考旨在说明而不是限制本文公开的方法。传感器、技术和硬件设计的使用的改进可以使特定的实施方式能够提供改进的速度和准确度，然而，这种改进伴随着参数数量的增加并伴随着显著的存储器和计算要求。传统的自动引导的方法主要集中在单个传感器输入上。基于相机的方法相对精确，但受速度限制(大多数硬件提供30fps，最高60fps)，并且由于这些方法处理每个像素，而在计算上是昂贵的。基于惯性引导的方法存在零点或原点漂移的问题。此外，这些方法需要昂贵的硬件以获得有用的结果。存在基于旧技术的WIFI和RFID方法；然而，这些方法都以表明这些方法本身能力有限。基于深度传感器的方法是昂贵的。而且，这些方法需要主动感测，所以计算成本相对较高。最后，设备的主动感测可能会造成干扰问题。为了克服一直处理大量图像数据的计算负担，可以使用惯性数据来估计由于引导下的机器的姿态变化而导致的环境变化。为了克服与惯性传感器相关的漂移问题，可以捕捉和处理图像以校正和更新基于惯性数据的姿态估计。此外，由RGB和灰度相机组合组成的立体成像传感器可以提供立体成像能力，成本低于立体RGB系统。更进一步地，使用低端传感器来构建传感器，例如，具有640×480分辨率的相机，消除了高端图像传感器的成本。更进一步地，使用低功率控制单元执行某些基于传感器的处理，而不是使用主机或处于引导下的机器的强大处理器，使得相对于传统方法以较低的成本使用系统。实施方式可以被部署在各种使用场景中，包括机器人或其他移动平台引导、虚拟现实/增强现实(VR/AR)耳机、眼镜或其他可穿戴设备等。受益于采用如本文的位置感知技术的机器人应用的示例包括：·看护者和服务机器人(在地面行走)·吸尘/拖地/清洁地板的机器人。·被命令在环境中携带对象的机器人。·远程呈现机器人自动在远程环境中移动。·跟随人员的机器人管家。在上面列出的每个场景中，机器人利用本文描述的技术，从而跟踪其自己的位置并识别它遇到的对象。此外，由于机器人执行许多复杂的任务，每个任务本文档来自技高网...

【技术保护点】
1.一种系统，包括：移动平台，具有被设置在其上的：至少一个相机；多轴惯性测量单元(IMU)；以及到主机的接口，所述主机包括被耦合到存储计算机指令的存储器的一个或多个处理器，所述计算机指令校正定义地图的至少一些3D点的至少一些被估计的姿态和位置，所述地图被用于向包括具有距离计算的所述相机和所述多轴惯性测量单元(IMU)的所述移动平台提供引导，所述计算机指令当在所述处理器上被执行时实施动作，所述动作包括：接收包括2D特征点和姿态信息的图像数据的集合，所述姿态信息包括所述移动平台的位置和捕捉图像数据的所述集合的所述相机的视图，其中由图像数据和姿态信息组成的集合被统称为关键帧；基于关键帧内容与其他所选择的关键帧的内容的比较来回顾关键帧，以选择包括在从3D点定义的地图中的关键帧内容，所述回顾通过如下方式实现：通过从关键帧中选择能够被改进的自由关键帧的集合而在关键帧中分配自由度，所述自由关键帧的集合包括随机选择的第一关键帧子集并包括第二关键帧子集，所述第二关键帧子集(i)位于所述第一关键帧子集中的至少一个第一关键帧子集的半径内、并且(ii)与所述第一关键帧子集中的至少一个第一关键帧子集共享视场；其中未被选择的关键帧包括不能够被改进的固定关键帧的集合；以及在所述地图中以及在至少一个关键帧的视场内确定选择3D点，组标识包括从下列集合中选择的一个集合：(i)能够被改进的自由点；其中在两个以上的关键帧的视点内的、包括至少一个自由的关键帧的3D点是自由点；(ii)不能够被改进、但是能够在改进自由点的过程中改变位置的半自由点；其中在至多一个自由的关键帧的视点内的3D点是半自由点；以及(iii)不能够被改变的固定点；其中在固定的关键帧的视点内的3D点是固定点；以及改进所述地图以校正所述自由点的至少一些自由点的至少一些被估计的姿态和位置，并且使用所校正的被估计的姿态和位置来向所述移动平台提供引导。...

【技术特征摘要】
2017.07.12 US 15/648,3721.一种系统，包括：移动平台，具有被设置在其上的：至少一个相机；多轴惯性测量单元(IMU)；以及到主机的接口，所述主机包括被耦合到存储计算机指令的存储器的一个或多个处理器，所述计算机指令校正定义地图的至少一些3D点的至少一些被估计的姿态和位置，所述地图被用于向包括具有距离计算的所述相机和所述多轴惯性测量单元(IMU)的所述移动平台提供引导，所述计算机指令当在所述处理器上被执行时实施动作，所述动作包括：接收包括2D特征点和姿态信息的图像数据的集合，所述姿态信息包括所述移动平台的位置和捕捉图像数据的所述集合的所述相机的视图，其中由图像数据和姿态信息组成的集合被统称为关键帧；基于关键帧内容与其他所选择的关键帧的内容的比较来回顾关键帧，以选择包括在从3D点定义的地图中的关键帧内容，所述回顾通过如下方式实现：通过从关键帧中选择能够被改进的自由关键帧的集合而在关键帧中分配自由度，所述自由关键帧的集合包括随机选择的第一关键帧子集并包括第二关键帧子集，所述第二关键帧子集(i)位于所述第一关键帧子集中的至少一个第一关键帧子集的半径内、并且(ii)与所述第一关键帧子集中的至少一个第一关键帧子集共享视场；其中未被选择的关键帧包括不能够被改进的固定关键帧的集合；以及在所述地图中以及在至少一个关键帧的视场内确定选择3D点，组标识包括从下列集合中选择的一个集合：(i)能够被改进的自由点；其中在两个以上的关键帧的视点内的、包括至少一个自由的关键帧的3D点是自由点；(ii)不能够被改进、但是能够在改进自由点的过程中改变位置的半自由点；其中在至多一个自由的关键帧的视点内的3D点是半自由点；以及(iii)不能够被改变的固定点；其中在固定的关键帧的视点内的3D点是固定点；以及改进所述地图以校正所述自由点的至少一些自由点的至少一些被估计的姿态和位置，并且使用所校正的被估计的姿态和位置来向所述移动平台提供引导。2.根据权利要求1所述的系统，还实施包括通过以下方式改进从对应于2D特征的3D点定义的所述地图的动作，即：选择由3D点定义的所述地图的图像数据和姿态信息中的至少一些图像数据和姿态信息的集合；使用所述姿态信息将3D点从所述地图重新投影到2D图像平面上的重新投影点；计算所述2D图像平面上的所述重新投影点的图像坐标，并且将针对所述2D图像平面上的所述重新投影点计算出的所述图像坐标与直接从所选择的图像数据中获得的对应观察点的实际坐标进行比较，以计算多个重新投影误差；并且针对所选择的图像数据和姿态信息中的至少一些图像数据和姿态信息的所述集合，最小化所述重新投影误差的加权和。3.根据权利要求1所述的系统，其中固定关键帧的所述集合需要维持用于所述地图的全局坐标系统的至少一个固定关键帧。4.根据权利要求1所述的系统，还包括：每当新的改进过程被应用来调整所述地图的至少一些部分时，在关键帧中将自由度分配到“固定”和“自由”子集中。5.根据权利要求1所述的系统，还包括：以N秒的间隔触发改进所述地图。6.根据权利要求5所述的系统，其中N包括1秒。7.根据权利要求1所述的系统，还包括：在当前位置或取向和最后触发的姿态大于阈值时，触发改进所述地图。8.根据权利要求7所述的系统，其中位置或取向和最后触发的姿态大于阈值包括：设备已经移动超过X米或已经改变取向方向超过Y度。9.根据权利要求8所述的系统，其中X为0.5米。10.根据权利要求1所述的系统，还包括：在当前姿态与所述地图中的多个关键帧相比足够明显区别时，触发改进所述地图。11.根据权利要求10所述的系统，其中足够明显区别包括大于0.5米。12.根据权利要求10所述的系统，其中足够明显区别包括大于40度。13.一种存储指令的非暂时性计算机可读存储介质，所述指令用于校正定义地图的至少一些3D点的至少一些被估计的姿态和位置，所述地图被用于向包括具有距离计算的相机和多轴惯性测量单元(IMU)的移动平台提供引导，所述指令当在一个或多个处理器上被执行时实施动作，所述动作包括：接收包括2D特征点和姿态信息的图像数据的集合，所述姿态信息包括所述移动平台的位置和捕捉图像数据的所述集合的所述相机的视图，其中由图像数据和姿态信息组成的集合被统称为关键帧；基于关键帧内容与其他所选择的关键帧的内容的比较，回顾关键帧以选择包括在从3D点定义的地图中的关键帧内容，所述回顾通过如下方式实现：通过从关键帧中选择能够被改进的自由关键帧的集合而在关键帧中分配自由度，自由关键帧的所述集合包括随机选择的第一关键帧子集并包括第二关键帧子集，所述第二关键帧子集(i)位于所述第一关键帧子集中的至少一个第一关键帧子集的半径内、并且(ii)与所述第一关键帧子集中的至少一个第一关键帧子集共享视场；其中未被选择的关键帧包括不能...

【专利技术属性】
技术研发人员：张哲，蔡心怡，刘少山，
申请(专利权)人：来福机器人，
类型：发明
国别省市：美国,US