用于优化单目视觉-惯性定位系统的方法和装置制造方法及图纸

本文公开的方法和设备提出一种方法，该方法包括：通过在环境中移动的设备上设置的光学传感器，捕获在环境的一部分内的相应位置处的多个光学数据(1002)；通过设备上设置的轮式编码器(258，602)，捕获对应于相应位置处的多个光学数据的编码器数据集(1004)；基于多个光学数据，确定第一相对运动(1006)；基于编码器数据集，确定对应的第二相对运动(1008)；根据确定第一相对运动和对应的第二相对运动之间的差大于第一阈值(1010)：使指示轮式编码器(258，602)的打滑事件的计数器增大，其中，打滑事件对应于设备的轮前进，且对应的第二相对运动小于第二阈值(1012)。动小于第二阈值(1012)。动小于第二阈值(1012)。

【技术实现步骤摘要】
【国外来华专利技术】用于优化单目视觉
‑
惯性定位系统的方法和装置


[0001]本公开总体上涉及环境中的同步定位与地图构建(SLAM)技术，尤其涉及用于表征物理环境并使用图像数据来相对于移动机器人的环境定位移动机器人的系统和方法。

技术介绍

[0002]定位、位置识别和环境理解使得移动机器人能够在环境中变成完全自主或半自主的系统。同步定位与地图构建(SLAM)是一种构建环境的地图同时(例如，使用移动机器人的相机的估计姿态)估计移动机器人在环境中的姿态的方法。SLAM算法使得移动机器人能够构建未知环境的地图并确定其本身在环境中的位置，以执行诸如路径规划和避障之类的任务。

技术实现思路

[0003]基于单目相机的定位技术从所捕获的周围环境的连续帧中提取信息，例如特征(点和线)或原始像素值，以通过使用例如对极几何约束或视角n点求解3D几何问题，来求解那些帧之间的相对姿态(例如定向和平移)。由于单个RGB相机不能测量场景的深度(例如，不能直接测量相机帧中捕获的对象的距离)，因此当使用对极几何约束来求解时，从相关联的特征到两个相关帧中的相机中心的距离是未知的。使用比例校准，两个相关帧之间的求解的平移达到一定比例才有效(例如，求解的平移在乘以任意比例之后有效)。在比例校准之前，对于基于单目相机的定位技术，存在比例模糊度问题。在一些实施例中，比例指的是两个帧姿态之间的物理距离。在不存在精确的比例估计的情况下，基于单目相机的定位方法可能无法向其主机设备提供精确的位置信息。
[0004]因此，特别需要用于向从单目相机收集的视觉数据提供比例信息的更有效的方法和系统。本文描述的方法和系统不涉及公式化基于因子图的优化问题，并使用由惯性测量单元测量的帧之间的相对姿态变化来求解基于因子图的优化问题。因此，本文的方法和系统更不容易受到数值不稳定性的影响，且具有更低的计算成本，其结果是更精确的定位解决方案和来自移动机器人的响应更快。
[0005]如本文所公开的，一种解决方案依赖于使用单目相机、MEMS惯性传感器、轮式编码器和光流传感器。这样的解决方案利用多感测方案来交叉检查来自不同里程计模块的姿态。方法和系统还检测并拒绝在车轮打滑事件期间收集的数据，其中，车轮打滑事件在涉及穿越不同地形(例如地毯，木质地板，瓷砖地板等)的移动机器人应用中可能比较常见。通过这样做，方法和系统通过拒绝来自打滑事件期间累积的车轮里程计数据的累积误差而有效地提高定位精度。此外，来自各种里程计源的精确计算的姿态、用于定位的算法的后端还执行比例校准和在线优化，以恢复并动态调节视觉里程计的比例，且异步融合姿态，以获得机器人的稳健且精确的姿态估计。
[0006]本文描述的方法和系统具有若干优点。首先，所描述的方法和系统从计算上说高效且稳定，原因是所描述的方法和系统不涉及公式化基于因子图的优化问题，这使得所描
述的方法和系统更好地适用于实时应用。其次，可以更精确地恢复并动态调节比例(与由单目相机记录的图像相关联)。通过排除在车轮打滑事件期间测量的数据(例如，当记录到移动机器人的轮在旋转，但是移动机器人的位移基本上不变时测量的数据)来改进比例计算，从而使整个定位算法更加适应具有不同比例的场景。最后，本文描述的系统中使用的多感测方案允许更换和部署不同类型的传感器，从而使系统和方法对于不同的应用而言灵活且可扩展。
[0007]本文描述的系统和方法以低的计算量提供稳定、精确的在线比例校准(例如，在移动机器人正在操作或运行时执行在线比例校准)和优化。本文描述的系统和方法使用高频惯性里程计和光学跟踪传感器(OTS)里程计信息来执行车轮打滑检测和视觉里程计(VO)姿态异常值拒绝，其结果是更精确的里程计姿态用于比例校准和优化。本文描述的方法和系统适应于具有可变比例的场景，并使用比例校准和优化策略来求解与单目相机视觉里程计相关联的比例模糊度问题。本文描述的方法和系统采用松散耦合的传感器融合框架，从而允许对SLAM算法以及传感器进行改变，来提供更大的灵活性。
[0008]根据本申请的第一方面，一种定位移动机器人的方法包括：通过在环境中移动的设备上设置的相机，捕获在第一时间段内在该环境的一部分内的相应位置处的第一坐标参考系中记录的多个图像帧；通过设备上设置的惯性测量单元，捕获在第二坐标参考系中记录的惯性里程计数据集，惯性里程计数据集对应于在第一时间段内在相应位置处的多个图像帧；在缓冲器中存储相匹配的成对的图像帧和满足第一标准的惯性里程计数据集；根据确定已存储阈值数量个相匹配的成对的图像帧和惯性里程计数据：确定对应于第一参考系和第二参考系之间的相对旋转的旋转变换矩阵；以及根据相匹配的成对的图像帧来确定比例因子，其中，旋转变换矩阵定义设备的定向，比例因子和旋转变换矩阵校准由相机捕获的多个图像帧。
[0009]根据本申请的第二方面，一种电子设备包括一个或多个处理器、存储器、以及存储在存储器中的多个程序。程序包括指令，当指令由一个或多个处理器执行时，指令使得电子设备执行本文描述的方法。
[0010]根据本申请的第三方面，一种非暂时性计算机可读存储介质存储有多个程序，多个程序由具有一个或多个处理器的电子设备执行。程序包括指令，当指令由一个或多个处理器执行时，指令使得电子设备执行本文描述的方法。
[0011]除了如上所述，降低计算复杂度、提高在环境中定位移动机器人的速度和精度之外，所公开的技术方案的各种附加优点根据下文的描述变得显而易见。
附图说明
[0012]在下文中，由于在结合附图时进行优选实施例的详细描述，因此将更清楚地理解所公开的技术的前述特征和优点及其附加特征和优点。
[0013]为了更清楚地描述本文公开的技术的实施例或现有技术中的技术方案，下面简单地介绍描述实施例或现有技术所需要使用的附图。显然，下文的描述中的附图仅示出了本文公开的技术的一些实施例，本领域的普通技术人员在不付出创造性劳动的情况下，仍可以根据这些附图获得其它附图。
[0014]图1A是根据一些实施例的环境的布局的示意图，其中，移动机器人在该环境中导
航。
[0015]图1B是根据一些实施例的包括惯性测量单元(IMU)和相机的移动机器人的示意图。
[0016]图2A是根据一些实施例的向移动机器人提供定位信息的系统的示意图。
[0017]图2B是根据一些实施例的向移动机器人提供定位信息的系统的示意图。
[0018]图3A描绘了根据一些实施例的用于将VO姿态校准到对应的IO姿态的示例性过程的流程。
[0019]图3B是示出根据一些实施例的校准比例因子和定向的示例性过程的流程图。
[0020]图4描绘了根据一些实施例的由不同传感器模块使用的不同坐标系。
[0021]图5A是示出根据一些实施例的优化比例因子的示例性过程的流程图。
[0022]图5B描绘了根据一些实施例的用于优化比例因子的示例性过程的流程。
[0023]图6描绘了根据一些实施例的包括车轮打滑检测模块的系统的示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：通过在环境中移动的设备上设置的光学传感器，捕获在所述环境的一部分内的相应位置处的多个光学数据；通过所述设备上设置的轮式编码器，捕获对应于所述相应位置处的所述多个光学数据的编码器数据集；基于所述多个光学数据，确定第一相对运动；基于所述编码器数据集，确定对应的第二相对运动；根据确定所述第一相对运动和所述对应的第二相对运动之间的差大于第一阈值：使指示所述轮式编码器的打滑事件的计数器增大，其中，所述打滑事件对应于所述设备的轮前进，且所述对应的第二相对运动小于第二阈值。2.根据权利要求1所述的方法，其中，当所述计数器高于第二阈值时，所述设备的状态设置为第一状态，以及所述方法包括：当所述设备的状态设置为所述第一状态时，排除掉所述多个光学数据而不进行进一步处理。3.根据权利要求1所述的方法，其中，所述光学传感器包括相机，所述光学数据包括由所述相机捕获的图像帧。4.根据权利要求3所述的方法，进一步包括：确定在由所述相机捕获的所述图像帧中两个相邻的帧之间，所述设备的位置是否发生跳跃。5.根据权利要求4所述的方法，进一步包括：根据确定发生所述跳跃：通过所述相机捕获附加图像帧，直到在确定所述第一相对运动之前，所捕获的图像帧中两个相邻的帧不呈现所述设备的位置发生所述跳跃。6.根据权利要求3所述的方法，进一步包括：确定在计算所述第一相对运动之前，由所述相机捕获的所述图像帧中两个相邻的帧是否有资格作为有效测量。7.根据权利要求6所述的方法，进一步...

【专利技术属性】
技术研发人员：陈翼，黄科，奚伟，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：