用于估计运动的方法、移动代理以及编码有用于使得处理器执行用于估计运动的方法的计算机程序代码的非暂时性计算机可读介质技术

本发明专利技术的方案涉及用于对自身运动进行基于视觉的计算的方法和系统。

【技术实现步骤摘要】
【国外来华专利技术】用于估计运动的方法、移动代理以及编码有用于使得处理器执行用于估计运动的方法的计算机程序代码的非暂时性计算机可读介质
本专利技术的实施例总体上涉及用于运动估计的方法和系统，具体地，涉及用于对自身运动(ego-motion)进行基于视觉的计算的方法和系统。
技术介绍
对车辆相对于车辆行驶的表面路径的自身运动进行精确估计可以是用于自动驾驶和基于计算机视觉的驾驶辅助的关键要素。与其他传感器相比，使用一个或更多个摄像机来计算自身运动可以允许将自身运动数据集成到其他基于视觉的算法(例如，障碍物检测和/或回避、行人检测和/或回避、物体检测和/或回避以及其他基于视觉的算法)中，而不需要在传感器之间进行校准。这可以减少维护要求和成本。仅使用来自被附接到代理(agent)(例如，车辆、人、机器人和其他移动代理)的一个或更多个摄像机的输入来估计该代理的自身运动的过程被称为视觉里程计(VO)。在VO中，通过检查由于移动代理的运动引起的在由一个或更多个机载摄像机获得的图像上的变化，来增量式地估计移动代理的姿态。为了使VO有效地工作，可能需要充分的环境照明和具有足够纹理的静态场景，以允许提取明显的运动。此外，应当捕获时间连续的帧以确保充分的场景交叠。用于提供运动估计的VO的一个优点在于：VO不受不平坦地形和其他不利条件下的车轮滑移的影响。此外，VO可以向其他运动估计过程和系统(例如，全球定位系统(GPS)、惯性测量单元(IMU)、激光里程计和提供运动估计的其他系统)提供重要的补充信息。此外，在拒绝GPS的环境(例如，水下、空中和可能拒绝GPS的其他环境)以及GPS信息由于例如多径、卫星覆盖差和其他可靠性因素而不可靠的环境中，可能增加VO的重要性。使用专门的视频输入来估计运动的许多运动估计算法假定了静态场景。此外，使用专门的视频输入来估计运动的许多运动估计算法不能处理动态和/或混乱的环境或由过往车辆产生的较大遮挡。此外，运动估计中的特征匹配和异常值去除可能不是鲁棒的，且可能随后失败。许多运动估计方案需要大量的关键点，且在缺少结构的场景中可用的关键点数量有限的情况下，这些运动估计方案可能失败。不依赖于上述假设并克服上述限制的实时VO方法和系统可能是期望的。
技术实现思路
本专利技术的一些实施例包括用于使用摄像机来估计自身运动的方法和系统。根据本专利技术的第一方面，精确校准的摄像机可以相对于移动代理和地平面被刚性安装在移动代理上。通过假定移动代理行驶在主要为平面状的地平面上，从而在移动代理行驶期间的每个时刻保持固定的摄像机与地面关系，可以将移动代理在任何时刻的运动的参数表示从六个自由度简化到三个自由度。根据本专利技术的第二方面，可以从摄像机接收输入图像。根据本专利技术的第三方面，可以对接收的输入图像执行特征检测。根据本专利技术的第四方面，可以计算针对每个检测到的特征的特征描述符。根据本专利技术的第五方面，可以在针对接收的输入图像计算出的特征描述符和针对先前接收的图像计算出的特征描述符之间执行特征匹配。根据本专利技术的第六方面，可以将与特征对应关系相关联的关键点从图像坐标投影到世界坐标。根据本专利技术的第七方面，可以根据与特征对应关系相关联的世界坐标对来计算运动估计。根据本专利技术的第八方面，当检测到关键姿态(keypose)时，可以产生全局坐标系下的当前摄像机姿态。根据本专利技术的第九方面，可以根据当前摄像机姿态确定运动轨迹。根据本专利技术的第十方面，可以将针对先前接收的图像计算出的特征描述符更新为针对接收的输入图像计算出的特征描述符。在结合附图考虑本专利技术的以下详细描述时，本专利技术的以上和其它目的、特征和优点将更易于理解。附图说明图1是示出了本专利技术的示例性实施例的图，其包括：对接收的输入图像执行特征检测；计算每个检测到的特征的特征描述符；在针对接收的输入图像计算出的特征描述和针对先前接收的图像计算出的特征描述符之间执行特征匹配；将与特征对应关系相关联的关键点从图像坐标投影到世界坐标；根据与所述特征对应关系相关联的世界坐标对计算运动估计；当检测到关键姿态时，在全局坐标系下产生当前摄像机姿态；根据当前摄像机姿态确定运动轨迹；以及将针对先前接收的图像计算出的特征描述符更新为针对接收的输入图像计算出的特征描述符；图2是示出了与本专利技术的实施例相关的多个坐标系的图片；图3是示出了根据本专利技术示例性实施例的移动代理平台上的示例性摄像机配置的图片；图4是示出了包括基于绝对取向(基于AO)的运动估计的本专利技术的示例性实施例的图表；以及图5是示出了包括基于正交Procrustes分析的运动估计的本专利技术的示例性实施例的图表。具体实施方式通过参考附图将最佳理解本专利技术的实施例，其中贯穿附图，类似的部件由类似的附图标记表示。以上所列的附图被明确地并入作为该详细描述的一部分。将容易理解的是可以以各种不同配置来布置和设计在本文附图中概括描述和示出的本专利技术的部件。因此，以下对本专利技术的方法、系统和装置的实施例的更详细描述并不旨在限制本专利技术的范围，而是仅代表本专利技术的当前优选实施例。本专利技术的实施例的元件可以以硬件、固件和/或包括计算机可读存储介质的非暂时性计算机程序产品来实现，其中所述计算机可读存储介质将可以用于对计算系统进行编程的指令存储在其上/其中。虽然本文公开的示例性实施例仅可以描述这些形式中的一种，但是应当理解，本领域技术人员将能够以这些形式中的任何形式实现这些元件，同时保持在本专利技术的范围内。尽管附图中的图表和图可以示出特定执行顺序，但是应当理解，所述执行顺序可以不同于所描绘的顺序。例如，可以相对于所示顺序改变所述块的执行顺序。此外，作为另一示例，可以同时或部分同时地执行图中连续示出的两个或更多个块。本领域普通技术人员应当理解，本领域的普通技术人员可以创建包括计算机可读存储介质的非暂时性计算机程序产品以执行本文所描述的各种逻辑功能，其中所述计算机可读存储介质将可以用于对计算系统、硬件和/或固件进行编程的指令存储在其上/其中。对车辆相对于车辆行驶的表面路径的自身运动进行的精确估计可以是用于自动驾驶和基于计算机视觉的驾驶辅助的关键要素。与其他传感器相比，使用一个或更多个摄像机来计算自身运动可以允许将自身运动数据集成到其他基于视觉的算法(例如，障碍物检测和/或回避、行人检测和/或回避、物体检测和/或回避以及其他基于视觉的算法)中，而不需要在传感器之间进行校准。这可以减少维护要求和成本。仅使用来自被附接到代理(例如，车辆、人、机器人和其他移动代理)的一个或更多个摄像机的输入来估计该代理的自身运动的过程被称为视觉里程计(VO)。在VO中，通过检查由于移动代理的运动引起的在由一个或更多个机载摄像机获得的图像上的变化，来增量式地估计移动代理的姿态。为了使VO有效地工作，可能需要充分的环境照明和具有足够纹理的静态场景，以允许提取明显的运动。此外，应当捕获时间连续的帧以确保充分的场景交叠。用于提供运动估计的VO的一个优点在于：VO不受不平坦地形和其他不利条件下的车轮滑移的影响。此外，VO可以向其他运动估计过程和系统(例如，全球定位系统(GPS)、惯性测量单元(IMU)、激光里程计和提供运动估计的其他系统)提供重要的补充信息。此外，在拒绝GPS的环境(例如，水下、空中和可能拒绝GPS的其他环境)以及GPS信息由于例如多径、卫星覆本文档来自技高网...

【技术保护点】
一种用于估计运动的方法，所述方法包括：接收输入图像；对所接收的输入图像执行特征检测以识别在所接收的输入图像中的多个区域，其中所述多个区域中的每个区域与图像坐标系中的关键点相关联；针对所述多个区域中的每个区域计算特征描述符，从而产生针对所述输入图像的多个特征描述符；在针对所接收的输入图像的所述多个特征描述符与针对前一图像计算的多个特征描述符之间执行特征匹配，从而产生多个特征对应关系；对于所述多个特征对应关系中的每个特征对应关系，将所述图像坐标系中的所述相关联的关键点投影到世界坐标系，从而产生多对世界坐标；根据所述多对世界坐标计算运动估计；选择关键姿态；在全局坐标系下生成当前摄像机姿态；根据所述当前摄像机姿态确定运动轨迹；以及将所述针对前一帧计算的多个特征描述符更新为针对所接收的输入帧的所述多个特征描述符。

【技术特征摘要】
【国外来华专利技术】2014.09.03 US 14/476,5241.一种用于估计运动的方法，所述方法包括：接收输入图像；对所接收的输入图像执行特征检测以识别在所接收的输入图像中的多个区域，其中所述多个区域中的每个区域与图像坐标系中的关键点相关联；针对所述多个区域中的每个区域计算特征描述符，从而产生针对所述输入图像的多个特征描述符；在针对所接收的输入图像的所述多个特征描述符与针对前一图像计算的多个特征描述符之间执行特征匹配，从而产生多个特征对应关系；对于所述多个特征对应关系中的每个特征对应关系，将所述图像坐标系中的所述相关联的关键点投影到世界坐标系，从而产生多对世界坐标；根据所述多对世界坐标计算运动估计；选择关键姿态；在全局坐标系下生成当前摄像机姿态；根据所述当前摄像机姿态确定运动轨迹；以及将所述针对前一帧计算的多个特征描述符更新为针对所接收的输入帧的所述多个特征描述符。2.根据权利要求1所述的方法，其中所述运动估计包括旋转矩阵和平移向量。3.根据权利要求2所述的方法，其中所述旋转矩阵与平面内旋转相关联。4.根据权利要求1所述的方法，其中所接收的输入图像是从刚性安装在移动代理上的摄像机接收的。5.根据权利要求1所述的方法，其中所述执行特征检测包括使用从由下述检测器构成的组中选择的特征检测器：边缘检测器、拐角检测器、斑点检测器、尖峰检测器、SIFT关键点检测器、SURF键点关键点检测器、FAST关键点检测器、基于网格的FAST关键点检测器、ORB关键点检测器、MSER关键点检测器、BRIEF关键点检测器、BRISK关键点检测器、FREAK关键点检测器和STAR关键点检测器。6.根据权利要求1所述的方法，其中所述特征描述符是从由下述描述符构成的组中选择的特征描述符：像素值块、归一化像素值块、梯度值块、调整的像素值块、SIFT特征描述符、SURF特征描述符、ORB特征描述符、BRIEF特征描述符、BRISK特征描述符和FREAK特征描述符。7.根据权利要求1所述的方法，其中所述执行特征匹配包括使用k维树进行的快速最近邻搜索。8.根据权利要求1所述的方法，其中所述执行特征匹配包括修剪多个候选匹配。9.根据权利要求1所述的方法，其中所述计算运动估计包括：使用从基于正交Procrustes分析的运动估计器和基于绝对取向的运动估计器构成的组中选择的运动估计器。10.根据权利要求1所述的方法，其中所述计算运动估计包括剔除所述多个特征对应关系中的异常值。11.根据权利要求10所述的方法，其中所述剔除包括执行RANSAC运动估计。12.根据权利要求1所述的方法，其中所述选择关键姿态包括：将所述运动估计的旋转角与角度门限值进行比较，以及将移动代理行驶的距离与距离门限值进行比较；以及当所述角度比较满足第一标准或所述距离比较满足第二标准时，检测关键姿态。13.根据权利要求12所述的方法，其中：所述第一标准...

【专利技术属性】
技术研发人员：彼得鲁斯·J·L·范比克，许新玉，廖淼，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本,JP