用于虚拟增强视觉同时定位和地图构建的系统和方法技术方案

一种用于重构场景的三维(3D)模型的系统，所述3D模型包括具有通过3D坐标标识的点的点云，所述系统包括(一个或多个)传感器和存储器，所述传感器在限定图像的视点的不同姿势下获取场景的图像集合，所述存储器存储所述图像和3D模型。所述系统还包括处理器，所述处理器操作地连接到存储器，并且与所存储的指令耦合，以执行以下步骤：对所述图像集合中的图像进行变换以生成从虚拟视点看到的场景的虚拟图像集合；比较来自所述图像和虚拟图像的一些特征以确定图像集合中的每个图像的视点；以及根据至少两个图像的视点，更新模型中的(一个或多个)点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。

System and method for virtual enhanced vision simultaneous location and map building

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟增强视觉同时定位和地图构建的系统和方法
本专利技术总体上涉及重构场景的模型，更具体地涉及同时定位和地图构建(SLAM)。
技术介绍
在机器人地图构建中，同时定位和地图构建(SLAM)是构造或更新未知环境的地图和/或模型、同时追踪代理在该环境内的地点的计算问题。虽然SLAM涉及地图的建造(地图构建)和地图的使用(定位)，但是对于执行SLAM的系统，与定位相关联的处理和与地图构建相关联的处理实际上不需要同时执行。例如，过程可以以复用的方式执行。在一些应用中，例如，在城市或在室内环境中，GPS或另一位置估计系统对于SLAM是不可用的、不实用的或者精度不足。为此，一些系统除了使用专门的位置估计系统之外或者替代使用专门的位置估计系统，依赖于其他的使用被命名为视觉SLAM的一类技术的视线传感器(比如相机)。视觉SLAM(VSLAM)使用视觉传感器数据或图像作为输入来建造环境的模型，例如，表示环境的点云。例如，VSLAM使用视线传感器来获取周围环境的图像并将多个这样的图像配准到一致的坐标系(例如，全局坐标系)中以形成描述周围环境的几何形状和外观这二者的模型。VSLAM使用传感器捕捉的图像来估计该坐标系内部的传感器的六个自由度(DOF)姿势(地点和朝向)。为此，VSLAM依赖于找到在不同图像中观察到的同一物理区域的对应的能力。然而，VSLAM有长基线匹配问题，即，从两个遥远的视图观察到的区域在这样的匹配处理期间可能频繁错过，因为从不同视点看到的同一区域的外观可能显著变化。一些方法通过将VSLAM技术与单独的姿势估计方法组合来解决该问题。例如，专利文献1中所描述的方法使用运动传感器来估计携带相机的机器人的姿势。运动传感器的使用尽管是有用的，但是不总是可取的。另一方法通过拍摄多个图像以确保图像之间的姿势变化小，来连续地跟踪传感器的姿势，参见例如专利文献2。然而，该方法在计算和存储器上是昂贵的，并且可能需要传感器跟随环境内的费力的且复杂的轨迹以便构造其3D模型。[引文列表][专利文献][PTL1]U.S.7,162,338[PTL2]U.S.20140126769
技术实现思路
因此，需要适合于用数量减少的用于跟踪传感器的姿势的图像来构造场景的3D模型的VSLAM。如果给定相同数量的图像，则这样的VLSAM应实现更高的3D重构和姿势估计准确度、以及更多数量的重构的3D点。一些实施例的目的是公开一种用于视觉同时定位和地图构建(SLAM)的方法，该方法使用图像作为视觉传感器数据输入以用于重构场景的三维(3D)模型。一些实施例的另一个目的是提供适合于用数量减少的用于跟踪传感器的姿势的图像来重构场景的3D模型的视觉SLAM(VSLAM)。一些实施例是基于以下认识的，即，为了减少用于重构场景的3D地图或3D模型的图像的数量，需要从相对较远的视点获取图像。以这样的方式，可以使用较少的图像来捕捉场景的错综复杂的部分。然而，这样的方法造成起因于VSLAM所用的姿势跟踪的长基线匹配问题。具体地说，从两个间隔开的视图观察到的地标可能被VSLAM匹配处理错过，因为从不同视点看到的同一地标的外观可能显著改变。这个长基线匹配问题的简单的例子如下。假设视觉SLAM地图是通过将传感器(例如，相机)在相机指向地点B的情况下从地点A笔直移动到地点B(被称为第一轨迹)而建造的。现在假设相机被转动180度以在指向地点A的同时从地点B移动到地点A，被称为第二轨迹。然后，VSLAM框架可能无法在先前建造的地图中正确地定位该相机的姿势，因为在第二轨迹中新近观察到的特征可能显著不同于在存在于地图中的第一轨迹中观察到的特征。一些实施例是基于以下认识的，即，虚拟图像可以帮助规避VSLAM对外观不变性的这样的依赖性。例如，在模型重构期间，可以对来自未来可能造访的新的视图的一些新的虚拟图像进行合成。为了使用上述例子来例示说明该原理，可以将相机在从地点A指向地点B的第一轨迹中捕捉的图像变换为在从地点B指向地点A的第二轨迹中从虚拟视点看到的虚拟图像。虚拟图像可以用于与相机在从地点B指向地点A的第二轨迹中新近拍摄的图像进行比较以规避长基线匹配问题。这样的VSLAM在本文中被称为虚拟增强视觉SLAM(VA-VSLAM)。与常规的视觉SLAM相比，VA-VSLAM可以用更少的图像来构造场景的类似模型，或者用相同数量的图像来构造更好的模型。为此，VA-VSLAM可以使计算能力和存储器使用降低，并且可以使由传感器跟随的轨迹简化来构建环境的地图。具体地说，这样的虚拟图像可以具有用作用于姿势跟踪的地标的特征的不同外观。然而，因为虚拟图像是从真实图像产生的，所以不论真实图像和虚拟图像中的地标的外观如何，真实图像和虚拟图像中的地标之间的对应都可以保持。为此，可以在虚拟图像的帮助下将新近捕捉的真实图像与其他的真实图像进行比较。例如，新的图像中的地标可能具有与虚拟图像中的地标的外观类似的外观，因此这样的地标可以与虚拟图像中的对应的地标配准。此外，虚拟图像中的地标预先与该虚拟图像来源于的不同的真实图像中的对应的地标配准。以这样的方式，来自新近获取的图像的地标可以通过虚拟图像与之前的图像的地标配准。以这样的方式，可以缓解长基线匹配问题，这使得可以使用较少数量的图像来构造场景的模型。因此，一个实施例公开了一种用于从场景的图像集合重构所述场景的三维(3D)模型的方法，所述图像集合是由至少一个传感器在限定所述图像的视点的不同姿势下获取的，其中，所述3D模型包括具有通过3D坐标标识的点的点云，其中，所述方法的步骤由处理器执行，所述处理器连接到存储所述图像集合的存储器，并且与所存储的实现所述方法的指令耦合，其中，所述指令在被处理器执行时实现所述方法的至少一些步骤，包括：对所述图像集合中的图像进行变换以生成从虚拟视点看到的场景的虚拟图像集合；比较来自所述图像和虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；以及根据至少两个图像的视点，更新场景的模型中的至少一个点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。另一个实施例公开了一种用于重构场景的三维(3D)模型的系统，所述3D模型包括具有通过3D坐标标识的点的点云。所述系统包括：至少一个传感器，其在限定图像的视点的不同姿势下获取所述场景的图像集合；存储器，其存储所述图像集合和场景的3D模型；以及处理器，其操作地连接到存储器，并且与所存储的指令耦合，以执行以下步骤：对所述图像集合中的图像进行变换以生成从虚拟视点看到的场景的虚拟图像集合；比较来自所述图像和虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；以及根据至少两个图像的视点，更新场景的模型中的至少一个点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。又一个实施例公开了一种其上包含处理器可执行的程序的非暂时性计算机可读存储介质，所述程序用于执行从场景的图像集合重构所述场景的三维(3D)模型的方法，所本文档来自技高网...

【技术保护点】
1.一种用于从场景的图像集合重构所述场景的三维(3D)模型的方法，所述图像集合是由至少一个传感器在限定所述图像的视点的不同姿势下获取的，其中，所述3D模型包括具有通过3D坐标标识的点的点云，其中，所述方法的步骤由处理器执行，所述处理器连接到存储所述图像集合的存储器，并且与所存储的实现所述方法的指令耦合，其中，所述指令在被所述处理器执行时实现所述方法的至少一些步骤，包括：/n对所述图像集合中的图像进行变换以生成从虚拟视点看到的所述场景的虚拟图像集合；/n比较来自所述图像和所述虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；以及/n根据至少两个图像的视点，更新所述场景的模型中的至少一个点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。/n

【技术特征摘要】
【国外来华专利技术】20170228 US 15/444,6011.一种用于从场景的图像集合重构所述场景的三维(3D)模型的方法，所述图像集合是由至少一个传感器在限定所述图像的视点的不同姿势下获取的，其中，所述3D模型包括具有通过3D坐标标识的点的点云，其中，所述方法的步骤由处理器执行，所述处理器连接到存储所述图像集合的存储器，并且与所存储的实现所述方法的指令耦合，其中，所述指令在被所述处理器执行时实现所述方法的至少一些步骤，包括：
对所述图像集合中的图像进行变换以生成从虚拟视点看到的所述场景的虚拟图像集合；
比较来自所述图像和所述虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；以及
根据至少两个图像的视点，更新所述场景的模型中的至少一个点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。


2.根据权利要求1所述的方法，其中，所述图像集合包括在限定第一视点的第一姿势下获取的所述场景的第一图像，并且包括在限定第二视点的第二姿势下获取的所述场景的第二图像，所述方法包括：
对第一图像进行变换以产生与不同于第一视点的虚拟视点相对应的第一虚拟图像，其中，所述变换保留第一图像和所述虚拟图像的至少一些像素之间的对应以表示所述场景的相同的点；
将第二图像的至少一些特征与所述虚拟图像的至少一些特征进行比较以确定第二图像、所述虚拟图像和第一图像的至少一些像素之间的对应；
基于来自第二图像的像素的子集的坐标和与来自第一图像的像素的子集相对应的所述场景的点的坐标，使用来自第一图像和第二图像的对应的像素的子集，确定相对于第一图像的第一视点的第二图像的第二视点；以及
使用第一图像和第二图像中的对应的像素的捆绑调整来更新所述场景的模型中的点的3D坐标。


3.根据权利要求2述的方法，其中，所述第一图像是由3D传感器获取的，所述方法进一步包括：
使用所述3D传感器来确定与来自第一图像的像素的子集相对应的所述场景的点的坐标。


4.根据权利要求2所述的方法，进一步包括：
使用预定义的初始距离来确定与来自第一图像的像素的子集相对应的所述场景的点的坐标。


5.根据权利要求2所述的方法，其中，所述虚拟视点具有与第一视点相同的位置，但是具有与第一视点不同的朝向，所述方法进一步包括：
使用从所述虚拟视点和第一视点之间的朝向的差和相机固有矩阵确定的单应性矩阵，将第一图像中的每一个像素变形，从而产生第一虚拟图像。


6.根据权利要求2所述的方法，其中，所述图像集合包括在限定第三视点的第三姿势下获取的所述场景的第三图像，所述方法进一步包括：
比较第一图像和第三图像的特征以确定第一图像和第三图像的与所述场景中的相同的点相对应的像素；以及
使用相对姿势估计来确定与来自第一图像的像素的子集相对应的所述场景的点的坐标。


7.根据权利要求1所述的方法，进一步包括：
对六自由度(6-DOF)传感器姿势空间进行采样以生成被采样视点集合；以及
针对所述被采样视点集合产生虚拟图像。


8.根据权利要求7所述的方法，其中，所述采样偏向于所述图像集合中的具有未知视点的图像。


9.根据权利要求7所述的方法，进一步包括：
为了图像的未来的视点而估计所述6-DOF传感器姿势空间的子空间；
对所述6-DOF传感器姿势空间的所述子空间进行采样以生成被采样视点；以及
针对所述被采样视点产生虚拟图像。


10.根据权利要求9所述的方法，进一步包括：<...

【专利技术属性】
技术研发人员：冯晨，田口裕一，E·卡恩斯佐格鲁，S·拉马林加姆，K·尤斯福，岩间晴之，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP