用于不受限制的SLAM的基于传感器的相机运动检测制造技术

本发明专利技术呈现用于基于以下操作而进行单眼视觉同时定位与地图绘制SLAM的技术：在相机执行全景SLAM的同时使用至少一个运动传感器在所述相机的移动中检测平移运动，并且初始化三维地图以用于追踪有限特征。运动传感器可以包含一或多个传感器，包含惯性(陀螺仪、加速计)、磁性(指南针)、视觉(相机)或构建到移动装置中的任何其它传感器。

【技术实现步骤摘要】
【国外来华专利技术】相关案件的交叉参考本申请案是专利合作条约申请案并且主张2014年3月14日递交的标题为“用于不受限制的SLAM的基于传感器的相机运动检测(SENSOR-BASED CAMERA MOTION DETECTION FOR UNCONSTRAINED SLAM)”的第61/953,122号美国临时申请案以及2015年3月12日递交的标题为“用于不受限制的SLAM的基于传感器的相机运动检测(SENSOR-BASED CAMERA MOTION DETECTION FOR UNCONSTRAINED SLAM)”的第14/645,675号非临时申请案的权益和优先权，所述申请案以引用的方式并且出于所有目的全文并入本文中。本申请案还以引用的方式全文并入2014年1月9日递交的且标题为“具有常规及全景相机移动的单眼视觉SLAM”的美国申请案14/151,766。
本文中所揭示的标的物通常涉及位置检测并且确切地说涉及同时定位与地图绘制(SLAM)。
技术介绍
视觉同时定位与地图绘制(VSLAM)系统可以处理耦合到装置的单个相机的输入并且随着相机的移动连续地累积环境的图(也称为模型)。视觉SLAM系统同时追踪相对于图的装置的位置及定向(姿态)。视觉SLAM系统可以不同模式操作以用于追踪装置并且基于装置的移动构造所述图。举例来说，虽然装置经历包含平移运动的一般运动，但是装置可过渡到一般运动模式并且构造用于一般运动的图。类似地，当装置仅旋转而未从一个位置移动到另一个位置时，装置可切换到仅旋转模式并且构造仅旋转图。本专利技术的某些方面论述用于稳健地从仅旋转模式切换到一般运动模式的技术。
技术实现思路
本文中所揭示的标的物通常涉及相机运动检测并且确切地说涉及同时定位与地图绘制(SLAM)。本专利技术的各方面提供用于稳健地检测一般和仅旋转相机运动之间的过渡的技术和对应的全景/3D追踪和地图绘制模式。不正确的过渡可能通过错误地测量的特征破坏3D和全景图并且引起追踪失败。与例如模型选择算法的现有仅视觉方法相比，本专利技术的各方面可以使用一或多个传感器，包含惯性(陀螺仪、加速计)、磁性(指南针)和视觉(相机)传感器。本专利技术的某些方面使用3DOF旋转运动模型在从全景图中追踪相机时检测从仅旋转模式到一般运动模式的过渡。在仅旋转模式时，视觉全景图追踪器将平移运动编码为其旋转运动估计中的额外的虚拟旋转。同时，测量来自运动传感器的旋转。视差角度通过计算可以在确定平移运动中使用的视觉与运动传感器旋转估计之间的差异衍生。可靠地确定视差角度且因此确定平移运动允许触发新3D地图的初始化，其允许全部6DOF中的相机的连续追踪。本专利技术的方面描述用于在追踪全景同时定位与地图绘制(SLAM)模式中的装置时检测平移运动的实例方法、设备、非暂时性计算机可读媒体和装置，检测平移运动包含确定装置的基于视觉的旋转运动角度，其中基于视觉的旋转运动角度通过以下项确定：在多个关键帧上执行图像处理；在所述多个关键帧之间确定装置的基于传感器的旋转运动角度，其中基于传感器的旋转运动角度是使用耦合到装置的一或多个运动传感器确定的；确定装置的视差角度，其中视差角度通过比较基于视觉的旋转运动角度与基于传感器的旋转运动角度确定；将视差角度与阈值进行比较；以及基于高于所述阈值的视差角度检测平移运动。在某些方面，运动传感器可以包含陀螺仪、加速计、磁力计、相机或用于检测运动的任何其它合适的传感器。在某些方面，非暂时性计算机可读储存媒体可以包含可由处理器执行的指令以用于执行如本文所述的同时定位与地图绘制(SLAM)的方面。此外，用于在全景同时定位与地图绘制(SLAM)模式中追踪装置时检测平移运动的装置或设备可以包含用于存储图和其它数据结构的存储器、耦合到装置/设备以用于获得关于物理场景的信息的一或多个相机，以及耦合到存储器并且经配置以执行本文中描述的本专利技术的方面的一或多个处理器。本专利技术的方面进一步包含使用所述多个关键帧之间的至少视差角度确定平移运动。本专利技术的某些方面还可以包含确定相对于装置的一或多个特征的深度信息，方法是使用至少平移运动三角计算一或多个特征与装置的距离。并且，本专利技术的某些方面进一步包含至少基于平移运动的检测初始化三维(3D)图以用于追踪一般运动模式中的装置。某些方面可以包含基于检测平移运动切换到六个自由度(6DOF)SLAM地图绘制。本专利技术的某些方面包含至少基于平移运动的检测使用两个关键帧初始化三维(3D)图以用于使用3D地图的立体初始化追踪装置。在本专利技术的某些方面，基于视觉的旋转运动角度和基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。前文已经相当广泛地概述了实例的特征和技术优点，以便使以下的具体实施方式可以得到更好理解。将在下文中描述额外特征和优点。所揭示的概念和具体实例可以容易地用作用于修改或设计用于执行本专利技术的相同目的的其它结构的基础。此类等效构造不脱离所附权利要求书的精神和范围。当结合附图考虑时，关于本专利技术的组织和操作方法两者的被认为是本文中所揭示的概念的特性的特征连同相关联的优点一起将从以下描述得到更好理解。图式中的每一者都仅出于说明和描述的目的提供且并不提供为对权利要求书的限制的界定。附图说明本专利技术的各方面借助于实例来说明。参考图式提供以下描述，其中相同的参考标号始终用以指代相同的元件。尽管本文中描述一或多种技术的各种细节，但其它技术也是可能的。在一些情况下，以框图形式示出熟知结构和装置以便有助于描述各种技术。可参照说明书及图式的剩余部分来实现对由本专利技术提供的实例的性质及优点的进一步理解，其中贯穿若干图式使用类似参考标号来指代类似组件。在一些情况下，子标签与参考标号相关联以表示多个类似组件中的一者。当在无说明书的情况下将参考标号与现有子标签进行参考时，参考标号是指全部此类类似组件。图1是根据本专利技术的某些方面的系统的框图。图2说明根据本专利技术的某些方面用于产生例子SLAM系统的图的流程图。图3说明根据本专利技术的某些方面在时间t处包含有限3D特征的全局SLAM图表示。图4说明根据本专利技术的某些方面在时间t+1处包含有限3D特征和无限3D特征的全局SLAM图表示。图5说明根据本专利技术的某些方面在时间t+2处包含有限3D特征和无限3D特征的全局SLAM图表示。图6说明根据本专利技术的某些方面在时间t+3处包含有限3D特征和无限3D特征的全局SLAM图表示。图7说明根据本专利技术的某些方面在时间t+4处包含有限3D特征和无限3D特征的全局SLAM图表示。图8说明根据本专利技术的某些方面在时间t+5处包含有限3D特征和无限3D特征的全局SLAM图表示。图9是说明根据本专利技术的某些方面的实例平移SLAM模块的方面的框图。图10说明用于执行根据本专利技术的一或多个方面的方法的流程图。具体实施方式现将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可以实施本专利技术的一或多个方面的特定实施例，但可以使用其它实施例，且可以在不脱离本专利技术的范围或所附权利要求书的精神的情况下进行各种修改。现将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可以实施本专利技术的一或多个方面的特定实施例，但可以使用其它实施例，且可以在不脱离本专利技术的范围本文档来自技高网...

【技术保护点】
一种用于在追踪全景同时定位与地图绘制SLAM模式中的装置时检测平移运动的方法，所述方法包括：确定所述装置的基于视觉的旋转运动角度，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；确定所述装置的视差角度，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；将所述视差角度与阈值进行比较；以及基于所述视差角度高于所述阈值检测所述平移运动。

【技术特征摘要】
【国外来华专利技术】2014.03.14 US 61/953,122;2015.03.12 US 14/645,6751.一种用于在追踪全景同时定位与地图绘制SLAM模式中的装置时检测平移运动的方法，所述方法包括：确定所述装置的基于视觉的旋转运动角度，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；确定所述装置的视差角度，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；将所述视差角度与阈值进行比较；以及基于所述视差角度高于所述阈值检测所述平移运动。2.根据权利要求1所述的方法，其进一步包括在所述多个关键帧之间使用至少所述视差角度确定所述平移运动。3.根据权利要求2所述的方法，其进一步包括确定相对于所述装置的一或多个特征的深度信息，方法是使用至少所述平移运动三角计算所述一或多个特征与所述装置的距离。4.根据权利要求1所述的方法，其进一步包括至少基于所述平移运动的检测初始化三维3D地图以用于追踪在所述一般运动模式中的所述装置。5.根据权利要求1所述的方法，其进一步包括基于检测平移运动切换到六个自由度6DOF SLAM地图绘制。6.根据权利要求1所述的方法，其进一步包括至少基于所述平移运动的检测使用两个关键帧初始化三维3D地图以用于使用所述3D地图的立体初始化追踪所述装置。7.根据权利要求1所述的方法，其中所述基于视觉的旋转运动角度和所述基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。8.根据权利要求1所述的方法，其中所述运动传感器包含陀螺仪、加速计或磁力计中的一或多个。9.一种用于在追踪全景同时定位与地图绘制SLAM模式中的装置时检测平移运动的装置，所述装置包括：存储器；相机，其耦合到所述装置以用于获得关于所述物理场景的信息；以及处理器，其耦合到所述存储器且经配置以：确定所述装置的基于视觉的旋转运动角度，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；确定所述装置的视差角度，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；将所述视差角度与阈值进行比较；以及基于所述视差角度高于所述阈值检测所述平移运动。10.根据权利要求11所述的装置，其进一步包括所述处理器经配置以在所述多个关键帧之间使用至少所述视差角度确定所述平移运动。11.根据权利要求10所述的装置，其进一步包括所述处理器经配置以确定相对于所述装置的一或多个特征的深度信息，方法是使用至少所述平移运动三角计算一或多个特征与所述装置的距离。12.根据权利要求9所述的装置，其进一步包括所述处理器至少基于所述平移运动的检测初始化三维3D地图以用于追踪在所述一般运动模式中的所述装置。13.根据权利要求9所述的装置，其进一步包括所述处理器切换到六个自由度6DOFSLAM地图绘制。14.根据权利要求9所述的装置，...

【专利技术属性】
技术研发人员：克里斯蒂安·皮尔基海姆，克莱门斯·阿斯，迪特尔·施马尔施蒂格，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US