具有一般和全景相机移动的单眼视觉SLAM制造技术

本发明专利技术揭示一种用于单眼视觉同时局部化和映射的系统、设备和方法，其处置一般6DOF和全景相机移动。接收环境的3D地图，所述3D地图含有在常规或全景关键帧中观察到的具有有限或无限深度的特征。从有限、无限或混合特征集合，以6DOF跟踪所述相机。在检测到朝未映射场景区的全景相机移动后，即刻创建具有无限特征的参考全景关键帧，并将其插入到所述3D地图中。当全景相机移动朝未映射场景区扩展时，用进一步的从属全景关键帧来扩展所述参考关键帧。全景关键帧相对于有限3D地图特征，以6DOF稳健地局部化。经局部化的全景关键帧含有无限地图特征的2D观察，其与其它经局部化关键帧中的2D观察匹配。对2D-2D对应性进行三角测量，从而产生新的有限3D地图特征。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】具有一般和全景相机移动的单眼视觉SLAM相关串请案的交叉参考本申请案主张2013年4月30日申请的第61/817，808号美国临时申请案的权益，且明确地以引用的方式并入本文中。
本文所揭示的标的物大体上涉及同时局部化和映射。
技术介绍
视觉同时局部化和映射(SLAM)系统可处理单个相机的输入，并随着相机以六个自由度(6D0F)移动而连续地建立环境的三维(3D)模型(例如，SLAM地图)。视觉SLAM系统可同时跟踪相机相对于3D模型的位置和定向(姿势)。基于关键帧的视觉SLAM系统可处理来自传入相机图像流或馈送的离散选择的帧。基于关键帧的视觉SLAM系统假定一般相机运动，并应用从运动恢复结构技术来创建3D特征地图。视觉SLAM系统可需要关键帧对之间的平移或一般相机运动所引起的充分视差来对3D地图特征进行三角测量。因此，相对于先前选择的关键帧，选择算法可拒绝具有退化的相对仅旋转相机运动的候选帧。用于未映射区的仅旋转相机运动可致使视觉SLAM系统归因于缺乏新选择的关键帧而停止。相机跟踪可最终因地图不可用而失败。因此，可迫使视觉SLAM系统处于重新局部化模式，以便重新开始跟踪。因此，改进的跟踪和映射技术是合乎需要的。
技术实现思路
本文所揭示的实施例可涉及一种用于单眼视觉同时局部化和映射的方法。在一个实施例中，一种用于图像处理的机器实施的方法接收环境的3D地图。在一个实施例中，所述3D地图包含在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧是全景关键帧或常规关键帧。所述3D地图还包含在一个或一个以上全景关键帧中观察到的具有无限深度的特征。在一个实施例中，所述方法从在来自输入图像馈送的图像帧内观察到的3D地图的有限或无限深度特征，以六个自由度(6D0F)跟踪所述相机。本文所揭示的实施例可涉及用于单眼视觉同时局部化和映射的设备。所述设备可包含用于接收环境的3D地图的装置。在一个实施例中，所述3D地图包含在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧是全景关键帧或常规关键帧。所述3D地图还包含在一个或一个以上全景关键帧中观察到的具有无限深度的特征。在一个实施例中，所述设备可包含用于从在来自输入图像馈送的图像帧内观察到的3D地图的有限或无限深度特征，以六个自由度(6D0F)跟踪所述相机的装置。本文所揭示的实施例可涉及一种用于单眼视觉同时局部化和映射的装置，所述装置包括用来接收环境的3D地图的硬件和软件。所述装置可处理接收环境的三维(3D)地图的指令。在一个实施例中，所述3D地图包含在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧是全景关键帧或常规关键帧。所述3D地图还包含在一个或一个以上全景关键帧中观察到的具有无限深度的特征。在一个实施例中，所述装置可处理指令以从在来自输入图像馈送的图像帧内观察到的3D地图的有限或无限深度特征，以六个自由度(6D0F)跟踪所述相机。本文所揭示的实施例可涉及一种上面存储有指令的非暂时性存储媒体，所述指令响应于被装置中的处理器执行，而执行接收环境的3D地图。所述媒体可存储接收环境的三维(3D)地图的指令。在一个实施例中，所述3D地图包含在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧是全景关键帧或常规关键帧。所述3D地图还包含在一个或一个以上全景关键帧中观察到的具有无限深度的特征。在一个实施例中，所述媒体可存储指令以从在来自输入图像馈送的图像帧内观察到的3D地图的有限或无限深度特征，以六个自由度(6D0F)跟踪所述相机。其它特征和优点将从附图且从详细描述中明白。【附图说明】图1是一个实施例中的其中可实践本专利技术的方面的系统的框图；图2说明一个实施例中的混合SLAM的流程图；图3说明一个实施例中的关键帧与特征之间的混合SLAM地图表示的第一级；图4说明一个实施例中的关键帧与特征之间的混合SLAM地图表示的第二级；图5 —个实施例中的混合SLAM初始化的流程图；图6说明一个实施例中的具有交替的一般和纯旋转相机运动的6D0F和全景映射和跟踪阶段；图7说明一个实施例中的映射期间的关键帧选择的不同状态的状态图；以及图8是一个实施例中的包含跟踪和映射组件的混合SLAM系统的框图。【具体实施方式】词语“示例性”或“实例”在本文用来表示“充当实例、例子或说明”。本文描述为“示例性”或描述为“实例”的任何方面或实施例不一定解释为比其它方面或实施例优选或有利。在一个实施例中，6D0F SLAM和全景SLAM的功能性可组合到基于稳健运动混合关键帧的SLAM系统中，所述系统可接受用于正常6D0F操作的完全经三角测量的关键帧，以及仅具有旋转约束的关键帧。在一个实施例中，混合SLAM (HSLAM)可处理纯旋转，并向用户提供无缝跟踪体验。在一个实施例中，HSLAM映射利用6D0F和全景关键帧来估计三维(3D)地图(例如，全局SLAM地图)的新部分。HSLAM可贯穿远离场景的所映射部分的旋转而连续地跟踪3D地图，且可使用来自在仅旋转运动(例如，全景跟踪)期间观察到的相机图像的信息来更新3D地图。在一个实施例中，可用单个相机传感器来实施HSLAM，作为一种类型的单眼视觉SLAM。如下文所描述，装置100可在用以实施本文所述的功能性的处理器的控制下实施HSLAM操作。图1是说明其中可实践本专利技术的实施例的系统的框图。所述系统可为装置100，其可包含通用处理器161、图像处理模块171、6D0F SLAM模块173、全景模块175和存储器164。装置100还可包含若干装置传感器，其耦合到一个或一个以上总线177或信号线，所述总线177或信号线进一步耦合到至少图像处理171、6DOF SLAM 173和全景SLAM 175模块。为了清楚，将模块171、173和175与处理器161和/或硬件162分开说明，但其可组合和/或基于软件165和固件163中的指令，在处理器161和/或硬件162中实施。控制单元160可经配置以实施如下文所述的执行混合SLAM的方法。举例来说，控制单元160可经配置以实施图2中所描述的移动装置100的功能。装置100可为:移动装置、无线装置、手机、增强现实装置(AR)、个人数字助理、可穿戴装置(例如，眼镜、腕表、头饰或类似的附加到身体的装置)、移动计算机、平板计算机、个人计算机膝上型计算机、数据处理装置/系统，或任何类型的具有处理能力的装置。在一个实施例中，装置100为移动/便携式平台。装置100可包含用于捕获图像的装置，例如相机114，且可任选地包含运动传感器111，例如加速计、陀螺仪、电子指南针，或其它类似的运动感测元件。装置100还可捕获前置或后置相机(例如，相机114)上的图像。装置100可进一步包含用户接口 150，其包含用于显示增强现实图像的装置，例如显示器112。用户接口 150还可包含键盘、小键盘152或其它输入装置，用户可通过其将信息输入到装置100中。如果需要，那么将虚拟小键盘集成到具有触摸屏/传感器的显示器112中可去除键盘或小键盘152。用户接口 150还可包含麦克风154和扬声器156，例如，如果装置100为移动平台，例如蜂窝式电话。装置100可包含与本专利技术无关的其它元件，例如卫本文档来自技高网...

【技术保护点】
一种用于单眼视觉同时局部化和映射的机器实施的方法，所述方法包括：接收环境的三维3D地图，其中所述3D地图包括：在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧为全景关键帧或常规关键帧，以及在一个或一个以上全景关键帧中观察到的具有无限深度的特征；以及从在来自输入图像馈送的图像帧内观察到的所述3D地图的有限或无限深度特征，以六个自由度6DOF跟踪相机。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：C·皮尔基海姆，D·施马尔施蒂格，G·赖特迈尔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US