一种图像帧之间位姿的估计方法、估计装置和存储介质制造方法及图纸

本申请公开了一种图像帧之间位姿的估计方法、估计装置和存储介质，具体为首先接收图像帧，其次将每一帧图像帧作为当前帧，以及将当前帧的前一帧作为参考帧，并根据当前帧，依次在参考帧和基于参考帧生成的局部地图中跟踪当前帧，最后，响应于跟踪成功，确定满足预设条件的当前帧为关键帧，在关键帧中提取图像特征点，并基于图像特征点计算关键帧之间的最优位姿。本申请实施例通过区分关键帧和非关键帧，只在关键帧中提取图像特征点，以提升位姿优化的优化效率和优化精度。

【技术实现步骤摘要】
一种图像帧之间位姿的估计方法、估计装置和存储介质
本申请涉及计算机视觉
，尤其涉及一种图像帧之间位姿的估计方法、估计装置和存储介质。
技术介绍
即时定位与地图构建(SimultaneousLocalizationandMapping,SLAM)最早源于机器人领域，一般是指机器人携带传感器在运动过程中对自身位置进行定位，同时以合适的方式描述周围的环境的技术。SLAM帮助解决在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位的问题，且能够比传统的文字、图像和视频等方式更高效、直观地呈现信息。当在全球定位系统(GlobalPositioningSystem，GPS)不能正常使用的环境中，SLAM也可以作为一种有效的替代方案实现在未知环境中的实时导航。因此，SLAM技术在服务机器人、无人驾驶汽车、增强现实等诸多领域发挥着越来越重要的作用。视觉SLAM技术可以分为通过特征点提取法和直接法实现。其中，特征点法提取每个图像中的显着图像特征，使用不变特征描述在连续帧中进行特征点的匹配，使用对极几何结构稳健地恢复相机的姿态和结构，采用关联的特征完成视觉结合计算和基于最小化投影误差的位姿优化，这些提取的显著特征可以聚类来描述整幅图像用以回环检测，但是图像特征点的提取与关联匹配是比较繁琐且耗时的工作。直接法可通过光度误差直接恢复相机的姿态和结构，而无需提取特征。但是，直接法不具备回环检测能力，致使其在长期导航中具有较大的位姿漂移和积累误差的问题。
技术实现思路
本申请实施例提供了一种图像帧之间位姿的估计方法，克服了图像帧之间位姿估计不准确且效率较低的问题。该方法包括：接收图像帧；将每一帧所述图像帧作为当前帧，以及将所述当前帧的前一帧作为参考帧，并根据所述当前帧，依次在所述参考帧和基于所述参考帧生成的局部地图中跟踪所述当前帧；响应于跟踪成功，确定满足预设条件的所述当前帧为关键帧，在所述关键帧中提取图像特征点，并基于所述图像特征点计算所述关键帧之间的最优位姿。可选地，当在所述参考帧中追踪所述当前帧成功时，获取所述当前帧与所述参考帧的初始位姿；将在所述参考帧中跟踪到的地图点按照所述初始位姿投影至所述当前帧，并计算所述地图点投影在所述当前帧中的投影点所在的图像块与对应在所述当前帧中的匹配点所在的图像块之间的像素误差；将最小化所述像素误差后的相对位姿作为所述当前帧与所述参考帧之间的最优位姿。可选地，将所述当前帧之前的至少一个所述图像帧对应在局部地图中的三维地图点均投影至所述当前帧，并在至少一个所述投影点附近分别搜索与所述局部地图中的所述三维地图点对应的所述投影点：在搜索到的所述投影点中选取与所述当前帧中的所述匹配点的灰度值最接近的所述投影点，并计算选取的所述投影点与对应在所述当前帧中的所述匹配点之间的像素误差；将最小化所述像素误差后的相对位姿作为所述当前帧与所述局部地图之间的最优位姿。可选地，当在所述参考帧中跟踪所述当前帧失败时，在所述当前帧中提取与上一帧所述关键帧中的至少一个地图点相匹配的所述图像特征点，计算所述当前帧与上一帧所述关键帧之间的相对位姿，并最小化所述相对位姿以完成位姿跟踪。可选地，当在所述局部地图中跟踪所述当前帧失败时，在所述当前帧中提取与所述局部地图中的至少一个地图点相匹配的所述图像特征点，计算所述当前帧与所述局部地图之间的相对位姿，并最小化所述相对位姿以完成位姿跟踪。可选地，在连续的所述图像帧的数量超过预设次数且在所述预设次数的连续的所述图像帧中未选取所述关键帧，和/或在所述参考帧中跟踪到的地图点的数量少于预设阈值。可选地，在至少一个所述关键帧中提取与所述局部地图中的至少一个三维地图点相匹配的所述图像特征点，并基于所述图像特征点和所述三维地图点之间的所述最小化所述像素误差后的所述最优位姿，对匹配的所述三维地图点的坐标进行位姿优化；将当前的所述关键帧的所述图像特征点与之前已经确定的至少一个所述关键帧的所述图像特征点进行相似度比较，将大于相似度阈值的当前的所述关键帧确定候选回环帧，并在所述候选回环帧及其相邻图像帧与之前已经确定的至少一个所述关键帧及其相邻图像帧连续相似的数量大于预设数量时，则确定所述候选回环帧为回环帧。在本专利技术的另一个实施例中，提供了一种图像帧之间位姿的估计装置，该装置包括：接收模块，用于接收图像帧；跟踪模块，用于将每一帧所述图像帧作为当前帧，以及将所述当前帧的前一帧作为参考帧，并根据所述当前帧，依次在所述参考帧和基于所述参考帧生成的局部地图中跟踪所述当前帧；构建模块，用于响应于跟踪成功，确定满足预设条件的所述当前帧为关键帧，在所述关键帧中提取图像特征点，并基于所述图像特征点计算所述关键帧之间的最优位姿。在本专利技术的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种图像帧之间位姿的估计方法中的各个步骤。在本专利技术的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种图像帧之间位姿的估计方法中的各个步骤。基于上述实施例，首先接收图像帧，其次将每一帧图像帧作为当前帧，以及将当前帧的前一帧作为参考帧，并根据当前帧，依次在参考帧和基于参考帧生成的局部地图中跟踪当前帧，最后，响应于跟踪成功，确定满足预设条件的当前帧为关键帧，在关键帧中提取图像特征点，并基于图像特征点计算关键帧之间的最优位姿。本申请实施例通过区分关键帧和非关键帧，只在关键帧中提取图像特征点，以提升位姿优化的优化效率和优化精度。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本申请实施例100所提供的一种图像帧之间位姿的估计方法的流程示意图；图2示出了本申请实施例200提供的在非关键使用SLAM算法中的直接法进行跟踪以及在关键帧中使用SLAM算法中的特征点提取法进行优化和闭环检测的流程的示意图；图3示出了本申请实施例300提供的一种图像帧之间位姿的估计方法的具体流程的示意图；图4示出了本申请实施例400还提供一种图像帧之间位姿的估计装置的示意图；图5示出了本申请实施例500所提供的一种终端设备的示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第本文档来自技高网...

【技术保护点】
1.一种图像帧之间位姿的估计方法，其特征在于，包括：/n接收图像帧；/n将每一帧所述图像帧作为当前帧，以及将所述当前帧的前一帧作为参考帧，并根据所述当前帧，依次在所述参考帧和基于所述参考帧生成的局部地图中跟踪所述当前帧；/n响应于跟踪成功，确定满足预设条件的所述当前帧为关键帧，在所述关键帧中提取图像特征点，并基于所述图像特征点计算所述关键帧之间的最优位姿。/n

【技术特征摘要】
1.一种图像帧之间位姿的估计方法，其特征在于，包括：
接收图像帧；
将每一帧所述图像帧作为当前帧，以及将所述当前帧的前一帧作为参考帧，并根据所述当前帧，依次在所述参考帧和基于所述参考帧生成的局部地图中跟踪所述当前帧；
响应于跟踪成功，确定满足预设条件的所述当前帧为关键帧，在所述关键帧中提取图像特征点，并基于所述图像特征点计算所述关键帧之间的最优位姿。


2.根据权利要求1所述的估计方法，其特征在于，在所述依次在所述参考帧和基于所述参考帧生成的局部地图中跟踪所述当前帧的步骤和所述确定满足预设条件的所述当前帧为关键帧的步骤之间，所述方法进一步包括：
当在所述参考帧中追踪所述当前帧成功时，获取所述当前帧与所述参考帧的初始位姿；
将在所述参考帧中跟踪到的地图点按照所述初始位姿投影至所述当前帧，并计算所述地图点投影在所述当前帧中的投影点所在的图像块与对应在所述当前帧中的匹配点所在的图像块之间的像素误差；
将最小化所述像素误差后的相对位姿作为所述当前帧与所述参考帧之间的最优位姿。


3.根据权利要求2所述的估计方法，其特征在于，在所述将最小化所述像素误差后的相对位姿作为所述当前帧与所述参考帧之间的最优位姿的步骤之后，所述方法进一步包括：
将所述当前帧之前的至少一个所述图像帧对应在局部地图中的三维地图点均投影至所述当前帧，并在至少一个所述投影点附近分别搜索与所述局部地图中的所述三维地图点对应的所述投影点：
在搜索到的所述投影点中选取与所述当前帧中的所述匹配点的灰度值最接近的所述投影点，并计算选取的所述投影点与对应在所述当前帧中的所述匹配点之间的像素误差；
将最小化所述像素误差后的相对位姿作为所述当前帧与所述局部地图之间的最优位姿。


4.根据权利要求2所述的估计方法，其特征在于，在所述依次在所述参考帧和基于所述参考帧生成的局部地图中跟踪所述当前帧的步骤和所述确定满足预设条件的所述当前帧为关键帧的步骤之间，所述方法进一步包括：
当在所述参考帧中跟踪所述当前帧失败时，在所述当前帧中提取与上一帧所述关键帧中的至少一个地图点相匹配的所述图像特征点，计算所述当前帧与上一帧所述关键帧之间的相对位姿，并最小化所述相对位姿以完成位姿跟踪。


5.根据权利要求3所述的估计方法，其特征在于，在所述将最小化所述像素误...

【专利技术属性】
技术研发人员：张涛，李少朋，杨新，
申请(专利权)人：清华大学，宁波华运智能科技有限公司，
类型：发明
国别省市：北京;11