一种基于位姿变化的实时三维重建关键帧确定方法技术

本发明专利技术提出一种基于位姿变化的实时三维重建关键帧确定方法，通过当前帧定位、定位质量评价、视野差计算、判断是否插入关键帧四个步骤实现。本发明专利技术中的方法具有优点是：关键帧质量高，速度快，稳定性好，通过判断图像帧的定位质量，可以有效防止错误帧的插入；同时提出了视野差的概念，利用视野差阀值保证插入的关键帧都包含一定新的图像信息，有效减少关键帧之间的冗余，减轻了地图创建的负担。

【技术实现步骤摘要】
一种基于位姿变化的实时三维重建关键帧确定方法
本专利技术涉及机器人、无人机视觉自主导航领域，具体为一种基于位姿变化的实时三维重建关键帧确定方法。
技术介绍
机器人领域的即时定位与地图构建(SimultaneousLocalizationandMapping,SLAM),也称为并发建图与定位ConcurrentMappingandLocalization(CML)，最早由Smith、Self和Cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键技术之一，经过多年的发展，其已经在一些机器人上得到了应用。其主要分成了两个分支：基于概率模型的方法如EKF-SLAM和Fast-SLAM，以及基于多视图几何的方法，如机器视觉领域的从运动恢复结构(StructurefromMotion，SfM)。其中后者能够应对更大的场景，更快速的运动，定位和画图不必捆绑在一起进行，并且可以生成相对稠密的三维地图，在实际应用中更有潜力。在SfM中定位往往依赖地图中已知特征点与当前帧之间的匹配关系，而地图创建工作通过处理关键帧中的特征点进行，关键帧的选取质量直接影响地图的质量，从而又影响定位的精准度，同时地图全局校准工作复杂度随关键帧的数量迅速增加，限制关键帧中信息的冗余度对运行速度有着重要影响。关键帧的选择应该满足以下条件：1、单个关键帧图像质量应该较好，定位足够准确；2、尽可能地减小信息的冗余度，空间分布尽量均匀；3、关键帧应该尽量包含图像序列的所有信息。目前SFM应用中所使用的关键帧选择方法大都比较简单，如与前一个关键帧比较对应特征点的平均像素位移，当超过某一固定阀值时则被选择为关键帧。这样的方法存在以下几点不足：1、没有考虑当前关键帧的图像质量以及定位质量，很容易导致低质量甚至是错误帧的插入，给系统带来严重的后果；2、在某些情况如摄像头在同一个地方左右晃动时将产生大量的冗余关键帧，浪费系统的运行时间。传统的SfM往往侧重大量无序图像的三维重建，因此无法实现实时SLAM，为了达到实时速度Klein、Murray等人提出了一种为小范围增强现实应用的同时跟踪与地图构建方法(ParallelTrackingandMapping,PTAM)。其最大的特点是将定位和画图分开到两个线程中进行，定位不再和计算量较大的地图更新绑在一起，地图更新有更多的CPU时间专注地处理少量的关键帧，从而使得提高了定位的速度精度和鲁棒性，也使得地图质量可以相对更好。其关键帧的选择方法引入了定位质量的评价，只有当定位质量较好时添加关键帧，同时为了减少冗余，关键帧之间需要有足够的平移。其方法存在以下不足：1、由于其关键帧选择方式并没有考虑摄像头旋转带来的视野变化，当摄像头旋转较多而平移很少时并不会添加关键帧；2、固定地要求每个关键帧的定位质量达到很高才被选为关键帧，但在实际情况下是不切实际的，如果不及时地在关键时刻添加关键帧，很容易导致后面的帧都无法进行定位，造成系统失效。以上所述的两点问题其实都是信息丢失的问题，也就是说，理想的关键帧选择方法在防止低质、错误帧插入的情况下，既要尽可能地减少系统冗余，同时也要保证不能过分丢失信息，只有这样才能保证系统在正常运行的基础上能够拥有更高的效率。
技术实现思路
为克服现有技术在同时定位与地图构建过程中，三维重建速度随关键帧的数目增加迅速变慢的问题，本专利技术提出了一种基于位姿变化和定位质量的关键帧选择算法，此算法可为基于图像序列的实时三维地图重建提供鲁棒、高质量的关键帧。本专利技术的技术方案为：所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：对于摄像头实时获取的图像，通过以下步骤判断是否被选为关键帧：步骤1：获取摄像头当前帧，并通过特征点提取、特征点匹配、位姿估计步骤进行当前帧定位，得到当前帧在世界坐标系下的位姿矩阵Ecw以及当前帧的平均深度Depth；步骤2：根据步骤1的当前帧定位过程，对当前帧的定位质量进行评价，得到评价结果：其中，指标ErrGood和ErrBad分别为设定的评价阈值；FeatrueTry为特征点匹配过程中选择进行匹配的特征点个数，FeatrueFound为成功匹配的特征点个数，σT为在位姿估计步骤中得到的重投影误差阈值，Obj()函数为Tukey双权值目标函数，ej为重投影误差向量，σj为|ej|的归一化因子；步骤3：计算当前帧与已有的关键帧的视野差，并得到最小的视野差D；当前帧与关键帧Ki的视野差为：DKiC＝|t|/Depth+cos-1([001]·rz)其中|t|表示当前帧与关键帧Ki的相对位移大小，rz为关键帧Ki在世界坐标系中姿态的z轴单位向量，z轴为相机指向轴；步骤4：根据步骤2得到的当前帧定位质量评价以及步骤3得到的最小视野差D，判断是否插入当前帧作为关键帧；满足插入当前帧作为关键帧的条件是：(D>D1&&TrackQuality＝良好)||(D>D2&&TrackQuality＝一般)其中D1，D2分别为两个视野差阀值，且满足D2>D1。进一步的优选方案：所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：步骤3中，采用K-D树数据结构对关键帧的平移量以及Z轴方向的单位向量进行描述，将当前帧代入K-D树数据结构进行计算，得到最小视野差D。进一步的优选方案：所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：步骤3中，对当前帧的平均深度Depth进行限制：有益效果本专利技术中的方法具有以下优点：1、关键帧质量高。与一般方法相比，本专利技术中的方法通过判断图像帧的定位质量，可以有效防止错误帧的插入；同时提出了视野差的概念，利用视野差阀值保证插入的关键帧都包含一定新的图像信息，有效减少关键帧之间的冗余，减轻了地图创建的负担。2、速度快。本专利技术中用到的位姿信息，平均深度信息以及定位质量信息在定位中得到，都是机器人导航所需要用到的，在选择关键帧的时候可以视为已知，利用已有的结果计算视野差，运算成本较小，从而可以保证较快的速度。3、稳定性好。一方面由于关键帧质量有较好的保证，由此得到的地图错误率较少，定位精度高；同时系统在关键时刻也没有过分拘泥于很严格的定位质量，可以及时插入关键帧，除非非常恶劣的情况下才会引起定位丢失的情况，因此系统拥有较高的稳定性。附图说明图1是本专利技术的流程示意图。图2是使用本专利技术中的方法选择关键帧重建出来的三维点云地图。图3是重建图2地图时相机的移动轨迹以及关键帧分布图。图4是重建图2地图的部分关键帧。具体实施方式下面结合具体实施例描述本专利技术：对于摄像头实时获取的图像，都需要进行以下四个步骤判断是否被选为关键帧，其中第一步是导航应用中原本就应该包含的，前两步为后两步提供判断数据，最终决定当前帧是否为关键帧。第一步：当前帧定位。对于机器人自主导航来说，地图创建只需要少量的关键帧，而定位的频率则要求较高，对于摄像头当前获取的图像帧，通过与现有地图进行特征点匹配即可获取当前相机在地图中的位姿信息。得到的位姿信息一方面可以用于导航，同时也可以用来作为关键帧的选择判断条件。在这个过程中，通过当前图像帧中成功匹配的特征点也可以估算平均深度值。根据当前摄像本文档来自技高网...

【技术保护点】
一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：对于摄像头实时获取的图像，通过以下步骤判断是否被选为关键帧：步骤1：获取摄像头当前帧，并通过特征点提取、特征点匹配、位姿估计步骤进行当前帧定位，得到当前帧在世界坐标系下的位姿矩阵Ecw以及当前帧的平均深度Depth；步骤2：根据步骤1的当前帧定位过程，对当前帧的定位质量进行评价，得到评价结果：其中，指标Error=FeatureTryFeatureFound×σT×Σj=1,...,FeatureFoundObj(|ej|σj,σT),]]>ErrGood和ErrBad分别为设定的评价阈值；FeatrueTry为特征点匹配过程中选择进行匹配的特征点个数，FeatrueFound为成功匹配的特征点个数，σT为在位姿估计步骤中得到的重投影误差阈值，Obj()函数为Tukey双权值目标函数，ej为重投影误差向量，σj为|ej|的归一化因子；步骤3：计算当前帧与已有的关键帧的视野差，并得到最小的视野差D；当前帧与关键帧Ki的视野差为：DKiC=|t|/Depth+cos-1(001·rz)]]>其中|t|表示当前帧与关键帧Ki的相对位移大小，rz为关键帧Ki在世界坐标系中姿态的z轴单位向量，z轴为相机指向轴；步骤4：根据步骤2得到的当前帧定位质量评价以及步骤3得到的最小视野差D，判断是否插入当前帧作为关键帧；满足插入当前帧作为关键帧的条件是：(D>D1&&TrackQuality＝良好)||(D>D2&&TrackQuality＝一般)其中D1，D2分别为两个视野差阀值，且满足D2>D1。...

【技术特征摘要】
1.一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：对于摄像头实时获取的图像，通过以下步骤判断是否被选为关键帧：步骤1：获取摄像头当前帧，并通过特征点提取、特征点匹配、位姿估计步骤进行当前帧定位，得到当前帧在世界坐标系下的位姿矩阵Ecw以及当前帧的平均深度Depth；步骤2：根据步骤1的当前帧定位过程，对当前帧的定位质量进行评价，得到评价结果：其中，指标ErrGood和ErrBad分别为设定的评价阈值；FeatrueTry为特征点匹配过程中选择进行匹配的特征点个数，FeatrueFound为成功匹配的特征点个数，σT为在位姿估计步骤中得到的重投影误差阈值，Obj()函数为Tukey双权值目标函数，ej为重投影误差向量，σj为|ej|的归一化因子；步骤3：计算当前帧与已有的关键帧的视野差，并得到最小的视野差D；当前帧与关键帧Ki的视野差为：

【专利技术属性】
技术研发人员：布树辉，赵勇，刘贞报，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61