一种基于SLAM的移动增强现实跟踪注册方法和系统技术方案

本发明专利技术公开了一种基于SLAM的移动增强现实跟踪注册方法，通过移动相机采集现实场景图像，采用AGAST‑FREAK算法提取现实场景图像中的特征点，完成场景地图初始化，再使用IMU数据和所提取到的特征点构建局部场景地图，插入关键帧，拓展并优化全局地图，注册虚拟物体以备实时调用。本发明专利技术在局部地图扩展优化用时、移动端表现、定位精度、速度、鲁棒性等方面均占有优势。

A SLAM-based Tracking Registration Method and System for Mobile Augmented Reality

【技术实现步骤摘要】
一种基于SLAM的移动增强现实跟踪注册方法和系统
本专利技术涉及增强现实跟踪注册
，具体而言涉及一种基于SLAM的移动增强现实跟踪注册方法和系统。
技术介绍
目前，增强现实跟踪注册技术主要可分为基于传感器跟踪注册技术、基于视觉跟踪注册技术和混合跟踪注册技术三类。其中基于视觉跟踪注册技术受到业内越来越多的关注，主要可分为基于标识或自然特征的方法。基于标识的方法是室内增强现实应用中最为常用的跟踪注册方法，典型如ARToolKit库、ARTag库和SRC库等。但是该方法受标识物的约束，且对光照、遮挡等因素有较为严格的要求。另外就是基于自然特征的跟踪注册算法，该方法在现实场景中选取固定的特征点，最后通过跟踪注册算法在场景中叠加虚拟物体。虽然该类方法识别精度高、判别力强，但是复杂度高，且鲁棒性和准确性有待进一步提高。SLAM算法最初是在机器人领域得到应用，主要是通过特征点来确定目标在未知场景中的姿态和实时构建三维环境地图，本专利技术申请把SLAM算法引入到增强现实中可以更好的提升跟踪注册方法的精确度和鲁棒性，从而能够有效地解决增强现实中因相机快速运动导致注册的虚拟物体漂移的问题。
技术实现思路
本专利技术目的在于提供一种基于SLAM的移动增强现实跟踪注册方法，通过移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化，再使用IMU数据和所提取到的特征点构建局部场景地图，插入关键帧，拓展并优化全局地图，注册虚拟物体以备实时调用。本专利技术在局部地图扩展优化用时、移动端表现、定位精度、速度、鲁棒性等方面均占有优势。为达成上述目的，结合图1至图3，本专利技术提出一种基于SLAM的移动增强现实跟踪注册方法，所述方法包括：S1：移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化；S2：使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图；S3：构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图；S4：根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册。本专利技术采用改进后的AGAST和FREAk算法，在相机视差满足θ≥1°条件下能够稳定提取现实场景图像中的特征点，完成场景地图初始化。进一步地，在使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图步骤中，利用移动设备自带的IMU惯性传感器，测量出线性加速度a和角速度ω，通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动，包括以下步骤：S21：测量得到线性加速度和角速度S22：根据下述公式计算得到线性加速度a和角速度ω的真实值：其中，和为加速度和角速度测量值与真实值之间误差的高斯噪声，ba和bω为加速度和角速度跟随时间变换的偏移量，采用角速度和加速度的高斯噪声nω、na由驱动的随机游走模型计算。S23：计算得到当前帧在全局坐标系下的实时线性速度v；S24：获取相机的运动参数扩展公式为M＝(R,p,v,ba,bω)，其中，R为旋转矩阵，p为当前帧相机的速度；S25：根据连续时间下的运动模型，计算得到相机运动参数的瞬时变化率为：其中，ωx、ωy、ωz分别是在X、Y和Z方向上的角速度；wa和wω分别是加速度、角速度的惯性测量的高斯噪声。在步骤S3中，后台构建全局地图，并在全局地图中插入关键帧，拓展、更新、优化全局地图的过程包括以下子步骤：S31，在前台线程将当前帧确定为一个新关键帧Fk，加入全局地图；S32，在每个新关键帧Fk中观测是否存在新的特征点X，如果存在新的特征点，判断特征点X与新关键帧Fk最大的射线夹角α(i,k)是否满足条件α(i,k)≥δα，若满足，将特征点X定义为全局地图中的一个特征点，其中，δα为相机的最小旋转角；S33，使用新加入的特征点X扩展新关键帧Fk中已有的可见三维平面，通过计算特征点X到平面距离|nTX+d|的值，确定特征点X是否在平面P上，具体的：如果三维点X同时满足以下条件，将该三维点X加入到属于平面P的三维点集p中：(1)X不属于其他任何三维平面；(2)三维点集p中至少有一个三维特征点靠近点X；(3)|nTX+d|≤0.01dk，其中dk是关键帧Fk中所有可见三维特征点的平均深度；S34，对平面P上未确定的三维点采用以下步骤获取新三维平面：S341，随机抽取三个三维特征点初始化三维点集合p，采用奇异值分解求解三维平面参数P；S342，判断与三维点集p中点相邻的三维点是否符合平面方程，若符合，将三维点添加至三维点集p中；S343，采用三维点集p中所有点对平面P进行优化，优化公式为：S344，使用经过优化的平面参数P扩展三维点集p，重复步骤S343，反复执行扩展三维点集p与平面参数P优化，直至没有新的三维特征点能够被加入至三维点集p；S345，随机抽取三个三维特征点重复步骤S341～S344。最后采用unity进行三维建模，绘制虚拟物体，将虚拟物体导入至编程环境中以备实时调用。基于前述方法，本专利技术还提及一种基于SLAM的移动增强现实跟踪注册系统，所述系统包括以下模块：1)相机。2)用于移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化的模块。3)用于使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图的模块。4)用于构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图的模块。5)用于根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册的模块。以上本专利技术的技术方案，与现有相比，其显著的有益效果在于：(1)可以应对相机的快速运动，保证虚拟物体注册的精确度和稳定性。(2)使用IMU数据，能够准确定位相机的姿态信息，确保方法的鲁棒性。(3)由于融合IMU数据的AGAST-FREAKSLAM，即使在缺少特征点的情况下，在跟踪和定位精度方面都有优秀表现。应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本专利技术教导的具体实施方式的实践中得知。附图说明附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本专利技术的各个方面的实施例，其中：图1是本专利技术的一种基于SLAM的移动增强现实跟踪注册方法流程图。图2是本专利技术的一种基于SLAM的移动增强现实跟踪注册方法定位相机姿态信息和构建局部场景地图流程图。图3是本专利技术的一种基于SLAM的移动增强现实跟踪注册方法插入关键帧构建全局地图流程图。图4是本专利技术的使用AGAST-FREAK方法提取并匹配场景中特征点的实验结果图及原理示意图。图5是本专利技术的使用融合IMU数据的AGAST-FREAKSLAM方法构建的场景地图及原理示意图。图6是本专利技术的一种本文档来自技高网...

【技术保护点】
1.一种基于SLAM的移动增强现实跟踪注册方法，其特征在于，所述方法包括：S1：移动相机采集现实场景图像，采用AGAST‑FREAK算法提取现实场景图像中的特征点，完成场景地图初始化；S2：使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图；S3：构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图；S4：根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册。

【技术特征摘要】
1.一种基于SLAM的移动增强现实跟踪注册方法，其特征在于，所述方法包括：S1：移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化；S2：使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图；S3：构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图；S4：根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册。2.根据权利要求1所述的一种基于SLAM的移动增强现实跟踪注册方法，其特征在于，在步骤S1中，相机视差θ满足下述条件：θ≥1。。3.根据权利要求1所述的基于SLAM的移动增强现实跟踪注册方法，其特征在于，所述方法还包括：利用IMU惯性传感器，测量出相机的线性加速度a和角速度ω，通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动。4.根据权利要求3所述的基于SLAM的移动增强现实跟踪注册方法，其特征在于，所述通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动包括以下步骤：S21：测量得到线性加速度和角速度S22：根据下述公式计算得到线性加速度a和角速度ω的真实值：其中，和为加速度和角速度测量值与真实值之间误差的高斯噪声，ba和bω为加速度和角速度跟随时间变换的偏移量，采用角速度和加速度的高斯噪声nω、na由驱动的随机游走模型计算；S23：计算得到当前帧在全局坐标系下的实时线性速度v；S24：获取相机的运动参数扩展公式为M＝(R,p,v,ba,bω)，其中，R为旋转矩阵，p为当前帧相机的速度；S25：根据连续时间下的运动模型，计算得到相机运动参数的瞬时变化率为：其中，ωx、ωy、ωz分别是在X、Y和Z方向上的角速度；wa和wω分别是加速度、角速度的惯性测量的高斯噪声。5.根据权利要求1-4任意一项中所述的基于SLAM的移动增强现实跟踪注册方法，其特征在于，步骤S3中，所述构建全局地图，并在全局地图中插入关键帧，拓展、更新、优化全局地图的过程包括以下步骤：S31，在前台线程将当前帧确定为一个新关键帧...

【专利技术属性】
技术研发人员：刘佳，谢余磊，李为斌，陈伟，王杰，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32