一种基于单目vio的移动端AR方法技术

本发明专利技术提供了一种基于单目vio的移动端AR方法，步骤包括：利用相机和IMU分别进行图像采集和惯性数据采集；提取相机获取的每一帧图像的特征点并设置为关键帧；预积分计算出两帧图像对应的IMU位置和旋转信息；获取关键帧中跟踪的特征点并根据该特征点计算出每个关键帧的位姿；根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参；初始化IMU的速度、加速度以及尺度因子；利用紧耦合非线性优化得到相机姿态，再叠加虚拟物体实现AR效果。该移动端AR方法采用IMU正好弥补了VSLAM的缺点，在短时间内不受环境特征点的影响；在时间长时利用VSLAM与IMU对齐，防止偏移。

A mobile terminal AR method based on monocular Vio

The invention provides a mobile terminal AR method based on monocular vio comprises the following steps: image acquisition and data acquisition were performed using inertial cameras and IMU point; each frame of image feature extraction and camera settings for key frames; pre calculated by corresponding two frames IMU position and rotation information; feature tracking access key frame according to the feature points to calculate the pose of each key frame; according to the displacement and rotation of the IMU camera information and the measured displacement between two frames and equal rotation information outside the parameters of camera and calculate IMU; initial IMU speed, acceleration and scale factor; the use of tightly coupled nonlinear optimization to get the camera pose, then overlaying virtual objects to achieve the AR effect. The mobile terminal AR adopts IMU to make up for the shortcomings of VSLAM, and it is not affected by the environmental feature points in a short time. When VSLAM is long, it aligns with IMU to prevent migration.

【技术实现步骤摘要】
一种基于单目vio的移动端AR方法
本专利技术涉及一种AR方法，尤其是一种基于单目vio的移动端AR方法。
技术介绍
SLAM(simultaneouslocalizationandmapping)分为两大功能：定位与建图。其中建图主要作用是对周边环境的理解，建立周边环境与空间的对应关系；定位主要是根据建好的图，判断设备在地图中的位姿，从而得到相机在环境中的信息。SLAM分为dense和sparse两种，基于计算能力的考虑，移动端一般选择sparseSLAM。SparseSLAM虽然速度快，但是效果很依赖环境：在比较复杂，特征点多的环境下，sparseSLAM效果很好，而对于白墙、光滑平面等特征点比较少的环境，其效果很差，很难准确的估算出相机的姿态。
技术实现思路
本专利技术的目的在于提供一种基于单目vio的移动端AR方法，能够弥补VSLAM的缺点，在短时间内，定位效果很好且不受环境特征点的影响。为了实现上述专利技术目的，本专利技术提供了一种基于单目vio的移动端AR方法，包括如下步骤：步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；步骤3，对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：式中，s为尺度因子，表示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，为IMU测量的四元数，表示旋转信息；步骤6，初始化IMU的速度、加速度以及尺度因子，初始化公式为：式中，表示IMU预积分结果，预积分结果包括和两项，分别表示IMU在第k与k+1帧之间的位置约束和速度约束，为测量矩阵，表示IMU在第k帧下的四元数，为的逆，、则表示IMU在第k、k+1帧下的位置，为两帧图像之间的时间，χI为估算参数，、分别为IMU在第k和k+1帧时对应的速度，gv为加速度，s为尺度因子，为高斯噪声；步骤7，利用紧耦合非线性优化IMU测量数据以及相机测量数据得到相机姿态，优化公式为：式中，与分别为IMU测量与相机测量的残差，优化上式得到相机的姿态，从而根据相机姿态叠加虚拟物体实现AR效果。进一步地，步骤1中，相机以30HZ的速度获取图像，即1秒30帧的速度；IMU以100HZ的速度获取数据，即1秒100组IMU数据。进一步地，步骤2中，光流法假设同一个特征点的灰度不变，对于t时刻位于(x,y)处的像素，假设t+dt时刻他运动到(x+dx，y+dy)处，灰度值不变，表示式为：I(x+dx，y+dy，t+dt)＝I(x，y，t)式中，(x+dx，y+dy表示运动后的坐标，(x,y)表示运动前坐标，t表示运动前时刻，t+dt表示运动后时刻。本专利技术的有益效果在于：采用IMU(惯性测量单元)正好弥补了VSLAM的缺点，在短时间内，其效果很好且不受环境特征点的影响；在时间长时，可利用VSLAM与IMU对齐，防止偏移；结合VSLAM与IMU的VIO系统(Visual-InertialOdometry)，可保证算法在移动端实时运行，且效果很稳定。附图说明图1为本专利技术的方法流程图。具体实施方式如图1所示，本专利技术提供了一种基于单目vio的移动端AR方法，包括如下步骤：步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；步骤3，由于IMU的频率远高于相机获取图像的速度，所以当获取到两帧图像时，往往会得到多组IMU数据，因此对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿位姿此处的计算方法为本领域的常规计算，此处不再细述，其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：式中，s为尺度因子，可由步骤6的初始化公式计算获得，表示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，由步骤3获得，为IMU测量的四元数，表示旋转信息，旋转信息包括速度值和方向信息，有步骤3中的旋转矩阵Rt计算获得，该计算方法为本领域常规计算，此处不再细述；步骤6，判断是否已经进行过初始化，若还未进行初始化，则初始化IMU的速度、加速度以及尺度因子，若已经进行过初始化，则直接进入步骤7，初始化公式为：式中，表示IMU预积分结果，预积分结果包括和两项，分别表示IMU在第k与k+1帧之间的位置约束和速度约束，由步骤3计算获得，计算方法为本领域常规计算，此处不再细述，为测量矩阵，中的表示IMU在第k帧下的四元数，由步骤4中的SFM结果以及步骤5中第一个公式计算得到，该计算方法为本领域常规计算，此处不再细述，为的逆，、则表示IMU在第k、k+1帧下的位置，且满足步骤5中第二个公式的约束，为两帧图像之间的时间，χI为估算参数，、分别为IMU在第k和k+1帧时对应的速度，gv为加速度，s为尺度因子，为高斯噪声，在计算时可忽略；步骤7，利用紧耦合非线性优化IMU测量数据以及相机测量数据得到相机姿态，相机测量数据由SFM算法根据相机拍摄的图像计算得到，优化公式为：式中，与分别为IMU测量与相机测量的残差，相机测量的残差由相机的基本参数计算获得，为本领域常规计算方法，此处不再细述，优化上式得到相机的姿态，从而根据相机姿态叠加虚拟物体实现AR效果。进一步地，步骤1中，相机以30HZ的速度获取图像，即1秒30帧的速度；IMU以100HZ的速度获取数据，即1秒100组IMU数据。进一步地，步骤2中，光流法假设同一个特征点的灰度不变，对于t时刻位于(x,y)处的像素，假设t+dt时刻他运动到(x+dx，y+dy)处，灰度值不变，表示式为：1(x+dx，y+dy，t+dt)＝1(x，y，t)式中，(x+dx，y+dy)表示运动后的坐标，(x,y)表示运动前坐标，本文档来自技高网...

【技术保护点】
一种基于单目vio的移动端AR方法，其特征在于，包括如下步骤：步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；步骤3，对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：

【技术特征摘要】
1.一种基于单目vio的移动端AR方法，其特征在于，包括如下步骤：步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；步骤3，对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：式中，s为尺度因子，定示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，为IMU测量的四元数，表示旋转信息；步骤6，初始化IMU的速度、加速度以及尺度因子，初始化公式为：

【专利技术属性】
技术研发人员：潘铭星，冯向文，孙健，杨佩星，付俊国，雷青，
申请(专利权)人：南京维睛视空信息科技有限公司，
类型：发明
国别省市：江苏,32