图像跟踪的方法、装置、AR设备和计算机设备制造方法及图纸

本申请涉及一种图像跟踪的方法、装置、AR设备和计算机设备，其中，该图像跟踪的方法包括：获取第一图像，根据双目极线约束提取该第一图像中的二维特征点，获取第二图像，根据AR设备的IMU测量值获取AR设备的运动信息，通过光流跟踪对该第二图像中的该二维特征点进行跟踪，根据IMU测量值计算该AR设备的位姿信息，对该二维特征点的跟踪结果进行三角化，得到三维特征点，其中，该二维特征点与该三维特征点对应。通过本申请，解决了VIO算法在对搭载双目相机的AR眼镜进行计算的过程中，适配度较低的问题，提高了VIO算法与搭载双目相机的AR设备之间的匹配度。

【技术实现步骤摘要】
图像跟踪的方法、装置、AR设备和计算机设备
本申请涉及计算机视觉
，特别是涉及图像跟踪的方法、装置、AR设备和计算机设备。
技术介绍
随着互联网和第五代移动通信(5thGenerationMobileNetworks，简称为5G)技术的大力发展，增强现实(AugmentedReality，简称为AR)应用的热度正逐渐升高。其中，增强现实技术是一种将虚拟信息与真实世界进行融合的技术，AR技术可以借助相关的硬件载体，例如手机或者眼镜，将计算机生成的虚拟信息融合到真实的三维世界中。在虚拟信息与真实世界的融合过程中，需要用到的核心技术为环境感知类算法，例如惯性视觉里程计(VisualInertialOdometry，简称为VIO)算法。具体地，VIO算法可以利用AR设备上的相机和惯性测量单元(InertialMeasurementUnit，简称为IMU)传感器信息，将计算机生成的虚拟信息与真实世界中的位置和姿态信息进行融合。对于不同的设备，由于应用的传感器不同，VIO算法的实现也有所不同。在智能手机平台上，VIO算法多为单目相机加IMU的本文档来自技高网...

【技术保护点】
1.一种图像跟踪的方法，其特征在于，所述方法包括：/n获取第一图像，根据双目极线约束提取所述第一图像中的二维特征点；/n获取第二图像，根据AR设备的IMU测量值获取所述AR设备的运动信息，通过光流跟踪对所述第二图像中的所述二维特征点进行跟踪；/n根据所述IMU测量值，计算所述AR设备的位姿信息，根据所述位姿信息对所述二维特征点的跟踪结果进行三角化，得到三维特征点，其中，所述二维特征点与所述三维特征点对应。/n

【技术特征摘要】
1.一种图像跟踪的方法，其特征在于，所述方法包括：
获取第一图像，根据双目极线约束提取所述第一图像中的二维特征点；
获取第二图像，根据AR设备的IMU测量值获取所述AR设备的运动信息，通过光流跟踪对所述第二图像中的所述二维特征点进行跟踪；
根据所述IMU测量值，计算所述AR设备的位姿信息，根据所述位姿信息对所述二维特征点的跟踪结果进行三角化，得到三维特征点，其中，所述二维特征点与所述三维特征点对应。


2.根据权利要求1所述的方法，其特征在于，在所述通过光流跟踪对所述第二图像中的所述二维特征点进行跟踪之后，所述方法还包括：
对所述二维特征点进行过滤，在所述二维特征点的第二数量小于第一数量的情况下，根据双目极线约束在所述第二图像中提取补充特征点，其中，所述补充特征点的数量根据所述第一数量与所述第二数量的差值确定，所述第一数量为所述第一图像中所述二维特征点的数量，所述第二数量为所述第二图像中所述二维特征点的数量。


3.根据权利要求1所述的方法，其特征在于，在所述得到三维特征点之后，所述方法包括：
获取所述三维特征点在所述第二图像中的二维投影点，建立重投影误差方程，计算所述二维特征点与所述二维投影点之间的误差，根据所述AR设备的观测方程计算雅可比矩阵；
根据所述雅可比矩阵和所述误差，通过卡尔曼滤波器，对所述AR设备的系统状态量和系统协方差矩阵进行更新。


4.根据权利要求3所述的方法，其特征在于，所述建立重投影误差方程包括：
根据所述AR设备的位姿、相机参数、时间参数、滑窗和同时定位与地图构建SLAM特征，建立所述重投影误差方程。


5.根据权利要求3所述的方法，其特征在于，所述对所述AR设备的系统状态量和系统协方差矩阵进行更新包括：
获取预设时间段内的历史状态参数，根据所述历史状态参数和所述系统状态量中的当前状态参数，确定变化值；
在所述变化值大于预设变化阈值的情况下，不对所述系统状态量和所述系统协方差矩阵进行更新。


6.一种图像跟踪的装置，其特征在于，所述装置包括：双目相机、惯性测量设备和处理器：
所述双目相机获取第一图像，所述处理器根据双目极线约束提取所述第一图像中的二维特征点；
所述双...

【专利技术属性】
技术研发人员：李东轩，张高明，刘海伟，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：浙江;33