一种终端的定位方法和装置制造方法及图纸

本发明专利技术实施例提供了一种终端的定位方法及装置，其中所述方法包括通过终端的相机获得随时间变化的多个图像帧，通过惯性测量单元IMU传感器获得随时间变化的多个IMU数据，其中，所述IMU传感器采集所述IMU数据的采集频率大于所述相机获取所述图像帧的采集频率；将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据；根据所述终端的所述位姿变换数据确定终端的空间运动轨迹。本发明专利技术实施例所提供的方法能实现对终端系统的精确定位。

Terminal positioning method and device

The embodiment of the invention provides a terminal positioning method and an apparatus, wherein the method comprises obtaining a plurality of image frames varying with time through a terminal's camera, obtaining a plurality of IMU data varying with time through an IMU sensor of an inertial measurement unit, wherein the IMU sensor has a large acquisition frequency for acquiring the IMU data. The acquisition frequency of the image frame is obtained from the camera; the IMU data corresponding to each image frame is pre-integrated into the corresponding image frame data to obtain the position and attitude transformation data of the terminal between the multiple image frames; and the spatial motion trajectory of the terminal is determined according to the position and attitude transformation data of the terminal. The method provided by the embodiment of the invention can realize accurate positioning of the terminal system.

【技术实现步骤摘要】
一种终端的定位方法和装置
本专利技术实施例涉及计算机视觉效果领域，尤其涉及一种终端的定位方法和装置。
技术介绍
随着万物互联时代的来临，各类传感器数据之间的有效利用将极大提高人类对世界的理解，并通过传感器获取的大量数据辅助甚至改变人类的生活工作方式。使用内质或则外质传感器可以赋予本体对自身位姿和周围环境的感知能力，从而实现各类任务。而应用场景和使用成本等因素限制了传感器的形式，例如在无人驾驶中常用的GPS信号在室内环境中无法接收，激光传感器的成本较高，外质传感器例如二维码、导轨等提高了部署成本的同时也限制了使用场景。同步定位建图是计算机视觉研究领域的热点之一，并得到广泛应用。比如自主移动机器人、无人驾驶、无人机、增强现实(AugmentedReality，AR)技术等。例如，自主移动机器人需要获得自身在环境中所处位置信息，并且感知环境的地图，从而能够在环境中自主控制移动完成特定任务。为了完成上述任务，需要使用特定的如前所述的传感器；相较之下，使用视觉和惯性测量单元(Inertialmeasurementunit，IMU)传感器数据融合的方法，可以给移动设备(例如，手机，头显)提供可靠的位姿估计同时建立真实尺度的或稀疏或稠密的场景地图，精准地将虚拟模型投影到相机视角中的同时也可以感知到周围环境信息。通过跟踪相机视角在现实空间中的位姿变化，实现虚拟模型和现实空间中场景的无缝连接，提供真实稳定的AR体验。目前大部分视觉和IMU融合的方案都是基于特征点匹配或者光流追踪匹配与IMU数据融合。算法通常分为系统初始化、前端视觉跟踪和IMU预积分、后端非线性优化几个模块。在最大似然估计的框架下联合优化两个传感器信息获得手机或头显的位姿估计值，并通过传统的多视角几何恢复出特征点的深度完成环境建图。但现有技术中，这种图像处理方法，需要较多的计算资源来获得环境信息，需要使用匹配算法获得图像帧之间的对应关系等等。
技术实现思路
本专利技术多个方面提供一种终端的定位方法和装置，可以使用较少的计算资源来获得终端的定位。本专利技术一方面提供了一种终端的定位方法，包括：通过终端的相机获得随时间变化的多个图像帧，通过惯性测量单元IMU传感器获得随时间变化的多个IMU数据，其中，所述IMU传感器采集所述IMU数据的采集频率大于所述相机获取所述图像帧的采集频率；将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据；根据所述终端的所述位姿变换数据确定终端的空间运动轨迹。优选地，所述方法还包括：根据所述终端的所述位姿变换数据构成的空间运动轨迹和所述相机获得的所述多个图像帧，得到所述相机所捕捉到的场景地图。优选地，所述将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据包括：在所述相机获得的相邻的图像帧之间获取多个IMU数据；采用预积分计算方法将多个不同时刻的IMU数据整合为一个完整的帧间约束信息；根据所述IMU传感器的参数、所述IMU传感器与所述相机之间的空间变换参数和帧间约束信息，得到所述对应图像帧之间所述终端的所述位姿变换数据。优选地，所述方法还包括：将经过IMU预积分处理后的位姿变换数据作为初值，用于优化图像帧光度误差，快速收敛获得所述终端的位姿，并选取某些满足一定条件的图像帧为关键帧；采用滑动窗口方法优化与当前关键帧最近邻的数个关键帧所对应的位姿及其对应三维特征点的深度，丢弃其它关键帧的信息。优选地，所述方法还包括：通过边缘化技术在使用滑动窗口方法的同时又充分保留所有的约束信息。优选地，所述根据图像帧和IMU数据确定终端的位姿包括：将图像帧和IMU数据对齐，进行初始化；将参与初始化的图像帧全部加入关键帧的队列，然后使用帧间跟踪优化获得所述终端位姿。优选地，所述IMU传感器包括加速度计和陀螺仪；所述IMU传感器的参数包括加速度计白噪声、零偏随机游走噪声和零偏、陀螺仪白噪声、零偏随机游走噪声和零偏中的至少一个。优选地，所述将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中之前，所述方法还包括：将所述终端的所述相机获取的所述图像帧转换为灰度图；在所述灰度图中提取灰度值与邻域像素灰度值的差值大于等于阈值的像素作为梯度明显的特征点；根据所述特征点的像素光度值使用非线性目标函数进行建模，用于帧间跟踪优化获取所述终端位姿。优选地，所述非线性目标函数为：其中，Tk,k-1表示所述终端k位姿相对于k-1位姿的位姿变换；i表示特征点序号；σ表示鲁棒核函数；I表示灰度值；u表示图像平面上特征点的像素坐标，其中，u′i＝K(Tk,k-1·(K-1(ui))·d)其中，K为所述相机的焦距大小和主点位置参数矩阵，d为特征点的深度。优选地，所述使用所述非线性目标函数进行建模时还加入光度模型，其中，所述光度模型为：I′i(u)＝R(τiV(u)Ei(u))光度标定后的灰度图像为：其中，I′i为图像灰度；R为非线性伽马响应函数，表示辐照能量和图像灰度之间的非线性映射关系；τi为曝光时间；V(u)为晕影函数，表示相机边缘区域相较中心区域光度降低；Ei为辐照能量；u为特征点像素坐标。本专利技术另一方面还提供了一种终端的定位装置，包括存储器和处理器，其中：所述存储器，用于存储代码和相关数据中的至少一个；所述处理器，用于调用所述存储器中的数据，执行所述存储器中的代码；执行所述存储器中的代码能实施前述任一项所述的方法步骤。本专利技术实施例所提供的终端的定位方法及装置，在对终端进行定位时，在视觉特征的提取过程中，使用图像中梯度明显的像素作为特征点，且使用网格化自适应的阈值获得环境的有效表达，即富纹理的区域特征点较多，无纹理或低纹理区域特征点相对较少，这种建图方式可以在有限的计算资源下获得丰富的环境信息，用于增强现实应用下的交互，通过引入IMU的处理方式，可以直接为优化的目标函数提供一个合理的初值，有效减小求解陷入局部极小值的可能性，同时不需要实现图像金字塔，在快速运动时也可以保证优化的收敛性，使得获取的终端的运动轨迹更加精确。附图说明图1为本专利技术一实施例的一种终端定位方法的流程示意图；图2为本专利技术另一实施例的一种图像帧预处理的流程示意图；图3为本专利技术一实施例的一种终端定位方法的流程示意图；图4为本专利技术实施例所提供的终端定位装置的示意图；图5为本专利技术实施例的AR能力光谱示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。另外，本文中术语“系统”和“网络”在本文中常被可互换使用。如图1所示，为本专利技术一实施例的一种终端定位方法的流程示意图，所述终端定位方法应用于各种终端，例如手机或头显本文档来自技高网...

【技术保护点】
1.一种终端的定位方法，其特征在于，包括：通过终端的相机获得随时间变化的多个图像帧，通过惯性测量单元IMU传感器获得随时间变化的多个IMU数据，其中，所述IMU传感器采集所述IMU数据的采集频率大于所述相机获取所述图像帧的采集频率；将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据；根据所述终端的所述位姿变换数据确定终端的空间运动轨迹。

【技术特征摘要】
1.一种终端的定位方法，其特征在于，包括：通过终端的相机获得随时间变化的多个图像帧，通过惯性测量单元IMU传感器获得随时间变化的多个IMU数据，其中，所述IMU传感器采集所述IMU数据的采集频率大于所述相机获取所述图像帧的采集频率；将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据；根据所述终端的所述位姿变换数据确定终端的空间运动轨迹。2.如权利要求1所述的方法，其特征在于，所述方法还包括：根据所述终端的所述位姿变换数据构成的空间运动轨迹和所述相机获得的所述多个图像帧，得到所述相机所捕捉到的场景地图。3.如权利要求1所述的方法，其特征在于，所述将每个图像帧所对应的IMU数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据包括：在所述相机获得的相邻的图像帧之间获取多个IMU数据；采用预积分计算方法将多个不同时刻的IMU数据整合为一个完整的帧间约束信息；根据所述IMU传感器的参数、所述IMU传感器与所述相机之间的空间变换参数和帧间约束信息，得到所述对应图像帧之间所述终端的所述位姿变换数据。4.如权利要求3所述的方法，其特征在于，所述方法还包括：将经过IMU预积分处理后的位姿变换数据作为初值，用于优化图像帧光度误差，快速收敛获得所述终端的位姿，并选取某些满足一定条件的图像帧为关键帧；采用滑动窗口方法优化与当前关键帧最近邻的数个关键帧所对应的位姿及其对应三维特征点的深度，丢弃其它关键帧的信息。5.如权利要求4所述的方法，其特征在于，所述方法还包括：通过边缘化技术在使用滑动窗口方法的同时又充分保留所有的约束信息。6.如权利要求1所述的方法，其特征在于，所述根据图像帧和IMU数据确定终端的位姿包括：将图像帧和IMU数据对齐，进行初始化；将参与初始化的图像帧全部加入关...

【专利技术属性】
技术研发人员：徐尚，王强，张小军，
申请(专利权)人：视辰信息科技上海有限公司，
类型：发明
国别省市：上海,31