一种AR室内结构化场景单目视觉定位方法技术

本发明专利技术公开了一种AR室内结构化场景单目视觉定位方法，包括下列步骤：步骤一、单目相机进行拍摄获取图像数据；步骤二、通过两个并行线程相独立地进行点特征和线特征的提取和描述；步骤三、根据获得的点特征的识别点数量判断是否采用线特征进行解算定位，如果识别点数量少于阈值执行步骤五，否则执行步骤四；步骤四、在点特征线程中利用EKF对图像点特征进行位姿解算获得位姿输出；步骤五、在线特征线程中利用EKF对图像线特征进行位姿解算。本发明专利技术在特征点丢失时，可以依靠此时的状态向量的均值和协方差，根据AR场景中的结构化线特征，依靠状态一步预测完成状态估计，不需要额外的优化框架。因此具有高鲁棒性、低运算量、可扩展性强的特点。

【技术实现步骤摘要】
一种AR室内结构化场景单目视觉定位方法
本专利技术属于工业智能相机领域，涉及一种AR室内结构化场景单目视觉定位方法。
技术介绍
AR(增强现实)系统的核心是空间定位技术。目前主流的AR定位包括激光定位、红外定位以及可见光定位方式。激光定位技术需要预先在场景中布置多个激光发射器，通过被定为物体的信号接收、角度差完成定位功能，定位精度高、速度快、响应频率快，但由于其造价高、配套产品多，不适合推广大范围使用；红外定位技术在被定位设备上安装红外光源，需要在场景中安放多个红外光捕捉传感器，通过设备接收的反射光进行位姿解算，该方案避免了激光定位成本高的缺点，但仍旧需要多个模块配套运行，且安装过程繁琐。目前采用视觉定位技术是主流的AR定位方案，由于其具有空间定位精度高、造价低、易于布置的特点，得到了大力的推广和应用。其主要定位原理如图1所示：(1)首先使用单目相机进行场景感知；(2)对场景图像信息进行特征提取；(3)将特征信息通过光学几何算法中进行位姿解算；(4)将空间位姿信息传输给AR设备。目前市面上的AR设备可见光定位方式中，在图1步骤2中的策略是从图片中提取特征点，在步骤4中的策略是基于关键帧的优化方法进行位姿解算。但是这种“特征点+关键帧优化”的策略存在以下缺点：(1)在室内环境下，大多数为重复纹理和弱纹理(如单一颜色的墙壁，天花板，反光的瓷砖和地板等)，此时基于特征点的提取方法效果差，容易发生点特征丢失；如果总是使用线特征解算也会导致解算过程运算量大，导致运算速度消耗，降低AR设备的定位频率；(2)基于关键帧优化的位姿优化虽然精度很高，但是资源开销大，并且在出现场景特征丢失或者AR设备剧烈运动情况下导致导致无法完成位姿解算，定位过程中断。
技术实现思路
本专利技术的目的在于提供一种AR室内结构化场景单目视觉定位方法，以解决现有技术中位姿优化解算方法具有不足，并且仅仅依据场景中的点特征进行解算定位，容易出现场景特征丢失，导致无法完成解算，而通过线特征进行解算又存在计算速度低从而导致AR设备定位实时性低的技术问题。所述的一种AR室内结构化场景单目视觉定位方法，包括下列步骤：步骤一、单目相机进行拍摄获取图像数据；步骤二、通过两个并行线程相独立地进行点特征和线特征的提取和描述；步骤三、根据获得的点特征的识别点数量判断是否采用线特征进行解算定位，如果识别点数量少于阈值执行步骤五，否则执行步骤四；步骤四、在点特征线程中利用EKF对图像点特征进行位姿解算解算获得位姿输出，实现空间定位，若存在状态丢失，识别点数量不少于阈值，EKF依据之前的状态向量进行预测完成状态估计，获得位姿输出；步骤五、在线特征线程中利用EKF对图像线特征进行位姿解算，并由EKF中状态均方误差阵的估计得到相应的状态的协方差，根据协方差评估各位姿输出的精度，将精度较高的位姿输出作为输出结果实现空间定位。优选的，EKF解算过程中：针对AR观测系统建立状态方程解算系统状态，不考虑通常不改变的环境特征，仅考虑相机的运动变量建立状态方程；建立量测方程以描述空间中的三维场景被AR设备的相机拍摄到转化成为像素的过程，具体来说是三维场景中的点线结构在图片上的像素位置；EKF解算时依次经过状态一步预测、状态均方误差阵的一步预测、滤波增益系数计算、加入量测信息的状态估计和状态均方误差阵的估计，状态一步预测利用状态方程求解，加入量测信息的状态估计中利用量测方程计算量测信息。优选的，建立状态方程的方法如下：1)相机的运动状态向量定义为：其中：表示相机当前的三维坐标以及空间姿态；[vw]表示当前相机运动的线速度与角速度，b表示运动状态的扰动误差；2)结构特征的状态向量定义为：其中：表示结构特征的三维坐标以及空间姿态；m表示当前状态下观测到的路标点数目，结构特征包含步骤二获得的点特征和/或线特征；将状态变量的整体写做符合高斯分布的形式为：根据相机的运动变量建立状态方程：其中：X为相机运动状态和三维环境中结构特征结合得到的状态变量，结构特征包括点特征和/或线特征，表示相机当前的三维坐标以及空间姿态；[vw]表示当前相机运动的线速度与角速度，b表示运动状态的扰动误差，a表示运动的加速度；Γk为噪声分配矩阵，Wk为系统噪声向量，是一个高斯零均值白噪声，有：优选的，所述状态方程中的w,a的状态通过外接扩展的IMU模块测量得到或是基于固定运动模型假设得到，当采用外接扩展的IMU模块时，需要对量测方程进行增广。优选的，EKF解算过程建立量测方程以描述空间中的三维场景被AR设备的相机拍摄到转化成为像素的过程，具体来说是三维场景中的点线结构在图片上的像素位置；量测方程包含了两部分：1)三维世界坐标系到相机坐标系的转换——ToCamera：PC＝RT(PW-t)其中：Pw表示空间点线结构在世界坐标系下的坐标，Pc表示空间点线结构在相机坐标系下的坐标,R,t表示世界坐标系相对于相机坐标系的运动；2)相机投影模型——Projection：其中：Li＝[XYZ]T，表示三维空间物体的坐标，[u,v]表示像素坐标，fx,fy,cx,cy是相机内参的参数；结合以上两个步骤，可以将量测方程表示为：Z＝h(x)优选的，EKF的滤波算法主要分为五个部分，所用算式依次为：状态一步预测：状态均方误差阵的一步预测：滤波增益系数计算：加入量测信息的状态估计：状态均方误差阵的估计：Pk＝(I-KkHk)Pk/k-1；其中J表示变量的一阶雅可比矩阵。优选的，本方法在线特征的特征提取环节中，使用的是LSD方法，选取直线上的任意两个点采用普吕克直线坐标进行描述，建立普吕克坐标与平面上直线的投影方程，提取反向投影得到线特征。本专利技术的技术效果：本方案通过两个独立线程同时进行点特征和线特征的提取，保证二者同时或在相近时间内被提取出来，在没有特征丢失场景本方法通过EKF仅对点特征解算，从而实现位姿输出和定位。由于本方案采用EKF进行解算，即使图像在提取特征时出现部分点特征丢失，只要识别点数量不小于解算所需阈值，本方法仍能仅对点特征进行解算就获得可靠性满足要求的位姿输出结果，实现定位，运算量小，不影响AR设备的定位频率。而当识别点数量小于阈值会影响定位可靠性的情况下，本方法能及时启用另一线程已提取的线特征，并分别对点特征和线特征进行EKF解算，从而获取两个位姿输出结果，EKF在产生位姿输出的同时还能给出状态的协方差，有助于评估当前定位的精度情况，因此本方法在启用线特征后能根据精度选择更好的位姿输出进行定位。在特征丢失的情况下，本方案可以依靠此时的状态向量的均值和协方差，根据AR场景中的结构化线特征，仅依靠状态一步预测完成状态本文档来自技高网...

【技术保护点】
1.一种AR室内结构化场景单目视觉定位方法，其特征在于：包括下列步骤：/n步骤一、单目相机进行拍摄获取图像数据；/n步骤二、通过两个并行线程相独立地进行点特征和线特征的提取和描述；/n步骤三、根据获得的点特征的识别点数量判断是否采用线特征进行解算定位，如果识别点数量少于阈值执行步骤五，否则执行步骤四；/n步骤四、在点特征线程中利用EKF对图像点特征进行位姿解算获得位姿输出，实现空间定位，若存在状态丢失，识别点数量不少于阈值，EKF依据之前的状态向量进行预测完成状态估计，获得位姿输出；/n步骤五、在线特征线程中利用EKF对图像线特征进行位姿解算，并由EKF中状态均方误差阵的估计得到相应的状态的协方差，根据协方差评估各位姿输出的精度，将精度较高的位姿作为输出结果实现空间定位。/n

【技术特征摘要】
1.一种AR室内结构化场景单目视觉定位方法，其特征在于：包括下列步骤：
步骤一、单目相机进行拍摄获取图像数据；
步骤二、通过两个并行线程相独立地进行点特征和线特征的提取和描述；
步骤三、根据获得的点特征的识别点数量判断是否采用线特征进行解算定位，如果识别点数量少于阈值执行步骤五，否则执行步骤四；
步骤四、在点特征线程中利用EKF对图像点特征进行位姿解算获得位姿输出，实现空间定位，若存在状态丢失，识别点数量不少于阈值，EKF依据之前的状态向量进行预测完成状态估计，获得位姿输出；
步骤五、在线特征线程中利用EKF对图像线特征进行位姿解算，并由EKF中状态均方误差阵的估计得到相应的状态的协方差，根据协方差评估各位姿输出的精度，将精度较高的位姿作为输出结果实现空间定位。


2.根据权利要求1所述的一种AR室内结构化场景单目视觉定位方法，其特征在于：EKF解算过程中：针对AR观测系统建立状态方程解算系统状态，不考虑通常不改变的环境特征，仅考虑相机的运动变量建立状态方程；建立量测方程以描述空间中的三维场景被AR设备的相机拍摄到转化成为像素的过程，具体来说是三维场景中的点线结构在图片上的像素位置；EKF解算时依次经过状态一步预测、状态均方误差阵的一步预测、滤波增益系数计算、加入量测信息的状态估计和状态均方误差阵的估计，状态一步预测利用状态方程求解，加入量测信息的状态估计中利用量测方程计算量测信息。


3.根据权利要求2所述的一种AR室内结构化场景单目视觉定位方法，其特征在于：建立状态方程的方法如下：
1)相机的运动状态向量定义为：



其中：表示相机当前的三维坐标以及空间姿态；[vw]表示当前相机运动的线速度与角速度，b表示运动状态的扰动误差；
2)结构特征的状态向量定义为：



其中：表示结构特征的三维坐标以及空间姿态；m表示当前状态下观测到的路标点数目，结构特征包含步骤二获得的点特征和/或线特征；将状态变量的整体写做符合高斯分布的形式为：






根据相机的运动变量建立状态方程：






其中：X为相机运动状态和三维环境中结构特征结合得到的状态变量，结构...

【专利技术属性】
技术研发人员：兰卫旗，邵立，张冀，张翔宇，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，
类型：发明
国别省市：江苏;32