基于智能手机前后摄像头同时工作的视觉定位方法技术

本发明专利技术公开了一种基于智能手机前后摄像头同时工作的视觉定位方法，包括视觉数据获取及预处理、IMU数据获取及预处理和设备位置姿态估计三个步骤，通过智能手机的前后摄像头获取图像并进行简单预处理，给出可用于位置估计的图像数据；获取智能手机的IMU数据，同步数据刷新周期；融合图像和IMU数据，给出设备的位置和姿态估计。本发明专利技术采用智能手机的前后双摄像头避免室内光照变化频繁及单侧强光或弱光对算法的影响。在整个过程中，最终解算出的位置及姿态信息可以实时输出给无人飞行器等用于导航。

【技术实现步骤摘要】
基于智能手机前后摄像头同时工作的视觉定位方法
本专利技术属于计算机视觉与机器人交叉领域，涉及一种基于流行智能手机平台前后摄像头同时工作的视觉定位方法。
技术介绍
在导航定位领域，视觉导航由于仅需要使用简单的传感器，适用于复杂的环境，有着较为广泛的应用。针对纯视觉导航的误差问题，又引入了IMU和视觉融合的定位和导航方法。但以往的视觉定位和导航算法往往在室内应用时存在一定的问题。由于室内光照条件的复杂，如常出现的单侧强光照而另一侧则比较昏暗，进入房间时光照突变等，以往的视觉定位方法会出现交叉的随着智能手机的迅速发展，其计算能力已经相当可观，同时也配备了充分的传感器，如陀螺仪，加速度计，气压计，其摄像头的精度也有了非常大的进步。
技术实现思路
本专利技术的目的在于针对室内光照条件的复杂，以及低成本实现视觉定位和导航的问题，提出一种基于流行智能手机平台，同时使用前后摄像头的室内定位方法。本专利技术解决其技术问题是通过以下技术方案来实现的：一种基于智能手机前后摄像头同时工作的视觉定位方法，包括以下步骤：(1)视觉数据获取及预处理：智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10-20；对获得图像进行预处理；(2)IMU数据获取及预处理：获得IMU数据，所述IMU数据为智能手机自带的陀螺仪和加速度计数据；根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为n帧/秒；(3)根据步骤1预处理后的视觉数据和步骤2预处理后的IMU数据，进行设备位置和姿态估计，包括以下子步骤：(3.1)当仅有IMU数据，没有图像数据获得时，使用IMU数据扩展其状态和协方差矩阵；(3.2)当图像数据到达时，执行以下操作：(3.2.1)通过特征提取算法(常见的如SIFT，SURF等)获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法(如RANSAC)减少特征匹配的误差；(3.2.2)根据步骤3.2.1获得的图像特征数据及步骤3.1获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波(EKF)，获得摄像头的位置和姿态估计；(3.2.3)根据步骤3.2.2获得的摄像头位置和姿态估计以及最新的IMU数据，扩展IMU状态和协方差矩阵；(3.3)若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得无效侧摄像头初始位置，且抛弃其对应的原所有摄像头姿态数据。进一步地，所述步骤1具体包括以下子步骤：(1.1)同时开启智能手机的前后摄像头(分别记为摄像头A和摄像头B)，同步前后摄像头的获取速率，使其保持相同的帧速m获取图像数据，禁用自动对焦以避免焦距的改变；(1.2)图像到达时分别测量并判断其亮度，设置亮度阈值范围为[T1,T2]，判断每一帧图像亮度是否在亮度阈值范围内；如图像满足亮度条件，更新对应摄像头的时间标记，进入步骤1.3，否则直接抛弃图像；(1.3)若双侧摄像头采集的图像均满足亮度条件且获取时间距上次符合要求的图像的获取时间均没有超过时间阈值t，则将双侧图像数据送入步骤3进行融合；(1.4)若单侧摄像头图像获取时间距上次符合要求的图像的获取时间超过时间阈值t，则标记该摄像头图像数据无效，并把无效信息及另一侧图像数据送入步骤3，同时抛弃该无效摄像头所有已存储数据；(1.5)若双侧摄像头图像获取时间距上次符合要求的图像的获取时间均超过时间阈值t，则中止定位。进一步地，所述步骤3.2.1具体包括以下子步骤：(3.2.1.1)对步骤1输入的所有图像应用特征响应函数凸显特征点，如SIFT算法常用的高斯差操作；(3.2.1.2)对步骤3.1.1处理后的图像应用非极值抑制操作，在特征函数的响应图里找出所有区域极小值和极大值；(3.2.1.3)对步骤1输入的所有图像进行降采样后重复步骤3.1.1和3.1.2，实现特征识别的尺度不变性；(3.2.1.4)将单侧的多帧图像的特征点相互匹配，实现特征点的对应；(3.2.1.5)通过RANSAC或类似算法优化特征点匹配结果，去除错误的特征点对应。本专利技术的有益效果是：本专利技术使用智能手机实现IMU和视觉辅助室内定位，一方面简化了系统的开发，无须自己搭建复杂的软硬件平台，另一方面则可以将其与日常应用结合，实现部分增强现实应用。此外，本专利技术利用智能手机前后双摄像头的特点，同时使用前后摄像头进行视觉定位，有助于在单侧光照恶劣或光照强度快速变化的场合，如室内，进行较为精确的，可稳定运行的视觉定位。附图说明图1是本专利技术的系统结构图；图2是本专利技术方法的总流程图；图3是本专利技术方法融合流程示意图；图4是具体实施方式下软件结构的示意图。具体实施方式下面以在Android平台上实现本专利技术方法为例，本专利技术的系统结构如图1所示。如图2所示，本专利技术一种基于智能手机前后摄像头同时工作的视觉定位方法，包括以下步骤：(1)视觉数据获取及预处理：智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m通常取10-20；对获得图像进行预处理；具体包括以下子步骤：(1.1)同时开启智能手机的前后摄像头(分别记为摄像头A和摄像头B)，同步前后摄像头的获取速率，使其保持相同的帧速m获取图像数据，禁用自动对焦以避免焦距的改变；(1.2)图像到达时分别测量并判断其亮度，设置亮度阈值范围为[T1,T2]，判断每一帧图像亮度是否在亮度阈值范围内；如图像满足亮度条件，更新对应摄像头的时间标记(如摄像头A)，进入步骤1.3，否则直接抛弃图像；(1.3)若双侧摄像头采集的图像均满足亮度条件且获取时间距上次符合要求的图像的获取时间均没有超过时间阈值t，则将双侧图像数据送入步骤3进行融合；(1.4)若单侧摄像头图像获取时间距上次符合要求的图像的获取时间超过时间阈值t，则标记该摄像头图像数据无效，并把无效信息及另一侧图像数据送入步骤3，同时抛弃该无效摄像头所有已存储数据；(1.5)若双侧摄像头图像获取时间距上次符合要求的图像的获取时间均超过时间阈值t，则中止定位。根据以上步骤1.1到1.5，选定m为10，即固定前后摄像头以10帧的速度进行图像采集。实验使用Android5.0Lollipop平台，使用其新引入的Camera2API获取图像数据，其优点是将摄像头的输入输出抽象为流水线，更有利于对流式图像做处理及输出，其后使用OpenCVforAndroidSDK进行图像处理。为方便图像处理，设置获取图像的格式为YUV_420_888。取t为3s，即单侧超过3s没有符合要求的图像时使用另一侧数据重新估计位置，双侧均超过3s没有符合要求的图像时则中止定位。实际使用时，帧数及阈值的选择取决于设备的性能及具体定位精度的要求，提高帧数有利于提高定位精度，但其对设备的性能要求相对较高，而较低的帧数有利于在相对性能较弱的设备上运行算法，但在移动较快的场景下，定位精度可能有一定损失。而较大的超时阈值t则有利于在更恶劣的环境下持续运行算法，但会带来更大的定位误差，而较小的阈值则相反。因此，只要采用基于光照选择使用双侧图像的思想，不论其帧数，阈值及所使用系统如本文档来自技高网...

【技术保护点】
一种基于智能手机前后摄像头同时工作的视觉定位方法，其特征在于，包括以下步骤：（1）视觉数据获取及预处理：智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10‑20；对获得图像进行预处理；（2）IMU数据获取及预处理：获得IMU数据，所述IMU数据为智能手机自带的陀螺仪和加速度计数据；根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为n帧/秒；（3）根据步骤1预处理后的视觉数据和步骤2预处理后的IMU数据，进行设备位置和姿态估计，包括以下子步骤：（3.1）当仅有IMU数据，没有图像数据获得时，使用IMU数据扩展其状态和协方差矩阵；（3.2）当图像数据到达时，执行以下操作：（3.2.1）通过特征提取算法获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法减少特征匹配的误差；（3.2.2）根据步骤3.2.1获得的图像特征数据及步骤3.1获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波，获得摄像头的位置和姿态估计；（3.2.3）根据步骤3.2.2获得的摄像头位置和姿态估计以及最新的IMU数据，扩展IMU状态和协方差矩阵；（3.3）若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得无效侧摄像头初始位置，且抛弃其对应的原所有摄像头姿态数据。...

【技术特征摘要】
1.一种基于智能手机前后摄像头同时工作的视觉定位方法，其特征在于，包括以下步骤：(1)视觉数据获取及预处理：智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10-20；对获得图像进行预处理；该步骤具体包括以下子步骤：(1.1)同时开启智能手机的前后摄像头，同步前后摄像头的获取速率，使其保持相同的帧速m获取图像数据，禁用自动对焦以避免焦距的改变；(1.2)图像到达时分别测量并判断其亮度，设置亮度阈值范围为[T1,T2]，判断每一帧图像亮度是否在亮度阈值范围内；如图像满足亮度条件，更新对应摄像头的时间标记，进入步骤(1.3)，否则直接抛弃图像；(1.3)若双侧摄像头采集的图像均满足亮度条件且获取时间距上次符合要求的图像的获取时间均没有超过时间阈值t，则将双侧图像数据送入步骤(3)进行融合；(1.4)若单侧摄像头图像获取时间距上次符合要求的图像的获取时间超过时间阈值t，则标记该摄像头图像数据无效，并把无效信息及另一侧图像数据送入步骤(3)，同时抛弃该摄像头所有已存储数据；(1.5)若双侧摄像头图像获取时间距上次符合要求的图像的获取时间均超过时间阈值t，则中止定位；(2)IMU数据获取及预处理：获得IMU数据，所述IMU数据为智能手机自带的陀螺仪和加速度计数据；根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为n帧/秒；(3)根据步骤(1)预处理后的视觉数据和步骤(2)预处理后的IMU数据，进行设备位置和姿...

【专利技术属性】
技术研发人员：张宇，施啸天，方舟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33