一种无人机单目视觉里程计方法技术

本发明专利技术公开了一种无人机单目视觉里程计方法，包括如下步骤：S1、对单目采集图像和飞控传入的姿态数据进行精确同步；S2、在关键帧中，计算无人机正射投影点的像素坐标，作为基准坐标，并采集基准坐标周围的图像特征块；S3、在非关键帧中，计算无人机当前正射投影点的像素坐标，计算正射投影点与基准坐标的像素距离；S4、对于采集基准坐标时刻的真实距离，作为运动里程；本发明专利技术通过计算当前帧正射投影点和基准帧中正射投影点之间的像素距离，并根据同步的姿态数据、对地高度来恢复真实尺度，并将里程数据转换到NED坐标系下，以此得到真实里程数据，使得无人机在高空场景下，能够较为精确的恢复里程计尺度。里程计尺度。里程计尺度。

A monocular vision odometer method for UAV

【技术实现步骤摘要】
一种无人机单目视觉里程计方法


[0001]本专利技术属于图像处理、视频分析
，具体涉及一种无人机单目视 觉里程计方法。

技术介绍

[0002]无人机在边境地区应用频繁，常用于巡查、侦察等。在无人机在丢失GNSS 信号后，理论上仅能采用相机作为信息采集源，通过对视频进行分析、处理， 实现对自身定位位置的估算，并提供给飞控，进行无人机的控制，最终实现 干扰状态下的悬停甚至返航。近年来，随着视觉SLAM技术的发展，学术界诞 生了一些开源的视觉里程计方案。其中，ORBSLAM是主流的视觉里程计方案， 支持单、双目系统，能够依靠特征点的匹配计算H/F矩阵，从中解算出旋转 平移参数，实现里程计算；而VINS是主流的视觉+惯导里程计方案，依靠单 目+IMU的紧耦合实现里程计算。
[0003]但是，在现有技术中，单、双目系统应用到高空、强震动的工业无人机 场景中会存在一些问题：
[0004]1、对于ORBSLAM，其在高空中退化为单目系统，导致尺度缺失，难以初 始化；
[0005]2、VINS需要紧耦合的视觉+IMU系统，其IMU容易受强震动的影响，同 样导致难以初始化，且融合后的数据容易发散甚至失效。
[0006]为此，我们提出一种无人机单目视觉里程计方法来解决现有技术中存在 的问题，使得在干扰状态下，无论低空还是高空，无人机都能实现可靠的悬 停、定位。

技术实现思路

[0007]本专利技术的目的在于提供一种无人机单目视觉里程计方法，以解决上述背 景技术中提出现有技术中对于ORBSLAM，其在高空中退化为单目系统，导致尺 度缺失，难以初始化的问题和VINS需要紧耦合的视觉+IMU系统，其IMU容易受 强震动的影响，同样导致难以初始化，且融合后的数据容易发散甚至失效的 问题。
[0008]为实现上述目的，本专利技术采用了如下技术方案：
[0009]一种无人机单目视觉里程计方法，包括如下步骤：
[0010]S1、对单目采集图像和飞控传入的姿态数据进行精确同步；
[0011]S2、在关键帧中，计算无人机正射投影点的像素坐标，作为基准坐标， 并采集基准坐标周围的图像特征块；
[0012]S3、在非关键帧中，计算无人机当前正射投影点的像素坐标，同时跟踪、 匹配基准坐标所在的图像区域块，计算正射投影点与基准坐标的像素距离；
[0013]S4、根据姿态和对地高度数据、几何模型，计算无人机相对于采集基准 坐标时刻的真实距离，作为运动里程。
[0014]优选的，步骤1中所述单目采集图像和飞控传入的姿态数据进行精确同 步的前提条件是在GNSS干扰时，无人机的航向角数据不受影响，航向角数据 通过磁罗盘传感器进行
采集，且无人机正下方为局部平面。
[0015]优选的，步骤1中所述单目采集图像和飞控传入的姿态数据在精确同步 时，无人机依靠磁罗盘的航向数据，而视觉系统仅提供无人机水平方向的位 移，在位移的计算过程中，通过计算当前帧正射投影点和基准帧中正射投影 点之间的像素距离，并根据同步的姿态数据、对地高度来恢复真实尺度，并 将里程数据转换到NED坐标系下，以此得到真实里程数据。
[0016]优选的，步骤2和步骤3中通过计算无人机当前正射投影点与基准投影 点像素坐标距离，并借助对地高度数据、同步的姿态数据来恢复真实运动距 离，实现对无人机运动里程的估计。
[0017]优选的，计算无人机当前正射投影点与基准投影点像素坐标距离的方法 包括：
[0018]对每一帧图像进行校正，对于校正后的图像(满足小孔成像模型)，结 合相机内参数(cx、cy)和俯仰(pitch)、横滚角(roll)，根据以下公式 计算其正射投影点的像素坐标：
[0019]px＝cx(1+tan(roll))
[0020]py＝cy(1+tan(pitch))
[0021]在关键帧中，选取以正射投影点为中心，大小为100*100的图像块，作 为后续待匹配的图像特征块；
[0022]在非关键帧中，通过相关滤波的跟踪方法，对关键帧的图像特征块进行 跟踪，获取其中心像素坐标(rx,ry),并分别计算x
‑
y两个方向和正射投影点 的差值rx
‑
px和ry
‑
py，即为x
‑
y两个方向的像素坐标距离。
[0023]优选的，步骤4中所述对地高度数据获取的方法为在无人机机身底部， 刚性连接一个对地激光模块，该模块以1Hz的频率向无人机发送对地测距值， 无人机飞控结合实时姿态，对该测距值进行补偿，计算对地高度。
[0024]优选的，步骤4中所述姿态数据的获取方法为嵌入式处理平台产生拍照 触发信号，该信号同时接入到相机拍照触发引脚和惯导模块的中断触发引脚， 根据相机CMOS的芯片手册，确定触发
‑
曝光延时时间t1；并在惯导模块中， 对200Hz的惯导数据进行更高频率的线性插值，根据t1值，确定输出的姿态 数据；该方法理论同步误差能达到1ms。
[0025]优选的，步骤4中所述运动里程的估计是借助对地高度数据、同步的姿 态数据来恢复真实运动距离。
[0026]优选的，所述运动里程的估计的方法包括：
[0027]A1、在系统运行后的第一帧，作为关键帧，对里程计进行初始化清零；
[0028]A2、在非关键帧中，通过rx
‑
px和ry
‑
py的值和俯仰(pitch)、横滚角 (roll)，根据相机模型、几何模型进行推导，最终化简为以下公式，以此 计算其相对于关键帧的真实位移：
[0029][0030][0031]其中，当rx
‑
px或ry
‑
py超过某阈值，则更新关键帧，进行里程的累加， 并重新计算基准坐标、采集基准坐标周围的图像特征块。
[0032]本专利技术提出的一种无人机单目视觉里程计方法，与现有技术相比，具有 以下优点：
[0033]1、本专利技术通过计算当前帧正射投影点和基准帧中正射投影点之间的像素 距离，并根据同步的姿态数据、对地高度来恢复真实尺度，并将里程数据转 换到NED坐标系下，以此得到真实里程数据，使得无人机在高空场景下，能 够较为精确的恢复里程计尺度；
[0034]2、本专利技术通过计算无人机当前正射投影点与基准投影点像素坐标距离， 并借助对地高度数据、同步的姿态数据来恢复真实运动距离，直接通过获取 对地高度数据、同步的姿态数据提供的同步数据，避免了震动影响，且融合 后的数据稳定，不会发散和失效。
附图说明
[0035]图1为本专利技术的流程框图；
[0036]图2为本专利技术的时序图；
[0037]图3为本专利技术以俯仰方向为例的几何模型图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而 不是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机单目视觉里程计方法，其特征在于：包括如下步骤：S1、对单目采集图像和飞控传入的姿态数据进行精确同步；S2、在关键帧中，计算无人机正射投影点的像素坐标，作为基准坐标，并采集基准坐标周围的图像特征块；S3、在非关键帧中，计算无人机当前正射投影点的像素坐标，同时跟踪、匹配基准坐标所在的图像区域块，计算正射投影点与基准坐标的像素距离；S4、根据姿态和对地高度数据、几何模型，计算无人机相对于采集基准坐标时刻的真实距离，作为运动里程。2.根据权利要求1所述的一种无人机单目视觉里程计方法，其特征在于：步骤1中所述单目采集图像和飞控传入的姿态数据进行精确同步的前提条件是在GNSS干扰时，无人机的航向角数据不受影响，航向角数据通过磁罗盘传感器进行采集，且无人机正下方为局部平面。3.根据权利要求2所述的一种无人机单目视觉里程计方法，其特征在于：步骤1中所述单目采集图像和飞控传入的姿态数据在精确同步时，无人机依靠磁罗盘的航向数据，而视觉系统仅提供无人机水平方向的位移，在位移的计算过程中，通过计算当前帧正射投影点和基准帧中正射投影点之间的像素距离，并根据同步的姿态数据、对地高度来恢复真实尺度，并将里程数据转换到NED坐标系下，以此得到真实里程数据。4.根据权利要求3所述的一种无人机单目视觉里程计方法，其特征在于：步骤2和步骤3中通过计算无人机当前正射投影点与基准投影点像素坐标距离，并借助对地高度数据、同步的姿态数据来恢复真实运动距离，实现对无人机运动里程的估计。5.根据权利要求4所述的一种无人机单目视觉里程计方法，其特征在于：计算无人机当前正射投影点与基准投影点像素坐标距离的方法包括：对每一帧图像进行校正，对于校正后的图像(满足小孔成像模型)，结合相机内参数(cx、cy)和俯仰(pitch)、横滚角(roll)，根据以下公式计算其正射投影点的像素坐标：px＝cx(1+tan(roll))py＝cy(1+tan(pitch))在关键帧中，选取以正射投影点为中心，大小为100*100的图像块，作为后续待匹配的图像特征块；在非关键帧中，通过相关...

【专利技术属性】
技术研发人员：李振宇，
申请(专利权)人：深圳市科卫泰实业发展有限公司，
类型：发明
国别省市：