基于平均场景深度的飞行器视觉里程计尺度估计方法技术

本发明专利技术公开了一种基于平均场景深度的飞行器视觉里程计尺度估计方法，属于飞行器定位技术领域，包括步骤：S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。本发明专利技术使得视觉里程计可以被直接应用于飞行器定位，并提高了飞行器飞行高度估算精度。精度。精度。

【技术实现步骤摘要】
基于平均场景深度的飞行器视觉里程计尺度估计方法


[0001]本专利技术涉及飞行器定位
，更为具体的，涉及一种基于平均场景深度的飞行器视觉里程计尺度估计方法。

技术介绍

[0002]飞行器(例如无人机)在执行任务时首先需要定位自身的位置，这个定位任务依赖GPS，但GPS信号在遇到遮挡物，或在军事应用中被敌方干扰时，会导致飞行器定位系统失效。飞行器GPS定位系统短暂失效时，可以继续通过视觉里程计进行定位。
[0003]目前存在许多开源的视觉里程计系统，但这些视觉里程计系统在没有惯性测量单元(IMU)时，无法估计运动轨迹的尺度，即视觉里程计系统估计的运动轨迹与真实运动轨迹之间的相对尺度变换未知，这使得视觉里程计难以被直接应用于飞行器定位。并且，飞行器飞行高度存在估算精度较低的问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于平均场景深度的飞行器视觉里程计尺度估计方法，使得视觉里程计可以被直接应用于飞行器定位和提高了飞行器飞行高度估算精度。
[0005]本专利技术的目的是通过以下方案实现的：
[0006]一种基于平均场景深度的飞行器视觉里程计尺度估计方法，包括步骤：
[0007]S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；
[0008]S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。
[0009]进一步地，步骤S1中，所述特征点检测和匹配包括子步骤：
[0010]S11，将视觉里程计系统中相机坐标系下特征点的深度z近似为飞行器在视觉里程计系统坐标下的高度，并计算视野内N个点的平均深度，N为正整数，称为平均场景深度：
[0011][0012]S12，将观测图像与卫星地图的特征点匹配；
[0013]S13，得到观测图像与卫星地图的特征点匹配后，先得到卫星地图上一个特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f通过标定得到，根据相似三角形原理，相机的高度h根据如下关系计算得到：
[0014][0015]进一步地，在步骤S1中，包括子步骤：采用多个特征点，并分别计算相机的高度h，再通过最小二乘法处理得到一个相机精确高度，记为H。
[0016]进一步地，在步骤S2中，用平均场景深度z代表飞行器在视觉里程计坐标下的高度，用卫星地图匹配计算出实际相机精确高度H，视觉里程计相对于真实世界的尺度变换则表示为：
[0017][0018]进一步地，相机被沿着光心垂直向下的方向安装。
[0019]进一步地，飞行器通过视觉里程计系统推测飞行轨迹，同时可以建立观测场景的三维点云地图。
[0020]进一步地，在步骤S12中，根据选定的卫星地图的特征点的像素位置得到它的实际坐标，进而得到它相对于相机光轴的距离。
[0021]进一步地，所述飞行器包括无人机。
[0022]本专利技术的有益效果是：
[0023]本专利技术实施例中，提供了一种在飞行器视觉定位应用中，根据视觉里程计点云地图的平均场景深度和卫星地图特征点匹配飞行器高度估计，实现计算视觉里程计到真实世界的相对尺度变换的估计方法，使得视觉里程计可以被直接应用于飞行器定位，特别是在飞行器的GPS失效后，在没有IMU的情况下，本专利技术提供的方法可以直接利用视觉里程计继续进行定位。
[0024]本专利技术实施例中，提供了一种根据卫星地图特征点匹配实现估计飞行器飞行高度的方法，提高了高度估算精度。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本专利技术实施例的观测图像与卫星地图的特征点匹配示意图；
[0027]图2为本专利技术实施例的方法步骤流程图；
[0028]图中，1
‑
卫星地图上的特征点，2
‑
卫星地图上的特征点投影在像平面上的像素点，3
‑
相机光心，4
‑
卫星地图上的特征点到相机光心的距离，5
‑
像素点距离光轴的距离，6
‑
飞行器上的相机相对于地面的实际高度，7
‑
相机焦距。
具体实施方式
[0029]本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0030]下面根据附图1～图2，对本专利技术解决的技术问题、技术构思、工作过程作进一步详细说明。
[0031]本专利技术至少解决了
技术介绍
中提出的两个技术问题，根据平均场景深度估计视觉
里程计到真实世界的尺度变换，使得飞行器在GPS失效后，在没有IMU的情况下，可以利用视觉里程计继续进行定位。
[0032]本专利技术的技术构思是这样的：通过对飞行器观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器的实际飞行高度，然后计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，从而实现视觉里程计在飞行器视觉定位中的应用。
[0033]本专利技术的工作原理和过程是这样的：飞行器在飞行过程中，相机被沿着光心垂直向下的方向安装。飞行器可以通过视觉里程计系统推测飞行轨迹，同时可以建立观测场景的三维点云地图，但视觉里程计建立的地图相对于真实世界的尺度未知。若飞行器飞行高度足够高，地面上的特征点则可假设在一个平面上，此时，视觉里程计中相机坐标系下特征点的深度z，可以近似为飞行器在视觉里程计坐标下的高度，为了使高度估计更加精确鲁棒，本专利技术计算视野内所有N个点的平均深度，称为平均场景深度：
[0034][0035]然后本专利技术通过对观测图像与卫星地图之间进行特征点匹配，来估计飞行器的实际飞行高度，高度计算原理如图1所示。图1中，1表示卫星地图上的特征点，本专利技术可以根据它的像素位置得到它的实际坐标，进而得到它相对于相机光轴的距离；2代表卫星地图上的特征点1投影在像平面上得到的像素点；3代表相机光心，4代表卫星地图上的特征点1到相机光心3的距离；5代表卫星地图上的特征点1投影在像平面上得到的像素点2距离光轴的距离，6代表飞行器上的相机相对于地面的实际高度，7代表相机焦距。得到相机图像与卫星地图的特征点匹配后，先得到卫星地图上特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f可以通过标定得到，根据相似三角形原理，相机的高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，包括步骤：S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。2.根据权利要求1所述的基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，步骤S1中，所述特征点检测和匹配包括子步骤：S11，将视觉里程计系统中相机坐标系下特征点的深度z近似为飞行器在视觉里程计系统坐标下的高度，并计算视野内N个点的平均深度，N为正整数，称为平均场景深度：S12，将观测图像与卫星地图的特征点匹配；S13，得到观测图像与卫星地图的特征点匹配后，先得到卫星地图上一个特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f通过标定得到，根据相似三角形原理，相机的高度h根据如下关系计算得到：3.根据权利要求2所述的基于平均场景深度的飞行器...

【专利技术属性】
技术研发人员：梁文斌，张波，陈齐文，姜文海，郭凯，蒋强，
申请(专利权)人：四川腾盾科技有限公司，
类型：发明
国别省市：