一种基于视觉的无人机着陆姿态估计方法技术

一种基于视觉的无人机着陆姿态估计方法，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器获取最优姿态估计；将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角。前者用于调整视场角。前者用于调整视场角。

【技术实现步骤摘要】
一种基于视觉的无人机着陆姿态估计方法


[0001]本专利技术涉及无人机，尤其是一种基于视觉的无人机着陆姿态估计方法。

技术介绍

[0002]目前无人机的姿态估计通常需要使用卫星导航系统，卫星导航系统非常适合中分辨率导航要求，具有RTK功能的更先进的单元提供几英寸量级的精度，甚至在完美的条件下提供更好的精度。然而，这种装置的性能取决于卫星的可用性、动态条件，甚至地理特征。卫星导航系统容易受到干扰，主要来自密集的云层、太阳耀斑以及如树木和建筑物等永久性障碍物，不满足细粒度导航任务的性能要求，例如无人机在跑道、直升机停机坪或网中着陆。此外，无人机经常降落在偏远地区，显然需要着陆辅助设备在不同的天气条件下准确检测跑道，迫切需要对无人机的着陆姿态进行实时监控。

技术实现思路

[0003]本专利技术为了克服现有技术方案的不足，提供了一种基于视觉的无人机着陆姿态估计方法。
[0004]为了实现上述目的，本专利技术的技术方案为：一种基于视觉的无人机着陆姿态估计方法，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器获取最优姿态估计。
[0005]控制机载摄像机的视场角或变焦，机载摄像机安装在万向架上，无论无人机的方向或位置如何，万向架都将机载摄像机的视角定向在跑道方向。
[0006]将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角。
[0007]步骤1、确定坐标系和图像几何约束,
[0008]控制机载摄像机的视场角或变焦，机载摄像机安装在万向架上，无论无人机的方向或位置如何，万向架都将机载摄像机的视角定向在跑道方向；
[0009]将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角；
[0010]步骤1包括如下步骤：
[0011]步骤1.1，归一化；
[0012]步骤1.2，建立视场角等式；
[0013]步骤2、跑道识别；
[0014]在给定图像中选择最佳二维四边形并将目标图像中的四个最终二维点与世界坐标系中的四个三维点相关联；
[0015]步骤2包括如下步骤：
[0016]步骤2.1、图像对比；
[0017]步骤2.2、聚类计算；
[0018]步骤2.3、边缘检测；
[0019]计算出梯度大小和方向后，进行如下步骤:
[0020]步骤2.3.1、确定阈值梯度大小，产生边缘候选二值图像,算法中使用10％总强度的恒定值；
[0021]步骤2.3.2、将边缘方向离散成45度的面元；
[0022]步骤2.3.3、对于来自步骤2.3.1的图像中的每个像素，如果该像素位于具有一致方向的区域中，则认为是边缘；
[0023]步骤2.4、特征检测变换；
[0024]步骤2.4、还包括如下步骤：
[0025]步骤2.4.1、将特征检测的映射初始化为全零；
[0026]步骤2.4.2、每当在图像空间中遇到非零元素时，沿着特征检测变换图中相应的正弦曲线增加值以及最强相关的线位于特征检测变换的峰值处，进行图像的特征检测变换；
[0027]步骤2.5、图像过滤；
[0028]步骤2.6、二维图像坐标到三维世界坐标的优化；
[0029]步骤3、姿态观测；
[0030]步骤4、最优姿态估计；
[0031]利用扩展卡尔曼滤波和当前姿态观测值，结合无人机姿态和动力学的先验知识，获得无人机真实姿态的近似最优估计的算法；
[0032]步骤4包括如下步骤：
[0033]步骤4.1,系统动态学；
[0034]步骤4.2，预测校正。
[0035]本专利技术与现有技术相比，其有益效果体现在：用于增强和备份基于卫星导航系统的系统，该方法可用于固定翼常规着陆、旋翼直升机停机坪着陆或固定翼网着陆。此外，它可以适用于可选驾驶无人机、飞行员训练设备，甚至其他机器人平台。使用该系统的要求是良好的照明条件、恢复目标清晰的边缘、恢复目标角落的单色标记以及恢复目标物理尺寸和位置的知识。
[0036]在实际的测试中，该方法的准确性确保了横向误差在2米以内，纵向误差在0.4米以内，随着跑道进入更大的视野，误差逐渐减小到接近0，其精度水平超过了卫星导航系统。俯仰和滚转的精度保持在0.1度以内，摆动角具有大约
‑
0.75度的一致偏差，远远优于其他方法。算法的准确性已经在一组2米宽的跑道上的得到验证，横向误差在1.2厘米以内，纵向误差在1厘米以内，当跑道进入更大视野时，高度误差表现出接近0，对于小的下滑角，高度灵敏度比横向位置灵敏度低得多，位置估计误差很小，可以归因于系统误差，该系统误差涉及在使用跟踪设备拍照时在机载摄像机上呈现不对称的力。欧拉角的误差比合成试验中的要大一些，滚转误差可达1.2度，俯仰误差可达0.6度。同样，航向角呈现出轻微的负偏差。
附图说明
[0037]图1为本专利技术的流程框图；
具体实施方式
[0038]下面结合附图与实施例对本专利技术作进一步的说明。
[0039]一种基于视觉的无人机着陆姿态估计方法，该方法用于增强或支持卫星导航系统，作为无人机着陆期间的主要导航手段，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器改进姿态估计。
[0040]该方法所提出的算法给出了比现有视觉系统更好的姿态估计。
[0041]该方法包括：
[0042]步骤1、确定坐标系和图像几何约束,
[0043]控制机载摄像机的视场角或变焦，机载摄像机安装在万向架上，无论无人机的方向或位置如何，万向架都将机载摄像机的视角定向在跑道方向。
[0044]将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角。
[0045]步骤1包括如下步骤：
[0046]步骤1.1，归一化
[0047]显示用于图像几何的约束，表明垂直和水平两个方向上视场角的约束，以及用于在垂直和水平方向上归一化区间[
‑
1，1]上的每个图像的归一化界面坐标，归一化等式如下：
[0048][0049][0050]其中，x
ndc
为归一化界面x坐标，y
ndc
为归一化界面y坐标，x
img
为图像x坐标，y
img
为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的无人机着陆姿态估计方法，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器获取最优姿态估计；将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角；步骤1、确定坐标系和图像几何约束,步骤1包括如下步骤：步骤1.1，归一化；步骤1.2，建立视场角等式；步骤2、跑道识别；在给定图像中选择最佳二维四边形并将目标图像中的四个最终二维点与世界坐标系中的四个三维点相关联；步骤2包括如下步骤：步骤2.1、图像对比；步骤2.2、聚类计算；步骤2.3、边缘检测；计算出梯度大小和方向后，进行如下步骤:步骤2.3.1、确定阈值梯度大小，产生边缘候选二值图像,算法中使用10％总强度的恒定值；步骤2.3.2、将边缘方向离散成45度的面元；步骤2.3.3、对于来自步骤2.3.1的图像中的每个像素，如果该像素位于具有一致方向的区域中，则认为是边缘；步骤2.4、特征检测变换；步骤2.4还包括如下步骤：步骤2.4.1、将特征检测的映射初始化为全零；步骤2.4.2、每当在图像空间中遇到非零元素时，沿着特征检测变换图中相应的正弦曲线增加值以及最强相关的线位于特征检测变换的峰值处，进行图像的特征检测变换；步骤2.5、图像过滤；步骤2.6、二维图像坐标到三维世界坐标的优化；步骤3、姿态观测；步骤4、最优姿态估计；利用扩展卡尔曼滤波和当前姿态观测值，结合无人机姿态和动力学的先验知识，获得无人机真实姿态的近似最优估计的算法；步骤4包括如下步骤：步骤4.1,系统动态学；步骤4.2，预测校正。2.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤1.1具体为：
显示用于图像几何的约束，表明垂直和水平两个方向上视场角的约束，以及用于在垂直和水平方向上归一化区间[
‑
1，1]上的每个图像的归一化界面坐标，归一化等式如下：其中，x
ndc
为归一化界面x坐标，y
ndc
为归一化界面y坐标，x
img
为图像x坐标，y
img
为图像y坐标，w为图像宽度，h为图像高度。3.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤1.2具体为：建立x和y方向的视场角等式，其中，fov
x
为图像x方向上的机载摄像机视场角，fov
y
图像y方向上的机载摄像机视场角，d为分隔近平面和远平面的距离，y方向上的视场根据x方向上的视场和图像纵横比来求解，如下所示，其中，为图像纵横比。4.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.1具体为：基于感兴趣的颜色从目标图像计算高对比度图像，生成两个和方误差图像，一个和方误差来自目标标记颜色，一个和方误差来自目标边缘颜色；计算图像I中由<r，g，b>定义的目标颜色的和方误差，如下所示：其中，表示第i行第j列像素的目标整体颜色的和方误差，表示第i行第j列像素的红色分量，表示第i行第j列像素的绿色分量，表示第i行第j列像素的蓝色分量，r，g，b为分别为图像I整体红色、绿色和蓝色的均值。5.根据权利要求4所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.2具体为：根据步骤2.1确定目标图像，并找出目标图像的哪些像素属于连续的候选标记，并返回每个结果聚类的中心坐标，聚类的子集将以二维屏幕坐标呈现，其坐标被映射到三维世界坐标并被传递给姿态估计器，有以下输入:来自目标标记颜色的图像阈值，聚类的搜索半径，输出一组具有x和y图像空间坐标的聚类；对目标图像进行阈值化，迭代通过每个超过阈值的像素，如果该像素在一个聚类的附近，在该聚类中任何其他像素的搜索半径内，则该像素被添加到该聚类，如果该像素不属于
现有的聚类，则创建一个新的聚类，其中像素是唯一的成员，像素都从阈值集中按照阈值集中移除，计算每个聚类的平均值。6.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.3具体为：边缘检测定位目标图像，边缘检测依靠目标图像的梯度大小和梯度方向来定位边缘，将高斯与导数结合使用，边缘检测的输入是高斯算子使用的标准偏差值、线强度使用的最小阈值以及目标图像本身，二维高斯函数G(x,y)由如下等式给出：其中，分别为高斯平滑器在x、y方向的标准偏差，取x和y的偏导数，得到如下等式：其中，G
x
(x,y)，G
y
(x,y)分别为二维高斯函数G(x,y)在x、y偏导函数，将图像I(x,y)与由G(x,y)的两个偏导数生成的图像进行卷积，以生成x方向和y方向上的图像梯度，卷积由如下等式给出，的图像梯度，卷积由如下等式给出，其中，*表示卷积，为傅里叶变换，ω、υ分别为与x,y向对应的傅立叶变换中的频率,分别对x和y方向上的二维高斯偏导数进行傅里叶变换得到等式，如下所示，得到等式，如下所示，总梯度大小I
GM
(x,y)和梯度方向I
GD
(x,y)由如下等式给出，I
GD
(x,y)＝arctan2((I(x,y)*G
y
(x,y)，(I(x,y)*G
x
(x,y))。7.根据权利要求6所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.4具体为：对步骤2.3边缘检测的输出执行特征检测变换，特征检测变换针对二进制图像，并返回一个图像，该图像指示图像中特征最显著的线的位置，通过将图像空间中的每个点视为特征检测空间中的正弦曲线来处理，特征检测空间中具有许多正弦曲线交点的区域对应于图像空间中的强相关线，图像空间中的点到特征检测空间中的正弦曲线的映射由如下等式给
出：ρ＝xcosφ+ysinφ，其中，ρ为特征检测变换中的半径，φ为特征检测变换中的角方向。8.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤3具体为：根据二维四边形和相应的三维几何形状估计欧拉角和局部位置，姿态观测算法负责获取姿态的初始估计值、机载摄像...

【专利技术属性】
技术研发人员：丁莹莹，赵云昌，
申请(专利权)人：丁莹莹，
类型：发明
国别省市：