基于地面合作标志的无人机助降视觉引导方法及机载系统技术方案

本发明专利技术公开了一种基于地面合作标志的无人机助降视觉引导方法及机载系统，属于飞行导航控制领域。利用至少4个圆形发光体排列为具有方向性的地面合作标志，预定着陆位置设定在其中顶点灯前方。无人机在预定高度悬停，检测机载摄像头每帧图像中每个高亮区域并判断其是否为一个圆形发光体，然后根据圆形发光体的数量及各圆形发光体之间的排列关系，与目标库中预存的地面合作标志特征进行对比和识别，获得顶点灯位置及预定着陆位置，控制无人机朝向该预定着陆位置下降飞行并同时进行目标预测和跟踪。本发明专利技术地面合作标志布置约束少灵活性大且支持多种标志以引导不同着陆位置，有效提高无人机助降引导效率和可靠性且不受GPS限制。

【技术实现步骤摘要】

本专利技术涉及一种无人机助降视觉引导方法及机载系统，具体地涉及具有地面合作标志点的无人机视觉引导方法及机载系统。属于飞行导航控制领域。
技术介绍
无人机(Unmanned aerial vehicle)与载人飞机相比，具有重量轻、人员伤亡风险小、机动性好、机舱设计简单等特点，除了在军事上的应用前景，其在民用领域也逐渐显露头角。无人机导航技术主要包括惯性导航、雷达导航、GPS导航、微波导航和视觉导航等。其中，随着计算机视觉和图像采集技术、光学测量技术、高速实时处理及存储技术的发展，基于视觉信息的导航技术近年成为研究热点，并具有设备简单、功耗低、体积小、自主无源等优点，并且不依赖地面和空中的导航设备，尤其是不受制于GPS限制(GPS导航系统利用导航卫星进行导航定位，存在信号易受干扰、分辨精度和技术垄断等问题)。在电子对抗方面具有较大优势。着陆导航是无人机飞行中的重要阶段，因进场着陆受飞行高度、气象和地理环境等诸多因素的影响，精确可靠自动化的助降方法成为无人机技术中的关键研究内容之一。按照摄像机安装位置的不同，可把视觉助降系统分为：基于地基信息的无人机着陆导航系统、基于人工标志物的机载着陆导航系统和基于自然场景的机载着陆导航系统。地基助降系统通过地面已经标定号的摄像设备同步拍摄无人机图像，提取特征点或合作标志，计算位置和姿态并反馈给控制系统控制着陆，如西北工业大学张艳宁等人提出的基于视觉的无人机自主着陆导引装置及导引方法(申请号201410436145.6)，测量相机布置在跑道两侧，强光标志灯布置在无人机正前方，通过测量无人机三维空间位置信息求解飞行参数并无线发送给无人机飞控系统引导自主着陆，此类方法，对地面工作要求较高且计算方法复杂还需要地面与无人机进行无线通信，使得电子对抗性和飞控可靠性降低。基于自然场景的机载着陆导航系统如清华大学王冠林和朱纪洪提出一种基于自然地标和视觉导航的无人直升机自主着陆方法(申请号201010623599.6)，利用地面自然地标锁定目标控制无人机悬停在该自然地标上空任何在高度计引导下进行下降至着陆，该方法并未说明如何判别自然地标的特征，而且是垂直下降，对于自然地标周围环境没有在文中进行限定，无法保证着陆地点的安全性。机载助降系统通过安装在无人机上的摄像机获得地面引导标志的图像，通过位姿估计测算无人机飞行状态和相对于着陆点的位置和方位，经控制系统实施助降引导。机载助降系统中的地面引导标志大多采用地面信号布，即视觉导航机载助降系统通常需要地面实现铺设具有特殊形状的着陆指示信号布作为地面合作标志。无人直升机通过识别信号布的图像的特征，修正自身的水平位移和航向。国内外相关研究机构在视觉助降方面的研究集中于选择着陆指示信号布所包含的地面合作标志形状、利用视觉图像几何参数等信息解算无人机位置姿态，获得导航定位参数。合作目标检测算法应具有较高的实时性和抗噪声特性，设计合作目标要求该标志包含足够的信息使得计算机视觉系统可以利用这些信息提取无人机自主着陆所需的相对位置和姿态信息，且该标志应容易识别，容易与其他物体和环境进行区分，同时当然也希望图案比较简单，以便提升视觉引导系统的处理速度。现有的降落坪地面合作标志大多为形状规则的多边形组合、H型、L型、T型或圆形，其共同点是均设计成对比鲜明的黑白色，以便于在图像的二值化处理中可以把地标特征提取出来。光线、环境及摄像头质量等均会对黑白标志物在图像中所对应的像素点的灰度值造成不同程度的变化，使得黑色部分灰度值降低，白色部分灰度值升高，二者差异缩小。目前已有的合作标志视觉引导方法包括基于角点特征的检测方法，此类标志大多采用矩形和直线组合元素，但是对边缘提取算法的依赖性较大；基于圆特征的检测方法，其中张远民等涉及了六个圆组成的特征图案，其中外层三角形的一个顶点是圆环用来指示降区的方位，通过圆形区域方法和模板匹配方法识别圆形，但效果没有采用角点的方法准确。而后还有基于角点和圆特征混合的检测方法，但无疑增加了运算量影响了实时性。此外还有基于不变矩的目标检测方法，如美国南加州大学提出的“H”形合作标志，以及南京航空航天大学徐贵力等提出的“T”形合作标志，虽然准确性可靠性有一定提升但是不变矩的计算相对复杂。其他算法还包括模板匹配检测算法、基于统计分类的机器学习方法等，均受制于运算量和系统稳定性。有些合作标志涂覆有红外涂料，如北京航空航天大学李红光等人提出的一种无人机自主着舰的合作目标设计与定位方法(申请号201310125318.8)，在舰船跑道两侧设置三个涂有红色红外涂料的“T”形合作标志，并且“T”形的两条边遵从一定的比例，采用机载红外摄像机拍摄地面合作标志图像，并进行特征提取和定位，同时还要确定舰船的运动状态，确定无人机着舰的精确位置。又如南京航空航天大学徐贵力等人提出的无人机自主着陆的合作目标识别方法(ZL200510095085.7)，利用基于目标轮廓的方向链码提取十字形地面合作目标的长宽比，通过目标形状特征确定无人机自主着陆方向。此外，还有如北京航空航天大学雷旭升等人提出的一种基于三层品字形多色降落坪的旋翼无人机自主起降系统(申请号201410089860.7)，采用了多层嵌套的彩色的品字形视觉标志作为降落标志，该系统通过地面监控站与无人机通信，通过无线图像传输模块将机载摄像头捕获的降落坪图像发送到地面监控站，并由地面监控站的视觉处理单元进行图像解算，得到视觉导航信息，再经过无线数据传输模块发送到机载系统。此类方法无疑增加了对降落地点和应用场合的限制，无线传输也使得系统的可靠性下降。还有将图形对象识别和基于无线信号强度测距相结合来控制飞行器降落的方法，如深圳市大疆创新科技有限公司申请号为201410234164.0的专利技术申请，而在本专利技术中则无需估算与信号源之间的距离。
技术实现思路
为了构建一种准确可靠的无人机助降方法，本专利技术利用至少4个圆形发光体布设为地面合作标志，并利用机载摄像头拍摄图像的静态特征及动态特征识别，提出一种基于地面合作标志点识别的无人机助降视觉引导方法，包括如下步骤：步骤1：布设地面合作标志所述地面合作标志包括至少4个实心圆形发光体并分别编号，每个圆形发光体的直径至少为300mm，各圆形发光体形心之间的距离至少为圆形发光体半径的3倍；这些圆形发光体固定于地面深色背景上，并使这些圆形发光体所组成的形状从空中看具有方向性，即当这些圆形发光体所组成的形状进行平行于<本文档来自技高网...

【技术保护点】
一种基于地面合作标志的无人机助降视觉引导方法，其特征在于，包括如下步骤：步骤1：布设地面合作标志所述地面合作标志包括至少4个实心圆形发光体并分别编号，每个圆形发光体的直径至少为300mm，各圆形发光体形心之间的距离至少为圆形发光体半径的3倍；这些圆形发光体固定于地面深色背景上，并使这些圆形发光体所组成的形状从空中看具有方向性，即当这些圆形发光体所组成的形状进行平行于地面的整体旋转时，各圆形发光体不发生编号混淆；令这些圆形发光体中位于外围的一个圆形发光体作为顶点灯；预定着陆位置设定在顶点灯前方，且预定着陆位置到顶点灯的距离大于其到其他各圆形发光体的距离，且预定着陆位置与顶点灯边缘之间的距离大于无人机机身最大长度；每个预定着陆位置对应一个特定的地面合作标志，该地面合作标志包括特定数量和排列关系的圆形发光体；建立目标库，在目标库中预先存储各地面合作标志所包含的圆形发光体数量、各圆形发光体的半径和编号、各圆形发光体之间的排列关系，此外还包括顶点灯编号、预定着陆位置与顶点灯之间的位置关系；机载摄像头设置在无人机上，机载摄像头的光轴保持下视；步骤2：无人机在预定高度悬停，启动助降引导，将置信度初始化为0，目标跟踪标志初始化为0，潜在发光体目标个数即待识别的发光体数量初始化为0；持续检测判断地面是否有潜在的地面合作标志，方法如下：对机载摄像头所拍摄的每帧图像，检测其中高亮的像素，并将相邻的高亮像素合并为高亮区域；将这些高亮区域作为潜在的发光体目标，即认为可能是地面合作标志中的一个发光体；步骤3：目标静态识别：对步骤2机载摄像头所拍摄的图像，提取该帧图像中每个潜在发光体目标的静态特征，包括各潜在发光体目标的周长、半径、面积、形心位置，并判断其是否为一个圆形发光体：若判定此发光体为一个圆形发光体，则更新潜在发光体目标个数；若判定不是一个圆形发光体，否则认为该潜在发光体目标为干 扰；直到对该帧图像中的每个潜在发光体目标都完成判定；步骤4：获得预定着陆位置：步骤4.1：对步骤3获得的各圆形发光体的静态特征与步骤1所建立的目标库中预存的地面合作标志特征进行对比，以判定是否为同一目标；所述目标静态特征指圆形发光体的数量及各圆形发光体之间的排列关系：判断方法为：(1)根据步骤3获得当前图像中的潜在发光体目标个数，与目标库中预存的各地面合作标志所包含的圆形发光体数量进行对比，选择与步骤3获得的潜在发光体目标个数相等的地面合作标志作为待匹配目标；若没有数量相等的预存地面合作标志，则返回步骤2重新检测地面合作标志；(2)将待匹配目标和步骤3获得的各发光体的静态特征进行对比，判断是否为同一目标；步骤4.2：若是同一目标，则根据目标库中预存的信息获得顶点灯编号和位置，即获得顶点灯的形心横纵坐标，并获得各圆形发光体的编号，且将目标跟踪标志设置为1，置信度设置为T；根据当前帧获得的顶点灯的形心位置坐标及目标库中预存的该地面合作标志所对应的预定着陆位置与顶点灯的位置关系，获得预定着陆位置坐标；若不是同一目标，则返回步骤2重新检测地面合作标志；步骤5：判断目标跟踪标志是否等于1；若目标跟踪标志等于1，根据无人机当前机身状态参数和步骤4获得的预定着陆位置，计算该预定着陆位置与摄像机光轴的俯仰偏差、方位偏差，并发送给无人机的飞行状态控制器，以控制无人机朝向该预定着陆位置下降飞行，并且机载摄像头实时从空中采集该地面合作标志的图像；无人机当前机身状态参数包括偏航、俯仰、滚转参数；若目标跟踪标志不等于1，则返回步骤2重新检测地面合作标志；步骤6：在无人机下降过程中进行目标预测和跟踪：无人机下降过程中对机载摄像头拍摄的每帧图像按照下述方法计算一次所有观测值及其相应的预测值，并进行相关性判定：步骤6.1：流水缓存机载摄像头拍摄的连续N帧图像，N最低要求3帧， 每帧图像的观测值为地面合作标志所包括的全部M个圆形发光体的每个圆形发光体的面积、平均灰度以及形心位置横纵坐标，采用二元线性回归方法根据这N帧的观测值对下一帧即第(N+1)帧图像中的每个圆形发光体的面积、平均灰度以及形心位置坐标进行预测，即获得第(N+1)帧中地面合作标志的第i个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置；步骤6.2：相关性判断：从第(N+1)帧开始，对当前帧的每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置的观测值与步骤6.1给出的该帧相应预测值进行相关性判断，当该帧的各观测值与相应预测值误差均小于预定门限K时，则认为该帧满足相关性条件；否则认为不满足相关条件；步骤6.3：当该帧不满足相关性条件时，将当前置信度减1；并且将该帧的所有4M个观测值，包括每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置，均用该帧相应的预测值代替，用于步骤6.4获得顶点灯位置，以及再次迭代获得下...

【技术特征摘要】
1.一种基于地面合作标志的无人机助降视觉引导方法，其特征在于，包括如下步骤：
步骤1：布设地面合作标志
所述地面合作标志包括至少4个实心圆形发光体并分别编号，每个圆形发光体的直径至少为300mm，各圆形发光体形心之间的距离至少为圆形发光体半径的3倍；这些圆形发光体固定于地面深色背景上，并使这些圆形发光体所组成的形状从空中看具有方向性，即当这些圆形发光体所组成的形状进行平行于地面的整体旋转时，各圆形发光体不发生编号混淆；
令这些圆形发光体中位于外围的一个圆形发光体作为顶点灯；预定着陆位置设定在顶点灯前方，且预定着陆位置到顶点灯的距离大于其到其他各圆形发光体的距离，且预定着陆位置与顶点灯边缘之间的距离大于无人机机身最大长度；
每个预定着陆位置对应一个特定的地面合作标志，该地面合作标志包括特定数量和排列关系的圆形发光体；
建立目标库，在目标库中预先存储各地面合作标志所包含的圆形发光体数量、各圆形发光体的半径和编号、各圆形发光体之间的排列关系，此外还包括顶点灯编号、预定着陆位置与顶点灯之间的位置关系；
机载摄像头设置在无人机上，机载摄像头的光轴保持下视；
步骤2：无人机在预定高度悬停，启动助降引导，将置信度初始化为0，目标跟踪标志初始化为0，潜在发光体目标个数即待识别的发光体数量初始化为0；
持续检测判断地面是否有潜在的地面合作标志，方法如下：
对机载摄像头所拍摄的每帧图像，检测其中高亮的像素，并将相邻的高亮像素合并为高亮区域；将这些高亮区域作为潜在的发光体目标，即认为可能是地面合作标志中的一个发光体；
步骤3：目标静态识别：
对步骤2机载摄像头所拍摄的图像，提取该帧图像中每个潜在发光体目标的静态特征，包括各潜在发光体目标的周长、半径、面积、形心位置，并判断其是否为一个圆形发光体：若判定此发光体为一个圆形发光体，则更新潜在发光体目标个数；若判定不是一个圆形发光体，否则认为该潜在发光体目标为干 扰；直到对该帧图像中的每个潜在发光体目标都完成判定；
步骤4：获得预定着陆位置：
步骤4.1：对步骤3获得的各圆形发光体的静态特征与步骤1所建立的目标库中预存的地面合作标志特征进行对比，以判定是否为同一目标；所述目标静态特征指圆形发光体的数量及各圆形发光体之间的排列关系：判断方法为：
(1)根据步骤3获得当前图像中的潜在发光体目标个数，与目标库中预存的各地面合作标志所包含的圆形发光体数量进行对比，选择与步骤3获得的潜在发光体目标个数相等的地面合作标志作为待匹配目标；若没有数量相等的预存地面合作标志，则返回步骤2重新检测地面合作标志；
(2)将待匹配目标和步骤3获得的各发光体的静态特征进行对比，判断是否为同一目标；
步骤4.2：若是同一目标，则根据目标库中预存的信息获得顶点灯编号和位置，即获得顶点灯的形心横纵坐标，并获得各圆形发光体的编号，且将目标跟踪标志设置为1，置信度设置为T；根据当前帧获得的顶点灯的形心位置坐标及目标库中预存的该地面合作标志所对应的预定着陆位置与顶点灯的位置关系，获得预定着陆位置坐标；
若不是同一目标，则返回步骤2重新检测地面合作标志；
步骤5：判断目标跟踪标志是否等于1；若目标跟踪标志等于1，根据无人机当前机身状态参数和步骤4获得的预定着陆位置，计算该预定着陆位置与摄像机光轴的俯仰偏差、方位偏差，并发送给无人机的飞行状态控制器，以控制无人机朝向该预定着陆位置下降飞行，并且机载摄像头实时从空中采集该地面合作标志的图像；无人机当前机身状态参数包括偏航、俯仰、滚转参数；
若目标跟踪标志不等于1，则返回步骤2重新检测地面合作标志；
步骤6：在无人机下降过程中进行目标预测和跟踪：
无人机下降过程中对机载摄像头拍摄的每帧图像按照下述方法计算一次所有观测值及其相应的预测值，并进行相关性判定：
步骤6.1：流水缓存机载摄像头拍摄的连续N帧图像，N最低要求3帧， 每帧图像的观测值为地面合作标志所包括的全部M个圆形发光体的每个圆形发光体的面积、平均灰度以及形心位置横纵坐标，采用二元线性回归方法根据这N帧的观测值对下一帧即第(N+1)帧图像中的每个圆形发光体的面积、平均灰度以及形心位置坐标进行预测，即获得第(N+1)帧中地面合作标志的第i个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置；
步骤6.2：相关性判断：
从第(N+1)帧开始，对当前帧的每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置的观测值与步骤6.1给出的该帧相应预测值进行相关性判断，当该帧的各观测值与相应预测值误差均小于预定门限K时，则认为该帧满足相关性条件；否则认为不满足相关条件；
步骤6.3：当该帧不满足相关性条件时，将当前置信度减1；并且将该帧的所有4M个观测值，包括每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置，均用该帧相应的预测值代替，用于步骤6.4获得顶点灯位置，以及再次迭代获得下一帧的预测值，所述的预测值是根据前N帧观测值进行步骤6.1二元线性回归预测获得的；
当该帧满足相关性条件时，将当前置信度更新为设定值T；使用该帧的所有4M个观测值，用于步骤6.4获得顶点灯位置，以及再次迭代获得下一帧的预测值；
步骤6.4：当置信度大于0时，将当前目标跟踪标志设置为1；则根据当前帧观测值中的顶点灯的形心位置坐标及目标库中预存的该地面合作标志中顶点灯与预定着陆位置之间的关系，计算预定...

【专利技术属性】
技术研发人员：史彩成，解乃林，史其存，李秀珍，辛怡，李勤，
申请(专利权)人：史彩成，
类型：发明
国别省市：北京;11