一种基于单目视觉系统的多尺度空‑地参数自动标定方法技术方案

本发明专利技术提出了一种基于单目视觉的小型飞行器多尺度空‑地参数自动标定方法。本发明专利技术以自制的由深色纸板拼接成的标定板为标定工具，经过二值化、边缘提取、轮廓查找、轮廓最小外接矩形计算、噪声过滤等一系列处理算法，从采集的图像数据中提取出属于标定板的特征点，得到实际距离与像素个数的比值，并结合气压计测得的飞机飞行高度，用光滑的曲线将这些点连接起来，最终得到空‑地多参数关系的函数曲线。本发明专利技术创新点在于采用深色卡纸作为标定设备，可快速实现飞行器飞行高度、地面物体几何参数、图像分辨率三个相互关联的空‑地参数的在线标定，为多传感器信息融合奠定基础。

【技术实现步骤摘要】

本专利技术属于无人机自主环境感知
，涉及到一种小型飞行器基于机载单目视觉系统的多尺度空-地参数自动标定方法。
技术介绍
视觉传感器是无人机实现环境感知的主要设备之一，其具有实时采集图像功能。无人机基于机载单目视觉可实现航拍、目标检测、跟踪以及场景理解等功能，实现无人机上述功能，必须首先完成基于单目视觉的多尺度空-地参数的自动标定。文献(WangIH,DobrokhodovVN,KaminerII,etal.“Onvision-basedtargettrackingandrangeestimationforsmallUAVs”.ProceedingsofAIAAGuidance,NavigationandControlConference.2005)提出了一种小型飞行器基于单目视觉的地面移动目标实时检测与跟踪算法，为了给出被跟踪地面目标的运动轨迹，该系统假设飞机与地面目标的相对距离为事先给定的规定值。但如果无人飞行高度是实时变化的，那么该系统将不能计算出地面目标的运动信息。实际飞行中的无人机高度总处于不断变化中，为了在这种工作条件下仍能完成地面目标参数的估计，文献(毛昭军，汪德虎，姿态测量/激光测距的无人机目标定位模型，火力与指挥控制，2003年05期)通过激光传感器以某一固定脉冲间隔对目标连续测距，并将测距数据与无人机的位姿信息(航向角、倾斜角、俯仰角)相融合来建立定位数学模型，从而完成对地面目标的精准定位。但由于并未提供可行的标定方法来提供飞行高度、目标几何参数以及图像分辨率三者之间的具体对应关系，因此无法用于地面目标参数的在线估计。为了获取地面物体的尺寸信息，文献(StefanikKV,GassawayJC,KochersbergerK,etal.“UAV-basedstereovisionforrapidaerialterrainmapping.”GIScience&RemoteSensing,2011,48(1):24-49.)采用基于视差原理的双目视觉系统来获取被测物体的双目视觉图像，并通过计算图像对应点间的位置偏差来估计地面物体的三维几何信息。该方法可以准确提取目标物体的空间参数，但由于双目视觉系统质量大且性价比低，并不适用于载荷有限的近地面小型飞行器。无人机要准确计算地面物体(例如车辆、树木)的空间参数或地面环境参数(如道路、河道宽度)，必须要解决对地面特定目标信息的在线估计问题。该问题的本质是提供一种可行的标定方法来获得飞行器飞行高度、地面物体几何参数、图像分辨率三者之间的关系。为了实现这一功能，本专利技术提出了一种基于单目视觉的小型飞行器多尺度空-地参数自动标定方法，从而为无人机基于单目视觉的目标检测、在线跟踪及场景理解提供技术保障。
技术实现思路
为解决现有技术的不足，本专利技术提供一种基于单目视觉的小型飞行器多尺度空-地参数标定方法。本专利技术以小型飞行器作为运动载体，以单目视觉传感器以及气压传感器作为测量装置，以机载计算机作为数据收集及处理平台，完成飞行器飞行高度、地面物体几何参数、图像分辨率三个相互关联的空-地参数的在线标定。本专利技术的技术方案为：采用自制的标定板为标定工具，视觉传感器在空中对地面环境进行图像采集得到序列图像，微型计算机根据接收到的图像数据，对图像数据进行二值化、边缘提取和查找轮廓、计算最小外接矩形等预处理；以预处理后的图像为基础，进行去噪处理，提取出属于标定板的特征点，识别出标定板后，得到标定板的内外矩形长度和宽度的像素个数；微型计算机接受飞行器上气压传感器测得的飞行高度数据，在图像中描绘出像素个数与实际距离的比值和飞机飞行高度的关系曲线，由曲线便可以得到地面物体几何参数数据，完成小型飞行器多尺度空-地参数自动标定，其中图像分辨率能够影响地面物体几何参数数据。技术方案具体包括以下步骤：第一步，制作标定板，对图像进行数据采集针对视觉传感器图像采集特性，选用深色材料，自主设计回形标定板，标定板的内外边框的长宽比相同，便于后续标定板角点的识别，标定板样式如图1所示；通过小型飞行器上的单目视觉传感器采集标定板及标定板附近图像信息，每一个图像像素对应一个灰度值，用整型数字0到255表示，系统通过图像处理，可识别出标定板上内外边缘的八条线段，保证了算法的鲁棒性和结果的准确性。第二步，通过机载单目视觉传感器采集图像信息，对图像信息进行预处理2.1对采集的图像信息按公式(1)进行二值化预处理，将标定板突显出来，得到二值化图像其中，g′i为二值化后的像素灰度值，是单幅图像所有像素点的灰度均值，kg为灰度调节阈值。图2为采集到的图像数据示意图，图3为该图像数据二值化后的结果。2.2利用Canny算子对二值化图像进行边缘提取由于使用Canny算子时会检测到图像真实边缘，伪边缘基本会被排除掉。通过Canny算子提取的图像边缘准确，对边缘不会造成双重检测。首先，利用环形二维高斯函数对图像进行平滑处理，令f(x，y)表示待处理图像，G(x，y)表示高斯函数，用G(x，y)和f(x，y)的卷积形成一幅平滑后的图像fs(x，y)：fs(x，y)＝G(x，y)*f(x，y)(3)最后，计算梯度值和方向角：其中，x表示沿横坐标方向的像素位置：y表示沿纵坐标方向的像素位置；M(x，y)表示梯度值；α(x，y)表示方向角。对方向角和梯度值设定阈值进行边缘提取，得到二值化图像若干边缘轮廓。为了保留局部梯度最大的点，需要抑制非极大值，设置双阈值对边缘进行检测连接。图3为提取轮廓后的示意图。2.3查找轮廓，计算最小外接矩形对第二步2.2得到的若干边缘轮廓进行轮廓的查找，用如下算法实现：先查找轮廓上两个最远的点，然后将两个点连成一个线段，接着查找轮廓上到线段距离最远的点，将查找到的最远的点与之前的两个点相连，得到新轮廓，算法反复迭代，不断将最远的点添加到轮廓中，直到所有的点到多边形的最短距离小于某一特定值(特定值为具体人为设定的像素个数)，得到轮廓上若干个点。步骤如图4所示。将查找到的轮廓上的若干个点两两组合，将每个组合中的两个点连接起来，保留连线可以把其余点分成两边的组合，接着分别查找两边距连线最远的点，且保证由这四个点围成的外接矩形可包围轮廓上所有的点。筛选出满足上述条件的多个矩形，接着查找面积最小的矩形，即轮廓的最小外接矩形。图5为框选出最小外接矩形后的示意图。第三步，标定板识别对第二步2.3得到多个轮廓的最小外接矩形，把这些矩形轮廓信息存储起来，根据被保留的最小外接矩形的长宽比、矩形的周长比、矩形的中心点关系进行筛选。根据所述矩形长宽比m:n设置长宽比阈值区间(m+k):n到m:(n-k)，k的取值区间为对矩形的长宽比进行筛选；接着将筛选出的矩形轮廓两两组合，根据所述矩形周长比a:b设置周长比阈值区间(a+c):b到a:(b-c)，c的取值区间为对矩形的周长比进行筛选；最后以两个矩形的中心点关系进行筛选，即因为标定板的内外矩形的中心点是相同的，分别计算两个矩形的中心点，并将两本文档来自技高网...

【技术保护点】
一种基于单目视觉系统的多尺度空‑地参数自动标定方法，其特征在于，包括以下步骤：第一步，制作回形标定板；第二步，通过机载单目视觉传感器采集标定板及标定板附近图像信息，对图像信息进行预处理；2.1对图像信息按公式(1)进行二值化预处理，突显出标定板，得到二值化图像；其中，g′i为二值化后的像素灰度值，是单幅图像所有像素点的灰度均值，kg为灰度调节阈值；2.2利用Canny算子对二值化图像进行边缘提取；利用环形二维高斯函数对二值化图像进行平滑处理，令f(x，y)表示待处理图像，G(x，y)表示高斯函数，G(x，y)和f(x，y)的卷积得到平滑后的图像fs(x，y)：fx(x，y)＝G(x，y)*f(x，y)          (3) 由公式(4)和公式(5)计算梯度值和方向角，对梯度值和方向角设定阈值进行边缘提取，得到二值化图像若干边缘轮廓；其中，x表示沿横坐标方向的像素位置：y表示沿纵坐标方向的像 素位置；M(x，y)表示梯度值；α(x，y)表示方向角；2.3查找轮廓，计算最小外接矩形；对第二步2.2得到的若干边缘轮廓进行轮廓查找：查找轮廓上两个距离最远的点，将两个点连成线段；查找轮廓上到该线段距离最远的点，将查找到的最远的点与之前的两个点相连，得到新轮廓；算法反复迭代，不断将最远的点添加到轮廓中，直到所有的点到多边形的最短距离小于某一特定值，得到轮廓上若干个点，其中特定值为人为设定的像素个数；将查找到的轮廓上的若干个点两两组合，将每个组合中的两个点连接起来，保留连线可以把其余点分成两边的组合；分别查找两边距连线最远的点，这四个点围成的外接矩形可包围轮廓上所有的点；筛选出满足上述条件的多个矩形，查找面积最小的矩形，即轮廓的最小外接矩形；第三步，标定板识别由最小外接矩形的长宽比、矩形的周长比、矩形的中心点关系对第二步2.3得到多个轮廓的最小外接矩形进行筛选；首先，对矩形的长宽比进行筛选，所述矩形长宽比m:n，设置长宽比阈值区间(m+k):n到m:(n‑k)，其中k的取值区间为其次，对矩形的周长比进行筛选，将筛选出的矩形轮廓两两组合，所述矩形周长比a:b，设置周长比阈值区间(a+c):b到a:(b‑c)，其中c的取值区间为最后，以两个矩形的中心点关系进行筛选，分别计算两个矩形的中心点，将两个中心点距离为d个 像素之内的矩形组合保留下来，d的取值区间为[5，10]；当满足条件的矩形组合有且只有一组时，记录为一组有效数据，完成标定板的识别，得到标定板内外矩形长度、宽度的像素个数，计算图像数据中像素个数与实际距离的比值；第四步，小型飞行器多尺度空‑地参数标定将所述图像信息划分为不同区域，根据单目视觉传感器到所分区域平均距离不同将各个区域划分为不同类型，计算标定板的中心点所在区域类型；通过机载气压传感器得到飞行高度数据，以飞行高度数据为横坐标，以像素个数与实际距离的比值为纵坐标，得到飞行高度数据、像素个数与实际距离比值两者的关系曲线图，由曲线得到地面物体几何参数数据，完成小型飞行器多尺度空‑地参数自动标定。...

【技术特征摘要】
1.一种基于单目视觉系统的多尺度空-地参数自动标定方法，其特征在于，包括以下步骤：
第一步，制作回形标定板；
第二步，通过机载单目视觉传感器采集标定板及标定板附近图像信息，对图像信息进行预处理；
2.1对图像信息按公式(1)进行二值化预处理，突显出标定板，得到二值化图像；
其中，g′i为二值化后的像素灰度值，是单幅图像所有像素点的灰度均值，kg为灰度调节阈值；
2.2利用Canny算子对二值化图像进行边缘提取；
利用环形二维高斯函数对二值化图像进行平滑处理，令f(x，y)表示待处理图像，G(x，y)表示高斯函数，G(x，y)和f(x，y)的卷积得到平滑后的图像fs(x，y)：
fx(x，y)＝G(x，y)*f(x，y)(3)
由公式(4)和公式(5)计算梯度值和方向角，对梯度值和方向角设定阈值进行边缘提取，得到二值化图像若干边缘轮廓；
其中，x表示沿横坐标方向的像素位置：y表示沿纵坐标方向的像素位置；M(x，y)表示梯度值；α(x，y)表示方向角；
2.3查找轮廓，计算最小外接矩形；
对第二步2.2得到的若干边缘轮廓进行轮廓查找：查找轮廓上两个距离最远的点，将两个点连成线段；查找轮廓上到该线段距离最远的点，将查找到的最远的点与之前的两个点相连，得到新轮廓；算法反复迭代，不断将最远的点添加到轮廓中，直到所有的点到多边形的最短距离小于某一特定值，得到轮廓上若干个点，其中特定值为人为设定的像素个数；
将查找到的轮廓上的若干个点两两组合，将每个组合中的两个点连接起来，保留连线可以把其余点分成两边的组合；分别查找两边距连线最远的点，这四个点围成的外接矩形可包围轮廓上所有的点...

【专利技术属性】
技术研发人员：庄严，费阳，闫飞，汪群祥，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21