一种基于双目视觉的无人机飞行程序校验系统及其方法技术方案

本发明专利技术公开了一种基于双目视觉的无人机飞行程序校验系统及其方法，该方法包括：对双目立体视觉中的左右两台摄像机进行标定，获取左右两台摄像机在三维空间中的相互位置关系信息；采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；将特征点信息与相互位置关系数据信息进行匹配并剔除错误信息，得到三维空间点匹配点对；构建计算模型，求解障碍物的空间三维坐标；将障碍物的空间三维坐标与已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录新的障碍物的位置信息。该发明专利技术能自动记录新障碍物位置，提高飞行程序校验的精度和效率。

【技术实现步骤摘要】
一种基于双目视觉的无人机飞行程序校验系统及其方法
本专利技术涉及航空飞行校验
，特别是一种基于双目视觉的无人机飞行程序校验系统及其方法。
技术介绍
飞行程序是为航空器运行规定的按顺序进行的一系列机动飞行，包括飞行路线、高度和机动区域。飞行程序设计是保证运行安全和进行空域规划的基础，对航空公司实现经济、高效飞行具有重要意义。飞行程序评估验证主要完成保护区超障分析和导航设施性能评估，确保满足飞行程序不同航段的所需导航性能和超障的要求。需要进行陆基导航设备性能评估、星基导航性能评估、机载设备完备性约束检验，同时还需要完成不同航段的保护区主区、副区、离场初始区以及爬升/下降梯度等进行超障分析和评价。在超障设计检验中，判别各个超障设计是否安全的方式主要是通过飞行员观测。具体方式如下：校验飞机按照飞行程序中的最低飞行高度，完成程序飞行，通过目视观察，识别标注的障碍物，确认标注是否正确。记录障碍物有关信息。并观察是否有“新”的障碍物，若存在“新”障碍物，需要记录其位置。所以，现行的飞行程序校验方法受人为因素影响大，精度低，自动化程度低。
技术实现思路
本专利技术的目的是提供一种基于双目视觉的无人机飞行程序校验系统及其方法，能自动记录新障碍物位置，提高飞行程序校验的精度和效率。为实现上述目的，本专利技术提供了如下方案：一种基于双目视觉的无人机飞行程序校验方法，包括：获取导航点数据以及障碍物数据；对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；采用SIFT(Scale-invariantfeaturetransform，SIFT)角点检测算法，即尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；采用RANSAC(RandomSampleConsensus)算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。可选的，所述对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息，具体包括：用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；将所述摄像机的内外参数采用公式：分别得到左右两台摄像机的投影矩阵M1和M2；其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dXay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行左右两台摄像机之间位置关系的标定，获得所述左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。可选的，所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息，还包括：采用尺度不变特征变换角点检测算法提取出原始的图像极值点；采用Harris角点检测算法对所述图像极值点进行二次检测，得到最终的图像特征点，具体包括：通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；提取所述高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；将所述局部极值点记作本文改进角点检测算法中的初始特征点；采用SIFT角点检测算法根据所述初始特征点，采用公式：计算初始特征点R的值；其中，I(x,y)是图像的灰度值；根据所述初始特征点的R值将所有所述局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。可选的，所述将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对，具体包括：完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；将所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。可选的，所述通过所述三维空间点坐标构建计算模型，求解障碍物的空间三维坐标，具体包括：采用公式：PM＝QM＝[XwYwZw]T则有：M＝(PTP)-1PTQ构建计算模型，求解障碍物的空间三维坐标；其中，分别为投影矩阵Mk的第i行第j列元素。一种基于双目视觉的无人机飞行程序校验系统，包括：数据获取模块，用于获取导航点数据以及障碍物数据；标定模块，用于对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；障碍物信息基准模块，用于将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；图像特征点获取模块，用于采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；匹配模块，用于将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；纠错模块，用于采用RANSAC算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；障碍物空间位置获取模块，用于通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；新障碍物检测模块，用于将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。可选的，所述标定模块具体包括：图像拍摄单元，用于采用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；摄像机的内外参数求取单元，用于将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；投影矩阵获取单元，用于将所述摄像机的内外参数采用公式：分别得到左右两台摄像机的投影矩阵M1和M2；其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dXay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；摄像机位置关系确定单元，用于对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行左右两台摄像机之间位置关系的标定，获得左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。可选的，所述图像特征点获取模块还包括：原始图像极值点提取单元，用于采用尺度不变特征变换角点检测算法提取出原始的图像极值点；最终图像特征点确定单元，用于采用Harris角点检测算法对所本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的无人机飞行程序校验方法，其特征在于，包括：获取导航点数据以及障碍物数据；对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；采用RANSAC算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。

【技术特征摘要】
1.一种基于双目视觉的无人机飞行程序校验方法，其特征在于，包括：获取导航点数据以及障碍物数据；对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；采用RANSAC算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。2.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息，具体包括：用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；将所述摄像机的内外参数采用公式：分别得到所述左右两台摄像机的投影矩阵M1和M2；其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dXay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行所述左右两台摄像机之间位置关系的标定，获得所述左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。3.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息，还包括：采用尺度不变特征变换角点检测算法提取出原始的图像极值点；采用Harris角点检测算法对所述图像极值点进行二次检测，得到最终的图像特征点，具体包括：通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；提取所述高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；将所述局部极值点记作本文改进角点检测算法中的初始特征点；采用SIFT角点检测算法根据所述初始特征点，采用公式：计算初始特征点R的值；其中，I(x,y)是图像的灰度值；根据所述初始特征点的R值将所有所述局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。4.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对，具体包括：完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；将所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。5.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述通过所述三维空间点坐标构建计算模型，求解障碍物的空间三维坐标，具体包括：采用公式：PM＝QM＝[XwYwZw]T则有：M＝(PTP)-1PTQ构建计算模型，求解障碍物的空间三维坐标；其中，分别为投影矩阵Mk的第i行第j列元素。6.一种基于双目视觉的无人机飞行程序校验系统，其特征在于，包括：数据获取模块，用于获取导航点数据...

【专利技术属性】
技术研发人员：史晓锋，亢凯，邓思琪，
申请(专利权)人：北京航空航天大学东营研究院，
类型：发明
国别省市：山东,37