基于飞行器的视觉导航与惯性导航的组合导航方法技术

本发明专利技术公开了一种基于飞行器的视觉导航与惯性导航的组合导航方法，包括步骤：一、建立二维平面直角图片坐标系；二、获取视频图像数据和飞行器位姿数据，并对图像进行预处理；三、特征点的连续跟踪；四、建立三维航迹坐标系；五、计算航迹速度矢量；六、飞行器的姿态解算；七、数据融合及航迹角解算；八、坐标转换并获取飞行器的位移矩阵；九、多次重复步骤三至步骤八，直至完成连续采集多帧图像的位移矩阵集合，实现连续组合导航。本发明专利技术通过视觉导航得出飞行器运动的航迹速度矢量，融合惯性导航数据，对视觉导航的误差进行补偿修正，最终实现对飞行器的运动轨迹的重建，从而使飞行器稳定的自主飞行。

Integrated navigation method of vision navigation and inertial navigation based on Aerocraft

The invention discloses a method comprising the steps of integrated navigation, visual navigation and inertial navigation of aircraft based on establishing a two-dimensional plane rectangular coordinate system, two pictures; capture video image data and vehicle position data, and preprocessing the image; three, continuous tracking of feature points; four, the establishment of three-dimensional track coordinate system; five, calculation of track velocity vector; six, the aircraft attitude calculation; seven, data fusion and flight path angle calculation; displacement matrix, coordinate transformation and obtain eight aircraft; nine, repeat steps three and eight until the completion of the displacement matrix continuous acquisition of multi frame image collection, realize continuous composite navigation. The invention can track velocity vector by visual navigation of aircraft movement, inertial navigation data fusion, by compensating the error of visual navigation, finally realize the reconstruction of the trajectory of the aircraft, so as to make the aircraft stable autonomous flight.

【技术实现步骤摘要】
基于飞行器的视觉导航与惯性导航的组合导航方法
本专利技术属于组合导航
，具体涉及一种基于飞行器的视觉导航与惯性导航的组合导航方法。
技术介绍
飞行器具有机械结构简单、运动灵活、姿态多样、可扩展性好和易维护等优点，因而在勘探、测绘、救援、航拍等领域扮演越来越重要的角色。而这些领域无一不要求相当高的精确性、可靠性和自主性，现有的飞行器导航方法多采用GPS导航，在室外的定位精度可以达到1.5米，对于一般用户的定为服务可以满足。然而在无人机上，普通廉价的GPS接收机的精度不能满足各种复杂姿态的导航精度，并且在复杂环境下难以定位，如大型工厂内部、山区和矿井下方等环境下，因此，现如今缺少一种基于飞行器的视觉导航与惯性导航的组合导航方法，通过对惯性传感器所采集的数据进行四元数解算，得出飞行器空间运动姿态的欧拉角。视觉导航通过光流场的三维重建得出飞行器运动的航迹速度矢量，然后结合传感器采集的实时高度数据，得出载体位置和姿态信息，并融合惯性导航数据，来实现无人机高精度、高可靠性和低噪声的导航。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于飞行器的视觉导航与惯性导航的组合导航方法，通过视觉导航得出飞行器运动的航迹速度矢量，融合惯性导航数据，对视觉导航的误差进行补偿修正，最终实现对飞行器的运动轨迹的重建，从而使飞行器稳定的自主飞行，便于推广使用。为解决上述技术问题，本专利技术采用的技术方案是：基于飞行器的视觉导航与惯性导航的组合导航方法，其特征在于，该方法包括以下步骤：步骤一、建立二维平面直角图片坐标系：采用飞行器控制单元建立二维平面直角图片坐标系，在飞行器所处平行于水平面的平面且以飞行器飞行起点作为坐标原点建立二维平面直角图片坐标系Ok-xkyk，其中，以飞行器正东方向为二维平面直角图片坐标系Ok-xkyk的x轴，以飞行器正北方向为二维平面直角图片坐标系Ok-xkyk的y轴；所述飞行器为四轴飞行器，所述四轴飞行器包括矩形镂空的机身和四个分别沿机身的四个直角所指方向向外安装的镂空的机翼，机翼远离机身的一端安装有螺旋桨；步骤二、获取视频图像数据和飞行器位姿数据，并对图像进行预处理：采用飞行器控制单元控制飞行器起飞，通过高清摄像头实时采集飞行器飞行过程中视频图像序列并对所述视频图像序列进行灰度预处理生成预处理图像序列IN(u,v)，高清摄像头安装在机身的底部，其中，N为视频图像序列中高清摄像头采集的图像序列的编号且N取不小于2的正整数，u为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的x轴同向的图片横坐标，v为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的y轴同向的图片纵坐标，同时通过惯性传感器实时采集飞行器飞行过程中位姿数据，并将飞行器飞行过程中位姿数据传输至飞行器控制单元；步骤三、特征点的连续跟踪，过程如下：步骤301、飞行器控制单元设置每帧预处理图像序列中特征点数量阈值Th，并采用Harris角点检测法对首帧预处理图像序列I1(u,v)进行特征点提取；步骤302、判断预处理图像序列Ii(u,v)中特征点数量是否小于特征点数量阈值Th：当预处理图像序列Ii(u,v)中特征点数量小于特征点数量阈值Th时，通过飞行器控制单元对预处理图像序列Ii(u,v)采用Harris角点检测法进行特征点提取后执行步骤303；当预处理图像序列Ii(u,v)中特征点数量不小于特征点数量阈值Th时，执行步骤303，其中，i为正整数且i＝1,2，…，N-1；步骤303、飞行器控制单元通过图像金字塔并采用光流法逐层对连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)进行特征点匹配，当Ii(ux,uy)＝Ii+1(px,py)+ε成立，则预处理图像序列Ii(u,v)中的特征点U＝(ux,uy)与预处理图像序列Ii+1(u,v)中的特征点P＝(px,py)匹配成功，其中，ε为图像灰度误差值，特征点P＝(px,py)满足P＝U+d，d为预处理图像序列Ii+1(u,v)中的特征点P至预处理图像序列Ii(u,v)中的特征点U的运动位移矢量；步骤304、多次重复步骤302至步骤303，直至实现连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)的全部特征点的匹配；步骤四、建立三维航迹坐标系：首先，根据公式计算图像中的坐标变换到实际中的坐标的坐标变换系数ζ，其中，σ为图像中特征点的尺寸，h为通过声呐传感器或气压计实时采集所述飞行器相对地面飞行高度，B为高清摄像头的放大倍数，声呐传感器和气压计均安装在机身的底部；然后，对二维平面直角图片坐标系Ok-xkyk，增加以飞行器相对地面升高的方向为z轴正方向，建立三维航迹坐标系Ok-xkykzk；步骤五、根据公式计算航迹速度矢量Vk，其中，f为高清摄像头的图像采集频率，Pj和Uj分别为连续两帧预处理图像序列对应第j个特征点在三维航迹坐标系Ok-xkykzk中的坐标，其中，j为非零正整数，hpj为连续两帧预处理图像序列中获取后一帧图像序列时飞行器相对地面飞行高度，huj为连续两帧预处理图像序列中获取前一帧图像序列时飞行器相对地面飞行高度，pxj和pyj分别为所述后一帧图像序列中第j个特征点的图片横坐标和图片纵坐标，uxj和uyj分别为所述前一帧图像序列中第j个特征点的图片横坐标和图片纵坐标；步骤六、飞行器的姿态解算：首先，采用惯性传感器采集四轴飞行器运行状态参数并通过惯性传感器自身数据融合向处理器传输四轴飞行器的姿态四元数q且姿态四元数q＝q4+q1i+q2j+q3k，q4为姿态四元数q的实部，q1、q2和q3分别为姿态四元数q的三个虚部；然后，根据计算四轴飞行器的翻滚角俯仰角θ和偏航角ψ，得到四轴飞行器姿态的欧拉角矩阵Ω(ω(t))，其中，欧拉角矩阵步骤七、数据融合及航迹角解算：首先，通过处理器融合飞行器的姿态数据和图像数据，根据公式获取相对速度矢量Vυ；然后，根据公式获取航迹方位角χ和航迹倾角γ；步骤八、坐标转换并获取飞行器的位移矩阵，过程如下：步骤801、根据公式将相对速度矢量Vυ从三维航迹坐标系Ok-xkykzk变换到地面坐标系Og-xgygzg，得到相对地面的真实速度矢量Vt；步骤802、根据公式St＝∫(Vxt,Vyt,Vzt)dt，得到飞行器的位移矢量St；步骤803、将位移矢量St在地面坐标系Og-xgygzg中分解为x轴位移Sxt、y轴位移Syt、z轴位移Szt，得到位移矩阵步骤九、(N-1)次重复步骤三至步骤八，直至完成连续采集多帧图像的位移矩阵集合，实现连续组合导航。上述的基于飞行器的视觉导航与惯性导航的组合导航方法，其特征在于：所述飞行器控制单元包括处理器和蓄电池，以及均与处理器相接的存储器、定时器和用于与地面监测中心数据传输的无线通信模块，处理器的输入端接有避障模块，处理器的输出端接有用于驱动螺旋桨转动的电机，处理器采用电机驱动器驱动电机转动，惯性传感器的信号输出端与处理器的输入端相接，采用处理器对高清摄像头实时采集的图像数据进行灰度预处理；螺旋桨上安装有用于指示所述飞行器位置的照明指示灯，照明指示灯的输入端与处理器的输出端相接。上述的基于飞行器的视觉导航与惯性导航的组合导航方本文档来自技高网...

【技术保护点】
基于飞行器的视觉导航与惯性导航的组合导航方法，其特征在于，该方法包括以下步骤：步骤一、建立二维平面直角图片坐标系：采用飞行器控制单元(4)建立二维平面直角图片坐标系，在飞行器所处平行于水平面的平面且以飞行器飞行起点作为坐标原点建立二维平面直角图片坐标系O

【技术特征摘要】
1.基于飞行器的视觉导航与惯性导航的组合导航方法，其特征在于，该方法包括以下步骤：步骤一、建立二维平面直角图片坐标系：采用飞行器控制单元(4)建立二维平面直角图片坐标系，在飞行器所处平行于水平面的平面且以飞行器飞行起点作为坐标原点建立二维平面直角图片坐标系Ok-xkyk，其中，以飞行器正东方向为二维平面直角图片坐标系Ok-xkyk的x轴，以飞行器正北方向为二维平面直角图片坐标系Ok-xkyk的y轴；所述飞行器为四轴飞行器，所述四轴飞行器包括矩形镂空的机身(1)和四个分别沿机身(1)的四个直角所指方向向外安装的镂空的机翼(2)，机翼(2)远离机身(1)的一端安装有螺旋桨(3)；步骤二、获取视频图像数据和飞行器位姿数据，并对图像进行预处理：采用飞行器控制单元(4)控制飞行器起飞，通过高清摄像头(5)实时采集飞行器飞行过程中视频图像序列并对所述视频图像序列进行灰度预处理生成预处理图像序列IN(u,v)，高清摄像头(5)安装在机身(1)的底部，其中，N为视频图像序列中高清摄像头(5)采集的图像序列的编号且N取不小于2的正整数，u为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的x轴同向的图片横坐标，v为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的y轴同向的图片纵坐标，同时通过惯性传感器(8)实时采集飞行器飞行过程中位姿数据，并将飞行器飞行过程中位姿数据传输至飞行器控制单元(4)；步骤三、特征点的连续跟踪，过程如下：步骤301、飞行器控制单元(4)设置每帧预处理图像序列中特征点数量阈值Th，并采用Harris角点检测法对首帧预处理图像序列I1(u,v)进行特征点提取；步骤302、判断预处理图像序列Ii(u,v)中特征点数量是否小于特征点数量阈值Th：当预处理图像序列Ii(u,v)中特征点数量小于特征点数量阈值Th时，通过飞行器控制单元(4)对预处理图像序列Ii(u,v)采用Harris角点检测法进行特征点提取后执行步骤303；当预处理图像序列Ii(u,v)中特征点数量不小于特征点数量阈值Th时，执行步骤303，其中，i为正整数且i＝1,2，…，N-1；步骤303、飞行器控制单元(4)通过图像金字塔并采用光流法逐层对连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)进行特征点匹配，当Ii(ux,uy)＝Ii+1(px,py)+ε成立，则预处理图像序列Ii(u,v)中的特征点U＝(ux,uy)与预处理图像序列Ii+1(u,v)中的特征点P＝(px,py)匹配成功，其中，ε为图像灰度误差值，特征点P＝(px,py)满足P＝U+d，d为预处理图像序列Ii+1(u,v)中的特征点P至预处理图像序列Ii(u,v)中的特征点U的运动位移矢量；步骤304、多次重复步骤302至步骤303，直至实现连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)的全部特征点的匹配；步骤四、建立三维航迹坐标系：首先，根据公式计算图像中的坐标变换到实际中的坐标的坐标变换系数ζ，其中，σ为图像中特征点的尺寸，h为通过声呐传感器(6)或气压计(7)实时采集所述飞行器相对地面飞行高度，B为高清摄像头(5)的放大倍数，声呐传感器(6)和气压计(7)均安装在机身(1)的底部；然后，对二维平面直角图片坐标系Ok-xkyk，增加以飞行器相对地面升高的方向为z轴正方向，建立三维航迹坐标系Ok-xkykzk；步骤五、根据公式计算航迹速度矢量Vk，其中，f为高清摄像头(5)的图像采集频率，Pj和Uj分别为连续两帧预...

【专利技术属性】
技术研发人员：张传伟，陈黎明，张东升，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西,61