一种基于四旋翼IMU参数的航拍图像矫正方法技术

一种基于四旋翼IMU参数的航拍图像矫正方法包括以下步骤：1)采集传感器IMU参数，获取加速度计和陀螺仪的数值，进行滤波和角度融合，获取角度；2)获取图像并且建立图像内参数矩阵；3)根据获取到的IMU角度数据对图像进行几何矫正；4)使用双线性插值对矫正后的畸变图像进行像素灰度插值。本发明专利技术提供一种针对四旋翼飞行器的视觉系统，结合飞行器的IMU参数对航拍图像进行矫正，可以得到较稳定且高质量的航拍图像。

【技术实现步骤摘要】

本专利技术涉及无人飞行器航拍领域，尤其是针对旋翼飞行器的低速飞行场景来实现的一种图像矫正方法。
技术介绍
近年来，随着传感器和微惯导等相关技术的发展，旋翼飞行器渐渐成为了无人飞行器领域的研究重点之一，其在军用领域具有广泛的应用前景，如低空侦察、灾害现场监视与救援等，而近年来相关产业的推进更是带动了民用领域的快速发展，例如在航拍、灾情调查救援、大气环境监测、农田或林区农药喷洒等诸多领域，四旋翼飞行器都有着广泛的应用前景。航拍又称为空中摄影或者航空摄影，航拍的摄像机可以有摄像师控制也可以自动或者远程进行控制拍摄，航拍所用到的平台多种多样，但是由于近年来的小型旋翼飞行器的普及以及推广，越来越多的人选择使用旋翼飞行器来搭载摄像器材，航拍需要具有非常稳定的飞行平台，能够提供高质量的稳定画面，航拍图能够清晰地表现地理形态以及甚至长焦距下的人物景象。农业植保是决定农业产量的重要因素也是保护农业生态环境的重要手段，传统的农业植保使用的是肉眼观察的方式来预防病虫害的发生，定期进行农药的喷洒，在传统的农业植保中虽然有现代化的机械参与其中，如小型滑翔机喷洒农药土地质量监测传感器等等，但是由于其并不能替代人来进行判断和综合治理，所也并不能大规模自动化地实现农业植保。随着新技术的推广，无人机平台也应用在了现代农业等领域，旋翼无人机挂载的视觉系统可以在低空对于农作物的生长情况进行监测和分析，同时也可以结合田间传感器来进行综合判断，同时大型的旋翼飞行器可以进行农药的定点定量喷洒，很大程度上提高了农业植保的精确度和实时性。农业植保型的无人飞行器平台需要能够实现高清的农作物图像采集，稳定的飞行平台以及预先的飞行路径规划，旋翼飞行器无疑非常适合这样的工作。在四旋翼飞行器的诸多应用当中，最为核心的应用是其搭载的视觉系统，无论是航拍作业还是通过机载的摄像头对地面信息进行感知处理，都需要有较为稳定的图像获取平台。
技术实现思路
为了克服现有飞行器平台的抖动和飞行姿态下的角度误差的不足，本专利技术提供一种矫正效果较好并且易于实现的基于四旋翼IMU参数的航拍图像矫正方法。本专利技术解决其技术问题所采用的技术方案是：一种基于四旋翼IMU参数的航拍图像矫正方法，包括以下步骤：1)采集传感器IMU参数，获取加速度计和陀螺仪的数值，进行滤波和角度融合，获取角度；2)获取图像并且建立图像内参数矩阵；3)根据获取到的IMU角度数据对图像进行几何矫正，过程如下：首先需要对图像进行坐标系的变换，坐标系包括相机坐标系c、机体坐标系p和世界坐标系E，在进行几何校正之前需要先对图像的坐标系进行变换，从相机坐标系转换到飞行器的机体坐标系，再转换到世界坐标系，用飞行器的IMU参数来反映图像相对世界坐标系的偏角，完成一系列的坐标系的变换之后，构造出原始坐标点到矫正后图像的矫正点的参数矩阵，建立矩阵变换式，得到矫正后的像素位置；4)使用双线性插值对矫正后的畸变图像进行像素灰度插值。进一步，所述步骤3)中，根据获取到的IMU角度数据对图像进行几何矫正，包括如下步骤：3.1)在四旋翼飞行器视觉系统当中，图像主要涉及了两个维度的角度变化，即绕图像坐标系x轴旋转角和绕图像坐标系y轴旋转角，因此相机坐标系和机体坐标系坐标轴的夹角分别为A和B，从相机坐标系到机体坐标系的变换矩阵即为这一步骤的坐标系转换主要是考虑到了四旋翼飞行器平台上搭载的摄像头和飞行器平台具有一定的夹角或者是使用了二轴云台，在这种情况下就需要将相机的坐标系变换为机体坐标系；3.2)四旋翼飞行器是一种具有6自由度的系统，其姿态由机载IMU传感器来进行测量，IMU传感器目的是为了获得三个维度上的方向角，分别是横滚角、俯仰角和偏航角，其旋转轴分别定义为X、Y、Z轴，Z轴垂直于XOY平面并且指向飞行器平面的上方，四旋翼飞行器是依靠改变某一轴向上的角度来实现向某个方向运动的，所以在非静止状态下就会存在某一轴向上的角度，这种角度变化会导致飞行器搭载的视觉系统也产生相应的畸变，因此，需要将机体在世界坐标系下的运动分解为三个角度，即横滚角(γ),俯仰角(β)，偏航角(α)，所以这里需要将机体坐标系转换为世界坐标系才能使用IMU参数来描述相机的具体偏移角度，构造的变换矩阵为因此是由相机坐标系(s)到世界坐标系(E)的转换矩阵。再进一步，所述步骤1)中，获取飞行器姿态角度的步骤如下：1.1)采集三轴陀螺仪、三轴加速度计传感器参数1.2)对采集到的传感器参数进行卡尔曼滤波卡尔曼滤波器包括预估过程与矫正过程，所述预估过程是利用时间更新方程建立对当前状态的先验估计，及时向前推算当前状态变量和误差协方差估计的值，以便为下一个时间状态构造先验估计值；矫正过程负责反馈，利用测量更新方程在预估过程的先验估计值及当前测量变量的基础上建立起对当前状态的改进的后验估计，称之为预估-矫正算法；离散卡尔曼滤波的时间更新方程和状态更新方程：时间更新方程：状态更新方程：其中，A是在XK-1上的nxn状态变换矩阵，B是控制向量Uk-1上的nx1输入控制矩阵，H为mxn观测模型矩阵，它将真实状态空间映射为观测空间，P为误差的协方差矩阵，Q和R均为过程噪声协方差矩阵，但是阶数不同，KK是卡尔曼增益，用于将后验估计误差协方差控制到最小；1.3)四元数法解算横滚和俯仰角四元数法是一种间接处理的姿态解算方法，用四元数的微分方程解算来代替欧拉角或方向余弦矩阵微分方程的解算，求解得到中间变量四元数，然后再转换为载体的姿态角，该方法的优点是可大大减小计算量，并且具有更好的计算性能；四元数是一个由1个实数单位和3个虚数单位i,j,k构成的含有4个元的数，其复数定义形式为：Q＝q0+q1i+q2j+q3k＝[q0q1q2q3]T(9)四元数主要在这里是用于描述旋转，因而需要求解四元数微分方程，之后再等价旋转矩阵就可以得到实际的角度；四元数与方向余弦矩阵的关系为：用tij来表示的元素就可以得到三个姿态角：需要结算的四元数Q微分方程为：其中和分别为姿态检测单元传感器测得的机体坐标系下的x,y,z轴的角速度；其次需要固定的采样周期T，通过迭代算式：每个采样周期读取陀螺仪的数据，对上式进行迭代运算，即实现四元数随时间的更新，进而求得2个姿态角；偏航角(yaw)则可以直接通过地磁传感器获取得到准确角度数据。更进一步，所述步骤2)中，建立图像内参数矩阵的方法为：按照摄像机的透视投影模型：设XY为相机坐标系的坐标轴，UV为图像像素坐标系，如果图像当中像素的坐标为(u,v)，相机坐标系中对应坐标为(x,y)，有：在该式中，fu、fv、u0、v0只与相机内部参数有关，故称之为相机内参数矩阵M：其中fu＝f/dx，fv＝f/dy分别称为u轴和v轴上的归一化焦距，f是相机的焦距，dx和dy分别表示传感器u轴和v轴上单位像素的尺寸大小，u0和v0则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心，一般取值为分辨率的一半。所述步骤4)中，图像经过IMU参数的几何校正之后，可以得到一幅矫正图像，但是矫正后的图像中会产生非整数的坐标点，即失真的像素点，这些像素点并不能和原先图像的像素点产生映射，因此要对这些失真的像素点进行像素灰度级插值；常用的插值方法有最邻近点法，双线性内插法，三次内插法等，这里需本文档来自技高网...

【技术保护点】
一种基于四旋翼IMU参数的航拍图像矫正方法，其特征在于：所述方法包括以下步骤：1)采集传感器IMU参数，获取加速度计和陀螺仪的数值，进行滤波和角度融合，获取角度；2)获取图像并且建立图像内参数矩阵；3)根据获取到的IMU角度数据对图像进行几何矫正，过程如下：首先需要对图像进行坐标系的变换，包括相机坐标系c、机体坐标系p和世界坐标系E，在进行几何校正之前需要先对图像的坐标系进行变换，从相机坐标系转换到飞行器的机体坐标系，再转换到世界坐标系，用飞行器的IMU参数来反映图像相对世界坐标系的偏角，完成一系列的坐标系的变换之后，构造出原始坐标点到矫正后图像的矫正点的参数矩阵，建立矩阵变换式，得到矫正后的像素位置；4)使用双线性插值对矫正后的畸变图像进行像素灰度插值。

【技术特征摘要】
1.一种基于四旋翼IMU参数的航拍图像矫正方法，其特征在于：所述方法包括以下步骤：1)采集传感器IMU参数，获取加速度计和陀螺仪的数值，进行滤波和角度融合，获取角度；2)获取图像并且建立图像内参数矩阵；3)根据获取到的IMU角度数据对图像进行几何矫正，过程如下：首先需要对图像进行坐标系的变换，包括相机坐标系c、机体坐标系p和世界坐标系E，在进行几何校正之前需要先对图像的坐标系进行变换，从相机坐标系转换到飞行器的机体坐标系，再转换到世界坐标系，用飞行器的IMU参数来反映图像相对世界坐标系的偏角，完成一系列的坐标系的变换之后，构造出原始坐标点到矫正后图像的矫正点的参数矩阵，建立矩阵变换式，得到矫正后的像素位置；4)使用双线性插值对矫正后的畸变图像进行像素灰度插值。2.如权利要求1所述的一种基于四旋翼IMU参数的航拍图像矫正方法，其特征在于：所述步骤3)中，根据获取到的IMU角度数据对图像进行矫正，包括如下步骤：3.1)在四旋翼飞行器视觉系统当中，图像主要涉及了两个维度的角度变化，即绕图像坐标系x轴旋转角和绕图像坐标系y轴旋转角，因此相机坐标系和机体坐标系的夹角分别为A和B，从相机坐标系到机体坐标系的变换矩阵即为Rcp=1000cosA-sinA0sinAcosA·cosB0sinB010-sinB0cosB=cosB0sinBsinAsinBcosA-sinAcosB-cosAsinBsinAcosAcosB---(1)]]>3.2)四旋翼飞行器是一种具有6自由度的系统，其姿态由机载IMU传感器来进行测量，IMU传感器获得三个维度上的方向角，分别是横滚角、俯仰角和偏航角，其旋转轴分别定义为X、Y、Z轴，Z轴垂直于XOY平面并且指向飞行器平面的上方，四旋翼飞行器是依靠改变某一轴向上的角度来实现向某个方向运动的，所以在非静止状态下就会存在某一轴向上的角度，将机体在世界坐标系下的运动分解为三个角度，即横滚角γ、俯仰角β和偏航角α，所以将机体坐标系转换为世界坐标系才能使用IMU参数来描述相机的具体偏移角度，构造的变换矩阵为RpE=1000cosγ-sinγ0sinγcosγcosβ0sinβ010-sinβ0cosβcosα-sin0sinαcosα0001=cosαcosβ-sinαcosβsinβcosαsinβsinγ-sinαsinβsinγ+cosαcosγ-cosβcosγ-cosαsinβcosγ+sinαsinγsinαsinβsinγ+cosαcosγcosβcosγ---(2)]]>RsE=RspRpE---(3)]]>因此是由相机坐标系(s)到世界坐标系(E)的转换矩阵。3.如权利要求1或2所述的一种基于四旋翼IMU参数的航拍图像矫正方法，其特征在于：所述步骤1)中，获取飞行器姿态角度的步骤如下：1.1)采集三轴陀螺仪、三轴加速度计传感器参数；1.2)对采集到的传感器参数进行卡尔曼滤波：卡尔曼滤波器包括两个过程：预估与矫正，预估过程是利用时间更新方程建立对当前状态的先验估计，及时向前推算当前状态变量和误差协方差估计的值，以便为下一个时间状态构造先验估计值；矫正过程负责反馈，利用测量更新方程在预估过程的先验估计值及当前测量变量的基础上建立起对当前状态的改进的后验估计，这样的一个过程，称之为预估-矫正算法；离散卡尔曼滤波的时间更新方程和状态更新方程：时间更新方程：X^k-=AX^k-1+BU^k-1---(4)]]>Pk-=APk-AT+Q---(5)]]>状态更新方程：KK=PK-HT(HPK-HT+R)-2---(6)]]>X^k=X^k-+KK(ZK-HX...

【专利技术属性】
技术研发人员：陈朋，党源杰，徐天宇，梁荣华，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33