一种飞行参数与相机内参相结合的航空影像实时校正方法技术

本发明专利技术公开了一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸参数实时构建相机内参，相机内参结合飞行器的姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换完成实时校正。可作为机载或弹载光电系统的预处理子系统，为提升后续深层次影像数据处理提供良好数据源。

【技术实现步骤摘要】
一种飞行参数与相机内参相结合的航空影像实时校正方法
本专利技术属于电子信息
，具体涉及一种飞行参数与相机内参相结合的航空影像实时校正方法，适用于机载或弹载智能影像预处理系统。
技术介绍
随着传感器技术、嵌入式计算机技术的发展，高清影像采集与处理系统得以在无人机、各种导弹武器实时运行。在军事领域，无人机侦察或导弹攻击目标均需要机载或弹载光学系统获取目标区域影像，进而对目标进行探测识别，然而由于飞行载体及相机姿态的实时变化导致采集的影像存在严重的几何畸变，为后续的图像处理带来了很大难度。而在民用航拍领域，大幅的航拍影像需要连续帧影像的无缝拼接，但由于飞行载体及相机姿态的变化无法实现精准的图像拼接，因此，航拍影像的正射校正是预处理中的必要技术。目前，航空影像的正射校正一是采用地面控制点或参考图像的方法，如，“机载SAR影像的正射纠正试验研究”(测绘通报，第1期，2007年3月)，此类方法需要人工采取控制点，成本高。中国专利CN103971334A：高光谱遥感图像校正方法及装置。该专利从提供的遥感影像本身特征出发，统计图像内部各行的相关数据，通过行相关误差最小和逐行位置平移进行校正，该方法属于线性扫描成像不适用于航空面阵相机，并且其算法计算复杂难以进行实时校正。一是采用共线方程建模或投影变换方法，如，“航空变焦距斜视成像几何畸变的自动校正”(光学精密工程第23卷，第10期，2015年10月)，此类方法需要利用GPS测量相机的精确位置，从而计算像素点坐标和目标点空间坐标的映射。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种飞行参数与相机内参相结合的航空影像实时校正方法，解决由于飞行器飞行姿态及搭载相机的姿态导致的航空遥感影像存在严重的几何形变问题，通过飞行载体的飞行参数及相机的内部参数构建单应变换矩阵，对实时采集的影像进行变换校正，达到消除几何形变的目的，为后续的深层次图像处理提供标准数据源。该算法可应用于机载或弹载信息感知系统，提升系统的感知精度。本专利技术采用以下技术方案：一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸参数实时构建相机内参，相机内参结合飞行器的姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换完成实时校正。具体的，包括以下步骤：S1、根据相机的传感器像元尺寸，图像尺寸，相机焦距等参数构建相机内部参数矩阵K；S2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵R；S3、根据多视图几何理论，通过相机内部参数矩阵K和旋转矩阵R计算实时影像与正射图像之间的单应矩阵H；S4、利用步骤S3得到的单应矩阵H对输入影像进行变换，在变换过程中进行间接双线性插值，以保证变换后图像的清晰度得到正射校正后图像P_orth。进一步的，步骤S1中，相机内部参数矩阵K如下：其中，f为相机的焦距，dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸，(u0,v0)为图像的中心像素坐标。进一步的，步骤S2中，旋转矩阵R如下：其中，α,β,γ分别为无人机的翻滚角、俯仰角、偏航角，A,E分别为相机的方位角和高低角。进一步的，步骤S3中，单应矩阵H如下：H＝KRK-1其中，K为相机内部参数矩阵，R为旋转矩阵。进一步的，步骤S4中，正射校正后图像P_orth如下：P_orth＝H-1P_orig其中，H为单应矩阵，P_orig为原始图像。与现有技术相比，本专利技术至少具有以下有益效果：本专利技术是一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸等参数实时构建相机内参，进一步结合飞行姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换。该方法不依赖地面控制点，无需输入参考图像及相机位置信息，仅需惯性测量器件提供飞行器姿态参数(翻滚角、俯仰角、偏航角)，相机的姿态参数(方位角、高低角)及相机的焦距传感器的像元尺寸，图像尺寸等简单信息，即可实现实时的航拍影像正射校正。进一步的，为实现相机坐标系与像素坐标系之间的变换，构建相机内部参数矩阵K。进一步的，为实现世界坐标系到相机坐标系之间的变换，构建旋转矩阵。进一步的，为计算实时影像到正射影像的变换，根据多视图几何理论，该变换(单应矩阵)可由相机内参矩阵及旋转矩阵获得。进一步的，本专利技术的校正精度依赖于飞行器姿态及相机姿态测量的精度，通过本专利技术校正结果与Google影像进行比对，完全可满足后续图像处理的需求。综上所述，本专利技术可作为机载或弹载光电系统的预处理子系统，为提升后续深层次影像数据处理提供良好数据源。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明图1为本专利技术流程示意图；图2为实施例1无人机航拍红外图像，其中，(a)为焦距为25mm拍摄的机场场景红外图像，(b)为焦距为300mm且姿态角发生较大变化后拍摄的农田场景红外图像；图3为图2中图像的正射校正结果图，其中，(a)为图2(a)的校正结果，(b)为图2(b)的校正结果；图4为实施例1正下视的Google影像；图5为实施例2无人机航拍红外图像，其中，(a)为高速公路场景的红外图像，(b)为无人机姿态角及航拍位置变化后拍摄的高度公路场红外景图像；图6为图5中图像的正射校正结果图，其中，(a)为图5(a)的校正结果，(b)为图5(a)的校正结果；图7为图5场景对应的正下视Google影像。具体实施方式本专利技术提供了一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸等参数实时构建相机内参，进一步结合飞行姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换。请参阅图1，本专利技术一种飞行姿态参数与相机内参相结合的航空影像实时校正方法，具体步骤如下：S1、根据相机的传感器像元尺寸，图像尺寸，相机焦距等参数构建相机内部参数矩阵K其中，f为相机的焦距，dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸，单位为mm/pixel，(u0,v0)为图像的中心像素坐标。S2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵R如下：其中，α,β,γ分别为无人机的翻滚角、俯仰角、偏航角，A,E分别为相机的方位角和高低角。S3、根据多视图几何理论，计算实时影像与正射图像之间的单应矩阵H如下：H＝KRK-1(3)S4、利用(3)式对输入影像进行变换，在变换过程中进行间接双线性插值，以保证变换后图像的清晰度。P_orth＝H-1P_orig(4)其中，P_orig为原始图像，P_orth为正射校正后图像。本专利技术设计的飞行参数与相机内参相结合的航空影像实时校正方法，无需地面控制点及相机空间位置，只需飞行载体姿态及相机内参，即可实时对采集图像进行校正，为后续的图像处理提供无畸变正射影像数据。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本专利技术实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨本文档来自技高网...

【技术保护点】
1.一种飞行参数与相机内参相结合的航空影像实时校正方法，其特征在于，采用相机焦距参数，传感器像元尺寸及影像尺寸参数实时构建相机内参，相机内参结合飞行器的姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换完成实时校正。

【技术特征摘要】
1.一种飞行参数与相机内参相结合的航空影像实时校正方法，其特征在于，采用相机焦距参数，传感器像元尺寸及影像尺寸参数实时构建相机内参，相机内参结合飞行器的姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换完成实时校正。2.根据权利要求1所述的一种飞行参数与相机内参相结合的航空影像实时校正方法，其特征在于，包括以下步骤：S1、根据相机的传感器像元尺寸，图像尺寸，相机焦距等参数构建相机内部参数矩阵K；S2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵R；S3、根据多视图几何理论，通过相机内部参数矩阵K和旋转矩阵R计算实时影像与正射图像之间的单应矩阵H；S4、利用步骤S3得到的单应矩阵H对输入影像进行变换，在变换过程中进行间接双线性插值，以保证变换后图像的清晰度得到正射校正后图像P_orth。3.根据权利要求2所述的一种飞行参数与相机内参相...

【专利技术属性】
技术研发人员：刘向增，卢强，唐雪寒，
申请(专利权)人：西安微电子技术研究所，
类型：发明
国别省市：陕西,61