一种面向机载行扫相机的高动态图像拼接方法技术

本发明专利技术公开了一种面向机载行扫相机的高动态图像拼接方法，属于信号处理领域。首先将线阵相机获取到的行扫图像进行灰度变换，增强行扫图像中感兴趣区域。其次，将行扫图像通过带通滤波器，提取出感兴趣部分。接着，重构行扫图像，原始的行扫图像减去感兴趣部分和信号位移系数的积，得到结果图像。最后，行扫图像拼接，生成一个行数、列数固定的空矩阵，将处理后图像的二维矩阵依次写入该矩阵。直到待拼接图像为最后一幅行扫图像为止，最终得到全景图。本发明专利技术提出的方法能够适应场景中光线等因素的变化，可以处理低光照条件下获取到的行扫图像，提高了系统的鲁棒性，并且对行扫图像在完成拼接的同时可以保证接缝对齐。

A high dynamic image mosaic method for airborne line scanning camera

The invention discloses a high dynamic image mosaic method for airborne line scanning cameras, which belongs to the signal processing field. First, the line scan image obtained from linear array camera is grayscale transformed to enhance the region of interest in the scanning image. Secondly, the interested part is extracted from the swept image through the bandpass filter. Then, we reconstruct the row scan image, and the original row scan image subtracts the product of the interested part and the signal displacement coefficient to get the resulting image. Finally, line scan images are stitching to generate a fixed number of rows and columns, and the two-dimensional matrix of the processed image is written to the matrix sequentially. The panorama is finally obtained until the last image is swept. The method proposed in this invention can adapt to the changes of light and other factors in the scene, and can handle the line scan images obtained under low light conditions, improve the robustness of the system, and ensure the seam alignment while the scan image is completed.

【技术实现步骤摘要】
一种面向机载行扫相机的高动态图像拼接方法
本专利技术属于信号处理领域，涉及一种面向机载行扫相机的高动态图像拼接方法，利用信号处理与分析的方法，将机载相机获取到的行扫图像进行拼接。
技术介绍
机载相机是飞机进行航测的重要设备，其任务就是从空中实时获取高分辨率的目标图像信息，经处理后将信息实时传输给控制中心，完成地面目标图像的采集。飞机是高动态的，速度可达到205m/s，机载相机拍摄时视野较大，而且要求精度较高。线阵相机分辨率超高，而且图像采集速度快，所以目前飞机多采用线阵相机获取地面图像。随着飞机向前运动，线阵相机逐行扫描地面目标，对整个目标进行均匀检测。获取到的行扫图像直接送入计算机中存储，由于每个时刻得到的都是一行的图像数据，这就需要将一行一行的图像先进行预处理，再合并成一幅完整的图像，之后利用图像获取所需信息，实现从测量到成图的全部过程均以数字化方式实现。机载相机能正常拍摄的前提条件是相机的视轴相对地理坐标系要保持稳定，即要求载机在相机拍摄的过程中始终保持水平、直线、匀速地飞行，同时还要保持飞行姿态的稳定。但是，空中气流、风向及风速的变化都会引起载机的姿态横滚、俯仰及偏航变化，载机姿态变化直接影响的是行扫图像发生几何畸变、相邻行扫图像之间相对平移，所以直接进行行扫图像拼接的结果并不理想。
技术实现思路
本专利技术为解决上述问题，提供一种面向机载行扫相机的高动态图像拼接方法，采用信号处理的方法，利用泰勒级数的展开，实现行扫图像的高效对齐拼接。本专利技术的面向机载行扫相机的高动态图像拼接方法，具体步骤如下：S1、通过飞机上搭载的线阵相机获取行扫图像；设线阵相机的扫描频率为K赫兹，时长为T秒，将扫描得到一个K×T行的行扫图像的视频流；K、T均为正整数；S2、从视频流的第一帧开始，依次对每帧行扫图像进行灰度变换；S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度，I(x,0)＝f(x)表示初始时刻。用δ(t)表示位移函数，即从0到t时刻x处的像素变化，则在t时刻图像强度表示为I(x,t)＝f(x+δ(t))。对一维信号用一阶泰勒级数关于x展开，得到S4、将S3中I(x,t)表示的行扫图像通过时域带通滤波器，目标是提取出除了f(x)外的所有信号，设提取出的感兴趣部分为B(x,t)。S5、重构行扫图像，得到重构图像在空间x处和在时间t处的强度表示为I'(x,t)；I'(x,t)＝I(x,t)-αB(x,t)；其中，因子α是信号位移的系数。本专利技术中的因子α是信号位移的系数，通过运算，f(x)在时间t的位移函数由δ(t)变换到(1-α)δ(t)。α的值不是一成不变的，根据处理的行扫图像不同，取值也不同。S6、行扫图像拼接。生成一个行数为K×T的空矩阵，将S5处理后的图像的二维矩阵写入空矩阵。S7、将后续输入的第i张行扫图像继续重复步骤S3～S5，循环进行，依次将S5处理后的第i张行扫图像的矩阵写入S6生成的矩阵，直到待拼接图像为第K×T幅行扫图像为止，最终得到K×T幅图像拼接的全景图。所述S2中，灰度变换可采用线性变换、对数变换、幂次变换或者分段线性变换等。采用正比函数的线性变换时，线性变换的输出亮度和输入亮度可互换，而且完全包括在图形中。所述S4中，时域带通滤波器是二阶IIR滤波器，设置滤波器的中心频率为线阵相机的扫描频率。对S3中I(x,t)使用带通滤波器，B(x,t)＝H(x,t)*I(x,t)，*表示卷积。提取出除了f(x)外的所有信号，即即令所述S5中，I'(x,t)进一步表示为：再利用泰勒公式，得到输出I'(x,t)＝f(x+(1-α)δ(t))，将f(x)在时间t的位移函数由δ(t)变换到(1-α)δ(t)。本专利技术的优点及带来的有益效果在于：采用信号处理的方法，而非传统的图像处理方法，以信号随时间变化的角度处理行扫图像，利用泰勒级数展开，对行扫图像在完成拼接的同时保证接缝对齐。而且本专利技术方法过程简单易行，计算量小。本专利技术提出的方法能够适应场景中光线等因素的变化，可以处理低光照条件下获取到的行扫图像，提高了系统的鲁棒性。附图说明图1为本专利技术面向机载行扫相机的高动态图像拼接方法的流程图；图2为本专利技术未经灰度变换的行扫图像拼接；图3为本专利技术经灰度变换处理后的行扫图像拼接；图4为按传统方法直接进行拼接的图像示意图；图5为图4中所框部分的细节图；图6为采用本专利技术方法进行拼接的图像示意图；图7为图6中所框部分的细节图。具体实施方式现有的图像拼接方法大多是拼接存在重叠部分的图像，而公开的非重叠部分图像拼接的方法中，是根据拼接位置附近两幅图像内容的相似程度来确定的。这两类方法的特点是，都以图像处理的角度出发，并不涉及图像信号在时域上的变化，而且处理过程较为复杂，计算量比较大。现有的图像拼接方法是先将图像序列进行空间配准，再经过图像变换、重采样和图像融合后，形成一幅包含每幅图像的宽视角图像。而对比机载行扫相机获取到的行扫图像拼接，还是有明显区别的，因为线阵相机获取到的行扫图像没有重叠部分。本专利技术可以认为相邻两行图像至少有一部分数据特征相同的像素点。机载线阵相机的分辨率为1×2048，设置线阵相机的扫描频率为KHz，时长为T秒。因为每个时刻线阵相机只能获取一幅行数为1，列数为2048的行扫图像，所以相机拍摄过程中，每个像素点在行扫图像中的变化，可以看作随时间的变化，也就是一维信号的平移运动。因此用I(x,t)表示行扫图像在空间x处和在时间t处的强度，I(x,0)＝f(x)表示初始时刻。经信号处理消除相对位移后，按采集行扫图像的时间先后顺序依次进行拼接，得到完整的地面目标图像。为了更好地理解本专利技术的技术方案，下面结合飞机平飞通场时线阵相机(扫描频率为1kHz)获取得到机场跑道入口的行扫数据以及附图，详细介绍本专利技术方法。本专利技术提供的面向机载行扫相机的高动态图像拼接方法，具体实现流程如图1所示，下面说明各实现步骤。S1、设置线阵相机的扫描频率为K赫兹(Hz)，时长为T秒，即每秒扫描K行数据，一共扫描K×T行幅大小为1×2048的行扫图像。通过飞机上搭载的线阵相机将获取到的行扫数据输入到计算机中，得到一个分辨率为1×2048，每秒K帧的视频流。S2、从第一帧(第一幅行扫图像)开始，依次对每帧行扫图像进行灰度变换，增强行扫图像中感兴趣区域，消除低照明的影响，使得行扫图像更清晰。对输入的第i张行扫图像继续都重复本步骤，i＝1,2,…,K×T。如图2所示，为未经灰度变换的行扫图像拼接，经过灰度变换后，得到如图3所示的行扫图像拼接。灰度变换常见的有线性变换、对数变换、幂次变换及分段线性变换等，通过直方图均衡同样可以增强图像。本专利技术采用正比的线性变换，其输出亮度和输入亮度可互换，而且完全包括在图形中。对于照明情况不理想时，行扫图像对比度低时，处理过程简单而有效。S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度，I(x,0)＝f(x)表示初始时刻。用δ(t)表示位移函数，即从0到t时刻x处的像素变化，则在t时刻图像强度表示为I(x,t)＝f(x+δ(t))。对一维信号用一阶泰勒级数关于x展开，得到：S4、将S3中I(x,t)表示的行扫图像通过时域带通滤波器，即B(x,t)＝H(x,t)*I(x,本文档来自技高网...

【技术保护点】
1.一种面向机载行扫相机的高动态图像拼接方法，其特征在于，包括以下步骤：S1、通过飞机上搭载的线阵相机获取行扫图像；设线阵相机的扫描频率为K赫兹，时长为T秒，将扫描得到一个K×T行的行扫图像的视频流；K、T均为正整数；S2、从视频流的第一帧开始，依次对每帧行扫图像进行灰度变换；S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度；I(x,0)＝f(x)表示初始时刻图像强度；用δ(t)表示位移函数，为从0到t时刻x处的像素变化；则在t时刻图像强度表示为I(x,t)＝f(x+δ(t))；对I(x,t)用一阶泰勒级数关于x展开，得到

【技术特征摘要】
1.一种面向机载行扫相机的高动态图像拼接方法，其特征在于，包括以下步骤：S1、通过飞机上搭载的线阵相机获取行扫图像；设线阵相机的扫描频率为K赫兹，时长为T秒，将扫描得到一个K×T行的行扫图像的视频流；K、T均为正整数；S2、从视频流的第一帧开始，依次对每帧行扫图像进行灰度变换；S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度；I(x,0)＝f(x)表示初始时刻图像强度；用δ(t)表示位移函数，为从0到t时刻x处的像素变化；则在t时刻图像强度表示为I(x,t)＝f(x+δ(t))；对I(x,t)用一阶泰勒级数关于x展开，得到S4、将S3中I(x,t)表示的行扫图像通过时域带通滤波器H(x,t)，目标是提取出除了f(x)外的所有信号，设提取出的感兴趣部分为B(x,t)；S5、重构行扫图像，得到重构图像在空间x处和在时间t处的强度表示为I'(x,t)；I'(x,t)＝I(x,t)-αB(x,t)；其中，因子α是信号位移的系数；S6、拼接行扫图像；具体是：生成一个行数为K×T行的空矩阵，将S5处理后图像的二维矩阵写入空矩阵；S7、将后续输入的第i张行扫图像继续重复步骤S3～S5，依次将S5处理后的第i张行扫图像的矩阵写入S6生成的矩阵，直到待拼接图...

【专利技术属性】
技术研发人员：史晓锋，罗晓燕，邓思琪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11