一种多光谱马赛克图像复原方法技术

本发明专利技术涉及一种多光谱马赛克图像复原方法，能够使采用镀膜式视频光谱仪拍摄的多光谱马赛克视频图像被复原为高空间分辨率和高光谱分辨率的完整多光谱图像，解决多光谱图像实时传输所带来的应用限制，该方法的步骤是：1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；2)提取单谱段图像S1；3)对单谱段图像S1进行下采样，得到图像S2；4)对图像S2进行2倍上采样，得到图像S3：5)对图像S3进行插值运算；6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原。

A multi spectral mosaic image restoration method

The invention relates to a multi spectral mosaic image restoration method, which enables a multi spectral mosaic video image taken with a coated video spectrometer to be restored to a complete multispectral image with high spatial resolution and high spectral resolution, and to solve the application limitation brought by the real-time transmission of multi spectral images. The procedure is the step of the method. 1) 1) determine the mosaic template according to the number of spectral segments contained in the pixel matrix block of the original multispectral mosaic image S; 2) extract the single spectrum segment image S1; 3) to sample the single spectrum segment image S1, get the image S2; 4) the image S2 is sampled at 2 times, the image S3:5) is interpolated on the image S3; 6) judge the single spectrum segment. The restoration condition of image S1 and the restoration of all single spectral segments are completed.

【技术实现步骤摘要】
一种多光谱马赛克图像复原方法
本专利技术涉及一种多光谱图像处理技术，特别是涉及多光谱马赛克图像复原方法。
技术介绍
多光谱图像处理中的超分辨重建和光谱重建研究和探索一直是多光谱图像技术应用发展的一项重要内容。多光谱图像是一种集图像图形学和光谱学于一体的高分辨遥感图像，其图像的空间分辨率和光谱分辨率都比普通遥感图像高。与普通数字图像相比，多光谱图像具有地物的空间信息和光谱信息，能够同时获得目标的几何形状信息和光谱特性曲线。但是多光谱图像因其谱段数量多，空间分辨率较高，存在数据量大，信息冗余度高，数据传输速率慢等缺点，使多光谱图像在实时监测和移动目标跟等踪领域还存在应用限制。因此如何保证在多光谱图像的空间分辨率和光谱分辨率不变的条件下，减少信息冗余程度以达到多光谱图像数据实时传输和多光谱视频成像的技术是一个新的研究热点，众多科研工作者也投身于这一项研究中。就多光谱图像数据本身来说，其常见的数据特点主要有：1、空间分辨率高，光谱分辨率低，适用于地物种类较少，空间分辨率要求高的手持多光谱成像，例如：多光谱相机成像技术。2、空间分辨率低，光谱分辨率高，适用于地物种类较多，目标几何形状大且规整的机载多光谱成像，例如：农田作物检测，森林监测等。3、空间分辨率高，光谱分辨率高，也就是高光谱成像技术，适用于航空航天科研领域，例如：星载高光谱成像仪拍摄的高光谱图像，主要应用于大气监测等。对于上述的三种多/高光谱图像都不可避免的存在数据信息冗余高，数据传输速率慢等缺点。目前这几类多光谱图图像主要应用于静态成像场景中，不适用于视频成像和移动目标拍摄。因此马赛克形式的多光谱图像采集方式被科研学者应用于多/高光谱图像中，通过在阵列探测器前加入滤光膜，使图像由若干像素矩阵块组成，如图1所示。类似彩色数字图像成像方式，像素矩阵块中的不同像素点对不同谱段进行响应，图像中的每一个像素点只响应某一个谱段信息，输出的多光谱图像类似于数字马赛克图像。这种成像方式能够保证输出图像的空间分辨率和光谱分辨率不变，并且极大地减少信息冗余度，实时传输图像数据，还能进行多光谱图像视频拍摄。但是采用镀膜式多光谱视频成像仪拍摄的图像数据不能直接应用于分析处理，因为此类成像技术将多维的多光谱图像数据压缩为二维的数据格式，输出的图像有马赛克效应，图像中的轮廓比较模糊，物体的细节损失比较严重。单谱段图像空间分辨率会随谱段数量的增加而减少，每一个像素点缺失的光谱信息也会随之增加，尤其在谱段数量多的情况下，这种缺点会更加明显。因此需要对二维的多光谱图像数据进行复原处理，使多光谱图像的单谱段图像空间分辨率显著增强，重建每个像元的所有光谱信息，从而复原出完整的多光谱图像。
技术实现思路
为了解决
技术介绍
中的问题，本专利技术提供了一种多光谱马赛克图像重建复原方法，能够使采用镀膜式视频光谱仪拍摄的多光谱马赛克视频图像被复原为高空间分辨率和高光谱分辨率的完整多光谱图像，解决多光谱图像实时传输所带来的应用限制。本专利技术的原理性内容的介绍：一种多光谱马赛克图像复原方法，利用马赛克模板信息从多光谱马赛克图像中提取单谱段图像，应用泰勒级数估值法计算单谱段图像中缺失像元的像素值，重建单谱段图像的空间和光谱信息，使单谱段图像的空间分辨率尽可能接近探测器的分辨率。因为计算缺失像元的值是单幅图像独立进行，避免相邻谱段信息干扰，重建后的完整多光谱图像光谱误差相比于其他方法更小。上述应用泰勒级数估值法是利用缺失像素点周围已知像素点值的一阶、二阶导数，并利用泰勒级数公式近似估计缺失像素点值，应用该计算方式可以极大保留图像的边缘信息。通过在计算过程中扩大已知像素点计算范围，可以有效减少图像严重稀疏所造成的图像细节信息损失。上述重建完整多光谱图像是建立在单谱段图像的空间和光谱信息基础上，缩放提取的原始单谱段图像，完成缩放后图像的缺失像素值估计运算，并重复缩放和估值运算过程，直到重建的单谱段图像空间分辨率达到原始二维图像的分辨率。将重建后的所有单谱段图像复原为完整的多光谱图像，即从二维图像数据恢复为多维数据。本方法通过缩放过程和泰勒级数估值法对二维多光谱图像数据进行多维重建从而复原完整的多光谱图像，使多光谱图像数据在实时传输条件下仍能够保持高的空间分辨率和光谱分辨率，实现完整的多光谱图像视频采集传输，将光谱技术应用于移动目标跟踪与检测。本专利技术的具体技术方案是：一种多光谱马赛克图像复原方法，包括以下步骤：1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；设谱段数量为N，则马赛克模板大小为M×M，N，M为正整数，且M*M＝N，N≥4；2)提取单谱段图像S1；3)对单谱段图像S1进行下采样，即将图像S1中的所有空像元删除，得到图像S2；4)对图像S2进行2倍上采样，得到图像S3：5)对图像S3进行插值运算；5.1)第一次插值；对图像S3新插入的每一行每一列空像元的交点处进行插值运算；5.2)第二次插值；再对图像S3剩余空像元进行插值运算，得到图像S4：所述剩余空像元位于同列两个相邻已知像元点的连线和同行两个相邻已知像元点的连线的交点位置；6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原，其具体做法是：设每个单谱段图像复原过程中执行步骤4)至步骤5)的次数为P，P≥0；当N为偶数时，且当则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；当N为偶数时，且当则继续重复步骤4)至步骤5)，直到再对剩余单谱段图像执行步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；当N为奇数时，且当且则重复执行步骤4)至步骤5)，直至满足条件得到的图像S4，再在图像S4中每隔2*P行2*P列插入一行一列空像元，使图像的大小等于单谱段图像S1，再对以上处理之后的图像中未知像元采用相邻像元的均值进行估值运算，则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原。上述步骤2)具体做法是：按照马赛克模板中谱段的排列顺序从原始多光谱马赛克图像S中提取单谱段图像S1；具体是：采用滑动窗口遍历原始多光谱马赛克图像S，滑动窗口的大小等于马赛克模板大小且滑动窗口中只有一个像素点置为1，其余像素点置为0，像素点置为1的位置与马赛克模板中有同一谱段信息像元所在的位置一样；所述单谱段图像S1中每一小格代表一个像元，每个像元响应一个谱段信息且每一个像素矩阵块中的所有像元响应的谱段信息均不同。上述步骤3)具体做法是：将单谱段图像S1中像素点置为0的像元删除，单谱段图像S1的空间分辨率会降为原始多光谱马赛克图像S的1/N，从而得到图像S2。上述步骤4)具体做法是：在图像S2中每隔一行一列插入一行一列空像元，从而得到图像S3，其中图像S3的空间分辨率为图像S2的4倍。上述步骤5.1)和5.2)中插值运算的具体过程是：A1、设P点为未知像元点，P点周围的四个已知像元邻域N1，N2，N3，N4，每个邻域内有4个已知像元，利用一阶梯度算子和二阶梯度算子计算每个邻域内的已知像元的一阶和二阶导数；A2、计算每个邻域内四个已知像元的一阶和二阶导数平均值；窗口内四个邻域的一阶导数均值为二阶导数均值为A3、计算窗口内P点在四个邻域本文档来自技高网...

【技术保护点】
1.一种多光谱马赛克图像复原方法，其特征在于，包括以下步骤：1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；设谱段数量为N，则马赛克模板大小为M×M，N，M为正整数，且M*M＝N，N≥4；2)提取单谱段图像S1；3)对单谱段图像S1进行下采样，即将图像S1中的所有空像元删除，得到图像S2；4)对图像S2进行2倍上采样，得到图像S3：5)对图像S3进行插值运算；5.1)第一次插值；对图像S3新插入的每一行每一列空像元的交点处进行插值运算；5.2)第二次插值；再对图像S3剩余空像元进行插值运算，得到图像S4：所述剩余空像元位于同列两个相邻已知像元点的连线和同行两个相邻已知像元点的连线的交点位置；6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原，其具体做法是：设每个单谱段图像复原过程中执行步骤4)至步骤5)的次数为P，P≥0；当N为偶数时，且当

【技术特征摘要】
1.一种多光谱马赛克图像复原方法，其特征在于，包括以下步骤：1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；设谱段数量为N，则马赛克模板大小为M×M，N，M为正整数，且M*M＝N，N≥4；2)提取单谱段图像S1；3)对单谱段图像S1进行下采样，即将图像S1中的所有空像元删除，得到图像S2；4)对图像S2进行2倍上采样，得到图像S3：5)对图像S3进行插值运算；5.1)第一次插值；对图像S3新插入的每一行每一列空像元的交点处进行插值运算；5.2)第二次插值；再对图像S3剩余空像元进行插值运算，得到图像S4：所述剩余空像元位于同列两个相邻已知像元点的连线和同行两个相邻已知像元点的连线的交点位置；6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原，其具体做法是：设每个单谱段图像复原过程中执行步骤4)至步骤5)的次数为P，P≥0；当N为偶数时，且当则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；当N为偶数时，且当则继续重复步骤4)至步骤5)，直到再对剩余单谱段图像执行步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；当N为奇数时，且当且则重复执行步骤4)至步骤5)，直至满足条件得到的图像S4，再在图像S4中每隔2*P行2*P列插入一行一列空像元，使图像的大小等于单谱段图像S1，再对以上处理之后的图像中未知像元采用相邻像元的均值进行估值运算，则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原。2.根据权利要求1所述的多光谱马赛克图像复原方法，其特征在...

【专利技术属性】
技术研发人员：张耿，韩佳彤，刘学斌，胡炳樑，王爽，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西,61