一种针对MSFA高光谱图像的去马赛克与压缩融合框架制造技术

本发明专利技术公开了一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；PPI图生成模块使用DPG

【技术实现步骤摘要】
一种针对MSFA高光谱图像的去马赛克与压缩融合框架


[0001]本专利技术属于图像处理
，具体涉及一种高光谱图像的去马赛克与压缩融合框架。

技术介绍

[0002]高光谱成像作为一种新兴成像系统，随着成像技术的不断成熟，如今已经广泛应用国土测绘、城乡建设、统计调查、农林业资源监测、真假目标识别等多个领域。高光谱成像技术大致可分为两种：一，针对每个光谱生成一张单独的图像；二，使用MSFA使一张包含多个通道信息。前者因需要更换滤光镜等操作，成像速度较慢、相机较为昂贵且无法准确拍摄运动中的物体；而后者则在每个像素点只具有单个光谱通道信息(颜色)，如图1所示，当光线通过MSFA阵列时，每个像素点只允许一个光谱通道的信息通过，是以Raw图的每个像素都只能储存一个光谱通道的信息，需要去马赛克算法获取全光谱全解析度图像。去马赛克过程如图2所示，假设Raw图的长高为W和H，具有9个光谱通道，去马赛克算法则把Raw图的W
×
H
×
1扩充至W
×
H
×
9。无论使用哪种方法，高光谱图像相比传统图像都需要更多的储存空间，是以对高光谱图像的压缩与解压缩也是一个重要的步骤。其中，去马赛克是MSFA成像的必要步骤，压缩/解压缩是MSFA图像储存的重要步骤。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；PPI图生成模块使用DPG
‑
Net网络获取Raw图中的各种特征，并针对特征进行图像重建，将重建的图像进行输出，生成PPI图像；压缩\解压缩模块用于压缩\解压缩Raw图和PPI图，减少压缩后文件的大小和算法的复杂度；快速去马赛克模块先Raw图和PPI图的光谱通道分离；再将分离后的Raw图与PPI图相减；对两者之差进行卷积，卷积后的图再与PPI相加，得到最终去马赛克图像。本专利技术框架具有压缩率高且在解压端去马赛克速度快的特点。
[0004]本专利技术解决其技术问题所采用的技术方案如下：
[0005]一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；
[0006]所述PPI图生成模块通过以下步骤实现：
[0007]步骤1
‑
1：从公开多光谱数据集抽取多幅图像，并分别采样每幅图像的H个频谱通道组成原始多光谱图像数据I，再采用MSFA仿真得到对应的Raw图I
MSFA
；
[0008]对H个频谱通道组成原始多光谱图像数据I进行平均生成真实PPI图I
M
；
[0009]将I
MSFA
和I
M
组成训练对；所有抽取图像生成的训练对组成数据集；将数据集分为训练集和测试集；
[0010]步骤1
‑
2：构建DPG
‑
Net网络；
[0011]DPG
‑
Net网络所述网络输入为Raw图，Raw图同时经过左边路径和右边路径的计算，
并对两个结果相加，形成输出PPI图；
[0012]所述左边路径从输入到输出依次为：卷积层C1，激活层A1，卷积层C2，激活层A2，卷积层C3，激活层A3，卷积层C4；
[0013]所述激活层皆为ReLU函数；
[0014]所述卷积层C1包含24个9
×
9的滤波器，步长为1；
[0015]所述卷积层C2包含24个7
×
7的滤波器，步长为1；
[0016]所述卷积层C3和C4均包含24个5
×
5的滤波器，步长均为1；
[0017]所述右边路径为Raw图和M矩阵的卷积；M矩阵针对MSFA的不同而改变，当MSFA为3
×
3时，M为如下所示：
[0018][0019]当MSFA为4
×
4时，M为如下所示：
[0020][0021]步骤1
‑
3：所述DPG
‑
Net网络训练时采用的联合损失函数如式(1)：
[0022][0023]其中，表示真实PPI图I
M
和DPG
‑
Net网络生成的PPI图之间的MSE，计算公式如式(2)：
[0024][0025]其中N是图像中像素数量，p是像素索引；
[0026]为边缘损失，是将真实PPI图I
M
和DPG
‑
Net网络生成的PPI图转换到小波域并计算高频信息的MSE，表示如式(3)：
[0027][0028]其中和分别是I
M
和的第q个小波分解系数，N
W
是图像分解后高频系数的个数；
[0029]使用训练集对DPG
‑
Net网络进行训练，当损失函数最小时，完成训练，得到最
终的DPG
‑
Net网络；
[0030]步骤1
‑
4：使用测试集评估DPG
‑
Net网络的图像预测质量，评价指标PSNR采用式(4)计算：
[0031][0032]其中x是参考图像，是预测图像，H、W、C分别是图像的行、列与通道的个数；
[0033]SSIM采用式(5)计算：
[0034][0035]其中μ
x
，分别是参考图像x和预测图像的均值和方差，是相关系数；
[0036]所述压缩\解压缩模块，包括Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩、Raw图的重建、PPI图的压缩和PPI图的解压缩；
[0037]所述Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩和Raw图的重建通过以下步骤实现：
[0038]步骤2
‑
1：根据Raw图中每个像素的光谱通道分离Raw图；
[0039]采用a1倍降采样得到Raw图的一个光谱通道图像，共分离出H个光谱通道图像；
[0040]步骤2
‑
2：针对分离出的H个光谱通道图片分别进行图像压缩；
[0041]步骤2
‑
3：针对压缩后的文件分别进行解压缩，获取分离后的H个光谱通道图像；
[0042]步骤2
‑
4：将H个光谱通道图像进行合并，重建Raw图；
[0043]所述PPI图的压缩和PPI图的解压缩根据无损压缩或有损压缩选择相应的压缩标准；
[0044]所述快速去马赛克模块通过以下步骤实现：
[0045]步骤3
‑
1：根据每个像素的光谱通道分离Raw图，每幅光谱通道图像中属于当前光谱通道的像素值不变，其余像素值归零；
[0046]步骤3
‑
2：根据Raw图的每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对MSFA高光谱图像的去马赛克与压缩融合框架，其特征在于，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；所述PPI图生成模块通过以下步骤实现：步骤1
‑
1：从公开多光谱数据集抽取多幅图像，并分别采样每幅图像的H个频谱通道组成原始多光谱图像数据I，再采用MSFA仿真得到对应的Raw图I
MSFA
；对H个频谱通道组成原始多光谱图像数据I进行平均生成真实PPI图I
M
；将I
MSFA
和I
M
组成训练对；所有抽取图像生成的训练对组成数据集；将数据集分为训练集和测试集；步骤1
‑
2：构建DPG
‑
Net网络；DPG
‑
Net网络所述网络输入为Raw图，Raw图同时经过左边路径和右边路径的计算，并对两个结果相加，形成输出PPI图；所述左边路径从输入到输出依次为：卷积层C1，激活层A1，卷积层C2，激活层A2，卷积层C3，激活层A3，卷积层C4；所述激活层皆为ReLU函数；所述卷积层C1包含24个9
×
9的滤波器，步长为1；所述卷积层C2包含24个7
×
7的滤波器，步长为1；所述卷积层C3和C4均包含24个5
×
5的滤波器，步长均为1；所述右边路径为Raw图和M矩阵的卷积；M矩阵针对MSFA的不同而改变，当MSFA为3
×
3时，M为如下所示：当MSFA为4
×
4时，M为如下所示：步骤1
‑
3：所述DPG
‑
Net网络训练时采用的联合损失函数如式(1)：其中，表示真实PPI图I
M
和DPG
‑
Net网络生成的PPI图之间的MSE，计算公式如式(2)：
其中N是图像中像素数量，p是像素索引；为边缘损失，是将真实PPI图I
M
和DPG
‑
Net网络生成的PPI图转换到小波域并计算高频信息的MSE，表示如式(3)：其中和分别是I
M
和的第q个小波分解系数，N
W
是图像分解后高频系数的个数；使用训练集对DPG
‑
Net网络进行训练，当损失函数最小时，完成训练，得到最终的DPG
‑
Net网络；步骤1
‑
4：使用测试集评估DPG
‑
Net网络的图像预测质量，评价指标PSNR采用式(4)计算：其中x是参考图像，是预测图像，H、W、C分别是图像的行、列与通道的个数；SSIM采用式(5)计算：其中μ
x
，分别是参考图像x和预测图像的均值和方差，是相关系数；所述压缩\解压缩模块，包括Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩、Raw图的重建、PPI图的压缩和PPI图的解压缩；所述Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩和Raw图的重建通过以下步骤实现：步骤2
‑
1：根据Raw图中每个像素的光谱通道分离Raw图；采用a1倍降采样得到Raw图的一个光谱通道图像，共分离出H个光谱通道图像；步骤2
‑
2：针对分离出的H个光谱通道图片分别进行图像压缩；步骤2
‑
3：针对压缩后的文件分别进行解压缩，获取分离后的H个光谱通道图像；步骤2
‑
4：将H个光谱通道图像进行合并，重建R...

【专利技术属性】
技术研发人员：刘澍民，张语格，陈捷，林庆帆，王逸平，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：