【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种针对现在常用的5×5滤波阵列去马赛克相机的高光谱图像去马赛克处理技术。
技术介绍
1、基于滤波阵列马赛克相机的高光谱成像技术可以实现对物质进行定量，定性以及成分的检测，具有成像速度快，分析速度快，准确率高等优势。更重要的是，高光谱成像技术配合远程医疗系统，利用特定波长光谱的唯一性，从高光谱图像中获取准确的光谱信息，对人体的生命体征及疾病进行非接触的高精度计算机无损诊断，促进智慧医疗的发展。目前，高光谱成像技术具有广泛的应用领域，例如大气检测，食品安全，农作物，文物修复，矿物勘探，工业生产，医学检测等各个领域。
2、现有的大多数高光谱成像系统使用独立波段的图像传感器分别获取对应波段的光谱图像，因此存在体积大，成像时间长，易产生图像伪影，系统抗干扰性差以及成本昂贵等问题。基于滤波阵列马赛克相机的高光谱成像技术通过在马赛克相机表面覆盖一层光谱滤波阵列，仅需要一次拍摄就可以获得数张不同波段的高光谱图像。由于这种基于滤波阵列和马赛克相机的高光谱成像方式，得到的高光谱图像是一张二维的每一个像素位置只有一个波段光谱信息的马赛克图像。因此需要对马赛克图像进行光谱信息插值处理和信息补全，这个过程就是“去马赛克”。
3、传统彩色图像的去马赛克方法已经得到广泛研究，很多研究人员提出了不少基于拜耳滤波阵列的彩色相机的去马赛克算法。但是，基于滤波阵列的马赛克相机的高光谱图像去马赛克的研究仍然有很大的研究和提升空间，相关的算法还比较少而且发展不成熟，难以用于实际场景。随着电子制造业的发展，光谱滤光
4、x.wang等人在“discrete wavelet transform based multispectral filterarray demosaicking”(colour&visual computing sympo-sium.2013.)文章中提出将基于离散小波变换的彩色图像去马赛克算法扩展为多光谱图像去马赛克算法。该算法虽然可以处理多光谱图像去马赛克问题，但是算法的前提是要求多光谱图像具有很高的相关性，随着滤波阵列光谱波段数的增加，多光谱图像相关性严重降低，导致去马赛克图像的质量明显下降，更是无法应用于实际多种不同结构的滤波阵列。m.gharbi等人在“deep jointdemosaicking and denoising”(acm trans.graph.2016.35(6)：article 191.)文章中提出了一种基于深度学习的联合去马赛克和去噪算法，只在彩色图像去马赛克上取得了很好的效果，无法应用于高光谱图像去马赛克方面。k.dijkstra等人在“hyperspectraldemosaicking and crosstalk correction using deep learning”(machine vision andapplications.2019.30(1)：1-21.)文章中提出了一种基于深度学习的高光谱图像去马赛克算法。虽然该算法可应用于滤波阵列的高光谱马赛克图像，但其研究内容是提升高光谱图像的空间分辨率，并没有研究三维的光谱特征的去马赛克。此外，算法研究的光谱波段数仅有16个，去马赛克时算法并没有很好地重建图像的高频信息，即算法的去马赛克效果差。综上可知，现有的图像去马赛克算法中，大多数都是针对传统的彩色图像，对于高光谱或多光谱图像去马赛克的研究还有很大的提升空间。
5、专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：大多数去马赛克算法都是针对彩色图像，极少有针对高光谱图像去马赛克的算法；彩色图像去马赛克算法无法直接应用于高光谱图像去马赛克；现有的高光谱去马赛克算法要求高光谱图像具有很高的相关性，对通道数较多的滤光阵列采集的高光谱图像，即严重欠采样的高光谱马赛克图像的去马赛克效果很差；传统去马赛克算法无法避免产生拉链效应，图像伪影，图像模糊，并且图像的边缘，复杂的纹理以及光谱等高频信息难以恢复；此外大多数去马赛克算法都是学习空间特征，寻找图像空间特征的相关性，极少有学习高光谱图像的光谱信息，这仅是对高光谱图像的简单的空间角度的去马赛克，而并不是真正意义上的对高光谱图像光谱维的去马赛克处理。
技术实现思路
1、本专利技术的目的在于提供一种基于5×5滤波阵列马赛克相机的高光谱去马赛克方法，由于市面上常用的滤波阵列是5×5结构的去马赛克相机，利用深度学习在图像处理领域的独特优势，针对这种5×5滤波阵列的马赛克相机得到高光谱图像通过深度学习建模对高光谱图像进行去马赛克，得到最终的去马赛克高光谱图像。此方法不仅仅是学习高光谱图像空间二维特征还原空间信息，而且率先从光谱角度对高光谱马赛克图像学习连续的，强相关的光谱特征以进行光谱维的去马赛克处理，真正意义上做到了对高光谱马赛克图像空间维，光谱维的三维去马赛克。该方法大幅度提升高光谱图像去马赛克效果的同时，还能应用于实际场景，例如对有害气体的检测，农产品有害物质的成分检测等，是一种准确，高效且有巨大实际价值的高光谱去马赛克方法。
2、本专利技术解决技术问题所采用的技术方案是：一种基于5×5滤波阵列马赛克相机的高光谱去马赛克方法，主要实现步骤阐述如下。如图1所示，该方法主要分为数据预处理和去马赛克网络3dm-net两块。首先，从公开多光谱数据库采集多幅图像，并分别采样每幅多光谱图像的t个光谱组成原始高光谱图像数据集gt，再通过5×5滤波阵列仿真得到对应的马赛克图像lr，t一般取值25。然后，将完整的高光谱图像数据集gt和对应的马赛克图像lr组成数据集，将数据集分为训练集，验证集和测试集。接着，将训练集输入马赛克网络3dm-net，通过3dm-net得到两路输出，一路是图像空间维度的学习输出，另一路是图像光谱维度的学习结果，最后两路输出相加得到完整的高光谱去马赛克结果。最后，每训练到n次迭代次数时，利用验证集对目前3dm-net学习得到的模型进行验证，以判断，修正当前的模型。最后，利用之前的准备好的测试集，将经过完整训练，验证过程的3dm-net学习得到的模型进行测试，得到每个测试集的图像评价指标和测试结果的可视化形式。
3、本专利技术提供的一种基于5×5滤波阵列马赛克相机的高光谱去马赛克方法，具有显著的优势：
4、1)现有的大多数高光谱去马赛克算法都是针对图像的二维的空间特征建模，没有考虑到高光谱图像连续的光谱信息，也即完全忽略了高光谱图像的三维的光谱特征。本方法从时空角度出发，设计的去马赛克网络3dm-net不仅可以学习高光谱图像的二维空间信息，而且从光谱维上学习了本文档来自技高网...
【技术保护点】
1.一种针对5X5滤波阵列马赛克相机的高光谱图像去马赛克方法，其特征在于，所述方法包括以下步骤：本专利选用5X5滤波阵列马赛克相机作为实施主体，发展了一种新型的高光谱图像去马赛克方法，该去马赛克方法由数据预处理模块和3DM-Net去马赛克模块组成：首先，对于5X5滤波阵列马赛克相机拍摄得到的马赛克图片，通过数据预处理模块进行插值重建，再将重建后的数据输入3DM-Net去马赛克模块，进一步提升数据的分辨率与信噪比，从而实现5X5滤波阵列马赛克相机图像的快速准确重建。
2.根据权利要求1所述的方法，其特征在于，所述的5X5滤波阵列马赛克相机图像像素大小为512pixel×512pixel，波长范围是400nm至700nm，光谱分辨率为10nm，本专利中5X5滤波阵列可以任意组合排列。
3.根据权利要求1所述的方法，其特征在于，所述的数据预处理模块首先将马赛克数据进行强度归一化处理，再进行距离权重插值。
4.根据权利要求3所述的方法，其特征在于，所述的距离权重插值方式为：根据目标像素点与相邻像素点的欧式距离，计算多个相邻像素点的皮尔逊相关性系数作为对
5.根据权利要求1所述的方法，其特征在于，所述的3DM-Net去马赛克模块的结构为：预处理后的数据拆分为子图像块，以光谱维串联的形式输入网络，首先经过卷积层进行信息融合，再同时经过残差生成网络和动态滤波上采样网络两条路径，两条路径的输出结果相加即为最终的去马赛克图像输出结果。
6.根据权利要求5所述的方法，其特征在于，所述的子图像块拆分方式为：将预处理后的高光谱图像数据(数据大小为H×W×L)拆分为若干个子图像块(大小为b×b×L)，其中b固定为32，当H或W不为b的整倍数时，边缘进行补零处理，保证算法可以适应不同大小的高光谱图像数据。
7.根据权利要求5所述的方法，其特征在于，所述的残差生成网络由N1个空间密集块、N2个光谱密集块、批量标准化层、N3个激活卷积层组成，其中激活层为ReLu和LeakyReLu交替使用，并且部分卷积层采用扩张卷积。
8.根据权利要求5所述的方法，其特征在于，所述的动态滤波上采样网络由M1个空间密集块、M2个光谱密集块、批量标准化层、M3个激活卷积层、归一化层组成，其中激活层为ReLu和LeakyReLu交替使用，动态滤波上采样网络生成动态滤波器组，再对输入数据进行动态滤波和上采样处理，得到动态滤波上采样的输出。
9.根据权利要求7和权利要求8所述的方法，其特征在于，所述的残差生成网络和动态滤波上采样网络的空间密集块和光谱密集块结构相同，该部分为共享网络，即N1＝M1，N2＝M2。
10.根据权利要求7和权利要求8所述的方法，其特征在于，所述的激活卷积层，仅激活层使用相同的结构，卷积层结构不同，但在数量上N3＝M3。
11.根据权利要求8所述的方法，其特征在于，所述的动态滤波器组的卷积核大小设置为5×5，根据输入数据(数据大小为H×W×L)及其光谱维数扩展为动态滤波器组，形状为“(batch，5×5×L，K×K，T，b/K，b/K)”，再对输入数据的每一个光谱都进行独立的动态滤波和上采样操作得到动态滤波上采样网络的输出，其中batch为每次训练集的批数，一般取4，K为放大倍数，T为光谱数。
12.根据权利要求5所述的方法，其特征在于，所述的损失函数为一般自适应鲁棒损失函数“Charbonnier Loss”。
13.一种针对5X5滤波阵列马赛克相机的高光谱图像去马赛克方法，其特征在于，所述一种针对5X5滤波阵列马赛克相机的高光谱图像去马赛克方法用于执行如权利要求1-12任一项所述的一种针对5X5滤波阵列马赛克相机的高光谱图像去马赛克方法。
...【技术特征摘要】
1.一种针对5x5滤波阵列马赛克相机的高光谱图像去马赛克方法，其特征在于，所述方法包括以下步骤：本专利选用5x5滤波阵列马赛克相机作为实施主体，发展了一种新型的高光谱图像去马赛克方法，该去马赛克方法由数据预处理模块和3dm-net去马赛克模块组成：首先，对于5x5滤波阵列马赛克相机拍摄得到的马赛克图片，通过数据预处理模块进行插值重建，再将重建后的数据输入3dm-net去马赛克模块，进一步提升数据的分辨率与信噪比，从而实现5x5滤波阵列马赛克相机图像的快速准确重建。
2.根据权利要求1所述的方法，其特征在于，所述的5x5滤波阵列马赛克相机图像像素大小为512pixel×512pixel，波长范围是400nm至700nm，光谱分辨率为10nm，本专利中5x5滤波阵列可以任意组合排列。
3.根据权利要求1所述的方法，其特征在于，所述的数据预处理模块首先将马赛克数据进行强度归一化处理，再进行距离权重插值。
4.根据权利要求3所述的方法，其特征在于，所述的距离权重插值方式为：根据目标像素点与相邻像素点的欧式距离，计算多个相邻像素点的皮尔逊相关性系数作为对应相邻像素点的位置权值，进行皮尔逊相关性距离权重插值，得到目标像素点的像素值。
5.根据权利要求1所述的方法，其特征在于，所述的3dm-net去马赛克模块的结构为：预处理后的数据拆分为子图像块，以光谱维串联的形式输入网络，首先经过卷积层进行信息融合，再同时经过残差生成网络和动态滤波上采样网络两条路径，两条路径的输出结果相加即为最终的去马赛克图像输出结果。
6.根据权利要求5所述的方法，其特征在于，所述的子图像块拆分方式为：将预处理后的高光谱图像数据(数据大小为h×w×l)拆分为若干个子图像块(大小为b×b×l)，其中b固定为32，当h或w不为b的整倍数时，边缘进行补零处理，保证算法可以适应不同大小的高光谱图像数据。
【专利技术属性】
技术研发人员：李奇峰，谭嵋，马翔云，吴佳宁，夏华，孙逸，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。