一种基于卷积神经网络的多光谱图像去马赛克方法技术

本发明专利技术涉及一种基于卷积神经网络的多光谱图像去马赛克方法，利用构建的马赛克自适应注意力卷积神经网络实现对输入多光谱Raw图像的去马赛克重建，针对多光谱Raw图像的高空间分辨率以及不同像素位置处对应光谱段不同的特点，提出了基于MSFA中滤光片位置进行卷积核权重共享的马赛克卷积，可对整个多光谱Raw图像进行特征提取，对于不同滤光片采样的像素点采用不同的卷积核权重，可以充分提取对应像素的光谱特征。本发明专利技术提出的马赛克通道注意力与马赛克空间注意力机制可以进一步减少特征图中存在的棋盘格效应等马赛克失真现象，突出图像的主体部分，进一步提高重建效果。进一步提高重建效果。进一步提高重建效果。

【技术实现步骤摘要】
一种基于卷积神经网络的多光谱图像去马赛克方法


[0001]本专利技术属于多光谱图像
，具体涉及一种基于卷积神经网络的多光谱图像去马赛克方法。

技术介绍

[0002]多光谱图像比起传统RGB彩色图像具有更多的光谱波段，拥有更多的光谱信息，被广泛用于遥感图像处理，医学图像分析，食品质量检测，真伪目标检测等方面。现有的多光谱成像技术主要为空间扫描、光谱扫描以及快照式光谱成像等，均是通过牺牲空间分辨率或时间分辨率以换取光谱分辨率。现有的基于多光谱滤光片阵列(MSFA)(如图1所示)的快照式光谱成像(如图3所示)是以牺牲空间分辨率来提高光谱分辨率，随着光谱分辨率的增加，空间分辨率会相应减小。为获取完整的多光谱图像，需进行去马赛克处理。通常使用插值法进行去马赛克，由于快照式多光谱图像在空间上的稀疏采样，导致去马赛克后的图像存在严重的伪影和棋盘格效应。
[0003]目前基于深度卷积神经网络的快照式多光谱图像去马赛克方法都存在一定不足，这些方法都将快照式多光谱图像各个光谱段分离，通过低空间分辨率的多光谱图像进行重建，这会导致空间信息的损失，限制重建的效果。由于快照式光谱图像各个滤光片采样像素位置不同，各谱段对应空间信息有一定程度偏移，这些方法重建后的多光谱图像会出现伪影。Tewodros Amberbir Habtegebrial等人在其论文Deep Convolutional Networks For Snapshot Hypercpectral Demosaicking中提出了一种基于深度残差网络的的多光谱Raw图像去马赛克方法，该方法通过将多光谱Raw图像中各谱段对应的像素分离重新合并生成低空间分辨率多光谱图像，通过深度残差网络对低空间分辨率的多光谱图像进行重建，生成高空间分辨率的高光谱图像。
[0004]但是，现有技术将多光谱Raw图像各光谱段进行分离，降低了图像的空间分辨率，损失了图像中部分空间信息，此外，多光谱Raw图像各谱段之间不完全孤立，分离后无法提取各谱段间关系，影响了重建后图像的光谱精度。现有技术使用卷积神经网络对多光谱Raw图像进行特征提取时，卷积核共享相同权重，导致提取特征后光谱信息杂糅。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于卷积神经网络的多光谱图像去马赛克方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术提供了一种基于卷积神经网络的多光谱图像去马赛克方法，包括：
[0007]获取多光谱Raw图像训练集；
[0008]构建马赛克自适应注意力卷积神经网络；
[0009]利用所述多光谱Raw图像训练集对所述马赛克自适应注意力卷积神经网络进行训练，得到训练完成的马赛克自适应注意力卷积神经网；
[0010]将待测的多光谱Raw图像输入至训练完成的马赛克自适应注意力卷积神经网进行
去马赛克重建，得到对应的去马赛克重建多光谱图像；
[0011]其中，所述马赛克自适应注意力卷积神经网络，包括马赛克卷积模块、马赛克特征编码模块、马赛克特征解码模块和多个空间注意力模块，其中，
[0012]所述马赛克卷积模块、所述马赛克特征编码模块与所述马赛克特征解码模块级联；
[0013]所述马赛克特征编码模块和所述马赛克特征解码模块均包括多个级联的密集残差注意力模块；
[0014]所述多个空间注意力模块对应连接在所述马赛克特征编码模块的密集残差注意力模块和所述马赛克特征解码模块的密集残差注意力模块之间。
[0015]在本专利技术的一个实施例中，获取多光谱Raw图像训练集，包括：
[0016]利用多光谱滤光片阵列对多个原始多光谱图像进行仿真采样，得到多个多光谱Raw图像，作为所述多光谱Raw图像训练集；
[0017]其中，所述多光谱滤光片阵列包括c个空间排布方式为m*n的光谱滤光片，c为多光谱滤光片阵列的光谱波段数，m和n均为大于零的整数。
[0018]在本专利技术的一个实施例中，在所述马赛克特征编码模块中，每个密集残差注意力模块的输入输出特征图通道数不同；
[0019]在所述马赛克特征解码模块中，每个密集残差注意力模块的输入输出特征图通道数不同。
[0020]在本专利技术的一个实施例中，所述密集残差注意力模块包括依次级联的第一卷积单元、第一concatenate拼接层、第二卷积单元、第二concatenate拼接层、第三卷积单元、马赛克通道注意力层和融合层，其中，
[0021]所述第一卷积单元、所述第二卷积单元和所述第三卷积单元均包括级联的卷积层和第一激活函数层，其中，所述卷积层的卷积核大小为3
×
3，所述第一卷积单元和所述第二卷积单元的卷积层的卷积核个数为该密集残差注意力模块的输入通道数四分之一，所述第三卷积单元的卷积层的卷积核个数与该密集残差注意力模块的输出通道数一致；所述第一激活函数层的激活函数为PReLU激活函数；
[0022]所述第一concatenate拼接层，用于将所述密集残差注意力模块的输入特征与所述第一卷积单元的输出特征进行拼接；
[0023]所述第二concatenate拼接层，用于将所述密集残差注意力模块的输入特征、所述第一卷积单元的输出特征、所述第二卷积单元的输出特征进行拼接；
[0024]所述马赛克通道注意力层，用于将所述第三卷积单元的输出特征中的各光谱滤光片对应位置处光谱进行聚合，并对聚合后特征各像素计算权值，利用计算后的权值对所述第三卷积单元的输出特征进行加权；
[0025]所述融合层，用于将所述密集残差注意力模块的输入特征与所述马赛克通道注意力层的输出特征进行融合。
[0026]在本专利技术的一个实施例中，所述空间注意力模块包括空间特征聚合层、空间特征筛选层、第三concatenate拼接层、马赛克卷积模块、第二激活函数层和特征注意力层，其中，
[0027]所述空间特征聚合层，用于对所述空间注意力模块的输入特征的每个空间位置处
全部通道上的像素进行平均加权实现特征聚合；
[0028]所述空间特征筛选层，用于对所述空间注意力模块的输入特征的每个空间位置处全部通道上的像素最大值进行筛选；
[0029]所述第三concatenate拼接层，用于将所述空间特征聚合层的输出特征与所述空间特征筛选层的输出特征进行拼接，拼接后的特征图输入所述马赛克卷积模块；
[0030]所述马赛克卷积模块、所述第二激活函数层和所述特征注意力层依次级联；
[0031]所述第二激活函数层的激活函数为Sigmoid激活函数。
[0032]在本专利技术的一个实施例中，所述马赛克卷积模块包括：多核卷积层、特征通道筛选层和特征通道融合层；其中，
[0033]所述多核卷积层的卷积核个数与多光谱滤光片阵列的光谱波段数一致，所述多核卷积层的各卷积核分别对输入的特征图进行卷积操作，得到对应的马赛克特征图；
[0034]所述特征通道筛选层，用于将所述多核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的多光谱图像去马赛克方法，其特征在于，包括：获取多光谱Raw图像训练集；构建马赛克自适应注意力卷积神经网络；利用所述多光谱Raw图像训练集对所述马赛克自适应注意力卷积神经网络进行训练，得到训练完成的马赛克自适应注意力卷积神经网；将待测的多光谱Raw图像输入至训练完成的马赛克自适应注意力卷积神经网进行去马赛克重建，得到对应的去马赛克重建多光谱图像；其中，所述马赛克自适应注意力卷积神经网络，包括马赛克卷积模块、马赛克特征编码模块、马赛克特征解码模块和多个空间注意力模块，其中，所述马赛克卷积模块、所述马赛克特征编码模块与所述马赛克特征解码模块级联；所述马赛克特征编码模块和所述马赛克特征解码模块均包括多个级联的密集残差注意力模块；所述多个空间注意力模块对应连接在所述马赛克特征编码模块的密集残差注意力模块和所述马赛克特征解码模块的密集残差注意力模块之间。2.根据权利要求1所述的种基于卷积神经网络的多光谱图像去马赛克方法，其特征在于，获取多光谱Raw图像训练集，包括：利用多光谱滤光片阵列对多个原始多光谱图像进行仿真采样，得到多个多光谱Raw图像，作为所述多光谱Raw图像训练集；其中，所述多光谱滤光片阵列包括c个空间排布方式为m*n的光谱滤光片，c为多光谱滤光片阵列的光谱波段数，m和n均为大于零的整数。3.根据权利要求1所述的种基于卷积神经网络的多光谱图像去马赛克方法，其特征在于，在所述马赛克特征编码模块中，每个密集残差注意力模块的输入输出特征图通道数不同；在所述马赛克特征解码模块中，每个密集残差注意力模块的输入输出特征图通道数不同。4.根据权利要求3所述的种基于卷积神经网络的多光谱图像去马赛克方法，其特征在于，所述密集残差注意力模块包括依次级联的第一卷积单元、第一concatenate拼接层、第二卷积单元、第二concatenate拼接层、第三卷积单元、马赛克通道注意力层和融合层，其中，所述第一卷积单元、所述第二卷积单元和所述第三卷积单元均包括级联的卷积层和第一激活函数层，其中，所述卷积层的卷积核大小为3
×
3，所述第一卷积单元和所述第二卷积单元的卷积层的卷积核个数为该密集残差注意力模块的输入通道数四分之一，所述第三卷积单元的卷积层的卷积核个数与该密集残差注意力模块的输出通道数一致；所述第一激活函数层的激活函数为PReLU激活函数；所述第一concatenate拼接层，用于将所述密集残差注意力模块的输入特征与所述第一卷积单元的输出特征进行拼接；所述第二concatenate拼接层，用于将所述密集残差注意力模块的输入特征、所述第一卷积单元的输出特征、所述第二卷积单元的输出特征进行拼接；所述马赛克通道注意力层，用于将所述第三卷积单元的输出特征中的各光谱滤光片对
应位置处光谱进行聚合，并对聚合后特征各像素计算权值，利...

【专利技术属性】
技术研发人员：高大化，石劢，刘丹华，牛毅，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：