用于滤波阵列式光谱图像的纹理信息引导增强方法及系统技术方案

本发明专利技术提出了用于滤波阵列式光谱图像的纹理信息引导增强方法及系统，属于计算机视觉和计算摄像技术领域。本发明专利技术设计了一种从图像中提取高频纹理信息的方法，并基于此方法设计了纹理引导增强网络和纹理引导损失函数。在训练过程中，纹理引导增强网络对输入图像取平均后提取纹理信息，并将提取到的信息作为引导嵌入到网络当中；纹理引导损失函数在目标图像上提取纹理信息，并将该信息作为引导对每个像素点的权重进行重新分配，使得网络能够更加关注高频纹理信息，进而获得更好的增强效果。同时，提出了一种全自动化的滤波阵列式光谱图像增强系统，能够有效解决在低弱光条件下滤波阵列式光谱相机成像质量差的问题。式光谱相机成像质量差的问题。式光谱相机成像质量差的问题。

【技术实现步骤摘要】
用于滤波阵列式光谱图像的纹理信息引导增强方法及系统


[0001]本专利技术涉及一种用于滤波阵列式光谱图像的纹理信息引导增强方法及系统，属于计算机视觉与计算摄像


技术介绍

[0002]滤波阵列式光谱相机正被越来越多地用于多光谱成像领域。扩展自传统的彩色滤波阵列，多光谱滤波阵列使得滤波阵列式光谱相机能够用快照的方式拍摄多光谱图像。然而，相较于彩色滤波阵列，多光谱滤波阵列的每个像素点可通过的光谱段更窄、光通量更少，因此，在光照条件稍差的情况下，滤波阵列式光谱相机采集到的光谱图像会存在较大噪声，大大影响了其成像质量。
[0003]为了增强低弱光环境下滤波阵列式光谱相机的成像质量，去除图像中的噪声，目前已经有一些较为成熟的解决方式。这些增强去噪方法可以分为基于模型的方法和基于学习的方法。其中，基于模型的方法主要基于光谱图像的物理性质，手工设计一些先验信息，并结合这些物理先验，将图像增强去噪问题转化为优化问题，进而去除光谱图像的噪声。然而，此类方法的问题在于：手工设计的先验信息不够准确和全面。相较之下，基于学习的方法能够有效避免手工设计先验带来的麻烦以及其不够准确、不够全面的问题。依赖于深度神经网络强大的学习能力，基于学习的方法能够自动学习得到数据中潜在的特征，并且在光谱图像增强去噪这一任务上已经取得了一定的成效。
[0004]但是，现有的基于学习的方法忽视了一个非常重要的问题：在图像增强过程中，恢复高频部分的纹理细节要比恢复图像中的低频成分更加困难。这导致了使用基于学习的方法处理的图像会丢失一些高频纹理信息，出现过度平滑的现象。为此，本领域迫切地需要一种能够较好地恢复高频纹理信息的图像增强方法，并将其应用于实际场景中。

技术实现思路

[0005]本专利技术的目的是为了解决滤波阵列式光谱相机在光照不足的条件下成像质量差的技术问题，创造性地提出一种用于滤波阵列式光谱图像的纹理信息引导增强方法及系统。
[0006]本专利技术的创新点在于：提取纹理图作为高频信息的引导，设计一个用于滤波阵列式光谱图像的纹理引导增强网络和一个纹理引导损失函数，能够有效解决滤波阵列式光谱相机在低弱光环境下图像噪声大、信噪比的问题。相较于已有方法，所设计的方法能够很好地保留原图像中的高频纹理信息。
[0007]为达到上述目的，本专利技术采用以下技术方案实现。
[0008]一种用于滤波阵列式光谱图像的纹理信息引导增强方法，包括训练阶段和使用阶段：
[0009]步骤1：在训练阶段，使用成对的低弱光
‑
正常光滤波阵列式光谱图像数据集，迭代优化模型参数。
[0010]具体地，步骤1包括以下步骤：
[0011]步骤1.1：从成对的低弱光
‑
正常光滤波阵列式光谱图像中，随机选取N对成对数据，并对数据进行预处理，包括数据提亮、增广、归一化、格式化。
[0012]步骤1.2：将预处理后的滤波阵列式光谱图像，输入到纹理引导增强网络中，得到增强后的滤波阵列式光谱图像；
[0013]步骤1.3：将增强后的滤波阵列式光谱图像以及对应的正常光滤波阵列式光谱图像送入纹理引导损失函数，计算得到损失函数值；
[0014]优选地，纹理引导增强网络和纹理引导损失函数，使用从图像中提取的纹理图作为引导。
[0015]进一步地，本专利技术提出了一种从图像中提取纹理图的方法。
[0016]首先，对原图像进行高斯滤波，得到模糊后图像；
[0017]然后，用原图像减去模糊后图像得到差异图，并对差异图再次进行高斯滤波，得到模糊后的差异图；
[0018]最后，对模糊后的差异图进行归一化，最终得到纹理图。
[0019]令输入图像为I，纹理图为M，则M表示为：
[0020]M＝h(g2(I
‑
g1(I)))
[0021]其中，g1和g2为高斯滤波器，h为归一化函数，其定义为：
[0022][0023]其中，X表示进行归一化的图像。
[0024]步骤1.4：根据反向传播算法，通过损失函数值计算并反传各个参数的梯度值，使用计算的梯度值更新各个参数，完成一次训练迭代；
[0025]步骤1.5：重复步骤1.1至1.4，直至迭代次数达到预设上限，并保存增强网络结构及参数值。
[0026]步骤2：使用阶段，载入步骤1中的模型结构及参数，向模型中输入低弱光滤波阵列式光谱图像，得到增强后的图像。
[0027]优选地，本方法中所述的纹理引导增强网络，包括一个主干网络和一个纹理引导分支，其中：
[0028]主干网络采用编码器
‑
解码器结构，包括9个残差块，其中4个残差块作为编码器，4个残差块作为解码器；每个编码器后连接一个下采样层，将特征图的长、宽减半，通道数增加；每个解码器前放置一个上采样层，将特征图的长、宽加倍；采用跳跃连接，将浅层编码器提取到的特征传递到解码器中；
[0029]纹理引导分支将多通道光谱图像在通道维度中做平均操作，在平均后的单通道图像上提取纹理图，并将该纹理图下采样至五个不同尺度，与主干网络中的特征图连接作为主干网络信息的引导。
[0030]优选地，本方法中所述的纹理引导损失函数，包括图像恢复部分及纹理引导部分。其中，图像恢复部分采用常见的L1损失函数。具体地，记网络增强后得到图像为O，目标图像为T，则图像恢复部分为：
[0031]L1＝‖O
‑
T‖1，
[0032]其中，‖
·
‖1为L1范数。
[0033]纹理引导部分对目标图像逐波段提取纹理图，将得到的纹理图作为引导，与恢复后图像和目标图像的差逐元素相乘，并计算其L1范数。若记网络增强后得到图像为O，目标图像为T，提取得到纹理图为M，则纹理引导部分为：
[0034]L
TG
＝‖M
×
(O
‑
T)‖1[0035]最终得到的纹理引导损失函数表示为：
[0036]L＝L1+α
×
L
TG
[0037]其中，α用于平衡图像恢复部分和纹理引导部分。
[0038]另一方面，本专利技术进一步提出了一种用于滤波阵列式光谱图像的纹理信息引导增强系统，包括滤波阵列式光谱图像预处理子系统、纹理引导增强网络子系统、纹理引导损失函数子系统和滤波阵列式光谱成像子系统，以及成对的低弱光
‑
正常光滤波阵列式光谱图像数据集；
[0039]成对的低弱光
‑
正常光滤波阵列式光谱图像数据集，用于对纹理引导增强网络子系统进行监督训练，优化网络参数；
[0040]滤波阵列式光谱图像预处理子系统，用于在训练阶段对滤波阵列式光谱图像进行数据提亮、增广、归一化与格式化；
[0041]纹理引导增强网络子系统，在训练阶段，用于使用成对的低弱光
‑
正常光滤波阵列式光谱图像数据集进行监督训练，得到网络子系统用于滤波阵列式光谱本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于滤波阵列式光谱图像的纹理信息引导增强方法，其特征在于，包括以下步骤：步骤1：训练阶段，使用成对的低弱光
‑
正常光滤波阵列式光谱图像数据集，迭代优化模型的参数；步骤1.1：从成对的低弱光
‑
正常光滤波阵列式光谱图像中，随机选取N对成对数据，并对数据进行预处理，包括数据提亮、增广、归一化、格式化；步骤1.2：将预处理后的低弱光滤波阵列式光谱图像，输入到纹理引导增强网络中，得到增强后的滤波阵列式光谱图像；步骤1.3：将增强后的滤波阵列式光谱图像以及对应的正常光滤波阵列式光谱图像送入纹理引导损失函数，计算得到损失函数值；步骤1.4：根据反向传播算法，通过损失函数值计算并反传各个参数的梯度值，使用计算的梯度值更新各个参数，完成一次训练迭代；步骤1.5：重复步骤1.1至1.4，直至迭代次数达到预设上限，并保存增强网络结构及参数值。步骤2：使用阶段，载入步骤1中的模型结构及参数，向模型中输入带有低弱光滤波阵列式光谱图像，得到增强后的图像。2.如权利要求1所述的用于滤波阵列式光谱图像的纹理信息引导增强方法，其特征在于，步骤1中，纹理引导增强网络和纹理引导损失函数，使用从图像中提取的纹理图作为引导。3.如权利要求2所述的用于滤波阵列式光谱图像的纹理信息引导增强方法，其特征在于，从图像中提取纹理图的方法如下：首先，对原图像进行高斯滤波，得到模糊后图像；然后，用原图像减去模糊后图像得到差异图，并对差异图再次进行高斯滤波，得到模糊后的差异图；最后，对模糊后的差异图进行归一化，最终得到纹理图；令输入图像为I，纹理图为M，则M表示为：M＝h(g2(I
‑
g1(I)))其中，g1和g2为高斯滤波器，h为归一化函数，其定义为：其中，X表示进行归一化的图像。4.如权利要求1中所述的用于滤波阵列式光谱图像的纹理信息引导增强方法，其特征在于，步骤1中，纹理引导增强网络，包括一个主干网络及一个纹理引导分支；其中，主干网络采用编码器
‑
解码器结构，包括9个残差块，其中4个残差块作为编码器，4个残差块作为解码器；每个编码器后连接一个下采样层，将特征图的长、宽减半，通道数增加；每个解码器前放置一个上采样层，将特征图的长、宽加倍；采用跳跃连接将浅层编码器提取到的特征传递到解码器中；纹理引导分支将多通道光谱图像在通道维度中做平均操作，在平均后的单通道图像上提取纹理图，并将该纹理图下采样至五个不同尺度，与主干网络中的特征图连接作为主干
网络信息的引导。5.如权利要求1中所述的用于滤波阵列式光谱图像的纹理信息引导增强方法，其特征在于，步骤1中，纹理引导损失函数，包括图像恢复部分及纹理引导部分；图像恢复部分采用L1损失函数，记网络增强后得到图像为O，目标图像为T，则图像恢复部分为L
)
＝‖O
‑
T‖1其中，‖
·
‖1为L1范数；纹理引导部分对目标图像逐波段提取纹理图，将得到的纹理图作为引导，与恢复后图...

【专利技术属性】
技术研发人员：付莹，姜禹琪，张军，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：