一种序列图像条带噪声消除方法技术

本发明专利技术公开了一种序列图像条带噪声消除方法，包括：利用三维卷积构建序列图像时空关联信息提取模块；利用二维卷积构建图像二维重建模块；根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；创建序列图像训练集；利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。该序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到原始卷积神经网络中，可以通过学习帧间相似信息更好地预测噪声。

【技术实现步骤摘要】
一种序列图像条带噪声消除方法
本专利技术属于数字图像处理
，具体涉及一种序列图像条带噪声消除方法。
技术介绍
图像传感器由于制造工艺的限制和环境的影响，在成像过程中会产生条纹状的固定模式噪声，从而严重影响了图像信噪比。特别是在红外或高光谱成像系统中，图像因条带噪声的污染而大量丢失图像细节，从而对后续的目标检测识别带来巨大困难。鉴于制造工艺的改进周期长、投入大，因此，基于信号处理的图像复原技术对消除图像条带噪声还原原始场景信息具有重要价值。传统的图像去噪算法利用图像先验模型进行去噪，比如非局部自相似模型、梯度模型、稀疏字典模型与马尔科夫随机场模型。经典的三维块匹配(BM3D)算法及其变体对彩色图像的扩展CBM3D，其主要思想是基于三维非局部相似块匹配。三维非局部相似块匹配与传统的非局部平均思想(NLM)不同，其采用硬阈值线性变换来寻找相似块，然后用联合滤波的方法对这些三维数组进行处理，最后通过逆变换把处理后的结果返回到原图像中，从而得到去噪后的图像。传统的图像去噪算法通常在处理优化问题上比较复杂，去噪过程中往往涉及繁琐的调参，且在噪声去除和细节保留方面的效果也不尽如人意。近年来，卷积神经网络(CNN)不断应用到图像处理中，很多学者已经开发研究了许多用于图像去噪的卷积神经网络模型并取得不错的效果。2017年，Zhang等提出了一种深度残差网络(DnCNN)用于去除图像中的高斯噪声。DnCNN不对图像本身进行学习，而是以输出与噪声的L2范数为损失函数来训练网络，并且在该网络中引入BN层以解决深层网络无法收敛的问题。通过实验结果对比，DnCNN在不同噪声水平是的去噪效果优于BM3D等算法模型。2018年，Xiao等提出了一种十层的残差网络(ICSRN)用于去除图像中的条带噪声，该网络通过对网络层进行拼接以得到更多的特征表示，ICSRN对条带噪声的去除取得了一定效果，但在细节恢复方面仍需提高。目前，图像去噪领域已经取得了很大发展，各种卷积神经网络模型被不断提出，但都普遍存在噪声残留严重、细节恢复效果差等问题。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种序列图像条带噪声消除方法。本专利技术要解决的技术问题通过以下技术方案实现：本专利技术提供了一种序列图像条带噪声消除方法，所述方法包括：S1：利用三维卷积构建序列图像时空关联信息提取模块；S2：利用二维卷积构建图像二维重建模块；S3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；S4：创建序列图像训练集；S5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；S6：将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。在本专利技术的一个实施例中，所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层，其中，所述空间维卷积包括第一三维卷积层和第一激活层，所述时间维卷积包括第二三维卷积层和第二激活层，所述融合层包括第三三维卷积层和第三激活层，所述降维层的表达式为：Y1_squ＝squeeze(Y1_32)其中，Y1_32是所述第三激活层的输出图像，squeeze表示对序列图像时间维度的提取，Y1_squ是所述降维层的输出图像。在本专利技术的一个实施例中，所述第一三维卷积层的卷积核大小为1*3*3，输出通道为64；所述第二三维卷积层的卷积核大小为3*1*1，输出通道为64；所述第三三维卷积层的卷积核大小为5*1*1，输出通道为64。在本专利技术的一个实施例中，所述图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层，其中，所述第一重建模块包括依次连接的多个二维卷积层和多个激活层；所述第二重建模块包括依次连接的多个二维卷积层和多个激活层；所述输出卷积层包括一个二维卷积层；所述升维层的输入为输出卷积层的输出，表达式为：Y＝expand(X)其中，X为所述升维层的输入，expand表示对输入的时间维度的扩充，Y为所述升维层的输出；所述残差层的输出为所述升维层的输出与所述初始卷积神经网络输入的差。在本专利技术的一个实施例中，所述第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层；所述第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第二十二激活层。在本专利技术的一个实施例中，所述S3包括：将所述序列图像时序信息提取模块和所述图像二维重建模块依次连接，构成所述初始卷积神经网络。在本专利技术的一个实施例中，所述S4包括：获取多组高清视频，将每组高清视频截取为图像帧，从每组图像帧中选取连续的多帧序列图像作为初始序列图像集；对所述初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声，生成序列图像训练集。在本专利技术的一个实施例中，所述S5包括：采用均方误差作为损失函数，使用自适应矩估计优化器对所述卷积神经网络进行训练，所述均方误差的表达式为：其中，F为重构图像，即经卷积神经网络处理的去噪图像，U为未添加噪声的原始图像，m和i分别代表图像的行和列。与现有技术相比，本专利技术的有益效果在于：1、本专利技术的序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到卷积神经网络中，构造带有序列图像时空关联信息提取模块的卷积神经网络，不仅能够提取图像空间维度的信息，也能够提取图像帧与帧之间的运动信息，可以通过学习帧间相似信息，更好地预测噪声，并且可以获得更多的信息进行后续的噪声估计与图像场景细节的恢复，从而解决图像去噪过程中的细节丢失问题。2、本专利技术的方法采用端到端卷积神经网络直接生成去噪图像，避免了不同图像需要不断调参的麻烦。以下将结合附图及实施例对本专利技术做进一步详细说明。附图说明图1是本专利技术实施例提供的一种序列图像条带噪声消除方法的流程图；图2a是本专利技术提供的一种序列图像时空关联信息提取模块的结构示意图；图2b是本专利技术提供的一种序列图像时空关联信息提取模块的网络结构示意图；图3a是本专利技术提供的一种图像二维重建模块的结构示意图；图3b是本专利技术提供的一种图像二维重建模块的网络结构示意图；图4是本专利技术实施例提供的一种序列图像条带噪声消除本文档来自技高网...

【技术保护点】
1.一种序列图像条带噪声消除方法，其特征在于，所述方法包括：/nS1：利用三维卷积构建序列图像时空关联信息提取模块；/nS2：利用二维卷积构建图像二维重建模块；/nS3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；/nS4：创建序列图像训练集；/nS5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；/nS6：将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。/n

【技术特征摘要】
1.一种序列图像条带噪声消除方法，其特征在于，所述方法包括：
S1：利用三维卷积构建序列图像时空关联信息提取模块；
S2：利用二维卷积构建图像二维重建模块；
S3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；
S4：创建序列图像训练集；
S5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；
S6：将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。


2.根据权利要求1所述的序列图像条带噪声消除方法，其特征在于，所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层，其中，所述空间维卷积包括第一三维卷积层和第一激活层，所述时间维卷积包括第二三维卷积层和第二激活层，所述融合层包括第三三维卷积层和第三激活层，所述降维层的表达式为：
Y1_squ＝squeeze(Y1_32)
其中，Y1_32是所述第三激活层的输出图像，squeeze表示对序列图像时间维度的提取，Y1_squ是所述降维层的输出图像。


3.根据权利要求2所述的序列图像条带噪声消除方法，其特征在于，所述第一三维卷积层的卷积核大小为1*3*3，输出通道为64；所述第二三维卷积层的卷积核大小为3*1*1，输出通道为64；所述第三三维卷积层的卷积核大小为5*1*1，输出通道为64。


4.根据权利要求2所述的序列图像条带噪声消除方法，其特征在于，所述图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层，其中，
所述第一重建模块包括依次连接的多个二维卷积层和多个激活层；
所述第二重建模块包括依次连接的多个二维卷积层和多个激活层；
所述输出卷积层包括一个二维卷积层；
所述升维层的输入为输出卷积层的输出，表达式为：
Y＝expand(X)
其中，X为所述升维层...

【专利技术属性】
技术研发人员：赖睿，石晓鹏，官俊涛，李跃进，李奕诗，徐昆然，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61