一种基于可变形卷积神经网络的图像去噪方法技术

本发明专利技术公开了一种基于可变形卷积神经网络的图像去噪方法，所述方法包括构建可变形卷积神经网络模型，构建完成的可变形卷积神经网络模型包括两个子网络模型，分别为用于图像去噪的第一网络模型，以及用于辅助第一网络模型进行图像去噪的第二网络模型。然后再训练构建完成的可变形卷积神经网络模型，最后利用训练完成的可变形卷积神经网络模型进行图像去噪。本发明专利技术公开的图像去噪方法有效改进了目前基于神经网络的去噪方法中存在的图像失真或去噪效果不良的问题。噪效果不良的问题。噪效果不良的问题。

【技术实现步骤摘要】
一种基于可变形卷积神经网络的图像去噪方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于可变形卷积神经网络的图像去噪方法。

技术介绍

[0002]传统的数字图像去噪算法主要分为两类：空域像素特征去噪算法和变换域去噪算法。前者是在图像空间域完成去噪，后者是将信息转化到其他域进行处理。在实际应用过程中，通常将二者结合起来，例如NL
‑
means(非局部均值去噪)与BM3D(三维块匹配算法)，这种结合去噪方式在区分图像纹理、边缘等高频信号与噪声方面有较好的效果。传统的图像去噪方法虽然在可见光图、核磁共振图以及视频等去噪场景应用中效果较好，但是此类图像去噪方法对计算机算力的要求更高，处理单幅噪声图像动辄需要花费数分钟甚至更久的时间，因此难以将其应用到处理量大、分辨率高的图像去噪场景中。而且，由于噪声分类多，对于不同的噪声有着不同的处理方法，传统的图像去噪方法在去噪过程中往往需要手动调节参数，以达到最优去噪效果，更难以应对批量处理需求。
[0003]基于神经网络的图像去噪技术是对噪声图像进行过滤处理后得到噪声图像对应的噪声，再利用图像像素点对应关系，从噪声图像中分离出对应的噪声即可得到对应的干净图像。基于神经网络的图像去噪技术因为其自动提取特征的性质越来越受到广泛关注，这一性质可以避免传统去噪模型里图像在概率学习和推断时的计算量，以及减少手工设计操作，降低人工参与度，更好地应对批量处理需求。
[0004]但是，基于神经网络的去噪方法当前还面临重要挑战，即神经网络无法有效区分图像纹理特征和噪声，这会使这一部分图像信息错误地被去除，从而造成失真问题，或者部分噪音由于与图像边缘或纹理相似而被保存下来，降低了去噪效果。

技术实现思路

[0005]本专利技术的目的在于解决目前基于神经网络的去噪方法中存在的图像失真或去噪效果不良的问题。
[0006]为了实现上述目的，本专利技术提供了一种基于可变形卷积神经网络的图像去噪方法，包括：
[0007]步骤S1、构建可变形卷积神经网络模型；
[0008]构建完成的可变形卷积神经网络模型包括两个子网络模型，分别为用于图像去噪的第一网络模型，以及用于辅助第一网络模型进行图像去噪的第二网络模型；
[0009]步骤S2、训练构建完成的可变形卷积神经网络模型；
[0010]步骤S3、利用训练完成的可变形卷积神经网络模型进行图像去噪；
[0011]将需要去噪的噪声图像输入训练后的可变形卷积神经网络模型，由可变形卷积神经网络模型输出去噪后的干净图像。
[0012]进一步地，所述步骤S2包括：
[0013]步骤S21、获取样本数据集；
[0014]在原始干净图像数据集中添加模拟噪声数据集得到模拟噪声图像集，所述模拟噪声图像集为第一样本数据集；所述模拟噪声图像集镜像翻转后的数据集为第二样本数据集；
[0015]步骤S22、输入样本数据集
[0016]将第一样本数据集作为第一网络模型的输入，将第二样本数据集作为第二网络模型的输入；
[0017]步骤S23、融合特征图；
[0018]将第二网络模型训练后输出的特征图作为辅助特征图，与第一网络模型以注意力的方式融合；将所述辅助特征图作为权重，与第一网络模型中的特征图点乘；
[0019]步骤S24、输出模拟干净图像
[0020]融合后的特征图经第一网络模型继续训练后作为准确噪声，模拟噪声图像除去所述准确噪声，输出为模拟干净图像。
[0021]步骤S25、反馈与优化；
[0022]比对第一网络模型输出的模拟干净图像与步骤S21中的原始干净图像，计算模拟干净图像与原始干净图像的差别，将所述差别量化成数值损失；
[0023]调整参数继续训练可变形卷积神经网络模型，直至所述数值损失降到最小值。
[0024]进一步地，所述第一网络模型包括17个处理层：
[0025]第1处理层包括普通卷积模块和激活模块；
[0026]第2、4、6、8、10、12、14、16处理层包括可变形卷积模块、自适应归一化模块和激活模块；
[0027]第3、5、7、9、11、13处理层包括普通卷积模块、批归一化模块和激活模块；
[0028]第15、17处理层包括普通卷积模块。
[0029]进一步地，所述第一网络模型中的可变形卷积模块与普通卷积模块的卷积核均为3*3；第1处理层的输入通道为1，输出通道为64；其余处理层的出入、输出通道均为64。
[0030]进一步地，所述第一网络模型在第15处理层后、第16层前设有融合模块，所述融合模块用于完成步骤S23。
[0031]进一步地，所述第一网络模型在第17处理层后设有残差处理模块，用于对经过第17处理层训练后的特征图进行残差处理。
[0032]进一步地，所述第二网络模型包括16个处理层：
[0033]第1处理层包括普通卷积模块和激活模块；
[0034]第2
‑
14处理层包括普通卷积模块、批归一化模块和激活模块；
[0035]第15、16处理层包括普通卷积模块。
[0036]进一步地，所述第二网络模型中，第1～14处理层的普通卷积模块的卷积核大小为3*3；第15、16处理层中的普通卷积模块的卷积核大小为1*1；第1处理层的输入通道为1，输出通道为64；其余处理层的出入、输出通道均为64。
[0037]进一步地，所述第二网络模型在第15处理层后、第16处理层前设有残差处理模块，用于对经过第15处理层训练后的特征图进行残差处理。
[0038]进一步地，所述第二网络模型在残差处理模块之后、第16处理层前设有翻转操作
模块，用于对残差处理后的特征图进行镜像翻转。
[0039]本专利技术至少具有如下有益效果：
[0040](1)本专利技术将可变形卷积引入神经网络模型，可变形卷积可以自动学习卷积核形状，减少神经网络模型对无关或不重要信息的关注度，从而能够提取更多的有效特征，抑制图像失真。
[0041](2)本专利技术构建的可变形卷积神经网络模型包含两个共同作用的子网络模型：第一网络模型和第二网络模型。第一网络模型主要负责对噪声图像进行去噪以获取干净图像，第二网络模型主要用于以注意力的方式引导第一网络模型，提取显著性特征，提高去噪效果。
[0042](3)本专利技术构建的可变形卷积神经网络模型引入了残差处理模块，在较大网络深度下避免了出现梯度弥散和爆炸的问题，防止网络退化，噪声密度不大时，同时残差处理模块还能有助于可变形卷积神经网络模型输出潜在干净图像。
[0043](4)本专利技术构建的可变形卷积神经网络模型引入批归一化模块，批归一化模块能够促进残差处理模块发挥作用，并且加快模型收敛速度，提升训练效率；采用自适应归一化模块,完善批归一化模块不能完全适应批处理量小的情况，让模型自主选择并优化归一化方式。
[0044](5)本专利技术构建的可变形卷积神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形卷积神经网络的图像去噪方法，其特征在于，所述图像去噪方法包括如下步骤：步骤S1、构建可变形卷积神经网络模型；构建完成的可变形卷积神经网络模型包括两个子网络模型，分别为用于图像去噪的第一网络模型，以及用于辅助第一网络模型进行图像去噪的第二网络模型；步骤S2、训练构建完成的可变形卷积神经网络模型；步骤S3、利用训练完成的可变形卷积神经网络模型进行图像去噪；将需要去噪的噪声图像输入训练后的可变形卷积神经网络模型，由可变形卷积神经网络模型输出去噪后的干净图像。2.根据权利要求1所述的图像去噪方法，其特征在于，所述步骤S2包括：步骤S21、获取样本数据集；在原始干净图像数据集中添加模拟噪声数据集得到模拟噪声图像集，所述模拟噪声图像集为第一样本数据集；所述模拟噪声图像集镜像翻转后的数据集为第二样本数据集；步骤S22、输入样本数据集；将第一样本数据集作为第一网络模型的输入，将第二样本数据集作为第二网络模型的输入；步骤S23、融合特征图；将第二网络模型训练后输出的特征图作为辅助特征图，与第一网络模型以注意力的方式融合；将所述辅助特征图作为权重，与第一网络模型中的特征图点乘；步骤S24、输出模拟干净图像；融合后的特征图经第一网络模型继续训练后作为准确噪声，模拟噪声图像除去所述准确噪声，输出为模拟干净图像。步骤S25、反馈与优化；比对第一网络模型输出的模拟干净图像与步骤S21中的原始干净图像，计算模拟干净图像与原始干净图像的差别，将所述差别量化成数值损失；调整参数继续训练可变形卷积神经网络模型，直至所述数值损失降到最小值。3.根据权利要求2所述的图像去噪方法，其特征在于，所述第一网络模型包括17个处理层：第1处理层包括普通卷积模块和激活模块；第2、4、6、8、10、12、14、16...

【专利技术属性】
技术研发人员：肖景钰，田春伟，章成源，张师超，
申请(专利权)人：中南大学，
类型：发明
国别省市：