一种基于特征增强的残差神经网络及图像去块效应方法技术

本发明专利技术涉及数字图像后处理领域，具体为一种基于特征增强的残差神经网络及图像去块效应方法；本发明专利技术基于特征增强的残差神经网络引入局部残差单元、全局特征增强单元和局部特征增强单元，三种基本单元相互促进极大地增强了目标神经网络的学习能力和建模能力，并可以针对图像去块效应问题建立起带有块效应的低质量图像到高质量图像的准确映射，最终能够通过建立的有效映射对给定质量的JPEG压缩图像进行处理，获得高质量的图像；本发明专利技术的图像去块效应方法，能够显著提高图像的峰值信噪比(PSNR)和结构相似度(SSIM)，并且极大地提升图像去块的效率、质量和鲁棒性，在图像后处理领域具有深远意义。

A Residual Neural Network Based on Feature Enhancement and Image Deblocking Method

【技术实现步骤摘要】
一种基于特征增强的残差神经网络及图像去块效应方法
本专利技术涉及数字图像后处理领域，尤其涉及一种基于特征增强的残差神经网络，以及基于该残差神经网络的图像去块效应方法。
技术介绍
多媒体信息主要有三种表现形式，即文本、声音和图像；其中，图像作为最常见的信息存储方式，其表现形式生动而直观，能提供比其它形式数据更多的信息；然而，图像是三种信息形式中数据量最大的，若不经过压缩，将会对数据的传输与存储造成巨大压力。图像压缩的主要任务是去除各种冗余和不相干的信息，保留有用的信息；将一个大的数据文件转换成较小的文件，以尽量少的比特数来表征图像；同时保持解码图像的质量，使它符合预定应用场合的需求。JPEG是由国际标准化组织(ISO)和国际电信联盟(ITU)制定的第一套静态图像压缩标准，它在较低的计算复杂度下，能提供较高的压缩比与保真度。基于块的离散余弦变换(BDCT)具有良好的能量压缩和去相关的特性，因此被各种压缩标准广泛采用，JPEG标准采用8×8的BDCT变换。然而，由于每个块中DCT系数的粗糙量化和相互独立，基于BDCT的编码技术通常会导致编码图像中视觉上令人讨厌的块效应现象，即相邻图像块间灰度值的不连续跳变；在低码率下，块效应现象非常明显，这严重阻碍了图像压缩的进一步发展。图像去块效应作为一种后处理技术，不仅与现有的JPEG编码标准兼容，而且还可以缓解降低码率和保持图像质量之间的冲突。传统的图像去块效应算法分为两类，基于图像增强的方法和基于图像恢复的方法；基于图像增强的去块效应方法的基本思想是将去块效应视为图像增强过程，在像素域和频率域中进行滤波以平滑块效应；基于图像恢复的去块效应方法通常将去块效应视为高度不适定问题，通过利用解码器端的图像先验知识和观察数据来去除块效应。近几年，深度学习在解决诸如图像分类、目标检测和自然语言处理等很多问题中都表现出色；在不同类型的神经网络当中，卷积神经网络(CNN)是得到最深入研究的。CNN能自动提取出目标图像中的有效表征，即CNN能够直接从原始像素中，经过极少的预处理，对数据进行有效的建模。文献“CompressionArtifactsRemovalUsingConvolutionalNeuralNetworks”中首次将CNN运用于图像去块效应问题，与传统算法相比取得了很好的性能增益，但是由于网络结构简单，没能充分提取图像的特征信息。文献“Anefficientdeepconvolutionalneuralnetworksmodelforcompressedimagedeblocking”中构建了一个很深的CNN，充分体现了神经网络优秀的建模能力和学习能力，但是一味地堆叠网络深度会产生新的问题；残差技术可以训练很深的网络结构，但是随着网络深度的增加，网络所提取特征的数目越来越多，级联操作的使用产生了特征冗余的现象，阻碍了网络性能的提升。
技术实现思路
本专利技术的目的在于针对上述技术问题，提出一种基于特征增强的残差神经网络及基于该残差神经网络的图像去块效应方法；本专利技术充分考虑特征的重要性程度，分两步进行特征增强：第一步增强表征能力强的整体特征，第二步增强表征能力强的单个特征区域；经过两步特征增强消除了特征冗余的现象，并能够显著提高图像的峰值信噪比(PSNR)和结构相似度(SSIM)，具有去块效果好、速度快和鲁棒性强等优点。为了达到上述目的，本专利技术采用以下技术方案：一种基于特征增强的残差神经网络，包括：2个卷积层、N个局部残差单元、N-1个全局特征增强单元和1个局部特征增强单元，N≥2；其特征在于，所述N个局部残差单元与N-1个全局特征增强单元按照每两个局部残差单元中间连接一个全局特征增强单元的规则依次连接后作为一条支路，所述局部特征增强单元作为另一条支路；输入图像经过一个卷积层提取的浅层特征分别输入至两条支路，两条支路的输出相乘后再经过另一个卷积层，输出残差图像。优选的，所述全局特征增强单元包括：池化块、卷积块和降维块；其中，所述池化块中含有A个池化层，卷积块中含有B个带有Sigmoid激活函数的1×1卷积层、降维块中含有一个没有激活函数的1×1卷积层和C个带有ReLU激活函数的3×3卷积层；输入特征依次经过池化块、卷积块后与输入特征相乘进行全局特征增强，全局特征增强后经过降维块降维输出。优选的，所述局部特征增强单元包括：第一递归局部残差块、第二递归局部残差块、第一级联层及卷积层；其中，所述第一递归局部残差块包含D个带有ReLU激活函数的卷积层，第二递归局部残差块包含E个带有ReLU激活函数的卷积层，其中D、E可相等也可不等；所述第一递归局部残差块中每D个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为p，所述第二递归局部残差块中每E个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为q，且p≠q；所述第一递归局部残差块递归F次，第二递归局部残差块递归G次，其中F、G可相等也可不等；每个递归局部残差块每次递归后的输出特征输入到第一级联层，第一级联层后接卷积层输出。优选的，所述局部残差单元包括：H个局部残差块、第三递归局部残差块和第二级联层，所述H个局部残差块和第三递归局部残差块中卷积层均采用ReLU激活函数、且卷积核大小相同；其中，每个所述局部残差块中每I个卷积层视为一组卷积进行跳跃连接，第三递归局部残差块中每J个卷积层视为一组卷积进行跳跃连接，且第三递归局部残差块递归K次，其中I、J可相等也可不等；所述H个局部残差块和第三递归局部残差块依次首尾连接，每个局部残差块以及第三递归局部残差块的每次递归输出特征均输入到第二级联层。优选地，所述H个局部残差块、第一至第三递归局部残差块中，所述局部残差均采用特征缩放技术后再将输入与输出恒等连接。基于上述残差神经网络的图像去块效应方法，包括以下步骤：步骤1：搭建特征增强残差神经网络模型；步骤2：选定JPEG压缩的质量以及图片集合生成训练集，并设置训练目标神经网络的参数；步骤3：根据所述特征增强残差神经网络模型，以最小化损失函数为目标训练相应的目标神经网络模型；步骤4：根据训练得到的目标神经网络模型，将具有给定质量的JPEG压缩图像输入到目标神经网络模型，输出去块后的高质量图像。优选地，步骤2中选定JPEG压缩质量选择单个的质量、或者特定范围的多个质量；在设置所述特征增强残差神经网络模型的训练参数之前还包括：首先，对训练集中高质量图像进行数据增强，即旋转和镜像对称；然后，根据指定质量将高质量图像进行JPEG压缩，得到带有块效应的低质量图像；最后，再将所述带有块效应的低质量图像和对应的高质量图像分割成多个带有块效应的低质量图像块和高质量图像块，其中，所述带有块效应的低质量图像块和所述高质量图像块的数量和大小都相同。优选地，步骤3中的损失函数为平均绝对误差(MAE)函数：其中，xi、yi分别为选取训练集中带有块效应低质量图像块和对应的高质量图像块，i为图像块的个数索引，θ表示网络的学习参数，M表示图像块的总个数，f(·)函数表示训练出的从带有块效应低质量图像到高质量图像的映射。优选地，步骤3中在训练所述特征增强残差神经网络模型的过程中，所述特征增强残差神经网络中参数θ的初始化采用Xavier方法，即服从均值为0方差为Va本文档来自技高网...

【技术保护点】
1.一种基于特征增强的残差神经网络，包括：2个卷积层、N个局部残差单元、N‑1个全局特征增强单元和1个局部特征增强单元，N≥2；其特征在于，所述N个局部残差单元与N‑1个全局特征增强单元按照每两个局部残差单元中间连接一个全局特征增强单元的规则依次连接后作为一条支路，所述局部特征增强单元作为另一条支路；输入图像经过一个卷积层提取的浅层特征分别输入至两条支路，两条支路的输出相乘后再经过另一个卷积层，输出残差图像。

【技术特征摘要】
1.一种基于特征增强的残差神经网络，包括：2个卷积层、N个局部残差单元、N-1个全局特征增强单元和1个局部特征增强单元，N≥2；其特征在于，所述N个局部残差单元与N-1个全局特征增强单元按照每两个局部残差单元中间连接一个全局特征增强单元的规则依次连接后作为一条支路，所述局部特征增强单元作为另一条支路；输入图像经过一个卷积层提取的浅层特征分别输入至两条支路，两条支路的输出相乘后再经过另一个卷积层，输出残差图像。2.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述全局特征增强单元包括：池化块、卷积块和降维块；其中，所述池化块中含有A个池化层，卷积块中含有B个带有Sigmoid激活函数的1×1卷积层、降维块中含有一个没有激活函数的1×1卷积层和C个带有ReLU激活函数的3×3卷积层；输入特征依次经过池化块、卷积块后与输入特征相乘进行全局特征增强，全局特征增强后经过降维块降维输出。3.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述局部特征增强单元包括：第一递归局部残差块、第二递归局部残差块、第一级联层及卷积层；其中，所述第一递归局部残差块包含D个带有ReLU激活函数的卷积层，第二递归局部残差块包含E个带有ReLU激活函数的卷积层；所述第一递归局部残差块中每D个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为p，所述第二递归局部残差块中每E个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为q；所述第一递归局部残差块递归F次，第二递归局部残差块递归G次；每个递归局部残差块每次递归后的输出特征输入到第一级联层，第一级联层后接卷积层输出。4.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述局部残差单元包括：H个局部残差块、第三递归局部残差块和第二级联层，所述H个局部残差块和第三递归局部残差块中卷积层均采用ReLU激活函数、且卷积核大小相同；其中，每个所述局部残差块中每I个卷积层视为一组卷积进行跳跃连接，第三递归局部残差块中每J个卷积层视为一组卷积进行跳跃连接，且第三递归局部残差块递归K次；所述H个局部残差块和第三递归局部残差块依次首尾连接，每个局部残差块以及第三递归局部残差块的每次递归输出特征均输入到第二级联层。5.按权利要求1所述基于特征增强的残差神经网络，其特征在于，...

【专利技术属性】
技术研发人员：朱树元，王岩，曾辽原，刘光辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51