一种基于深度学习的图像去压缩伪影方法技术

本发明专利技术公开一种基于深度学习的图像去压缩伪影方法，能够对图像在高度压缩中产生的伪影进行有效消除。本发明专利技术的创新性主要体现在两个方面：第一，本发明专利技术运用了最新的深度学习技术，将深度残差网络作为基本模块应用于网络模型当中，有效地缓解了深度网络模型的梯度扩散问题。同时，网络学习得到的底层特征和高层特征通过跳跃式连接相融合，为重建去伪影图像提供了更加丰富的特征信息，进一步提升了模型的去伪影性能。第二，本发明专利技术进一步提出了模型选择的方案，可以针对不同程度的压缩伪影，合理选择更加适合的模型进行去伪影操作。通过在两套公开数据集上进行测试，本发明专利技术的方法比目前最好的去伪影算法在性能上有了显著的提升。

An image de compression artifact based on depth learning

The invention discloses an image de compression artifact based on deep learning, which can effectively eliminate artifacts produced in high compression. The innovation of the invention is mainly embodied in two aspects: first, the latest deep learning technology is applied in the invention, and the deep residual network is applied as a basic module in the network model, which effectively alleviates the gradient diffusion problem of the deep network model. At the same time, the underlying features and high-level features of network learning are combined by skipping connection, which provides richer feature information for reconstruction of the artifact and further improves the performance of the model. Second, the method of model selection is further proposed by the present invention, which can be applied to different degrees of compression artifacts and choose a more suitable model to perform the artifact operation. By testing on two sets of open data sets, the present invention has significantly improved the performance of the present best de artifact algorithm.

【技术实现步骤摘要】
一种基于深度学习的图像去压缩伪影方法
本专利技术涉及图像处理领域与深度学习技术，尤其涉及一种基于深度学习的图像去压缩伪影方法。
技术介绍
图像数据的访问占用新闻网站和各种社交平台以及电商平台的大量流量，而图像压缩技术可以尽可能地减少从网站下载的字节数，从而提高网页加载速度或者社交平台的图片浏览速度。有损压缩方式如JPEG、WebP等技术被广泛应用于新闻网站、微信、微博等平台。这些压缩技术不仅提高客户端的响应速度，而且还能给平台节省存储成本和带宽成本。然而，图像的有损压缩会带来一定程度失真，被解码后的图像会有很多伪影，给用户带来不好的体验。例如，在JPEG和WebP等图像编码的时候，图像被分成16x16或者8x8这样的块，然后对这些块进行离散余弦变换，这样块与块之间的相关信息被忽略，从而形成解码图像的块状伪影。此外，为了能够有效压缩图像数据的字节数，在JPEG和WebP编码时会对离散余弦变换得到的系数进行量化，使得图像的高频分量被丢失，从而导致了解码图像会产生振铃伪影和边界模糊。在JPEG和WebP等图像压缩编码过程中，可以通过一个质量系数Q来控制生成图片的质量和存储大小。这个质量系数是用在量化阶段，用来控制丢失图像高频信息的多少，一般取值在[1100]区间。质量系数越大，意味着图像保留的高频信息越多，图像质量越高，然而带来的问题是生成的图片字节数大，压缩比很低。质量系数设置越低，图像的存储很小，压缩比很高，然而解码的图像会有很强的块状伪影、振铃伪影和边界模糊。因而，找到图像的最佳设置需要在文件大小与有损压缩带来的伪影之间权衡。例如，微信平台会将质量系数设置在50左右，而Twitter平台将质量系数设置在[30100]之间，如果将这些平台的图像放大，可以看到很明显的压缩伪影。为了除去这种由于图像在压缩编码过程中所产生的图像伪影，传统的解决方法是采用空域滤波器对图像进行平滑操作，例如对块边界的像素用3*3的低通滤波器进行滤波。然而，这种空域滤波器比较单一，对去除压缩伪影的效果一般，并且会使去伪影后的图像产生过度模糊。中国公开专利“基于稀疏表示的自动去块效应方法”(公开号CN102081795A，公开日为2011.06.01)采用了一种基于字典学习的方法，该算法利用稀疏表示原理，去除图像中的块状伪影，并且可以根据不同的边界强度调整去伪影强度。然而，这种去伪影方法受限于字典学习的线性重构能力，不能够有效地减少压缩图像中的非线性伪影。近年来，基于深度学习的技术迅速地发展，Dong[1]等人提出利用3层卷积神经网络来去除JPEG压缩图像的伪影，并取得了较好的图像去压缩伪影效果。然而，由于浅层网络的非线性特征表示能力和图像重构能力有限，在某些复杂和强伪影的图像中，其去伪影并不令人满意。中国公开专利“一种基于联合深度网络的压缩低分辨率图像复原方法”(公开号CN106709875A，公开日为2017.05.24)结合了JPEG去伪影和超分辨率处理的应用。然而该专利的去JPEG压缩伪影是参照了Dong[1]等人提出的网络模型，形成了一个循环的4层卷积神经网络，仍然是利用浅层网络来进行去伪影操作，其去伪影性能有限。
技术实现思路
本专利技术的目的是针对图像高度压缩所产生的伪影问题，提出利用一种基于深度残差卷积神经网络模型的图像去压缩伪影方法，不仅可以有效地去除压缩图像中的各种伪影，极大改善了互联网上的照片质量，同时也提升了终端用户观看图片的视觉感受。本专利技术采用的技术方案是：一种基于深度学习的图像去压缩伪影方法，其包括以下步骤：步骤1，收集高质量照片，形成训练图像数据库；利用手机和数码相机拍摄大量高质量照片，由于这些照片没有被高度压缩处理，因而没有压缩伪影，可以用作深度学习训练的目标图像。步骤2，对图像数据库进行预处理，形成N对有压缩伪影的低质量子图像与高质量子图像的配对集{Ici，Iti}，其中Ici为质量子图像，Iti为高质量子图像，i为配对集中不同配对的标志位，i∈{1,2,…,N}；随机打乱配对集中的每对子图像顺序，得到最终用于训练深度卷积神经网络模型的数据集；步骤3，利用深度卷积神经网络模型，输入压缩的低质量子图像Ici，得到模型预测的图像Igi，其中，深度神经网络模型分别包括初始卷积模块、残差卷积模块和图像重建模块；其中初始卷积阶段包含一个卷积层和激活层，学习得到底层特征F1，具体的计算公式为：其中W1和B1为初始卷积模块的权值参数和偏置参数；利用得到的底层特征F1，开始执行残差卷积模块，每个残差卷积模块依次包含第一卷积层、一个非线性激活层、第二卷积层和一个特征结合层，从而得到高层特征Fk，其计算公式是：Fk＝Wkmax(Wk-1Fk-2+Bk-1)+Fk-2(2)第一卷积层、一个非线性激活层和第二卷积层分别对应公式(2)中的Wk-1、Bk-1和Wk，其中k为卷积层的序号；特征结合层是通过跳跃式连接将k-2层的输出特征Fk与第k卷积层的输出特征相加，并得到结合的特征Fk，特征结合层没有参数需要学习；利用高层特征Fk执行图像重建层得到去伪影的模型预测的图像Igi，去伪影的模型预测的图像Igi的计算公式为：其中M为网络模型的所有卷积层个数；步骤4，比较去伪影的模型预测的图像Igi和高质量子图像Iti，通过优化算法的迭代，得到最终的网络模型参数W和B；步骤5，对于需要去压缩伪影的测试图像，先估计测试图像的质量系数；步骤6，根据估计的测试图像的质量系数，再选择相应的神经网络模型参数W和B进行去伪影操作；对测试图像执行步骤3的前向操作，得到测试图像的去伪影结果。进一步地，所述步骤2中配对集的生成方法为：根据预先设定的图像质量系数q，利用JPEG格式压缩收集的高质量照片，得到具有压缩伪影的低质量图像集；从低质量图像集中按d*d截取低质量子图像Ic，并同时从对应的高质量照片中截取相应大小的高质量子图像It，形成包含N对子图像的配对集{Ici，Iti},i∈{1,2,…,N}。进一步地，所述步骤4的具体步骤为：计算去伪影图像Igi和高质量子图像Iti的欧式距离：其中bz为每次从子图像配对集中随机选取的小批量训练图像个数，并对卷积模型参数W增加规则项；以公式(4)为目标函数，优化计算得到网络模型各层的梯度，迭代更新网络模型各层的参数，其中第k卷积层参数Wk迭代的计算公式是：其中m为结合动量，λ为学习率，L为训练的损失误差；优化过程直到满足一定的迭代次数才终止。进一步地，所述步骤5中估计测试图像的质量系数的具体方法为：在测试算法性能时，可以根据预先设定的质量系数q对高质量图像进行压缩，得到有压缩伪影的测试图像，在实际应用中，对一副任意的JPEG压缩图像，需要根据图像内容进行质量系数的评估，从而得到图像被压缩的程度。质量系数越低，表示图像丢失的信息越多，图像所产生的伪影就会越多，图像恢复的难度加大。再通过将测试图像转换到频域空间，并统计频域空间的特征来表示图像的块状效应和模糊效应等伪影，从而估计出测试图像的质量系数。本专利技术采用以上技术方案，运用了最新的深度学习技术，有效地移除了图像由于高度压缩而带来的伪影，增强了图像的显示效果。首先，深度残差网络作为基本模块应用于网络模型当中，有效地缓解了深度网络模型的梯度扩散问题，使得网络模型能够本文档来自技高网...

【技术保护点】
一种基于深度学习的图像去压缩伪影方法，其特征在于：其包括以下步骤：步骤1，收集高质量照片，形成训练图像数据库；步骤2，对图像数据库进行预处理，形成N对有压缩伪影的低质量子图像与高质量子图像的配对集{Ic

【技术特征摘要】
1.一种基于深度学习的图像去压缩伪影方法，其特征在于：其包括以下步骤：步骤1，收集高质量照片，形成训练图像数据库；步骤2，对图像数据库进行预处理，形成N对有压缩伪影的低质量子图像与高质量子图像的配对集{Ici，Iti}，其中Ici为质量子图像，Iti为高质量子图像，i为配对集中不同配对的标志位，i∈{1,2,…,N}；随机打乱配对集中的每对子图像顺序，得到最终用于训练深度卷积神经网络模型的数据集；步骤3，利用深度卷积神经网络模型，输入压缩的低质量子图像Ici，得到模型预测的图像Igi，其中，深度神经网络模型分别包括初始卷积模块、残差卷积模块和图像重建模块；其中初始卷积阶段包含一个卷积层和激活层，学习得到底层特征F1，具体的计算公式为：其中W1和B1为初始卷积模块的权值参数和偏置参数；利用得到的底层特征F1，开始执行残差卷积模块，每个残差卷积模块依次包含第一卷积层、一个非线性激活层、第二卷积层和一个特征结合层，从而得到高层特征Fk，其计算公式是：Fk＝Wkmax(Wk-1Fk-2+Bk-1)+Fk-2(2)第一卷积层、一个非线性激活层和第二卷积层分别对应公式(2)中的Wk-1、Bk-1和Wk，其中k为卷积层的序号；特征结合层是通过跳跃式连接将k-2层的输出特征Fk与第k卷积层的输出特征相加，并得到结合的特征Fk，特征结合层没有参数需要学习；利用高层特征Fk执行图像重建层得到去伪影的模型预测的图像Igi，去伪影的模型预测的图像Igi的计算公式为：其中M为网络模型的所有卷积层个数；步骤4，比较去伪影的模型预测的图像Igi和高质量子图像Iti，通过优化算法的迭代，得到最终的网络模型参数W和B；步骤5，对于需要去压缩伪影的测试图像...

【专利技术属性】
技术研发人员：童同，李根，高钦泉，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：福建,35