一种基于图像感知质量的去压缩噪声方法技术

本发明专利技术公开了一种基于图像感知质量的去压缩噪声方法。本发明专利技术针对视频压缩造成的噪声的多样性、不稳定性等特点，构建数据集，并提出深度残差去噪模型；同时为了克服现有算法在去噪过程中丢失高频信息这一问题，提出基于视觉感知特征的损失计算，辅助去噪模型学习噪声残差，利用深度学习技术，旨在对实际的压缩噪声进行学习，获得去噪图像。本发明专利技术的有益效果是：利用深度学习技术，对实际的压缩噪声进行学习，得到更准确的残差噪声；利用图像质量评价模型提取表征图像感知质量特征，用于去噪模型的损失计算，使其去噪后的图像更符合人的视觉感知。

A denoising method based on image perception quality

The invention discloses a method for decompressing noise based on image perception quality. In view of the diversity and instability of noise caused by video compression, the invention constructs data sets and proposes a depth residual denoising model; at the same time, in order to overcome the problem that the existing algorithm loses high-frequency information in the process of denoising, it proposes a loss calculation based on the visual perception features, assists the denoising model to learn the noise residual, and uses the depth learning technology, aiming at the actual Compress the noise to learn and get the denoised image. The beneficial effects of the invention are: using the depth learning technology to learn the actual compressed noise and get more accurate residual noise; using the image quality evaluation model to extract and characterize the image perception quality features for the loss calculation of the denoising model, so that the image after denoising more conforms to the human visual perception.

【技术实现步骤摘要】
一种基于图像感知质量的去压缩噪声方法
本专利技术涉及图像处理相关
，尤其是指一种基于图像感知质量的去压缩噪声方法。
技术介绍
在现实生活中，图像的数字化和传输过程中常受到成像设备和外部环境噪声干扰等影响，导致获取的图像质量下降。但是在很多图像应用领域，对图像质量的要求非常高。比如视频在压缩之后画质下降，而且压缩方式、压缩的比特率和视频的内容等因素都会使图像产生不同的噪声。目前的很多去噪方法都是针对一种特定的噪声类型，比如高斯噪声。然而，实际噪声具有多样性，并且在一张图像上可能存在多种噪声，这对图像的去噪带来了巨大的挑战。近些年，随着深度学习技术的不断发展，卷积神经网络(CNNs)在计算机视觉方向受到了广泛的关注，并取得了显著的效果。在图像去噪领域，CNNs不仅提高了图像的精度，而且加快了计算速度。目前，大部分基于深度学习的去噪模型都采用均方误差(MSE)作为网络的损失函数，但是MSE计算的是像素级别误差的平均值，在训练过程中，模型不断地学习，即最小化MSE值，这样产生的图像虽然能获得较高的峰值信噪比(PSNR)，但往往丢失了高频信息，图像过于平滑，给人较差的视觉感知。
技术实现思路
本专利技术是为了克服现有技术中存在上述的不足，提供了一种提高视觉感知质量的基于图像感知质量的去压缩噪声方法。为了实现上述目的，本专利技术采用以下技术方案：一种基于图像感知质量的去压缩噪声方法，具体包括如下步骤：(1)准备数据，具体步骤如下：(11)数据集由不同内容的清晰短视频组成，每个视频有若干帧图像，由于同一视频中邻近帧的图像内容很相似，因此将清晰视频的帧按每隔一定帧以PNG格式保存下来，作为噪声图像的标签，而噪声图像是将清晰视频按不同压缩方式进行压缩后，以同样的采样方式将视频帧以PNG格式保存下来；(12)对每张图像进行图像块采样，噪声图像与其清晰的标签图像截取相同位置的图像块；(2)图像质量评价模型IQA的设计，具体步骤如下：(21)构造了一个卷积神经网络模型，包含卷积层、池化层、激活层和全连接层；(22)获得损失函数；(3)图像去噪模型Denoise的设计，具体步骤如下：(31)构造了一个深度残差模型，具体依次包含有1个卷积层、B个残差模块ResBlock、1个卷积层、1个ADD层和2个卷积层；(32)图像去噪模型Denoise的损失分为两部分：基于图像感知质量的损失和基于像素的损失；(4)训练：训练图像质量评价模型IQA和图像去噪模型Denoise。为克服现有技术的不足，本专利技术基于图像视觉感知质量，利用深度学习技术，旨在对实际的压缩噪声进行学习，得到更准确的残差噪声。针对视频压缩造成的噪声的多样性、不稳定性等特点，构建数据集，并提出深度残差去噪模型。为了克服现有算法在去噪过程中丢失高频信息这一问题，本专利技术提出基于视觉感知特征的损失计算，辅助去噪模型学习噪声残差，获得去噪图像。噪声图像可以表示为y＝x+n，其中，x是清晰图像，n是噪声。本专利技术采用残差学习方式，训练残差映射F(y)≈n，则x＝y-F(y)。本专利技术利用图像质量评价模型提取表征图像感知质量特征，用于去噪模型的损失计算，使其去噪后的图像更符合人的视觉感知。作为优选，在步骤(11)中，数据集由250个不同内容的清晰短视频组成，包括动画、电影、运动等场景，每个视频有50帧图像，分辨率是1920*1080，将清晰视频的帧按每隔5帧以PNG格式保存下来，作为噪声图像的标签；其中压缩方式是按H264标准的量化参数QP分别为20、30、40和按MPEG标准的量化参数QP分别为20、30、40，共6种压缩方式。作为优选，在步骤(12)中，对每张图像进行图像块采样，图像块大小为128*128*3，为了增大数据集，每张图像随机采样5个图像块。作为优选，在步骤(21)中，构造了一个卷积神经网络模型，包含卷积层、池化层、激活层和全连接层，具体依次为：卷积层+ReLU激活层+池化层为一组共4个，3个全连接层，1个sigmoid层；其中，卷积层的内核大小均为3*3，数量分别为32、64、128、256，卷积步长均为1；池化层的池化窗口大小均为2*2，步长为2；全连接层的结点数量分别为512、512、1。作为优选，在步骤(22)中，损失函数如下：其中，表示图像的主观质量值，s表示通过IQA模型预测的图像视觉质量值，||g||2表示L2范数。作为优选，在步骤(31)中，残差模块ResBlock依次由1个卷积层、1个ReLU激活层、1个卷积层构成，其中：卷积层的内核大小均为3*3，除了最后一个卷积层的内核数量为3，其余卷积层的内核数量均为64，且卷积步长均为1。作为优选，在步骤(32)中，基于图像感知质量的损失如下：提取预先训练好的图像质量评价模型IQA的特征，计算去噪后图像的特征与清晰图像的特征之间的均方误差MSE，其中，φi表示图像质量评价模型IQA的第i层全连接层的特征，IGT表示清晰图像，即噪声图像Inoise的标签，F(Inoise)表示Inoise经过卷积网络F去噪后的图像，N表示提取的特征的维度；基于像素的损失如下：计算去噪后的图像像素与清晰图像像素之间的均方误差MSE，其中，表示标签图像在位置(x,y)的像素值，表示噪声图像Inoise经过卷积网络F去噪后的图像在位置(x,y)的像素值，W、H分别是图像的宽度和高度；因此，其中，ω1、ω2是权重系数。作为优选，在步骤(4)中，训练图像质量评价模型IQA具体为：训练IQA的数据集来源于LIVE数据库，该数据库是图像质量评价研究中最常用的数据库，包含982幅图像，每幅图像有一个差异平均主观分数DMOS，作为图像的标签；为了增加数据集数量，对每幅图像进行非重叠的图像块采样，采样大小为128*128*3，采样步长为128，图像块的标签即图像的标签。作为优选，针对训练图像质量评价模型IQA，设置训练参数，初始学习率设为10-3，训练迭代次数设定为30个epoch，且每训练5个epoch，学习率降为原来的1/10，优化算法采用SGD算法。作为优选，针对训练图像去噪模型Denoise，设置训练参数，初始学习率设为10-3，训练迭代次数设定为100个epoch，当训练5个epoch时，学习率降为10-4，训练40个epoch时，学习率降为10-5，优化算法采用Adam算法。本专利技术的有益效果是：利用深度学习技术，对实际的压缩噪声进行学习，得到更准确的残差噪声；利用图像质量评价模型提取表征图像感知质量特征，用于去噪模型的损失计算，使其去噪后的图像更符合人的视觉感知。附图说明图1是本专利技术中图像质量评价模型IQA的结构图；图2是本专利技术中图像去噪模型Denoise的结构图；图3是本专利技术中残差模块ResBlock的结构图。图中：Pool表示池化层，Fc表示全连接层，Sigmoid表示S本文档来自技高网...

【技术保护点】
1.一种基于图像感知质量的去压缩噪声方法，其特征是，具体包括如下步骤：/n(1)准备数据，具体步骤如下：/n(11)数据集由不同内容的清晰短视频组成，每个视频有若干帧图像，由于同一视频中邻近帧的图像内容很相似，因此将清晰视频的帧按每隔一定帧以PNG格式保存下来，作为噪声图像的标签，而噪声图像是将清晰视频按不同压缩方式进行压缩后，以同样的采样方式将视频帧以PNG格式保存下来；/n(12)对每张图像进行图像块采样，噪声图像与其清晰的标签图像截取相同位置的图像块；/n(2)图像质量评价模型IQA的设计，具体步骤如下：/n(21)构造了一个卷积神经网络模型，包含卷积层、池化层、激活层和全连接层；/n(22)获得损失函数；/n(3)图像去噪模型Denoise的设计，具体步骤如下：/n(31)构造了一个深度残差模型，具体依次包含有1个卷积层、B个残差模块ResBlock、1个卷积层、1个ADD层和2个卷积层；/n(32)图像去噪模型Denoise的损失分为两部分：基于图像感知质量的损失和基于像素的损失；/n(4)训练：训练图像质量评价模型IQA和图像去噪模型Denoise。/n

【技术特征摘要】
1.一种基于图像感知质量的去压缩噪声方法，其特征是，具体包括如下步骤：
(1)准备数据，具体步骤如下：
(11)数据集由不同内容的清晰短视频组成，每个视频有若干帧图像，由于同一视频中邻近帧的图像内容很相似，因此将清晰视频的帧按每隔一定帧以PNG格式保存下来，作为噪声图像的标签，而噪声图像是将清晰视频按不同压缩方式进行压缩后，以同样的采样方式将视频帧以PNG格式保存下来；
(12)对每张图像进行图像块采样，噪声图像与其清晰的标签图像截取相同位置的图像块；
(2)图像质量评价模型IQA的设计，具体步骤如下：
(21)构造了一个卷积神经网络模型，包含卷积层、池化层、激活层和全连接层；
(22)获得损失函数；
(3)图像去噪模型Denoise的设计，具体步骤如下：
(31)构造了一个深度残差模型，具体依次包含有1个卷积层、B个残差模块ResBlock、1个卷积层、1个ADD层和2个卷积层；
(32)图像去噪模型Denoise的损失分为两部分：基于图像感知质量的损失和基于像素的损失；
(4)训练：训练图像质量评价模型IQA和图像去噪模型Denoise。


2.根据权利要求1所述的一种基于图像感知质量的去压缩噪声方法，其特征是，在步骤(11)中，数据集由250个不同内容的清晰短视频组成，包括动画、电影、运动等场景，每个视频有50帧图像，分辨率是1920*1080，将清晰视频的帧按每隔5帧以PNG格式保存下来，作为噪声图像的标签；其中压缩方式是按H264标准的量化参数QP分别为20、30、40和按MPEG标准的量化参数QP分别为20、30、40，共6种压缩方式。


3.根据权利要求1或2所述的一种基于图像感知质量的去压缩噪声方法，其特征是，在步骤(12)中，对每张图像进行图像块采样，图像块大小为128*128*3，为了增大数据集，每张图像随机采样5个图像块。


4.根据权利要求1所述的一种基于图像感知质量的去压缩噪声方法，其特征是，在步骤(21)中，构造了一个卷积神经网络模型，包含卷积层、池化层、激活层和全连接层，具体依次为：卷积层+ReLU激活层+池化层为一组共4个，3个全连接层，1个sigmoid层；其中，卷积层的内核大小均为3*3，数量分别为32、64、128、256，卷积步长均为1；池化层的池化窗口大小均为2*2，步长为2；全连接层的结点数量分别为512、512、1。


5.根据权利要求1或4所述的一种基于图像感知质量的去压缩噪声方法，其特征是，在步骤(22)中，损失函数如下：

【专利技术属性】
技术研发人员：徐烂烂，陈梅丽，谢亚光，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：浙江;33