一种基于采样重构和特征增强的压缩图像质量提升方法技术

本发明专利技术提供了一种基于采样重构和特征增强的压缩图像质量提升方法。主要包括如下步骤：设计提升压缩图像质量的深度模型，包含基于重叠像素重排的采样、基于特征增强的残差预测及基于重叠像素重排的重构等模块；构建训练压缩图像质量提升深度模型的训练图像集，包含存在对应关系的压缩图像集及高质量图像集；基于训练图像集，训练压缩图像质量提升深度模型；利用训练好的压缩图像质量提升深度模型对输入的测试图像进行处理；对质量提升结果进行评价或进一步对其进行分析和理解。本发明专利技术所述方法能显著提升压缩图像的质量且具有较低的复杂度，同时能够改善图像分析理解的性能。本发明专利技术在图像及视频存储、传输、分析等方向具有重要的应用价值。重要的应用价值。

【技术实现步骤摘要】
一种基于采样重构和特征增强的压缩图像质量提升方法


[0001]本专利技术涉及压缩图像质量增强技术，具体涉及一种基于采样重组和特征增强的压缩图像质量提升方法，属于图像处理领域。

技术介绍

[0002]随着手机、相机、监控等成像设备或系统的发展以及互联网技术的普及，图像及视频在日常生活、娱乐、教育、医疗、航空航天、军事等方向的应用越来越广泛和深入，在这些领域发挥着举足轻重的作用。随之而来的就是，图像和视频的数据量快速增长，给相应的存储和传输系统带来了巨大的压力和挑战。为了缓解图像及视频的存储和传输压力，通常会采用有损压缩的方式来减少数据冗余以降低数据量，如JPEG及JPEG 2000是较为常用的静止图像压缩方法，而MPEG、H.264及HEVC则是针对视频的压缩技术。但是，有损压缩降低数据量的代价是牺牲图像或视频的质量，即解压缩后的图像或视频与原始信息并不一致，而是存在一定的失真，即压缩噪声。特别地，在压缩比较大时，解压缩的图像或视频中将存在严重的压缩噪声，带来块效应、条带效应、振铃效应、模糊效应等，严重影响其视觉效果或后续的分析利用。如何提升有损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于采样重构和特征增强的压缩图像质量提升方法，其特征在于包括以下步骤：步骤1、设计提升压缩图像质量的深度模型，其包含基于重叠像素重排的采样模块、基于特征增强的残差预测模块及基于重叠像素重排的重构模块，具体步骤如下：(1.1)基于重叠的像素重排操作，对输入到压缩图像质量提升模型的图像进行采样；(1.2)基于卷积层、非线性层等基本组件，联合稠密连接、注意力机制、残差结构等设计基于特征增强的残差预测模块，从步骤(1.1)中的采样图像提取特征、增强特征并预测残差分量；(1.3)基于与步骤(1.1)相反的重叠像素重排操作，对步骤(1.2)预测的残差进行重构；(1.4)基于全局残差连接，将步骤(1.3)重构后的残差图像叠加到输入图像，得到压缩图像质量提升的预测结果；步骤2、构建训练压缩图像质量提升深度模型的训练图像集，包含高质量图像集和与之一一对应的压缩图像集，具体步骤如下：(2.1)采集若干高质量图像，构建高质量图像集；(2.2)基于图像压缩方法，对步骤(2.1)构建的高质量图像做压缩和解压缩，得到压缩图像集；(2.3)组合步骤(2.1)构建的高质量图像集及步骤(2.2)得到的压缩图像集，构建存在一一对应关系的训练图像集；步骤3、基于步骤2构建的包含压缩图像集及对应高质量图像集的训练图像集，训练步骤1设计的压缩图像质量提升深度模型，具体步骤如下：(3.1)建立度量质量提升误差的损失函数；(3.2)将步骤(2.2)构建的压缩图像集中的图像输入到步骤1中设计的压缩图像质量提升深度模型进行处理，得到质量提升结果；(3.3)从步骤(2.1)构建的高质量图像集中，获取步骤(3.2)所用输入压缩图像所对应的高质量图像，并将其与步骤(3.2)预测的质量提升结果进行比较，即利用步骤(3.1)建立的损失函数度量预测误差；(3.4)基于步骤(3.3)计算的预测误差，利用深度模型学习优化算法，更新压缩图像质量提升深度模型中的参数；(3.5)重复步骤(3.2)至步骤(3.4)，直到预测误差收敛时，即完成压缩图像质量提升深度模型的训练；步骤4、将用于测试的压缩图像作为输入，利用步骤3训练好的压缩图像质量提升深度模型进行处理，得到测试图像对应的质量提升结果；步骤5、评价步骤4所得的质量提升结果，或进一步对其进行分析和理解，如边缘检测等。2.根据权利要求1所述的一种基于采样重构和特征增强的压缩图像质量提升方法，其特征在于步骤1所述的基于采样重构和特征增强的压缩图像质量提升网络，其以残差网络为主体结构，主要由基于重叠像素重排的采样模块、基于特征增强的残差预测模块及基于重叠像素重排的重构模块构成，表示为
其中，表示和I
c
分别表示压缩图像质量提升处理结果和输入压缩图像，F
ds
(
·
)表示基于重叠像素重排的采样模块，F
rp
(
·
)表示基于特征增强的残差预测模块，F
rc
(
·
)表示基于重叠像素重排的重构模块。3.根据权利要求1所述的一种基于采样重构和特征增强的压缩图像质量提升方法，其特征在于步骤(1.1)所述的基于重叠像素重排的采样操作，表示为其中，表示重叠像素重排采样模块的输入图像，为采样后的结果；c＝1,
…
,d2且c＝d(x
0-1)+y0；(x0,y0)为重叠像素重排采样的起点坐标，且x0＝1,
…
,d，y0＝1,
…
,d。4.根据权利要求1所述的一种基于采样重构和特征增强的压缩图像质量提升方法，其特征在于步骤(1.2)所述的基于特征增强的残差预测网络，其主要由K
F
个基于特征增强的密集连接残差模块及基于注意力重标定的特征融合模块构成，表示为其中，为基于卷积层从残差预测网络输入图像中提取的浅层特征，F
fe
(
·
)为对应的操作；f
frb_k
为残差预测网络中第k个基于特征增强的密集连接残差模块的输出，且有f
frb_k
＝F
frb_k
(f
frb_k-1
)，F
frb_k
(
·
)表示第k个密集连接残差模块所对应的操作；F
gafb
(
·
)为对特征集进行融合的全局特征融合操作，其由基于注意力重标定的特征融合模块实现；F
rr
(
·
)为基于卷积层的残差重建操作。5.根据权利要求1所述的一种基于采样重构和特征增强的压缩图像质量提升方法，其特征在于步骤(1.2)所述的基于特征增强的密集连接残差模块，其以密集连接残差模块为主干网络，结合P
M
个多尺度特征提取模块进行特征增强；残差预测网络中的第k个基于特征增强的密集连接残差模块F
frb_k
(
·
)可表示为f
frb_k
＝F
frb_k
(f
frb_k-1
)＝F
lafb_k
(f
frb_k-1
,f
k_mfb_1
,
…
,f
k_mfb_p
,
…
,f
k_mfb_PM
)+f
frb_k-1
其中，f
frb_k-1
和f
frb_k
为第k个基于特征增强的密集连接残差模块的输入和输出，F
lafb_k
(
·
)为第k个基于特征增强的密集连接残差模块中对特征集进行局部融合的操作，其由基于注意力重标定的特征融合模块实现；f
k_mfb_p
表示第k个基于特征增强的密集连接残差模块中的第p个多尺度特征提取模块的输出特征。6.根据权利要求1所述的一种基于采样重构和特征增强的压缩图像质量提升方法，其特征在于步骤(1.2)所述的多尺度特征提取模块，对于第k个特征增强密集连接残差模块中的第p个多尺度特征提取模块，其输入包括第k个特征增强密集连接残差模块的输入f
frb_k-1
及前p-1个多尺度特征提取模块的输出{f
k_mfb_1
,
…
,f
k_mfb_p-1
}，输出为f
k_mfb_p
，整体表示为f
k_mfb_p
＝F
fdr2
(F
mfe
(F
fdr1
(F
cct
(f
frb_k-1...

【专利技术属性】
技术研发人员：陈洪刚，刘强，何小海，任超，卿粼波，熊淑华，吴晓红，滕奇志，
申请(专利权)人：四川大学，
类型：发明
国别省市：