基于注意力模型和渐进式网络的图像编码失真滤波方法技术

本发明专利技术公开了基于注意力模型和渐进式网络的图像编码失真滤波方法，用于抑制视频编码失真和提高画面视觉舒适度，包括步骤S1：将输入的压缩失真图x依次经过若干级渐进式增强网络Si，并且每级网络恢复相对应子带的编码失真。本发明专利技术公开的基于注意力模型和渐进式网络的图像编码失真滤波方法，其通过深度学习注意力模型和渐进式网络对压缩失真图进行编码失真，从而抑制视频编码失真和提高画面视觉舒适度的效果，加强深度学习网络对纹理信息和通道特征信息的提取，提高客观质量和主观舒适度。

【技术实现步骤摘要】
基于注意力模型和渐进式网络的图像编码失真滤波方法
本专利技术属于视频编码失真滤波
，具体涉及一种基于注意力模型和渐进式网络的图像编码失真滤波方法。
技术介绍
在图像编码系统中，原始图像数据被进行多种处理，如：预测、变换、量化、重建、滤波等，在这种处理过程中，已处理的图像数据相对原始图像数据可能已经发生像素偏移，导致视觉障碍或假象；此外，在大多数图像编码系统采用的基于块的混合编码框架下，由于相邻的编码块采用不同的编码参数(如不同的变换量化过程、不同的预测方式、不同参考图像等)，各块引入的误差大小及其分布特性相互独立，相邻块边界会产生不连续性，产生块效应。这些失真不但影响重建图像的主客观质量，若重建图像作为后续编码像素的参考图像，还会影响后续编码像素的预测准确性。并且现有的图像编码失真滤波方法缺乏抑制视频编码失真和提高画面视觉舒适度的效果。因此，针对上述问题，予以进一步改进。
技术实现思路
本专利技术的主要目的在于提供本专利技术提供基于注意力模型和渐进式网络的图像编码失真滤波方法，其通过深度学习注意力模型(Spatial&ChannelFusionAttentionModule，SCFAM，空域和通道域融合的注意力模型)和渐进式网络对压缩失真图进行编码失真，从而抑制视频编码失真和提高画面视觉舒适度的效果，加强深度学习网络对纹理信息和通道特征信息的提取，提高客观质量和主观舒适度。为达到以上目的，本专利技术提供基于注意力模型和渐进式网络的图像编码失真滤波方法，用于抑制视频编码失真和提高画面视觉舒适度，包括以下步骤：步骤S1：将输入的压缩失真图x依次经过若干级渐进式增强网络Si(i＝1、2、3等)，并且每级网络(只)恢复相对应子带的编码失真，压缩失真图x在经过每个网络时先通过滤波卷积，以提取相对应层级的第一图像特征数据，然后将第一图像特征数据通过双域融合注意力模型计算，以获得相对应层级的第二图像特征数据，并且将第二图像特征数据通过卷积计算生成编码失真，以获得不同幅度的残差；步骤S2：将不同幅度的残差依次输入到压缩失真图x，以获得各个层级的滤波图像ei(i＝1、2、3等)，并且将各层级的残差和压缩失真图x的渐进式累加，网络最终输出的增强图像e的公式为：e＝x+∑iresiduei。作为上述技术方案的进一步优选的技术方案，步骤S1具体实施为以下步骤(在实施过程中也涉及步骤S2)：步骤S1.1：输入的压缩失真图x经过网络S1滤波卷积，以获得图像特征数据TF1，并且经过双域融合注意力模型，以获得图像特征数据TS1CF和残差R1，并且将残差R1加上压缩失真图x，以获得中间层滤波图像e1；步骤S1.2：特征数据TS1经过网络S2滤波卷积，以获得图像特征数据TF2，并且经过双域融合注意力模型，以获得图像特征数据TS2CF和残差R2，并且将残差R2加上中间层滤波图像e1，以获得中间层滤波图像e2；步骤S1.3：特征数据TF2经过网络S3滤波卷积，以获得图像特征数据TF3，并且经过双域融合注意力模型，以获得图像特征数据TS3CF和残差R3，并且将残差R3加上中间层滤波图像e2，以获得中间层滤波图像e3；步骤S1.4：特征数据TF3经过网络S4滤波卷积，以获得图像特征数据TF4，并且经过双域融合注意力模型，以获得图像特征数据TS4CF和残差R4，并且将残差R3加上中间层滤波图像e3，以获得最终滤波图像e。作为上述技术方案的进一步优选的技术方案，步骤S1.1具体实施为以下步骤：步骤S1.1.1：输入的压缩失真图像x(H×W)经过网络S1滤波卷积(3×3@64Conv-ReLU)，提取到图像特征数据TF1(H×W×64)；步骤S1.1.2：图像特征数据TF1(H×W×64)经过双域融合注意力模型(SCFAM)计算获得体现空域和通道域上依赖关系的图像特征数据TS1CF(H×W×64)，并且使用卷积(1×1@1Conv)计算生成编码失真，以获得残差R1；步骤S1.1.3：将压缩失真图像x加上残差R1，以获得中间层滤波图像e1。作为上述技术方案的进一步优选的技术方案，步骤S1.2具体实施为以下步骤：步骤S1.2.1：图像特征数据TF1经过网络S2滤波卷积(3×3@64Conv-ReLU)，提取到图像特征数据TF2(H×W×64)；步骤1.2.2：图像特征数据TF2经过双域融合注意力模型(SCFAM)计算获得体现空域和通道域上依赖关系的特征数据TS2CF(H×W×64)，并且使用卷积(1×1@1Conv)计算生成编码失真，以获得残差R2；步骤1.2.3：中间层滤波图像e1加上残差R2，以获得得到进一步增强的中间层滤波图像e2。作为上述技术方案的进一步优选的技术方案，步骤S1.3具体实施为以下步骤：步骤S1.3.1：图像特征数据TF2经过网络S3滤波卷积(3×3@64Conv-ReLU)，提取到图像特征数据TF3(H×W×64)；步骤1.3.2：图像特征数据TF3经过双域融合注意力模型(SCFAM)计算获得体现空域和通道域上依赖关系的特征数据TS3CF(H×W×64)，并且使用卷积(1×1@1Conv)计算生成编码失真，以获得残差R3；步骤1.3.3：中间层滤波图像e2加上残差R3，以获得得到进一步增强的中间层滤波图像e3。作为上述技术方案的进一步优选的技术方案，步骤S1.4具体实施为以下步骤：步骤S1.4.1：图像特征数据TF3经过网络S4滤波卷积(3×3@64Conv-ReLU)，提取到图像特征数据TF4(H×W×64)；步骤1.4.2：图像特征数据TF4经过双域融合注意力模型(SCFAM)计算获得体现空域和通道域上依赖关系的特征数据TS4CF(H×W×64)，并且使用卷积(1×1@1Conv)计算生成编码失真，以获得残差R4；步骤1.4.3：中间层滤波图像e3加上残差R4，以获得得到进一步增强的最终滤波图像e。作为上述技术方案的进一步优选的技术方案，双域融合注意力模型具体实施包括以下步骤：步骤T1：在空域注意力中，特征图H×W×C首先重塑为第一特征图(H×W)×C；步骤T2：将重塑后的第一特征图(H×W)×C与自身转置相乘，以获得空域任意两个像素之间的依赖关系，即(H×W)×(H×W)的第一注意力特征图；步骤T3：在通道域注意力中，特征图H×W×C首先重塑为第二特征图(C×(H×W))；步骤T4：将重塑后的第二特征图C×(H×W)与自身转置相乘，以获得通道域任意两个特征通道之间的依赖关系，即C×C的第二注意力特征图；步骤T5：将第一注意力特征图和第二注意力特征图按元素进行融合，以获得空域和通道域上体现全局依赖关系的输出特征图。附图说明图1是本专利技术的基于注意力模型和渐进式网络的图像编码失真滤波方法的基于SCFAM和渐进式网络的视频编码失真滤波示意图。图2是本专利技术的基于注意力模型和渐进式网本文档来自技高网...

【技术保护点】
1.一种基于注意力模型和渐进式网络的图像编码失真滤波方法，用于抑制视频编码失真和提高画面视觉舒适度，其特征在于，包括以下步骤：/n步骤S1：将输入的压缩失真图x依次经过若干级渐进式增强网络Si，并且每级网络恢复相对应子带的编码失真，压缩失真图x在经过每个网络时先通过滤波卷积，以提取相对应层级的第一图像特征数据，然后将第一图像特征数据通过双域融合注意力模型计算，以获得相对应层级的第二图像特征数据，并且将第二图像特征数据通过卷积计算生成编码失真，以获得不同幅度的残差；/n步骤S2：将不同幅度的残差依次输入到压缩失真图x，以获得各个层级的滤波图像e

【技术特征摘要】
1.一种基于注意力模型和渐进式网络的图像编码失真滤波方法，用于抑制视频编码失真和提高画面视觉舒适度，其特征在于，包括以下步骤：
步骤S1：将输入的压缩失真图x依次经过若干级渐进式增强网络Si，并且每级网络恢复相对应子带的编码失真，压缩失真图x在经过每个网络时先通过滤波卷积，以提取相对应层级的第一图像特征数据，然后将第一图像特征数据通过双域融合注意力模型计算，以获得相对应层级的第二图像特征数据，并且将第二图像特征数据通过卷积计算生成编码失真，以获得不同幅度的残差；
步骤S2：将不同幅度的残差依次输入到压缩失真图x，以获得各个层级的滤波图像ei，并且将各层级的残差和压缩失真图x的渐进式累加，网络最终输出的增强图像e的公式为：
e＝x+∑iresiduei。


2.根据权利要求1所述的一种基于注意力模型和渐进式网络的图像编码失真滤波方法，其特征在于，步骤S1具体实施为以下步骤：
步骤S1.1：输入的压缩失真图x经过网络S1滤波卷积，以获得图像特征数据TF1，并且经过双域融合注意力模型，以获得图像特征数据TS1CF和残差R1，并且将残差R1加上压缩失真图x，以获得中间层滤波图像e1；
步骤S1.2：特征数据TS1经过网络S2滤波卷积，以获得图像特征数据TF2，并且经过双域融合注意力模型，以获得图像特征数据TS2CF和残差R2，并且将残差R2加上中间层滤波图像e1，以获得中间层滤波图像e2；
步骤S1.3：特征数据TF2经过网络S3滤波卷积，以获得图像特征数据TF3，并且经过双域融合注意力模型，以获得图像特征数据TS3CF和残差R3，并且将残差R3加上中间层滤波图像e2，以获得中间层滤波图像e3；
步骤S1.4：特征数据TF3经过网络S4滤波卷积，以获得图像特征数据TF4，并且经过双域融合注意力模型，以获得图像特征数据TS4CF和残差R4，并且将残差R3加上中间层滤波图像e3，以获得最终滤波图像e。


3.根据权利要求2所述的一种基于注意力模型和渐进式网络的图像编码失真滤波方法，其特征在于，步骤S1.1具体实施为以下步骤：
步骤S1.1.1：输入的压缩失真图像x经过网络S1滤波卷积，提取到图像特征数据TF1；
步骤S1.1.2：图像特征数据TF1经过双域融合注意力模型计算获得体现空域和通道域上依赖关系的图像特征数据TS1CF，并且使用卷积计算生成编码失真，以获得残差R1；
步骤S1.1.3：将压缩失真图像x加上残差R1，以获得中间层滤波图像...

【专利技术属性】
技术研发人员：金智鹏，翁政魁，
申请(专利权)人：嘉兴职业技术学院，
类型：发明
国别省市：浙江;33