一种基于图像去噪思想的图像压缩及滤镜去除方法及系统技术方案

本发明专利技术提出了一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，属于图像数据处理的技术领域。其中方法包括：步骤1、构建图像压缩及滤镜去除网络模型；步骤2、将带滤镜的RGB图像作为输入数据传输至图像压缩及滤镜去除网络模型中；步骤3、图像压缩及滤镜去除网络模型对接收到的输入数据进行滤镜去除；步骤4、输出去除滤镜后的图像数据。本发明专利技术提出的图像压缩及滤镜去除网络模型可以将多级分辨率特征融合，有效提取不同分辨率层级下的特征，从而提高图像压缩及滤镜信息的特征提取和筛选，提高模型去除滤镜性能，进而提高结果的压缩率。同时，图像压缩及滤镜去除网络模型可以直接进行端到端的训练，更适用于实际场景。更适用于实际场景。更适用于实际场景。

【技术实现步骤摘要】
一种基于图像去噪思想的图像压缩及滤镜去除方法及系统


[0001]本专利技术属于图像数据处理的
，特别是涉及一种基于图像去噪思想的图像压缩及滤镜去除方法及系统。

技术介绍

[0002]智能手机或互联网上众多的社交媒体应用中包含丰富的图像滤镜，这种滤镜通过应用多个图像变换将图像转换为不同的样式，以迎合大众多样的审美需求。但是这些滤镜通过调整对比度、亮度、色调、饱和度、模糊、噪声等来修改原始图像，会对图像带来颜色级别或像素级别的损坏和扰动，从而大大增加下游计算机视觉任务利用这些图片的难度。

技术实现思路

[0003]专利技术目的：提出一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，以解决现有技术存在的上述问题。通过将图像滤镜去除视为图像去噪，利用构建的图像压缩及滤镜去除网络以较高的精度恢复加滤镜前的图像。
[0004]技术方案：第一方面，提出了一种基于图像去噪思想的图像压缩及滤镜去除方法，该方法具体包括以下步骤：步骤1、构建图像压缩及滤镜去除网络模型；构建的图像压缩及滤镜去除网络模型呈对称结构，起始两端均为一个独立的卷积层，中间部分为相互对应的编码模块和解码模块。
[0005]步骤2、将带滤镜的RGB图像作为输入数据传输至图像压缩及滤镜去除网络模型中；图像压缩及滤镜去除网络模型对数据进行处理的中间过程中，通过相对应的跳跃连接实现编码模块与解码模块之间的数据传输。
[0006]步骤3、图像压缩及滤镜去除网络模型通过构建的滤镜去除模块对接收到的输入数据进行滤镜去除。
[0007]步骤4、输出去除滤镜后的图像数据。
[0008]在第一方面的一些可实现方式中，图像压缩及滤镜去除网络模型对数据进行处理的中间过程中，中间部分通过划分层级的方式对数据进行逐层处理，解码模块在每一层级进行数据处理的过程中，通过子像素卷积操作实现分辨率的增大。
[0009]实现图像滤镜去除的滤镜去除模块包含两个残差跳跃连接，两个残差的末端均与当前残差模块对应接收到的输入特征图进行逐元素相加。滤镜去除模块作为一个两级残差跳跃连接结构，其中第一级残差跳跃连接结构顺序包含：层归一化、33卷积、可分离卷积、分散注意力模块、跳跃注意力模块、33卷积。第二级残差跳跃连接结构顺序包含：层归一化、11卷积、33可分离卷积、简单激活门控模块、33卷积。
[0010]其中，第一级残差跳跃连接结构种的分散注意力模块将接收到的特征图按通道等分成两份，之后将两个特征图逐元素相乘；跳跃注意力模块将所述分散注意力模块的输出
特征图顺序经过3x3卷积、参数修正线性单元、3x3卷积，并列的通道注意力模块和空间注意力模块、合并、1x1卷积操作后与自身逐元素相乘，输出的特征图再与当前滤镜去除模块的输入特征图进行逐元素相加，完成第一级跳跃残差。
[0011]第一级残差跳跃连接结构在数据处理的过程中，首先按照结构顺序对接收到的图像数据进行处理，并在最后环节与初始接收到的图像数据进行逐元素相加后，输出特征图，完成第一级跳跃残差。
[0012]第二级残差跳跃连接结构接收第一级残差跳跃连接结构输出的特征图，在顺序经过第二级残差跳跃连接结构的处理后，与第一级残差跳跃连接结构输出的特征图进行逐元素相加，完成第二级跳跃残差。
[0013]进行数据处理的过程中，第一级残差跳跃连接结构中的分散注意力模块包含一个分割操作和一个逐元素相乘操作。分散注意力模块将特征图按通道等分成两份，之后将两个特征图逐元素相乘。跳跃注意力模块是将分散注意力模块的输出特征图顺序经过33卷积、参数修正线性单元、33卷积（Conv），并列的通道注意力和空间注意力、合并、11卷积等操作后与自身逐元素相乘，输出再与此滤镜去除模块的输入进行逐元素相加，完成第一级跳跃残差。然后，第二级残差是将第一级残差模块的输出特征图顺序经过层归一化、11卷积、33可分离卷积、简单激活门控模块、33卷积等基本操作后与自身逐元素相加，其中简单激活门控模块包含上、下两个分支，上分支经过一个高斯激活函数后与输入特征图进行逐元素相乘。
[0014]第二方面，提出一种基于图像去噪思想的图像压缩及滤镜去除系统，用于实现图像压缩及滤镜去除方法，该系统具体包括：用于根据需求构建图像压缩及滤镜去除网络模型的模型构建模块；用于利用构建的模型进行数据分析处理的数据分析模块；用于输出数据分析结果的数据输出模块。
[0015]在数据分析过程中，图像压缩及滤镜去除网络模型包含至少两个层级，且层级之间具有不同的分辨率；每个层级中构建的滤镜去除模块包含至少两个卷积操作和注意力操作。
[0016]有益效果：本专利技术提出了一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，通过将图像滤镜去除视为图像去噪，利用构建的图像压缩及滤镜去除网络以较高的精度恢复加滤镜前的图像，同时提高图像压缩率。
[0017]本专利技术提出的DefilterNet模型可以将多级分辨率特征融合，有效提取不同分辨率层级下的特征，从而提高图像压缩及滤镜信息的特征提取和筛选，提高模型性能。同时，DefilterNet模型可以直接进行端到端的训练，更适用于实际场景。
[0018]DefilterNet模型中的滤镜去除模块采用两级残差结构，第一级残差结构通过注意力机制（Attention）进行特征的初步筛选，第二级残差结构通过门控机制（Gate）进行有用特征的进一步加强，有效提高了网络的特征筛选能力。
[0019]另外，本专利技术提出的DefilterNet模型的训练过程可以采取混合图片的数据增强方式，从而增加训练数据的数量及多样性，提高模型的泛化能力。
附图说明
[0020]图1为本专利技术的构建的DefilterNet模型结构图。
[0021]图2为本专利技术DefilterNet模型中滤镜去除模块的结构图。
具体实施方式
[0022]在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。
[0023]申请人认为在图像数据的处理过程中，带滤镜图像经互联网传输往往会经过图像压缩过程，因此图像压缩及滤镜去除是完成社交媒体图像内容视觉分析的关键预处理步骤。图像数据处理的过程中涉及卷积神经网络技术、图像滤镜去除技术和图像恢复技术。
[0024]其中，卷积神经网络技术：卷积神经网络(CNN，Convolution Neural Network)已经在计算机视觉领域得到了广泛且成功的应用，比如分类（image classification)、检测（object detection）、分割（semantic segmentation）、去噪（image denoising）、超分（image super
‑
resolution）等。这些任务的研究多是基于开放的数据集，比如ImageNet、COC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，具体包括以下步骤：步骤1、构建图像压缩及滤镜去除网络模型；步骤2、将带滤镜的RGB图像作为输入数据传输至图像压缩及滤镜去除网络模型中；步骤3、图像压缩及滤镜去除网络模型对接收到的输入数据进行滤镜去除；步骤4、输出去除滤镜后的图像数据。2.根据权利要求1所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，所述图像压缩及滤镜去除网络模型呈对称结构，起始两端均为一个独立的卷积层，中间部分为相互对应的编码模块和解码模块；相对应的编码模块和解码模块之间，通过跳跃连接进行数据传输。3.根据权利要求2所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，中间部分通过划分层级的方式对数据进行逐层处理，解码模块在每一层级进行数据处理的过程中，通过子像素卷积操作实现分辨率的增大。4.根据权利要求1所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，所述压缩及滤镜去除网络模型在编码和解码阶段，通过构建的滤镜去除模块进行图像滤镜去除；所述滤镜去除模块包含两个残差跳跃连接，两个残差的末端均与当前残差模块对应接收到的输入特征图进行逐元素相加。5.根据权利要求4所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，所述滤镜去除模块作为一个两级残差跳跃连接结构，其中第一级残差跳跃连接结构顺序包含：层归一化、33卷积、可分离卷积、分散注意力模块、跳跃注意力模块、33卷积。6.根据权利要求4所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，所述滤镜去除模块作为一个两级残差跳跃连接结构，其中第二级残差跳跃连接结构顺序包含：层归一化、11卷积、33可分离卷积、简单激活门控模块、33卷积。7.根据...

【专利技术属性】
技术研发人员：冷聪，李成华，
申请(专利权)人：中科方寸知微南京科技有限公司，
类型：发明
国别省市：