【技术实现步骤摘要】
本专利技术涉及图像处理，特别是涉及一种基于自注意力机制的即插即用图像恢复模型及方法。
技术介绍
1、图像恢复是一种改善图像质量的处理技术，是图像处理研究领域中的热点问题，在科学研究和工程领域中被广泛应用。在图像采样过程中，由于光学系统的像差、光学成像的衍射、成像系统的非线性畸变、记录介质的非线性、成像过程的相对运动、大气的湍流效应、环境随机噪声等原因的影响，会使观测图像和真实图像之间不可避免地存在偏差和失真。图像恢复试图利用退化图像的某种先验知识来恢复或重建被退化的图像，因此图像复原可以看成是图像退化的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，补偿退化过程造成的失真，以便获得未经干扰退化的原始图像或原始图像的最优估值，从而改善图像质量。
2、大多数图像恢复问题可以被视为已知采样信号和采样操作下的求解原始信号的逆问题。当我们对图像进行采样时，其过程可以表示为：y＝ax+n。其中为得到的采样图像，为具体的采样操作，为我们希望恢复得到的原始信号，表示噪声。a所扮演的角色取决于问题的场景。例如，在一台图像处理设备中，当我们面临图像的超分辨问题时，a代表着图像的下采样操作。而当我们面临压缩感知问题时，a则是一个短而宽的采样矩阵。
3、现有技术公开了一种基于注意力机制的图像盲去模糊方法及系统，包括：多尺度注意力网络采用端到端方式，直接恢复清晰图像；所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；所述编解码结构
技术实现思路
1、本专利技术的目的是：提供一种基于自注意力机制的即插即用图像恢复模型及方法，以解决现有技术中存在神经网络采用纯卷积结构，图像的特征提取过程所生成的特征图仅与卷积核覆盖区域的像素有关，使得这些方法在提取图像的远距离信息方面的表现不好的问题。
2、为了实现上述目的，本专利技术提供了一种基于自注意力机制的即插即用图像恢复模型，包括生成器和空间判决器，生成器包括编码器、解码器、瓶颈层和独立的自注意力模块，编码器、瓶颈层、解码器和独立的自注意力模块依次连接；
3、编码器包括多层编码层，每一层编码层包括卷积层、批归一化层和自注意力模块，卷积层、批归一化层和自注意力模块依次连接；
4、解码器包括多层解码层，每一层解码层包括反卷积层和批归一化层，反卷积层和批归一化层依次连接；
5、空间判决器包括图像空间判决器和隐含空间判决器，隐含空间判决器和瓶颈层连接，图像空间判决器和独立的自注意力模块连接。
6、本专利技术还提供一种基于自注意力机制的即插即用图像恢复模型的方法，包括：
7、s1、将原始图像输入到编码器中转化为自注意力特征图，原始图像包括污染图像和干净图像；
8、s2、将自注意力特征图输入到瓶颈层中，获得干净图像张量和污染图像张量；
9、s3、将干净图像张量和污染图像张量均同时输入到隐含空间判决器和解码器中，输入解码器后获得生成图像；
10、s4、将干净图像和生成图像输入到自注意力模块后再输入到图像空间判决器中，通过图像空间判决器和隐含空间判决器的判决选取最接近干净图像的生成图像作为恢复结果。
11、优选的，在步骤s1中，将原始图像输入到编码器中转化为自注意力特征图的具体过程为先将原始图像输入到卷积层和批归一化层中分别得到不同大小的低维特征图，再将低维特征图输入到自注意力模块中，得到非重叠像素块，计算非重叠像素块生成对应的自注意力块，自注意力块包含当前图像的全局信息，获得经过自注意力计算的特征图，由经过卷积层得到的低维特征图和经过自注意力计算的特征图组成自注意力特征图。
12、优选的，首先把原始图像输入到卷积层当中，将原始图像转换为大小为w×h×c的低维特征图，在经过批归一化层后，再将低维特征图输入到自注意力模块当中，在自注意力模块中，大小为w×h的特征图x被划分为大小为n×n的非重叠像素块x(i,j)，其中i∈1,2,...,w/n，j∈1,2,...,h/n为当前像素块的位置索引。
13、优选的，编码层的每个批归一化层后采用残差连接的方式添加自注意力模块，公式如下：
14、
15、其中，xi表示经过卷积特征提取得到的特征图，表示经过自注意力计算后的特征图，γ是一个可学习的参数。
16、优选的，整合全局信息的公式如下：
17、
18、式中：p∈{1,2,...,w/n}和q∈{1,2,...,h/n}是其余像素块的位置索引，f是一个用来计算两个位置像素块之间相关性的二元函数，结果为自注意力分数。
19、优选的，自注意力分数计算的过程如下：
20、
21、s(i,j),(p,q)＝q(x(i,j))k(x(p,q))t
22、优选的，在步骤s3和s4中，空间判决器的损失函数如下：
23、
24、其中，λ1＝0.01，λ2＝1.0，λ3＝0.005，λ4＝0.0001和λ5＝0.001，损失函数的前两项为经典的自编码器损失，而后三项为对抗生成训练损失，θ为损失函数的训练参数，x表示数据集中的干净图像，v表示经过污染操作的受损图像，ε(v)表示经过编码过程的受损图像所产生的中间向量，dl作为隐含空间判决器，d为图像空间判决器。
25、优选的，在步骤s1中，将自注意力特征图中的先验信息最小化，公式如下：
26、
27、式中：φ(x)表示图像特有的先验信息；
28、将生成器应用于交替方向乘子法中，使用交替方向乘子法将先验信息最小化转变为如下形式：
29、
30、式中：z是被约束等量为x的附加变量。
31、优选的，交替方向乘子法将先验信息最小化的具体步骤如下：
32、
33、
34、
35、u(k+1)←u(k)+x(k+1)-z(k+1)，
36、将生成器应用于交替方向乘子法中具体为代替公式如下：
37、x(k+1)←g(z(k)-u(k))。
38、与现有技术相比，本专利技术的有益效果在于：
39、本专利技术利用自注意力模块从图像中提取非局部先验用于提高恢复精度；
40、进一步地，利用交替方向乘子法的算子解耦性质，本文档来自技高网...
【技术保护点】
1.一种基于自注意力机制的即插即用图像恢复模型，其特征在于，包括生成器和空间判决器，生成器包括编码器、解码器、瓶颈层和独立的自注意力模块，编码器、瓶颈层、解码器和独立的自注意力模块依次连接；
2.基于权利要求1所述的一种基于自注意力机制的即插即用图像恢复模型的方法，其特征在于，包括：
3.根据权利要求2所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，在步骤S1中，将原始图像输入到编码器中转化为自注意力特征图的具体过程为先将原始图像输入到卷积层和批归一化层中分别得到不同大小的低维特征图，再将低维特征图输入到自注意力模块中，得到非重叠像素块，计算非重叠像素块生成对应的自注意力块，自注意力块包含当前图像的全局信息，获得经过自注意力计算的特征图，由经过卷积层得到的低维特征图和经过自注意力计算的特征图组成自注意力特征图。
4.根据权利要求3所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，首先把原始图像输入到卷积层当中，将原始图像转换为大小为w×h×c的低维特征图，在经过批归一化层后，再将低维特征图输入到自注意力模块当中，在自注
5.根据权利要求4所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，编码层的每个批归一化层后采用残差连接的方式添加自注意力模块，公式如下：
6.根据权利要求3所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，整合全局信息的公式如下：
7.根据权利要求6所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，自注意力分数计算的过程如下：
8.根据权利要求2所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，在步骤S3和S4中，空间判决器的损失函数如下：
9.根据权利要求2所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，在步骤S1中，将自注意力特征图中的先验信息最小化，公式如下：
10.根据权利要求9所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，交替方向乘子法将先验信息最小化的具体步骤如下：
...【技术特征摘要】
1.一种基于自注意力机制的即插即用图像恢复模型，其特征在于，包括生成器和空间判决器，生成器包括编码器、解码器、瓶颈层和独立的自注意力模块，编码器、瓶颈层、解码器和独立的自注意力模块依次连接；
2.基于权利要求1所述的一种基于自注意力机制的即插即用图像恢复模型的方法，其特征在于，包括：
3.根据权利要求2所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，在步骤s1中，将原始图像输入到编码器中转化为自注意力特征图的具体过程为先将原始图像输入到卷积层和批归一化层中分别得到不同大小的低维特征图，再将低维特征图输入到自注意力模块中，得到非重叠像素块，计算非重叠像素块生成对应的自注意力块，自注意力块包含当前图像的全局信息，获得经过自注意力计算的特征图，由经过卷积层得到的低维特征图和经过自注意力计算的特征图组成自注意力特征图。
4.根据权利要求3所述的一种基于自注意力机制的即插即用图像恢复方法，其特征在于，首先把原始图像输入到卷积层当中，将原始图像转换为大小为w×h×c的低维特征图，在经过批归一化层后，再将低维特征图输入到自注意力模块当中，在自注意力模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。