一种基于Attention多特征融合的图像压缩感知重建方法技术

本发明专利技术提出了一种基于Attention的多特征融合的图像压缩感知重建方法，首先利用全卷积神经网络进行采样，然后使用反卷积网络进行初始重建。接下来利用不同扩张速率的扩张卷积得到不同感受野的扩张卷积核捕获图像中不同尺度的信息，得到多个尺度特征信息；在不同扩张速率的卷积通道，我们在每个通道加入了残差块，构成残差网络，通过残差网里多个跳连接来绕过大量的低频信息从而使网络专注于学习高频信息。在得到多个尺度特征信息后，使用Attention机制对输出的不同特征进行加权，更好的利用特征中更多有用信息，然后将多个特征信息进行融合完成图像的深度重建。本发明专利技术能有效提高采样效率，并使图像重建的质量得到大幅提升。

【技术实现步骤摘要】
一种基于Attention多特征融合的图像压缩感知重建方法
本专利技术涉及图像处理领域，主要涉及一种基于Attention的多特征融合的图像压缩感知重建方法。
技术介绍
压缩感知(CS)可以从远少于奈奎斯特采样的测量中精确的恢复原始信号，因此被广泛的应用到数据的测量。传统的压缩感知测量方法大多采用随机测量矩阵，测量高维数据时占用大量内存；传统的重建方法计算复杂度高且难以做到实时。近年来，基于深度学习的方法在很多领域得到成功应用，深度学习技术应用到压缩感知领域能大幅减少计算复杂度且重建性能得到提升。堆叠式去噪自动编码器(SDA)作为一种非监督的特征学习器，来获取信号不同元素之间的统计相关性并提高信号重建性能；DeepInverse网络使用深度卷积神经网络学习信号的表示，且类似于贪婪算法或凸松弛算法完成从测量向量到原始信号的逆变换；ReconNet也是一种非迭代重建网络，利用卷积神经网络来学习从CS测量到原始图像的映射；在ReconNet的基础上DR2-Net网络被提出，该网络采用深度残差网络从测量值重建原始图像，主要由线性映射网络和残差学习网络两本文档来自技高网...

【技术保护点】
1.一种基于Attention多特征融合的图像压缩感知重建方法，其特征在于，包括:/n步骤1、采集图像数据并将其基于神经网络测量后输出测量数据；/n步骤2、采用反卷积神经网络对测量信号进行初始重建后输出初始重建图像；/n步骤3、利用三通道网络对步骤2的重建图像进行处理后输出多尺度特征信息；/n步骤4、Attention机制对输出的不同特征进行加权处理后得到最终重建图像数据。/n

【技术特征摘要】
1.一种基于Attention多特征融合的图像压缩感知重建方法，其特征在于，包括:
步骤1、采集图像数据并将其基于神经网络测量后输出测量数据；
步骤2、采用反卷积神经网络对测量信号进行初始重建后输出初始重建图像；
步骤3、利用三通道网络对步骤2的重建图像进行处理后输出多尺度特征信息；
步骤4、Attention机制对输出的不同特征进行加权处理后得到最终重建图像数据。


2.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法，其特征在于，所述步骤1具体包括：
步骤2.1、选取一张大小为n×n的图像，将图像转化为灰度图；
步骤2.2、利用全卷积神经网络进行测量；采用m个B×B×1的卷积核对输入数据同时进行测量，其中为测量速率，B为设置采样层卷积核的大小，并不设偏置，不设Pad补零，卷积步长设置为B；
步骤2.3、经过卷积层测量后，得到的测量数据。


3.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法，其特征在于，步骤2.2具体包括：利用卷积神经网络测量是模仿传统的测量方式：yi＝ΦB×xi，将测量矩阵ΦB的每一行都视为一个卷积核；测量矩阵ΦB中存在行(为测量率)，以获得m个测量点；将卷积核的大小设置成B×B，步长也设置成B，相当于不重叠采样；因此每一个卷积核输出一个测量值。


4.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法，其特征在于，所述步骤2具体包括：
步骤3.1、利用反卷积神经网络对采样信号进行初始重建；
步骤3.2、经过步骤3.1的卷积操作后，得到n×n的初始重建图像。


5.根据权利要求4所述的一种基于Attention多特征融合的图像压缩感知重建方法，其特征在于，步骤3.1中，具体包括：对于反卷积过程，采用卷积过程转置后的卷积核，相当于是卷积的逆过程；经过卷积测量后，图像的分辨率会变低，部分信息会缺失；反卷积就是为了恢复原图像，重要的是得到与原图像的大小一致；由于反卷积的输出张量(图像)大小为：0＝(N-1)×S+K-2P，其中N是输入图像大小，O是输出图像大小，S是步长，K是卷积核的大小，P是边缘填充；在经过全卷积测量后，没有Pad操作；为了得到与原图相同大小，因此在这里S＝32,K＝32,没有Pad操作，因此P＝0；这样经过反卷积后就会得到与原图...

【专利技术属性】
技术研发人员：曾春艳，王正辉，武明虎，孔帅，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北;42