基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统技术方案

本发明专利技术提供了基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统。图像压缩感知方法包括：获取多个图像块测量值；对多个图像块测量值进行初始重建获得初始重建图像；基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像；将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。快速傅里叶卷积对初始重建图像进一步重建，快速傅里叶卷积感受野能够覆盖整个图像，有效利用了全局上下文信息，再通过像素级滤波器获取像素局部邻域的局部信息，两者结合有效提升压缩感知图像重建效果和视觉效果。知图像重建效果和视觉效果。知图像重建效果和视觉效果。

【技术实现步骤摘要】
基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统


[0001]本专利技术属于图像压缩感知
，尤其涉及一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统。

技术介绍

[0002]在图像压缩感知重建算法的研究中，一些传统的算法如MH(如2020年由W.Shi、F.Jiang、S.Liu等在IEEE Transactions on Image Processing上公开的论文“Image compressed sensing using convolutional neural network[J]”中有公开MH算法)，大多从图像先验着手添加额外的优化方法或结合迭代阈值算法，其大多计算复杂度较高，图像重建质量不理想。基于深度学习的算法如ReconNet(如2016年K.Kulkarni、S.Lohit、P.Turaga等人在Proceedings ofthe IEEE Conference on ComputerVision and Pattern Recognition(CVPR)上发表的论文“ReconNet:Non
‑
iterative reconstruction of images fromcompressively sensedmeasurements[C]”,中有公开ReconNet算法)，具有较低的计算成本，但大多数采用小感受野，导致损失了图像本身的非局部信息，重构质量不高，同时深度学习方法的可解释性较差这一问题还未得以解决。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题，提供一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统。
[0004]为了实现本专利技术的上述目的，根据本专利技术的第一个方面，本专利技术提供了一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法，包括：获取多个图像块测量值；对多个图像块测量值进行初始重建获得初始重建图像；基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像；将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
[0005]为了实现本专利技术的上述目的，根据本专利技术的第二个方面，本专利技术提供了一种快速傅里叶卷积与卷积滤波流的图像压缩感知系统，包括：采样模块，用于对原始图像进行压缩采样获得多个图像块测量值；初始重建模块，用于对多个图像块测量值进行初始重建获得初始重建图像；傅里叶卷积重建模块，基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像；像素级滤波器，对傅里叶卷积重建图像进行滤波处理，所述像素级滤波器采用卷积滤波流网络架构；融合模块，将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
[0006]上述技术方案：本专利技术在对图像进行初始重建后，基于快速傅里叶卷积进一步对初始重建图像进行重建，快速傅里叶卷积具有非局部感受野，感受野能够覆盖整个图像，有效利用了全局上下文信息，有助于提升重建图像质量，再通过像素级滤波器获取像素局部
邻域的局部信息，具有良好的可解释性，快速傅里叶卷积和卷积滤波流结合充分利用信号的稀疏性以及信号自身的机构信息，有效提升压缩感知图像重建效果和视觉效果。
附图说明
[0007]图1是本专利技术一种优选实施方式中图像压缩感知方法的流程示意图；
[0008]图2是本专利技术一种优选实施方式中图像压缩感知方法的详细流程示意图；
[0009]图3是本专利技术一种优选实施方式中图像压缩感知系统的结构框图；
[0010]图4是本专利技术一种优选实施方式中采样模块结构示意图；
[0011]图5是本专利技术一种优选实施方式中像素洗牌过程示意图；
[0012]图6是本专利技术一种优选实施方式中初始重建模块结构示意图；
[0013]图7是本专利技术一种优选实施方式中快速傅里叶卷积网络结构示意图；
[0014]图8是本专利技术一种优选实施方式中傅里叶卷积重建模块结构示意图；
[0015]图9是本专利技术一种优选实施方式中30％采样率下图像压缩感知系统最终重建图像与滤波器流图。
[0016]附图说明：
[0017]C卷积层；B批归一化层(Batch Normalization，简称BN)；R激活函数层；F实部快速傅里叶变换层；IF实部快速傅里叶逆变换层；U上采样层；M最大池化层。
具体实施方式
[0018]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0019]在本专利技术的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0020]在本专利技术的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0021]卷积神经网络作为深度学习的核心，是最近一些研究领域取得巨大进展的主要驱动力，而卷积神经网络的核心则是感受野，感受野是卷积神经网络特征映射的输入图像的区域。现代设计的卷积神经网络中大多采用具有小感受野的卷积层，这种局部操作在层数较少的情况下不能做到特征提取的长距离依赖，只能通过堆叠卷积层以达到线性或者指数增加感受野的大小，或通过使用空洞卷积来增加感受野。然而，对于压缩感知中的图像重建问题，对上下文信息是比较敏感的，小型感受野相对不利于图像重建，因为一个较大的感受野对于理解图像的全局结构，解决压缩感知的图像重建具有重要的作用。
[0022]快速傅里叶卷积(FastFourierConvolution,简称FFC)是近期提出的一种新型的
卷积模块，如在2020年期刊IEEE Transactions on ImageProcessing,2020,29:375
‑
388中公开了由W.Shi、F.Jiang、S.Liu等发表的论文“Image compressed sensing using convolutional neural network[J]”，该论文提出了快速傅里叶卷积，其优势是具有非局部的感受野，且在卷积单元内跨尺度特征融合。根据傅里叶理论中的频域卷积定理，仅需改变频域中的一个点即可影响空间域里的全局特征，快速傅里叶卷积允许图像范围内的接受域，能够覆盖整个图像，本申请专利技术人发现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，包括：获取多个图像块测量值；对多个图像块测量值进行初始重建获得初始重建图像；基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像；将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。2.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述获取多个图像块测量值的步骤，具体为：将原始图像输入采样网络获得多个图像块测量值，所述采样网络包括采样卷积层。3.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述对多个图像块测量值进行初始重建获得初始重建图像步骤，具体包括：将多个图像块测量值输入初始重建卷积层获得图像块的向量表示；通过像素洗牌操作将多个图像块的向量表示重塑为与原始图像大小一致的初始重建图像。4.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像的步骤，包括：将初始重建图像依次输入快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层处理获得全局特征图像；将初始重建图像和全局特征图像进行元素求和获得傅里叶卷积重建图像。5.如权利要求1或2或3或4所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和映射层；所述傅里叶卷积重建图像输入第一卷积神经网络和第二卷积神经网络分别获得第一图像和第二图像；对第一图像和第二图像进行元素求和并将求和结果依次输入第三卷积神经网络和映射层处理获得滤波处理结果；第一卷积神经网络的深度大于第二卷积神经网络的深度，第三卷积神经网络包括多层卷积。6.快速傅里叶卷积与卷积滤波流的图像压缩感知系统，其特征在于，包括：采样模块，用于对原始图像进行压缩采样获得多个图像块测量值；初始重建模块，用于对多个图像块测量值进行初始重建获得初始重建图像；傅里叶卷积重建模块，基于快速傅里叶卷积进一步...

【专利技术属性】
技术研发人员：朱冬，杨易，方向明，张建，宋雯，唐国梅，周宇杰，仲元红，
申请(专利权)人：重庆七腾科技有限公司，
类型：发明
国别省市：