一种基于高低频信息分解的图像超分辨率重建方法技术

本发明专利技术公开了一种基于高低频信息分解的图像超分辨率重建方法，包括以下步骤：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR‑HR图像块对；将HR图像块G进行高低频信息分解；构建卷积神经网络模型；利用前述步骤生成的训练样本数据对构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。本发明专利技术设计了优化的神经网络结构，有效生成HR图像的低频和高频信息，更好地重建高分辨率的图像。

A Super Resolution Image Reconstruction Method Based on High and Low Frequency Information Decomposition

【技术实现步骤摘要】
一种基于高低频信息分解的图像超分辨率重建方法
本专利技术涉及图像处理
，特别是一种基于高低频信息分解的图像超分辨率重建方法。
技术介绍
图像的超分辨率问题(Super-Resolution)是计算机视觉中的一类重要问题，是指从一张或多张低分辨率(Low-Resolution，LR)图像中，重构出相应的高分辨率(High-Resolution，HR)图像。主要分为两类，一是从单张低分辨率图像中重建出高分辨率图像，二是从多张低分辨率图像中重建出高分辨率图像。超分辨率问题的核心是如何利用低分辨率图像的内部相关信息来生成图像的高频细节信息。目前，深度学习在计算机领域中表现出巨大潜力，基于神经网络学习的方法可以自动的从大量数据中学习特征提取方法，而且由于深度模型极高的复杂度，使得它可以建立由低分辨率图像到复杂特征再到高分辨率图像的非线性变换，充分利用有限信息来直接进行从低分辨图像到高分辨图像的端到端学习，带来了更好的性能和表现，在图像超分辨问题中成为主流。近些年的图像超分辨率网络主要分为两种：一种是只有局部的跳过连接(SkipConnection)，即只在上采样网络前进行跳过连接。EDSR、SRDenseNet、RCAN等图像超分辨率网络都采用这类结构；另一种是有全局的SkipConnection，即只通过神经网络来生成HR图像中的细节信息，而HR图像的结构信息则通过直接地双三次插值放大获得。IDN、WDSR等图像超分辨率网络都采用这类结构。因为人眼对图像质量的感知结果主要表现在细节信息上，而后者可以利用同等规模的网络来更好地学习细节信息表征，因此，后者在理论和直观上都具有更好的性能。随着信息技术的发展，低分辨率图像已经难以满足人们对于高清影像的需求。高分辨率图像的像素密度高，细节清晰，信息丰富，因而能够满足图像分析，图像理解的实际应用需求。图像分辨率的提升有助于图像细节的观察和分析，从而为后续的图像处理如目标检测，图像分割等提供更多有用的信息，高分辨率图像的获取是后续图像处理取得良好效果的重要保障。超分辨技术从出现以来，大致经历了插值、重建、学习三个阶段的发展过程。其中插值的方法出现的最早，其假设图像具有连续的灰度值，待插像素的灰度值可以根据邻域像素估计得到。在实际应用中获取的图像往往不符合这种假设，因而重建出的图像容易出现锯齿、模糊等现象。其更多的是作为一种上采样的策略，很多时候会作为后两种方法的一个预处理工作被使用。而基于重建的方法通常需要将同一场景的多幅图像进行信息融合，主要包括配准、插值、重构3个步骤。目前主要有正则化方法，凸集投影法(POCS)和迭代反投影法(IBP)等算法。这一类算法之间的区别主要在于重构部分，严重依赖高分辨率图像的先验知识，性能表现波动很大。当放大倍数较高时，图像重建质量会迅速下滑，导致图像细节严重丢失。基于学习的算法，即通过机器学习的算法对从低分辨率图像到高分辨率图像的转化过程进行建模，可以实现单幅图像的超分辨率重建。相较于其他两类方法，基于学习的方法可以更好地表达和利用图像的先验知识，具有更突出的性能，恢复出的图像具有更优秀的视觉效果，是目前的研究热点之一。2014年，ChaoDong等人设计的深度卷积网路SRCNN是第一个基于深度学习的超分辨率重建算法，其网络架构非常简单，用三个卷积层分别代表特征提取，非线性变换，图像重构的步骤，实现了端到端的超分辨技术，并在当时取得了最好的效果，自SRCNN之后，基于深度学习的方法呈现出迅猛的发展势头，时隔一年ChaoDong团队2016年最先出手，在SRCNN上进行了改进，得到FSRCNN网络，增加了模型的深度并且增加了膨胀压缩的操作，使得网络结构更合理，运算速度精度都得到了提高，之后ShiW在ESPCN结构中创造性的提出亚像素卷积层的概念，依靠卷积而不是反卷积或插值来上采样，大大提高了速度，同年，KimJ等人提出两种网络架构DRCN和VDCN，分别将循环网络结构和VGG网络结构经过改进应用到超分辨领域，取得了更高的精度，二者是深度学习领域成熟思想应用到超分辨领域的典范。WangY等人提出一种EED网络，将深浅层网络相互结合，使得他们分工合作，以结合两个的优点，同时，EED还提出不同尺寸的卷积核提取到的不同感知野大小的特征在还原图像中的作用。2017年，深度学习上先进的算法如残差网络和对抗生成网络结构被引入到了超分辨的领域，分别生成了EDSR网络和SRGAN网络，并分别取得了最好的信噪比指标和最好的视觉效果。同时，HuangH针对人脸识别，以小波变换算法为基础，提出一种Wavelet结构，这种基于算法设计网络的结构可以使得网络具有更优良的结构和更强的针对性。自2014年以来，深度学习引入到超分辨领域，从此便迅猛的发展起来，产生了一系列优秀的工作。但是，两者相互结合的潜力远远没有发掘完全，由两者相互结合产生何种更有针对性的网络架构，是后续需要努力的重要方向。图像卡通-纹理分解基本理论：卡通-纹理分解又称为结构-纹理分解，一个灰度级图像f可以分解为f＝u+v，其中u表示图像的结构分量，包含图像的大部分低频和部分中高频信息，是图像的结构特征信息，是图像f的简化逼近，称为卡通；v表示图像的纹理特征信息，包含图像的大部分高频和部分中频信息，由纹理和噪声组成。卡通纹理分解理论由Meyer提出，其模型理论是根据能量极小化原理来把图像分解成卡通部分和纹理部分，由于其很高的计算复杂度，实际中实现极其困难。一种简化的计算方法是利用非线性的低通滤波器来对原始图像进行快速有效的近似解法。该方法的主要步骤是首先计算图像像素点的周围像素共同的局部总变分(LTV)，通过局部总变分的值来判定该像素点是属于卡通点还是纹理点，然后再对图像通过一个低通滤波器。对于每个像素点来说，其局部总变分变化大的点作为纹理点，而变化小的像素点作为卡通点。分解结果中，卡通部分就是判断为卡通点的位置像素值不变，判断为纹理点的位置的像素值为经过低通滤波器后的像素值；而纹理部分是原始图像像素点与卡通部分图像像素点的插值，该方法虽然不能精确的代替变分问题来分解图像，但它方便处理并具有可行性。2019年3月发表在浙江理工大学学报上的“基于生成对抗网络的图像超分辨率方法”一文。文中采用生成对抗网络来生成逼真的图片，输入的LR图片作为两个特征提取子网络的共同输入，用来提取不同尺度的特征信息，之后将两种特征信息进行线性叠加，再通过卷积层作低分辨率特征到高分辨率特征的非线性映射，最后用上采样层做特征域到像素域的映射，即图像重建，最终输出生成的HR图像。该文用两个尺度做特征域的信息分解，而本专利技术是在像素域做信息分解；该文中说到两个分支分别用来提取高频细节信息和低频结构信息，但没法用特征域中的GroundTruth进行约束，整个网络是端到端训练的。因此，这样的分解不一定就是高频细节信息和低频特征信息的分解，而是自适应的。而本专利技术通过良好的先验信息进行约束，使得两个网络(分支)可以有方向性的学习。2018CVPR的DeepVideoSuper-ResolutionNetworkUsingDynamicUpsamplingFiltersWithoutExplicitMotionCompensat本文档来自技高网...

【技术保护点】
1.一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR‑HR图像块对，具体为：1)先对超分辨率数据集中HR图像做双三次插值得到其对应的LR图像，构成LR‑HR图像对；2)再对LR‑HR图像对做数据增强，以增强训练样本的数据量；3)最后从数据增强后的每张HR图像中随机选取图像块，每个HR图像块与其对应的LR图像块构成LR‑HR图像块对；步骤2：将HR图像块G进行高低频信息分解，具体如下：1)HR图像块G的每点像素值乘以(‑1)

【技术特征摘要】
1.一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR-HR图像块对，具体为：1)先对超分辨率数据集中HR图像做双三次插值得到其对应的LR图像，构成LR-HR图像对；2)再对LR-HR图像对做数据增强，以增强训练样本的数据量；3)最后从数据增强后的每张HR图像中随机选取图像块，每个HR图像块与其对应的LR图像块构成LR-HR图像块对；步骤2：将HR图像块G进行高低频信息分解，具体如下：1)HR图像块G的每点像素值乘以(-1)x+y进行中心变换，得到图像块G'；其中x＝0,1,...,127，y＝0,1,...,127，(x,y)表示HR图像块G的每一像素点位置；2)对图像块G'做二维离散傅里叶变换，即根据下式对离散变量u和v在规定范围内求值，得到频谱函数F(u,v)；其中，M＝N＝128，即HR图像块G尺寸为128×128，u＝0,1,2,...,127，v＝0,1,2,...,127；u，v表示图像频域空间位置；3)用滤波器函数H(u,v)乘以频谱函数F(u,v)进行滤波；滤波后的图像F'(u,v)为：F'(u,v)＝H(u,v)×F(u,v)其中，D0为高斯核的标准差；4)对滤波后的图像F'(u,v)做二维离散傅里叶反变换，并取变换后结果的实部；变换公式如下：其中，x＝0,1,2,...,M-1，y＝0,1,2,...,N-1；5)用(-1)x+y乘以步骤4)中变换结果Re(f'(x,y))，再取消步骤1)中对HR图像块G的乘数(-1)x+y，即将频域中心平移回来，得到HR图像块G的低频信息图像G1，其包含原HR图像块G的低频信息和部分中频信息，高频信息图像G2为HR图像块G与低频信息图像G1的差，即G2＝G-G1，其包含G的高频信息和部...

【专利技术属性】
技术研发人员：李帅，朱策，于嘉山，方嘉仪，高艳博，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51