一种基于特征处理的图像信息融合及超分辨率重建方法技术

本发明专利技术公开了一种基于特征处理的图像信息融合及超分辨率重建方法，属于图像处理技术领域。本发明专利技术首先将高分辨率参考图像输入到图像预处理模块，得到低分辨率参考图像。其次将低分辨率输入图像、高分辨率参考图像和低分辨率参考图像输入到特征处理模块，该模块对输入图像进行特征处理，实现高分辨率参考图像和低分辨率输入图像的特征信息匹配、转移和融合，得到融合特征图像。最后将低分辨率输入图像和融合特征图像输入到超分辨率重建模块，得到最终的超分辨率重建图像。本发明专利技术采用图像的特征信息而非像素信息来进行信息匹配和融合，可以充分地利用高分辨率参考图像所携带的丰富细节纹理信息，进而有效提升低分辨率输入图像超分辨率重建质量。

【技术实现步骤摘要】
一种基于特征处理的图像信息融合及超分辨率重建方法
本专利技术属于图像处理
，具体涉及到一种基于特征处理的图像信息融合及其超分辨率重建方法。
技术介绍
超分辨率重建是一种通过对低分辨率图像(分辨率低于某个指定值)进行处理来得到高分辨率图像(分辨率高于某个指定值)的技术。按照输入图像的数目来分类，可以分为基于单图的超分辨率重建算法和基于多图的超分辨率重建算法。基于单图的图像超分辨率重建算法直接利用输入的低分辨率图像的信息来进行重建。这种方法简洁易行，但由于输入的低分辨率图像本身包含的信息有限，因此这种方法重建出来的图像质量也是受限的。为了克服上述缺陷，在条件允许的情况下，高分辨率的参考图像可以被引入到超分辨率重建算法中，将高分辨率图像包含的丰富的纹理细节信息融合到低分辨率图像上，进而提升超分辨率重建的质量。这就是基于多图的超分辨率重建算法的基本原理。为了得到比较理想的超分辨率重建效果，高分辨率参考图像需要与待处理的低分辨率输入图像有着较高的相似度。与此同时，高分辨率参考图像和低分辨率输入图像之间的信息匹配和融合算法对最本文档来自技高网...

【技术保护点】
1.一种基于特征处理的图像信息融合及超分辨率重建方法，其特征在于，包括以下步骤：/n对高分辨率参考图像和低分辨率输入图像进行图像预处理：对高分辨率参考图像进行下采样，得到与低分辨率输入图像的清晰度相匹配的低分辨率参考图像；并对低分辨率输入图像和低分辨率参考图像进行相同的上采样；/n对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，得到高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对得到的特征图进行图像信息匹配、转移和融合处理：/n对高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图进行分块处理；/n遍历低分辨率输入特征图中的每个特征子...

【技术特征摘要】
1.一种基于特征处理的图像信息融合及超分辨率重建方法，其特征在于，包括以下步骤：
对高分辨率参考图像和低分辨率输入图像进行图像预处理：对高分辨率参考图像进行下采样，得到与低分辨率输入图像的清晰度相匹配的低分辨率参考图像；并对低分辨率输入图像和低分辨率参考图像进行相同的上采样；
对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，得到高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对得到的特征图进行图像信息匹配、转移和融合处理：
对高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图进行分块处理；
遍历低分辨率输入特征图中的每个特征子块，在低分辨率参考特征图中搜索第一最优匹配特征子块，并基于高分辨率参考特征图与低分辨率参考特征图之间的空间映射关系，基于第一最优匹配特征子块的图像位置确定当前子块在高分辨率参考特征图的第二最优匹配特征子块；
基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组处理，得到重组特征图像；
基于重组特征图进行图像信息融合处理，得到融合特征图像；
基于融合特征图像对低分辨率输入图像进行超分辨率重建，得到超分辨率重建图像。


2.如权利要求1所述的方法，其特征在于，基于编码和解码结构的超分辨率重建网络进行超分辨率重建过程处理，其中，超分辨率重建网络的编码部分用于对低分辨率输入图像进行特征提取，并通过维度拼接的方式将提取的特征图像与融合特征图像进行融合；解码部分用于对融合的特征图像进行重建，输出超分辨率重建图像。


3.如权利要求1所述的方法，其特征在于，采用基于卷积神经网络的特征提取网络对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，所采用的卷积神经网络包括顺次连接的若干级卷积块，卷积块之间通过池化层连接，各级卷积块包括若干顺次连接的子层，每个子层由顺次连接的卷积层和非线性激活层构成，从每级卷积块中指定一层非线性激活层作为当前级别的特征图输出，得到多级高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对同级特征图进行图像信息匹配、转移和融合处理，得到多级融合特征图像。


4.如权利要求3所述的方法，其特征在于，所述超分辨率重建网络包括若干编码器和解码器，按照前向传播的方向，各编码器依次定义为第1级～第N级编码器，第N级～第1级解码器，其中N的取值与特征信息提取处理的卷积神经网络包括的卷积块级数相同；第一级编码器与第二级编码器之间通过拼接层连接，从第2级编码器开始，各编码器之后顺次连接下采样模块和拼接层；拼接层的输入还包括指定级的...

【专利技术属性】
技术研发人员：傅志中，吴宇峰，徐进，李晓峰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51