利用预训练网络的感知相似性进行混合图像超分辨方法技术

本发明专利技术提供了利用预训练网络的感知相似性进行混合图像超分辨方法，包括：将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像；构建基于感知相似度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理。通过对预先训练的VGG网络的特征代表来计算感知相似度，重构每个补丁并最小化超分辨错误，最终达到重构基于最优质性能的HR图像的结果，避免了内部和外部SR算法的缺点，大大提升了有效性、实用性和稳定性。

Hybrid image super-resolution using perceptual similarity of pre-training network

The present invention provides a super-resolution method for hybrid images by using the perceptual similarity of pre-training network, including: decomposing the known images to obtain low-resolution images, establishing a comparison dictionary based on low-resolution images, obtaining high-resolution image blocks corresponding to the known images based on the comparison dictionary, obtaining known images, and performing differential operation of the known images based on convolutional neural network. The loss function based on perceptual similarity is constructed, and the internal reconstruction method as shown in step 1 or the external reconstruction method as shown in step 2 are selected to process the super-resolution reconstruction of the processed image based on the operation results of the loss function. By calculating the perceptual similarity through the pre-trained feature representation of VGG network, reconstructing each patch and minimizing super-resolution errors, the final result of reconstructing HR image based on the best performance is achieved, which avoids the shortcomings of internal and external SR algorithms and greatly improves the effectiveness, practicability and stability.

【技术实现步骤摘要】
利用预训练网络的感知相似性进行混合图像超分辨方法
本专利技术属于导航领域，特别涉及利用预训练网络的感知相似性进行混合图像超分辨方法。
技术介绍
超分辨率(SR)方法用于从一个或多个低分辨率(LR)图像中重建高分辨率(HR)图像。最流行的SR算法使用基于外部数据集的样本基于词典重构HR图像。外部SR算法通常专注于学习从LR到HR图像的映射。然后用这个映射来超解析HR图像的高频细节。一些研究表明，相同尺度下的相似结构或在相同图像中的不同尺度下的相似结构在自然图像中是很常见的。近年来，这一特点激发了一些著名的自相似驱动算法。根据训练数据的来源，大多数方法可以分为两个子类:外部的和内部的，W.T.Freeman等人根据马尔可夫随机场(MRF)模型，从LR到HR补丁，训练了一个映射函数。然而，对于用于学习最优LR-HR映射的外部数据集的所需规模，还没有确定的标准。D.Glasner提出了根据相似结构的特征可以在相同尺度或范围内的自然图像中找到，进而从给定的LR图像中创建内部字典的这一核心思想。C.Dong提出了利用基于l2距离加权的方向选择性子带能量寻找相似的补丁。内部字典可以通过给定的LR图本文档来自技高网...

【技术保护点】
1.利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述超分辨方法，包括：步骤一，将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；步骤二，获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像；步骤三，构建基于感知相似度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理。

【技术特征摘要】
1.利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述超分辨方法，包括：步骤一，将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；步骤二，获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像；步骤三，构建基于感知相似度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理。2.根据权利要求1所述的利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块，包括：对所给的样本图像，由于其存在着一些结构自相似的图像块，因此可以利用该图像的不同尺度相似图像块建立内部字典，从低分辨图像中选取相似的图像块组成低分辨字典从相对的高分辨率的图像中选取一些相似的图像块组成一个高分辨字典对于每一个图像块目标是在超解析高分辨(HR)图像通过内部字典找到相应的HR图像块3.根据权利要求1所述的利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像，包括：使用双三次插值算法将的输入图像(低分辨率图像...

【专利技术属性】
技术研发人员：邱兰馨，姚一杨，江樱，曾仕途，王彦波，王剑，樊华，
申请(专利权)人：国网浙江省电力有限公司，国网浙江省电力有限公司信息通信分公司，
类型：发明
国别省市：浙江,33