一种提高超分辨率算法重构性能的方法技术

本发明专利技术公开了一种提高超分辨率算法重构性能的方法，其根据相机成像系统的类型采用不同的数据采集方法，并实现高/低分辨率图像的采集与配准，从而以数据驱动的方式隐式建模真实降质模型，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。

A Method to Improve the Reconstruction Performance of Super-resolution Algorithms

【技术实现步骤摘要】
一种提高超分辨率算法重构性能的方法
本专利技术涉及数字图像处理
，尤其涉及一种提高超分辨率算法重构性能的方法。
技术介绍
单张图像超分辨率(Super-Resolution,SR)，指的是采用信号处理的方法，将低分辨率图像恢复成为高分辨率图像。通常情况下，原始高分辨率图像经过下采样后得到的低分辨率图像被用作仿真输入，通过对超分辨率算法得到的重建图像与原始图像之间差别的比较或重建图像自身的视觉质量来评估算法的性能(Y.Blau,andT.Michaeli,“Theperception-distortiontradeoff.”inIEEEConferenceonComputerVisionandPatternRecognition2018)。在以往的研究中，双三次(Bicubic)下采样或高斯(Gaussian)模糊抽点下采样是最常用的两种降质模型(K.Zhang,W.Zuo,andL.Zhang,“Learningasingleconvolutionalsuper-resolutionnetworkformultipledegradations.”inIEEEConferenceonComputerVisionandPatternRecognition2018)。基于这两种降质模型，现有超分辨率技术利用深度学习分别在重建准确性(J.Kim,J.K.Lee,andK.M.Lee,“Accurateimagesuper-resolutionusingverydeepconvolutionalnetworks.”inIEEEConferenceonComputerVisionandPatternRecognition2016)与视觉质量(C.Ledig,etal.,“Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork.”inIEEEConferenceonComputerVisionandPatternRecognition2017)两个方面取得了显著的进展。上述两种降质模型在具有相同降质过程的仿真数据集中表现良好。然而，在更复杂的真实成像系统中，这些降质模型无法准确模拟真实降质过程，导致超分辨算法性能显著降低(T.MichaeliandM.Irani.,“Nonparametricblindsuper-resolution.”inIEEEConferenceonComputerVisionandPatternRecognition2013)。近年来，为了更好地模拟复杂的真实降质过程，现有研究在下采样的基础上加入了更多降质因素(如噪声、模糊、量化等)以建模真实降质过程(R.Timofte,etal.,“Ntire2018challengeonsingleimagesuper-resolution:Methodsandresults.”inIEEEConferenceonComputerVisionandPatternRecognitionWorkshop2018)。这些建模方式提高了基于深度学习的超分辨算法在带有噪声或模糊低分辨率图像上的重建性能，但仍然无法对真实成像系统中降质过程进行准确建模。
技术实现思路
本专利技术的目的是提供一种提高超分辨率算法重构性能的方法，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。本专利技术的目的是通过以下技术方案实现的：一种提高超分辨率算法重构性能的方法，包括：根据成像系统的类型搭建图像采集系统；基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对；对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准，得到配准后的图像对；使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型，从而提高超分辨率算法在真实成像系统中的重构性能。由上述本专利技术提供的技术方案可以看出，根据相机成像系统的类型采用不同的数据采集方法，并实现高/低分辨率图像的采集与配准，从而以数据驱动的方式隐式建模真实降质模型，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种提高超分辨率算法重构性能的方法的流程图；图2为本专利技术实施例提供的手机相机成像系统搭建图像采集系统的示意图；图3为本专利技术实施例提供的基于标准色卡实现颜色校准的示意图；图4为本专利技术实施例提供的单反相机成像系统采集的原始图像对与配准后的图像对示意图；图5为本专利技术实施例提供的单反相机成像系统重构准确性结果对比示意图；图6为本专利技术实施例提供的手机相机成像系统重构准确性结果对比示意图；图7为本专利技术实施例提供的手机相机成像系统视觉质量结果对比示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术从真实成像系统的固有特性出发，结合单反相机与手机相机镜头特点，提出两种数据采集的新算法，使用数据驱动的方式隐式建模降质过程，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能，这种新颖的超分辨范式称为镜头超分辨率技术。如图1所示，为本专利技术实施例提供一种提高超分辨率算法重构性能的方法的流程图，其主要包括如下步骤：1、根据成像系统的类型搭建图像采集系统。本专利技术实施例中，主要考虑两种成像系统类型：单反相机成像系统与手机相机成像系统。为了避免环境因素影响，要设置合适的环境光，控制拍摄环境相对稳定。并且，为了避免单反相机成像系统在长/短焦距下景深问题引起的背景虚化问题，选择合适的拍摄物体，要求拍摄物体尽可能平整。之后，再固定三脚架(或平移台)位置，在固定位置反复测试相机参数直到光圈大小、曝光时间等参数取得合适数值；具体来说：1)对于单反相机成像系统，使用三脚架固定单反相机，设置、调整并固定单反相机与拍摄物体的距离；2)对于手机相机成像系统，使用平移台与固定器稳定手机，设置并固定相对拍摄物体两个不同距离的采集点，两个采集点用来采集高/低分辨率图，具体将在后文介绍。2、基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对。1)对于单反相机成像系统，通过调整光学可变焦镜头进行图像采集，将最大焦距下采集的图像作为高分辨率图，将最小焦距下采集的图像作为低分辨率图；2)对于手机相机成像系统，通过平移相机调整相对拍摄物体的距离，将较小距离的采集点处采集的图像作为高分辨率图，将较大距离的采集点处采集的图像作为低分辨率图。如之前所述，在搭建图像采集系统时，设置了两个采集点，两个采集点与拍摄物体的距离不同，本文档来自技高网...

【技术保护点】
1.一种提高超分辨率算法重构性能的方法，其特征在于，包括：根据成像系统的类型搭建图像采集系统；基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对；对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准，得到配准后的图像对；使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型，从而提高超分辨率算法在真实成像系统中的重构性能。

【技术特征摘要】
1.一种提高超分辨率算法重构性能的方法，其特征在于，包括：根据成像系统的类型搭建图像采集系统；基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对；对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准，得到配准后的图像对；使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型，从而提高超分辨率算法在真实成像系统中的重构性能。2.根据权利要求1所述的一种提高超分辨率算法重构性能的方法，其特征在于，所述根据成像系统的类型搭建图像采集系统包括：对于单反相机成像系统，使用三脚架固定单反相机，设置、调整并固定单反相机与拍摄物体的距离；对于手机相机成像系统，使用平移台与固定器稳定手机，设置并固定相对拍摄物体两个不同距离的采集点。3.根据权利要求2所述的一种提高超分辨率算法重构性能的方法，其特征在于，所述基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图包括：对于单反相机成像系统，通过调整光学可变焦镜头进行图像采集，将最大焦距下采集的图像作为高分辨率图，将最小焦距下采集的图像作为低分辨率图；对于手机相机成像系统，通过平移相机调整相对拍摄物体的距离，将较小距离的采集点处采集的图像作为高分辨率图，将较大距离的采集点处采集的图像作...

【专利技术属性】
技术研发人员：熊志伟，陈畅，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34