基于多聚焦图像的有参考超分辨率方法技术

本发明专利技术提供一种基于多聚焦图像的有参考超分辨率方法，解决了多聚焦图像融合后图像的有参考超分辨率像质提升方法。本发明专利技术中，首先将多张多聚焦图像融合为全聚焦图像。然后以原始多聚焦图像为参考，对全聚焦图像进行有参考图像超分。最后，将多聚焦融合方法和有参考超分辨率方法联合，训练获得最终的算法结构，实现对于多聚焦融合图像的超分辨率。本发明专利技术利用获取的原始多聚焦图像为参考图像，为融合后图像的分辨率的进一步提升提供了解决方案。本发明专利技术可以应用到多聚焦融合图像的超分辨率。明可以应用到多聚焦融合图像的超分辨率。明可以应用到多聚焦融合图像的超分辨率。

【技术实现步骤摘要】
基于多聚焦图像的有参考超分辨率方法


[0001]本专利技术属于获取数字图像质量提升领域，具体涉及一种基于多聚焦图像的有参考超分辨率方法。

技术介绍

[0002]在大量的电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，数字图像传感器已被广泛用来捕获数字图像。尽管经过多年的发展，这些传感器的性能已经得到很大的提升，但是还是无法满足消费者对于更高分辨率和清晰度的需求。由于受到制造成本和器件尺寸的限制，传感器获取图像的景深和分辨率都较小，无法直接获取大景深场景的全聚焦图像，而且较小的分辨率更是影响了获取图像的质量。因此，急需提出一种基于多聚焦图像的超分辨率方法解决以上问题。

技术实现思路

[0003]本专利技术的目的是为解决拍摄大景深场景时拍摄画面无法完全聚焦，以及相机分辨率不足所导致获取图像质量较差的问题，而提出了一种基于度聚焦图像的有参考超分辨率方法，目的是扩大获取图像的景深和提升图像分辨率。
[0004]本专利技术为解决上述技术问题采取的技术方案是：一种基于多聚焦图像的有参考超分辨率方法，该方法包括以下步骤：
[0005]步骤一、通过相机拍摄获取大景深场景的多张多聚焦图像，使用深度学习算法将多聚焦图像融合为全聚焦清晰的图像；
[0006]步骤二、对融合后的全聚焦图像，为提升其分辨率，使用拍摄获取的多张多聚焦图像为参考，提取和全聚焦图像中相关的特征，融合到对应的位置，使用深度学习方法获得有参考超分辨率图像；
[0007]步骤三、将多聚焦融合方法和有参考超分辨率方法联合训练，获得最终的算法结构，进一步提升超分辨率的效果。
[0008]进一步的，所述步骤一包括如下子步骤：
[0009](1.1)对显著性目标检测数据集DUTS进行高斯模糊，单应性变换处理，制作用于多聚焦图像融合算法训练的数据集；
[0010](1.2)利用制作的数据集，训练多聚焦融合的深度学习网络算法；
[0011](1.3)使用手持相机对大景深场景拍摄多张多聚焦图像，利用训练好的网络将多聚焦图像融合为全聚焦清晰图像。
[0012]进一步的，所述步骤(1.2)中，多聚焦融合算法选自：UFA和IFCNN。
[0013]进一步的，所述步骤二包括如下子步骤：
[0014](2.1)将步骤(1.1)中生成的数据集降采样，作为训练有参考超分辨率算法的数据集；
[0015](2.2)使用VGG网络分别提取参考图像和全聚焦图像的特征，计算特征之间的相关性，找到参考图像中特征与全聚焦图像中每个位置特征最相似的位置和特征值；
[0016](2.3)利用步骤(2.1)中生成的数据集训练无参考的超分辨率算法网络；
[0017](2.4)将步骤(2.2)中提取的参考图像特征，融入到步骤(2.3)中的无参考超分辨率网络中，获得最终的有参考超分辨率网络。
[0018]进一步的，所述步骤(2.3)中，无参考超分辨率算法选自：EDSR，SRCNN，ESPCN。
[0019]进一步的，所述步骤三包括如下子步骤：
[0020](3.1)以多聚焦融合网络的输出作为有参考超分辨率的输入，连接两个网络，构建端到端的网络结构；
[0021](3.2)使用步骤(2.1)生成的数据集对步骤(3.1)中构建的统一网络结构进行精调训练，获得最终的基于多聚焦图像的有参考超分辨率网络算法的参数。
[0022]进一步的，所述步骤(3.1)中构建的统一网络结构使用步骤一和步骤二中训练得到的参数。
[0023]本专利技术与现有技术相比的优点在于：
[0024]1.本专利技术提出以显著性目标检测数据集为基础，进行高斯模糊和单应性变换构建多聚焦融合算法训练的数据集，解决了训练数据的缺失，并且与真实场景的数据更一致；
[0025]2.本专利技术使用原始的多聚焦图像为参考，帮助融合的全聚焦图像进一步提升分辨率，充分利用了数据的信息，而且比单张图像的超分辨率效果更好。
[0026]3.本专利技术提出了从获取多聚焦图像到全聚焦图像超分完整的解决方案，充分利用了相机获取的原始图像，解决了相机的景深和分辨率不足的问题，提升了图像的成像质量。
附图说明
[0027]图1为本专利技术的基于多聚焦图像的有参考超分辨率方法的整体流程；
[0028]图2为本专利技术制作的用于训练多聚焦融合算法的数据集；
[0029]图3为有参考超分辨率模块的结构图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的与本申请的一些方面相一致的方法的例子。
[0031]如图1所示，本专利技术提供一种基于多聚焦图像的有参考图像超分辨率方法，包含如下步骤：
[0032]步骤一、通过相机拍摄获取大景深场景的多张多聚焦图像，使用深度学习算法将多聚焦图像融合为全聚焦清晰的图像；
[0033]步骤二、对融合后的全聚焦图像，为提升其分辨率，使用拍摄获取的多张多聚焦图
像为参考，提取和全聚焦图像中相关的特征，融合到对应的位置，使用深度学习方法获得有参考超分辨率图像；
[0034]步骤三、将多聚焦融合方法和有参考超分辨率方法联合训练，获得最终的算法结构，进一步提升超分辨率的效果。
[0035]在本申请一实施例中，所述步骤一包括如下子步骤：
[0036](1.1)如图2所示，为本专利技术对显著性目标检测数据集DUTS进行高斯模糊，单应性变换处理，制作用于多聚焦图像融合算法训练的数据集。使用显著性目标检测数据集DUTS作为原始的数据集，使用图2中第一列的显著性目标mask作为前后景的分界线。使用高斯模糊对前后景分别处理，获得第2和第4列的图像。再使用单应性变换，模拟实际拍摄图像时的晃动，获得第3和第5列成对的图像。以第6列的原始图像作为全聚焦图像。
[0037](1.2)利用制作的数据集，训练多聚焦融合的深度学习网络算法。这里多聚焦融合深度学习算法选自：UFA和IFCNN。
[0038](1.3)使用手持相机对大景深场景拍摄多张多聚焦图像，利用训练好的网络将多聚焦图像融合为全聚焦清晰图像。这里用Fusion表示多聚焦融合方法，则对多聚焦图像处理后获得：
[0039]I
Focus
＝Fusion(I
MF
)
[0040]在本申请一实施例中，所述步骤二包括如下子步骤：
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多聚焦图像的有参考超分辨率方法，其特征在于，包括：步骤一、通过相机拍摄获取大景深场景的多张多聚焦图像，使用深度学习算法将多聚焦图像融合为全聚焦图像；步骤二、对融合后的全聚焦图像，为提升其分辨率，以拍摄获取的多张多聚焦图像为参考，提取和全聚焦图像中相关的特征，融合到对应的位置，使用深度学习方法获得有参考超分辨率图像；步骤三、将多聚焦融合方法和有参考超分辨率方法联合训练，获得最终的算法结构。2.根据权利要求1所述一种基于多聚焦图像的有参考超分辨率方法，其特征在于：所述步骤一包括：(1.1)，对显著性目标检测数据集DUTS进行高斯模糊，单应性变换处理，制作用于多聚焦图像融合算法训练的第一数据集；(1.2)，利用所述第一数据集，训练多聚焦融合的深度学习网络算法；(1.3)，使用手持相机对大景深场景拍摄多张多聚焦图像，利用训练好的多聚焦融合的深度学习网络算法，将多聚焦图像融合为全聚焦图像。3.根据权利要求2所述一种基于多聚焦图像的有参考超分辨率方法，其特征在于：所述步骤(1.2)中，多聚焦融合算法选自：UFA和/或IFCNN。4.根据权利要求2所述一种基于多聚焦图像的有参考超分辨率方法，其特征在于：所述步骤二包括：(2.1)，将步骤(1.1)中生成的第一数据集降采样，作为训练...

【专利技术属性】
技术研发人员：季佳宇，贾爽，陈泽宇，沈全成，郇钲，
申请(专利权)人：上海航天电子通讯设备研究所，
类型：发明
国别省市：