超分辨率图像构建方法技术

本发明专利技术公开了一种超分辨率图像构建方法，将原始图像和图像金字塔中的低分辨率图像分别分成了多个原始图像块和低分辨率图像快，根据低分辨率图像块确定原始图像中与原始图像块满足结构自相似特性的第一图像块，并将二者作为相似块对样本，然后对低分辨率图像进行形变，重复上述过程，确定相似块对样本，最后根据相似块对样本进行学习，构建出高分辨率图像。可见，该方法通过对低分辨率图像块进行形变，增加了与原始图像块满足结构自相似特性的图像块的数量，丰富了训练样本，提高了最终构建的高分辨率图像的品质。

【技术实现步骤摘要】
超分辨率图像构建方法
本专利技术涉及图像处理领域，特别涉及一种超分辨率图像构建方法。
技术介绍
图像超分辨率算法(superresolution)是一种根据低分辨率图像或图像序列构建出高分辨率图像的算法，该算法从性质上分为插值、重建和学习三类方法。这里的讨论局限于基于学习的方法，并根据训练图像块，即图像块的来源将相应的基于学习的算法分为两大类：外部和内部。对于基于外部学习的算法，目前大多数专注于学习外部数据库中低分辨率(LR)和高分辨率(HR)图像块之间的关系。现有的学习这种LR到HR的映射算法包括最近邻方法，流形学习，字典学习，局部线性回归和卷积网络等等。然而，从外部数据库学习LR-HR映射的方法有一定的缺点。首先，为达到令人满意的复原效果所需的训练图像的数量和类型并不清楚。其次，通常需要大规模训练集才能学习足够富有表现力的LR-HR词典。对于基于内部学习的算法，目前主要通过自然图像的图像块在尺度内或者跨尺度重现的方法。这些方法的内部LR-HR图像块数据库可以通过图像本身的缩放空间金字塔来构建，进而将内部LR-HR图像块数据库作为训练样本来对内部字典进行训练，但是这种方法往往因为内部数据训练样本过少而导致训练效果不佳、最终构建的图像不理想等问题。而图像超分辨率算法在监控设备、卫星图像和医学影像等领域都有重要的应用价值。可见，如何解决传统基于内部学习的超分辨率图像构建方法的训练样本较少的问题，十分具有研究意义。
技术实现思路
本专利技术的目的是提供一种超分辨率图像构建方法，用以解决传统基于内部学习的超分辨率图像构建方法的训练样本较少的问题。为解决上述技术问题，本专利技术提供了一种超分辨率图像构建方法，包括：确定原始图像，并对所述原始图像进行下采样，得到所述原始图像的图像金字塔，所述图像金字塔中包括多个层次的低分辨率图像；将所述原始图像分成多个原始图像块，并将所述低分辨率图像分成多个低分辨率图像块，所述原始图像块与所述低分辨率图像块的大小一致；遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足结构自相似特性的低分辨率图像块，并确定在所述原始图像中与所述低分辨率图像块相对应的第一图像块，将所述原始图像块与所述第一图像块作为图像相似块对样本；根据预先确定的形变矩阵和能量函数约束，对所述低分辨率图像块进行形变，得到形变图像块；遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足所述结构自相似特性的形变图像块，并确定在所述原始图像中与所述形变图像块相对应的第二图像块，将所述原始图像块与所述第二图像块作为图像相似块对样本；根据各个所述图像相似块对样本，利用组稀疏约束和K-SVD字典算法，确定稀疏系数和重构字典；根据所述原始图像、所述稀疏系数、以及所述重构字典，构建高分辨率图像。其中，所述确定与所述原始图像块满足结构自相似特性的低分辨率图像块包括：计算所述原始图像块和所述低分辨率图像块的相似度，所述相似度的计算公式如下：exp(-||Ps-Pk||2/σ2)，其中，Ps为所述原始图像块的图像矩阵，所述Pk为所述低分辨率图像块的图像矩阵，σ为相似程度控制因子；判断所述相似度是否超过预设阈值；如果超过，则所述低分辨率图像块为与所述原始图像块满足所述结构自相似性特性的图像块。其中，所述根据所述图像相似块对样本，利用组稀疏约束和K-SVD字典算法，确定稀疏系数和重构字典包括：将各个所述图像相似块对样本进行级联，得到级联特征向量；利用k均值算法对所述级联特征向量进行聚类；根据聚类后的所述级联特征向量，利用组稀疏约束和K-SVD字典算法，确定稀疏系数和重构字典。本专利技术所提供的一种超分辨率图像构建方法，根据原始图像得到图像金字塔之后，将原始图像和图像金字塔中的低分辨率图像分别分成了多个原始图像块和低分辨率图像快，进而根据低分辨率图像块确定原始图像中与原始图像块满足结构自相似特性的第一图像块，并将原始图像块和第一图像块作为相似块对样本，然后对低分辨率图像进行形变，根据形变图像块确定原始图像中与原始图像块满足结构自相似性特征的第二图像块，并将原始图像块和第二图像块作为相似块对样本，最后根据相似块对样本进行学习，构建出高分辨率图像。可见，该方法通过对低分辨率图像块进行形变，增加了与原始图像块满足结构自相似特性的图像块的数量，丰富了训练样本，提高了最终构建的高分辨率图像的品质。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种超分辨率图像构建方法实施例的实现流程图。具体实施方式本专利技术的核心是提供一种超分辨率图像构建方法，丰富了训练样本，提高了构建得到的高分辨率图像的品质。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。通常，可以从包含广泛场景或类别特定的一个外在大数据集中提取基于样例算法的图像块对。同样，这样的图像样例也对可以从一个单一帧本质上提取。使用外部数据集的优点是丰富的图像块对的可用性，这可能有助于在高分辨率和低分辨率图像块之间找到匹配。然而，缺点在于来自不同来源的图像自身巨大特征变化的问题。因此，这些算法可能从数据集中找到类似的低分辨率图像块，但配对的高分辨率图像块不一定适合于构建高质量的超分辨率图像。为了避免这个问题，我们可以直接根据输入的低分辨率图像本身生成具有强相似性的图像块对。下面对本专利技术提供的一种超分辨率图像构建方法实施例进行介绍，参见图1，该实施例包括：步骤S101：确定原始图像，并对所述原始图像进行下采样，得到所述原始图像的图像金字塔，所述图像金字塔中包括多个层次的低分辨率图像。这里的原始图像是指原始的低分辨率图像，通过本实施例提供的方法能够得到该原始图像对应的高分辨率图像。图像金字塔是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低、且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。本实施例中，图像金字塔可以只包括原始图像以及多个层次的低分辨率图像。值得一提的是，多个层次的低分辨率图像是指各个低分辨率图像的分辨率是互不同的。步骤S102：将所述原始图像分成多个原始图像块，并将所述低分辨率图像分成多个低分辨率图像块，所述原始图像块与所述低分辨率图像块的大小一致。需要注意的是，这里原始图像块与低分辨率图像块的数量是存在联系的，也就是说，划分得到的各个图像块需要满足一个条件：图像块的大小一致。步骤S103：遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足结构自相似特性的低分辨率图像块，并确定在所述原始图像中与所述低分辨率图像块相对应的第一图像块，将所述原始图像块与所述第一图像块作为图像相似块对样本。具体的，在本实施例中评价结构自相似特性的依据本文档来自技高网...

【技术保护点】
1.一种超分辨率图像构建方法，其特征在于，包括：确定原始图像，并对所述原始图像进行下采样，得到所述原始图像的图像金字塔，所述图像金字塔中包括多个层次的低分辨率图像；将所述原始图像分成多个原始图像块，并将所述低分辨率图像分成多个低分辨率图像块，所述原始图像块与所述低分辨率图像块的大小一致；遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足结构自相似特性的低分辨率图像块，并确定在所述原始图像中与所述低分辨率图像块相对应的第一图像块，将所述原始图像块与所述第一图像块作为图像相似块对样本；根据预先确定的形变矩阵和能量函数约束，对所述低分辨率图像块进行形变，得到形变图像块；遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足所述结构自相似特性的形变图像块，并确定在所述原始图像中与所述形变图像块相对应的第二图像块，将所述原始图像块与所述第二图像块作为图像相似块对样本；根据各个所述图像相似块对样本，利用组稀疏约束和K‑SVD字典算法，确定稀疏系数和重构字典；根据所述原始图像、所述稀疏系数、以及所述重构字典，构建高分辨率图像。

【技术特征摘要】
1.一种超分辨率图像构建方法，其特征在于，包括：确定原始图像，并对所述原始图像进行下采样，得到所述原始图像的图像金字塔，所述图像金字塔中包括多个层次的低分辨率图像；将所述原始图像分成多个原始图像块，并将所述低分辨率图像分成多个低分辨率图像块，所述原始图像块与所述低分辨率图像块的大小一致；遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足结构自相似特性的低分辨率图像块，并确定在所述原始图像中与所述低分辨率图像块相对应的第一图像块，将所述原始图像块与所述第一图像块作为图像相似块对样本；根据预先确定的形变矩阵和能量函数约束，对所述低分辨率图像块进行形变，得到形变图像块；遍历所述原始图像中的所述原始图像块，确定与所述原始图像块满足所述结构自相似特性的形变图像块，并确定在所述原始图像中与所述形变图像块相对应的第二图像块，将所述原始图像块与所述第二图像块作为图像相似块对样本；根据各个所述图像相似块对样本，利用组稀疏约束和K-SVD字典算...

【专利技术属性】
技术研发人员：向文，张灵，陈云华，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44