用于为低分辨率图像提供超分辨率的设备和方法技术

公开一种用于为低分辨率图像提供超分辨率的设备。所述设备可包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成所述低分辨率图像的高分辨率图像。还公开一种用于为低分辨率图像提供超分辨率的方法。

Apparatus and method for providing super-resolution for low resolution images

An apparatus for providing super-resolution for a low resolution image is disclosed. The apparatus may include: image block representation and extraction device, which comprises configured from the low resolution image to extract the image block and the image block from the first group said filter is a high dimensional vector; mapping device, comprising is configured to each of the high dimensional nonlinear mapping for second sets of filter high resolution image block representation; and a polymerization device, which is configured to the polymerization of the high resolution image with high resolution image blocks that generated the low resolution images. A method for providing super-resolution for a low resolution image is also disclosed.

【技术实现步骤摘要】
【国外来华专利技术】用于为低分辨率图像提供超分辨率的设备和方法
本申请总体涉及图像处理的领域，确切地说，涉及用于为低分辨率图像提供超分辨率的设备和方法。
技术介绍
超分辨率(SR)是提高成像系统的分辨率的一类技术。用于单个图像的超分辨率的近来现有技术方法多数是基于实例的(example-based)。这些方法利用相同图像的内部相似度，或者从外部低分辨率和高分辨率实例对中学习映射函数。基于外部实例的方法通常具有充足的样本，但其难点在于如何有效并简要地对数据进行建模。一类现有技术SR方法学习高/低分辨率图像块(patch)之间的映射。这些研究的不同之处在于如何学习简明字典(compactdictionary)或多方面的空间(manifoldspace)以将低/高分辨率图像块关联起来，并且在如何在此类空间中建立表示方案(representationscheme)的方面也是不同的。在这些方法中，图像块的优化是焦点；图像块提取和聚合步骤被视作预处理/后处理并且单独地进行处理。卷积神经网络(CNN)追溯到数十几年前，而近年来，部分地由于它成功进行图像分类而异常流行起来。卷积神经网络通常应用于自然图像去噪和去除噪音图案(污物/雨)，但从未用于图像超分辨率问题。
技术实现思路
根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的设备。所述设备可包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示以生成所述低分辨率图像的高分辨率图像。根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的方法，所述方法可包括：通过包括第一组滤波器的图像块提取与表示装置从低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量；通过包括第二组滤波器的映射装置将每个高维向量非线性地映射为高分辨率图像块表示；以及聚合高分辨率图像块表示，以生成高分辨率图像。根据本申请的实施方式，公开了对用于为低分辨率图像提供超分辨率的卷积神经网络系统进行训练的方法，并且所述方法可包括：1)从预定训练集中对低分辨率子图像及其对应的标定真实高分辨率子图像进行采样；2)通过卷积神经网络系统将低分辨率子图像重建到高分辨率子图像；3)通过比较重建的高分辨率子图像与标定真实高分辨率子图像之间的不同来生成重建误差；4)通过卷积神经网络系统将重建误差反向传播，以便调整卷积神经网络系统的神经元之间的连接的权重；以及重复步骤1)到4)，直到重建误差的平均值小于预设阈值。根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的设备，所述设备可包括：重建单元，其被配置成基于预定参数将低分辨率图像重建到高分辨率图像；以及训练单元，其被配置成使用预定训练集来训练卷积神经网络系统，以便确定由重建单元使用的参数。重建单元可包括：图像块提取与表示装置，其被配置成从低分辨率图像中提取图像块并且基于预定参数将所提取的每个图像块表示为高维向量；映射装置，其被配置成将每个高维向量非线性地映射为高分辨率图像块表示；以及聚合装置，其被配置成聚合高分辨率图像块表示以生成高分辨率图像。图像块提取与表示装置、映射装置和聚合装置包括多个卷积层，并且多个卷积层相继连接到彼此以形成卷积神经网络系统。与现有方法相比，本申请没有直接(explicitly)学习用于对图像块空间建模的字典或多样空间。这些经由卷积层而间接(implicitly)实现。此外，图像块提取和聚合也建模为卷积层并在优化中进行使用。在本申请的方法和设备中，使用较少的预处理/后处理通过训练来完全获取整个卷积神经网络。通过轻质的结构，本申请的设备和方法实现了比现有技术方法优越的性能。附图说明下文参考附图描述本专利技术的示例性非限制实施方式。附图是说明性的，并且一般不按确切比例。不同图上的相同或类似元件引用相同的附图标号。图1是示出根据本申请的实施方式的用于为低分辨率图像提供超分辨率的设备的示意图。图2是示出根据本申请的另一实施方式的用于为低分辨率图像提供超分辨率的设备的示意图。图3是示出根据一些公开实施方式的卷积神经网络系统的示意图。图4是示出根据一些公开实施方式的设备的训练单元的示意图。图5是示出根据一些公开实施方式的训练单元的训练集准备装置的示意图。图6是示出根据一些公开实施方式的用于为低分辨率图像提供超分辨率的设备在软件中实施时的示意图。图7是示出根据一些公开实施方式的用于为低分辨率图像提供超分辨率的方法的示意流程图。图8是示出符合一些公开实施方式的用于对为低分辨率图像提供超分辨率的训练卷积神经网络系统进行训练的方法的示意流程图。具体实施方式本部分将详细说明示例性实施方式，这些实施方式的实例将在附图中说明。在适当的时候，附图中相同的附图标号始终指代相同或相似部分。图1是示出符合一些公开实施方式的用于为低分辨率图像提供超分辨率的示例性设备1000的示意图。参考图1，其中设备1000由硬件实施，它可包括图像块提取与表示装置100、映射装置200和聚合装置300。在图l所示的实施方式中，图像块提取与表示装置100可包括第一组滤波器，该组滤波器被配置成从低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量。映射装置200可包括第二组滤波器，该组滤波器被配置成将每个高维向量非线性地映射为高分辨率图像块。聚合装置300可被配置成聚合高分辨率图像块表示，以生成低分辨率图像的高分辨率图像。根据实施方式，第一组滤波器被配置成从低分辨率图像中提取图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为高维向量，其中第一参数是从与低分辨率图像相关联的预定参数中确定的。根据实施方式，第二组滤波器被配置成根据第二参数的第二非线性函数将每个高维向量非线性地映射为高分辨率图像块表示，其中第二参数是从与高维向量相关联的预定参数中确定的。在下文中，将进一步详细论述上文提及的第一组滤波器、第二组滤波器和聚合装置。为便于描述，低分辨率图像由Y表示，并且高分辨率图像由F(Y)表示，其尽可能地类似于标定真实高分辨率图像X。第一组滤波器被配置成从低分辨率图像Y中提取图像块并且将所提取的每个图像块表示为高维向量。在实施方式中，这些向量包括特征图的集合，其中特征图的数量等于向量的维度。图像恢复的普遍策略是密集地提取图像块随后用预先训练的主要成分来表示所述图像块，诸如，PCA(主成分分析)、DCT(离散余弦变换)、Haar等。根据实施方式，第一组滤波器可被模拟为运算F1：F1(Y)＝F′(W1*Y+B1)(1)其中W1和B1分别代表滤波器和偏差。此处，F'(x)是非线性函数，例如，max(0,x)、tanh(x)或l/(l+exp(-x))。在该实施方式中，W1具有尺寸c×f1×f1×n1，其中c是输入图像中的通道的数量，例如，如果输入图像是彩色图像，那么c是3，并且f1是滤波器的空间尺寸，以及n1是滤波器的数量。直观地说，W1将n1个卷积应用于图像，并且每个卷积具有核尺寸c×f1×f1。输出由n1个特征图组成。B1是n1维向量，它的每个元素与滤波器相关联。第二组滤本文档来自技高网...

【技术保护点】
一种用于为低分辨率图像提供超分辨率的设备，包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成所述低分辨率图像的高分辨率图像。

【技术特征摘要】
【国外来华专利技术】1.一种用于为低分辨率图像提供超分辨率的设备，包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成所述低分辨率图像的高分辨率图像。2.根据权利要求1所述的设备，其中所述第一组滤波器被配置成从所述低分辨率图像中提取所述图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为所述高维向量，其中所述第一参数是从与所述低分辨率图像相关联的预定参数中确定的。3.根据权利要求1或2所述的设备，其中所述第二组滤波器被配置成根据第二参数的第二非线性函数将每个所述高维向量非线性地映射为所述高分辨率图像块表示，其中所述第二参数是从与所述高维向量相关联的预定参数中确定的。4.根据权利要求3所述的设备，其还包括：比较装置，其被配置成从预定训练集中对与所述低分辨率图像对应的标定真实高分辨率图像进行取样，并且比较所述聚合的高分辨率图像与对应的标定真实高分辨率图像之间的不同以生成重建误差，其中所述重建误差进行反向传播，以确定所述第一参数和所述第二参数。5.根据权利要求4所述的设备，还包括训练集准备装置，其中所述训练集准备装置还包括：裁剪器，其被配置成从随机选择的训练图像中随机裁剪多个子图像，以生成标定真实高分辨率子图像的集合；低分辨率子图像生成器，其被配置成基于所述真实高分辨率子图像的集合来生成低分辨率子图像的集合；配对装置，其被配置成将所述标定真实高分辨率子图像中的每个与对应的低分辨率子图像进行配对；以及收集器，其被配置成收集配对的标定真实高分辨率子图像和所述低分辨率子图像，以形成所述预定训练集。6.根据权利要求5所述的设备，其中所述低分辨率子图像生成器还包括：模糊装置，其被配置成通过高斯核而使每个所述标定真实高分辨率子图像模糊；下采样装置，其被配置成以预定比例因子对模糊的标定真实高分辨率子图像进行下采样；以及放大装置，其被配置成以预定放大因子放大下采样的标定真实高分辨率子图像，以生成所述低分辨率子图像的集合。7.根据权利要求1所述的设备，其还包括：放大单元，其被配置成将所述低分辨率图像放大到预定尺寸。8.根据权利要求4所述的设备，其中所述重建误差包括均方误差。9.一种用于为低分辨率图像提供超分辨率的方法，包括：由包括第一组滤波器的图像块提取与表示装置从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量；由包括第二组滤波器的映射装置将每个所述高维向量非线性地映射为分辨率图像块表示；以及聚合所述高分辨率图像块表示，以生成高分辨率图像。10.根据权利要求9所述的方法，其中从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量还包括：从所述低分辨率图像中提取图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为所述高维向量，其中所述第一参数是从与所述低分辨率图...

【专利技术属性】
技术研发人员：汤晓鸥，董超，吕健勤，何凯明，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11