一种基于深度特征翻译网络的图片纹理增强超分辨率方法技术

本发明专利技术涉及一种基于深度特征翻译网络的图片纹理增强超分辨率方法，属于计算机视觉技术领域。首先处理训练数据，然后设计网络结构模型，包含超分辨率重建网络、细粒度纹理特征提取网络和判别网络。之后，采用多种损失函数相结合的方法，设计用于训练网络的损失函数。用处理好的训练数据训练网络结构模型，得到一个具有纹理增强功能的超分辨重建网络。最后，将低分辨率图片输入该超分辨重建网络，重建获得高分辨率图片。本方法能够在更细的粒度下提取到图片纹理信息，采用多种损失函数相结合的方式，相比于其他方法既保证了忠于原图，又能恢复纹理特征信息，让图片更加清晰。本方法适用于任何图片，均有较好效果，具有较好的普适性。

A Super-Resolution Method for Image Texture Enhancement Based on Depth Feature Translation Network

The invention relates to a super-resolution method for image texture enhancement based on a depth feature translation network, belonging to the field of computer vision technology. Firstly, the training data are processed, and then the network structure model is designed, which includes super-resolution reconstruction network, fine-grained texture feature extraction network and discriminant network. Then, a loss function for training network is designed by combining various loss functions. The network structure model is trained with the processed training data, and a super-resolution reconstruction network with texture enhancement function is obtained. Finally, low-resolution images are input into the super-resolution reconstruction network, and high-resolution images are reconstructed. This method can extract image texture information under finer granularity, and uses a combination of loss functions. Compared with other methods, this method not only guarantees loyalty to the original image, but also restores texture feature information to make the picture clearer. This method can be applied to any picture with good results and good universality.

【技术实现步骤摘要】
一种基于深度特征翻译网络的图片纹理增强超分辨率方法
本专利技术涉及一种基于深度特征翻译网络的图片纹理增强超分辨率方法，尤其涉及一种基于被称作深度特征翻译网络的卷积神经网络、运用多种损失函数训练来增强图片纹理信息的超分辨率方法，属于计算机视觉

技术介绍
在互联网时代，存在着大量的低分辨率图片。此外，许多高分辨率图片因为尺寸和存储空间过大，在传输过程中被压缩，也会产生低分辨率图片。低分辨率图片质量不高、尺寸太小。使用超分辨率方法，能够将低分辨率图片重建为高分辨率图片，因而在军事、医学、教育等诸多领域有着广泛的应用前景。传统的超分辨率方法，包括插值、滤波、基于实例和基于字典学习的方法。近年来，以卷积神经网络为主的深度学习也被应用到超分辨率领域中来。无论是传统的超分辨率方法，还是近几年的基于深度学习的超分辨率方法，往往采用降低均方误差的优化目标，存在重建图像过于平滑和模糊的问题。为了解决这一问题，一些研究人员开始将生成对抗网络引入超分辨率领域，尝试生成更为真实的高分辨率图片。但是，单独基于生成对抗网络的方法得到的图片往往存在噪点较多、纹理单一和不忠于原图的缺点。
技术实现思路
本专利技术的目的是为了克服现有技术的不足，提出一种基于深度特征翻译网络的图片纹理增强超分辨率方法，能够获得纹理更加丰富、更加清晰真实的高分辨率图片。本方法包括以下步骤：步骤1：处理训练数据。在公共数据集上获取高分辨率图片，作为训练数据集。为充分利用图片资源，可采用数据增强方式增加图片个数。为了减少计算量，所有图片被裁剪成固定尺寸的图片块，所述尺寸不能小于96×96。然后，将所有图片块通过插值方法，按照比例尺为×2依次进行下采样，得到各级对应的图片。各级图片按照尺寸由小到大被命名为例如，对于一个比例尺为×4的模型，网络结构分为2级，训练数据中每一组图片块共有3部分：ILR、Ilabel-×2和Ilabel-×4，尺寸分别为32×32、64×64和128×128。步骤2：设计网络结构模型。网络结构模型共包含3个网络：超分辨率重建网络S、细粒度纹理特征提取网络φ、判别网络D。其中，超分辨率重建网络采用拉普拉斯金字塔多级重建结构，如果金字塔有N级，则超分辨率比例尺即为2N。整个网络结构由以端到端(end-to-end)训练的深度卷积神经网络构成。根据拉普拉斯金字塔，超分辨率重建网络S分为两路分支：差图像生成，粗图像生成。最小尺寸的低分辨率图片块ILR输入到超分辨率重建网络S，经过多级重建映射生成高分辨率图片，该映射表达为：其中，Ftranslate,θ(·)、Fupsample,θ(·)分别表示特征翻译层和上采样层；θ为特征翻译层和上采样层的参数，包括权值w和偏置值b；Convinput(·)和Convoutput(·)分别表示输入和输出卷积层；表示经过超分辨率×2n后得到的图片；IHR×2和IHR×4为各级中间结果。特征翻译层能将低分辨率图像特征翻译成差图像特征。细粒度纹理特征提取网络包括细粒度纹理提取层和预训练网络，其建立的映射由以下公式表示：t＝φ(I)(2)其中，φ(·)表示细粒度纹理特征提取网络，t表示经过细粒度纹理特征提取网络提取的特征；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块。判别网络由卷积层和全连接层构成，输入为图片，输出为输入图片是否真实的概率，其建立的映射由以下公式表示：p＝D(I)(3)其中，p表示判别网络的输出；D(·)表示判别网络；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块。步骤3：设计用于训练网络的损失函数。为了让重建后的高分辨率图片既忠于原图又不失纹理等信息，本专利技术采用多种损失函数相结合的方法。训练网络的损失函数共分为3部分，包括内容损失函数Lcontent、细粒度纹理损失函数Ltexture和对抗损失函数Ladv。在训练过程中，首先用内容损失函数Lcontent进行预训练。然后，使用3种损失函数进行训练。具体地，总体损失函数Loss表示如下：Loss＝Lcontent+λ1×Ltexture+λ2×Ladv(4)其中，λ1和λ2分别为细粒度纹理损失函数Ltexture和对抗损失函数Ladv的权重。内容损失函数Lcontent采用Charbonnier损失函数(L1函数的一种变体)，表示如下：其中，Il和分别代表第l级的目标图片块和重建的图片块；ε是一个常数。内容损失函数Lcontent用于计算各级生成图片和目标图片的损失。细粒度纹理损失函数Ltexture用于计算最后输出图片和目标图片的损失，表示如下：其中，φ(·)表示细粒度纹理特征提取网络；G(·)表示格拉姆矩阵；I和分别代表目标图片块和重建后的图片块。对抗损失函数Ladv用于计算整个重建网络的最后输出图片，目标是减小判别网络的输出，表示如下：其中，D(·)表示判别网络，代表重建后的图片块，Pg表示重建图片分布。步骤4：用步骤1中处理好的训练数据，训练网络模型。具体地，在超分辨率重建网络S拉普拉斯金字塔的各级均使用内容损失函数Lcontent，在整个网络模型得最后一层使用细粒度纹理损失函数Ltexture和对抗损失函数Ladv。训练过程使用随机梯度下降算法和小批量训练的训练策略。训练过程分为两个部分。首先，只计算内容损失训练超分辨率重建网络S，得到一个具有一定超分辨率作用的网络，此时结果比较模糊，缺少纹理等细节信息。然后，再用上述三种损失函数进行混合训练，具体如下：Step1：初始化模型参数。将超分辨率重建网络S和判别网络D的参数用高斯分布初始化。使用包含不少于1万张图片的数据集(如ImageNet数据集等)，用于训练细粒度纹理提取网络中的预训练网络，使该训练网络具有图像训练功能。Step2：从训练数据集中取出一批训练数据，训练数据的个数是一个超参数，在训练过程中通过试验确定超参数的最佳值。每个训练数据包括各级目标图片块。将低分辨率图片块输入到超分辨率重建网络S，得到各级重建后的图片块然后计算内容损失。Step3：将最后输出的重建图片和目标图片输入到细粒度纹理特征提取网络φ，然后计算细粒度纹理损失。Step4：将最后输出的重建图片输入到判别网络D，然后计算对抗损失。Step5：将对抗损失，按照步骤3的总体损失函数Loss进行计算，得到最终损失，然后反向传播计算梯度，并更新超分辨率重建网络的参数值。Step6：训练判别网络。将最后输出的重建图片块和目标图片块I分别输入到判别网络D中，优化目标如下：Step7：重复Step2-Step6，直到损失函数值达到最小。经过以上训练之后，得到一个具有纹理增强功能的超分辨重建网络S’。步骤5：重建高分辨率图片。将低分辨率图片输进步骤4获得的超分辨率重建网络S’，即可得到重建后的高分辨率图片。有益效果本专利技术方法，与现有技术相比，具有以下有益效果：本专利技术设计的神经网络模型较好地关注了特征翻译过程，能够在拉普拉斯金字塔结构中更好地完成差图像生成的任务。本专利技术采用多级重建过程，能将大比例尺分解为多级任务并将监督学习应用到拉普拉斯金字塔的每一级。本专利技术采用的细粒度纹理特征提取网络相比于其他纹理特征提取方法能在更细的粒度下提取到图片纹理信息。本专利技术采用多种本文档来自技高网...

【技术保护点】
1.一种基于深度特征翻译网络的图片纹理增强超分辨率方法，其特征在于，包括以下步骤：步骤1：处理训练数据；在公共数据集上获取高分辨率图片，作为训练数据集；为减少计算量，所有图片被裁剪成固定尺寸的图片块，所述尺寸不能小于96×96；然后，将所有图片块通过插值方法，按照比例尺为×2依次进行下采样，得到各级对应的图片，各级图片按照尺寸由小到大被命名为ILR，Ilabel‑×2，…，Ilabel‑×2

【技术特征摘要】
1.一种基于深度特征翻译网络的图片纹理增强超分辨率方法，其特征在于，包括以下步骤：步骤1：处理训练数据；在公共数据集上获取高分辨率图片，作为训练数据集；为减少计算量，所有图片被裁剪成固定尺寸的图片块，所述尺寸不能小于96×96；然后，将所有图片块通过插值方法，按照比例尺为×2依次进行下采样，得到各级对应的图片，各级图片按照尺寸由小到大被命名为ILR，Ilabel-×2，…，Ilabel-×2n；步骤2：设计网络结构模型；网络结构模型共包含三个网络：超分辨率重建网络S、细粒度纹理特征提取网络φ、判别网络D；其中，超分辨率重建网络采用拉普拉斯金字塔多级重建结构，如果金字塔有N级，则超分辨率比例尺即为2N；整个网络结构由以端到端训练的深度卷积神经网络构成；根据拉普拉斯金字塔，超分辨率重建网络S分为两路分支：差图像生成，粗图像生成；最小尺寸的低分辨率图片块ILR输入到超分辨率重建网络S，经过多级重建映射生成高分辨率图片，该映射表达为：其中，Ftranslate,θ(·)、Fupsample,θ(·)分别表示特征翻译层和上采样层；θ为特征翻译层和上采样层的参数，包括权值w和偏置值b；Convinput(·)和Convoutput(·)分别表示输入和输出卷积层；表示经过超分辨率×2n后得到的图片；IHR×2和IHR×4为各级中间结果；特征翻译层能将低分辨率图像特征翻译成差图像特征；细粒度纹理特征提取网络包括细粒度纹理提取层和预训练网络，其建立的映射由以下公式表示：t＝φ(I)(2)其中，φ(·)表示细粒度纹理特征提取网络，t表示经过细粒度纹理特征提取网络提取的特征；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块；判别网络由卷积层和全连接层构成，输入为图片，输出为输入图片是否真实的概率，其建立的映射由以下公式表示：p＝D(I)(3)其中，p表示判别网络的输出；D(·)表示判别网络；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块；步骤3：设计用于训练网络的损失函数；采用多种损失函数相结合，训练网络的损失函数共分为三部分：内容损失函数Lcontent、细粒度纹理损失函数Ltexture和对抗损失函数Ladv；在训练过程中，首先用内容损失函数Lcontent进行预训练，然后用三种损失函数进行训练；其中，总体损失函数Loss表示如下：Loss＝Lcontent+λ1×Ltexture+λ2×Ladv(4)λ1和λ2分别为细粒度纹理损失函数Ltexture和对抗损失函数Ladv的权重；内容损失函数Lcontent采用C...

【专利技术属性】
技术研发人员：宋丹丹，关明扬，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11