基于卷积神经网络的移动端轻量级图像超分辨率重建方法技术

本发明专利技术公开了一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法，包括如下步骤，首先，得到训练数据集。然后，构建适用于移动端的轻量级图像超分辨率网络，包括训练时和推理时网络，推理时网络由训练时网络使用等价转化的方法转化而来。等价转化的方法将在移动端耗时的算子替换为耗时较少的卷积。在训练时，使用上述训练数据集以及构建的轻量级超分辨率网络，比较数据集中的原始图片与生成的高分辨率图片的损失，基于损失进行反向传播计算，直至训练结束。在推理时，使用等价转化的更简洁的网络，模型体积小，输出的速率快。本发明专利技术的优点是：基于移动端的场景进行了优化和适配，使用等价转化的方法构建一个简洁，效率高的超分辨率网络。的超分辨率网络。的超分辨率网络。

【技术实现步骤摘要】
基于卷积神经网络的移动端轻量级图像超分辨率重建方法


[0001]本专利技术涉及数字图像处理
，特别涉及一种仅依靠卷积神经网络且基于等价转化技术的移动端轻量级图像超分辨率重建方法。

技术介绍

[0002]图像和视频超分辨率将低清晰度转化为高清晰度，在许多领域都有着广泛的应用，包括医学影像，卫星图像，医学影像等等。例如，某公司使用了基于深度学习的视频超分辨率技术将标清电视(SDTV)提升为高清电视(HDTV)。近年来，随着移动端设备的普及和性能的提升，将现有的图像超分辨率模型进行优化并部署到移动端有非常重要的意义。
[0003]图像超分辨率模型分为传统的超分辨率模型，基于插值如双线性插值，双三次插值，实现简单但是效果不佳，基于深度学习的超分辨率模型比较复杂，需要大量的成本和计算资源，超分辨率效果较好。然而，现有的超分辨率模型很少针对于终端设备的硬件进行相关的优化和适配。
[0004]卷积神经网络(Convolutional Neural Networks,CNN)一般是由卷积层，池化层以及全连接层组成，可以提取图片特征，将大量参数降维为少量参数。目前，卷积神经网络在图像超分辨率领域有出色的效果。近几年也出现了越来越复杂的卷积网络用于图像超分辨率，(即卷积层数更深更多)伴随着越来越出色的性能。例如，Lim等提出的Multi
‑
scale Deep Super Resolution(MDSR)(Enhanced Deep Residual Networks for Single Image Super
‑
Resolution.2017IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW))有160层卷积网络，而最开始提出的Dong等提出的Super Resolution Convolutional Neural Network(SRCNN)(Image Super
‑
Resolution Using Deep Convolutional Networks.IEEE Transactions on Pattern Analysis and Machine Intelligence,38(2),295
–
307.
[0005]https://doi.org/10.1109/TPAMI.2015.2439281)只有3层卷积网络。其存在的缺陷：
[0006]1、大多数基于深度学习的图像超分辨率具有很好的图像恢复的准确度，但是模型训练和预测的复杂度，存储和时间耗费都很高。例如，SwinIR模型基于Swin Transformer(SwinIR:Image Restoration Using Swin Transformer.2021IEEE/CVF International Conference on Computer Vision Workshops(ICCVW),1833
–
1844.https://doi.org/10.1109/ICCVW54120.2021.00210)有较好的图像超分辨率效果，但模型有约12M的参数量，不适用于移动端的情形。
[0007]2、一些比较小的卷积神经网络超分辨率网络能够在移动端设备实现接近实时的速度，但以PSNR度量的超分辨率准确度比较有限。
[0008]结构重参数化技术是指在训练过程中使用较大的模型，通过参数的等价转化将其转化为另外一组参数用于推理，使得推理时使用的模型较小，消耗更少的资源并且保留大模型的精度。结构重参数化技术在移动端场景有很好的应用场景。例如，Zhang等人提出的
Edge
‑
oriented Convolution Block For Real
‑
time Super Resoluion(ECBSR)(Edge
‑
oriented Convolution Block for Real
‑
time Super Resolution on Mobile Devices.Proceedings of the 29th ACM International Conference on Multimedia,4034
–
4043.https://doi.org/10.1145/3474085.3475291)一个适用于超分辨率任务的重参数化模块ECB,将包含3*3,1*1卷积，相关梯度信息在推理时都折叠为一个3*3卷积，从而减小推理时模块的体积，进而加快移动端的推理速度。其存在的缺陷：
[0009]1、重参数化技术将几个卷积合并为一个卷积，对于卷积中间存在ReLU等非线性层的情况，并不适用。
[0010]2、现有的重参数化技术没有对移动端现有设备算子进行具体分析，因而对于移动端的场景有一些不够适用的情况。例如，对于现有的智能电视平台的int8量化模型没有进行相关优化。

技术实现思路

[0011]本专利技术的目的是针对现有技术的缺陷，提供了一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法。仅依靠卷积神经网络且基于等价转化技术，模型较小，在有较好的图像恢复质量的同时，训练速度快，适用于移动端的场景。
[0012]为了实现以上专利技术目的，本专利技术采取的技术方案如下：
[0013]一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法，所述方法包括以下步骤：
[0014]S1：使用数据集DIV2K，DIV2K数据集包含数百张图片，低分辨率图片通过高分辨率图片双三次下采样生成，得到训练数据集；
[0015]S2：构建用于移动端的图像超分辨率网络
[0016]S21：构建训练阶段的图像超分辨率网络，该网络包括：
[0017]特征提取部分，使用卷积层以及重参数化模块对于图片的特征进行提取；
[0018]图像重建部分，使用像素重组对于提取的特征进行重建，并附加全局的残差；最后，将特征使用算子Clip转化到[0,255]范围中以适用于int8量化情形；
[0019]S22：将步骤S21的训练阶段的超分辨率网络等价转化，得到推理阶段的图像超分辨率网络即用于移动端的图像超分辨率网络，具体包括：
[0020]对于算子repeat，由得
[0021][0022]则使用卷积核为repeat(I,n)的卷积替换算子repeat，其中x为输入张量，I为单位矩阵，n代表将输入张量重复n次，为卷积操作；
[0023]对于算子add，在训练阶段的网络中为两个卷积网络，即和其中W1和W2是两个不同的卷积核，x和y是两个不同的输入张量，b1和b2是卷积核对应的张量；
[0024]将算子add转化如下，即卷积核变为[W1,W2]，偏置变为b1+b2[0025][0026]对于算子concat，在训练的网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：S1：使用数据集DIV2K，DIV2K数据集包含数百张图片，低分辨率图片通过高分辨率图片双三次下采样生成，得到训练数据集；S2：构建用于移动端的图像超分辨率网络S21：构建训练阶段的图像超分辨率网络，该网络包括：特征提取部分，使用卷积层以及重参数化模块对于图片的特征进行提取；图像重建部分，使用像素重组对于提取的特征进行重建，并附加全局的残差；最后，将特征使用算子Clip转化到[0,255]范围中以适用于int8量化情形；S22：将步骤S21的训练阶段的超分辨率网络等价转化，得到推理阶段的图像超分辨率网络即用于移动端的图像超分辨率网络，具体包括：对于算子repeat，由得则使用卷积核为repeat(I,n)的卷积替换算子repeat，其中x为输入张量，I为单位矩阵，n代表将输入张量重复n次，为卷积操作；对于算子add，在训练阶段的网络中为两个...

【专利技术属性】
技术研发人员：周洲，晁佳豪，高洪帆，龚嘉礼，杨争峰，曾振柄，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：