一种极轻量级图像超分辨率重建方法技术

本申请涉及图像恢复技术，属于深度学习领域，具体涉及一种极轻量级图像超分辨率重建方法，该方法所使用的图像超分网络模型按顺序包含：单通道输入的浅层特征提取模块、由多个ACRB模块串联组成的深层特征提取模块、对深度特征进行像素注意力加权的注意力增强模块、将浅层特征和深层特征进行融合的特征融合模块、以及带有ClipRelu约束异常值的上采样放大模块。本方法通过超分重建时图像的RGB通道和Y通道的转换，可以在移动端很方便地并行处理，使得整个超分方法节省并有效利用移动端有限的计算资源，并且还能够保持有高质量的超分效果。果。果。

【技术实现步骤摘要】
一种极轻量级图像超分辨率重建方法


[0001]本专利技术涉及图像恢复技术，尤其涉及一种极轻量级图像超分辨率重建方法。

技术介绍

[0002]超分辨率是指将低分辨率的图像通过软硬件方法重建出高分辨率的图像，能够加强图像细节纹理，使得图像更加清晰，提升观看体验。图像超分辨率技术在视频直播、视频监控、视频传输复原、显微成像、医学影像等许多领域有着重要的应用价值。
[0003]当前图像超分辨率的主流方法是利用大量的高清图像和低质图像数据对的先验知识，基于深度学习技术进行低质图像的高频信息的复原。业界主流基于深度学习的超分辨率模型参数量在几百K上下，计算量(FLOPs)几十G到上千G大小，受计算资源限制，360P(360X640)的输入图像在普通的GPU上放大2倍都很难做到30帧每秒的实时超分，而减少模型计算量会使得模型性能下降。因此，在计算资源更为紧张的移动端上实现高质量的实时超分是一个巨大的挑战。

技术实现思路

[0004]针对移动端有限的计算资源，需要平衡超分辨率重建质量和重建效率，本专利技术目的在于提供一种基于非对称卷积残差块的极轻量级超分辨率重建方法，利用非对称卷积的计算优势和多尺度特征融合的残差块结构，有效节省计算量和保持较高的重建质量，能够达到在移动端实时处理高质量图像超分辨率任务的需求。
[0005]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0006]根据本专利技术的一方面，提供了一种极轻量级图像超分辨率重建网络，包括：
[0007]步骤1、对原始高清图像数据和其对应的低分辨率图像数据进行预处理，然后将RGB图像转换为YCbCr图像，并且提取原始高清图像的Y通道数据；
[0008]步骤2、构建基于非对称卷积残差块的图像超分网络模型；
[0009]步骤3、使用步骤1的Y通道数据训练步骤2构建好的网络模型，迭代至损失函数收敛；
[0010]步骤4、将待重建图像由RGB图像转换为YCbCr图像，并提取Y通道数据，同时将待重建图像插值放大后提取其Cr和Cb通道数据；
[0011]步骤5、将步骤4得到的Y通道数据的输入训练好的模型进行预测，得到放大后的Y通道；
[0012]步骤6、在步骤4得到的Cr和Cb通道和步骤5得到的Y通道进行合并得到YCbCr图像；
[0013]步骤7、将合并后YCbCr图像转换成RGB图像，得到重建后的高清图像。
[0014]在一实施例中，所述基于非对称卷积残差块的图像超分网络模型，包括：
[0015]浅层特征提取模块；
[0016]深层特征提取模块，其输入为所述浅层特征提取模块的输出；
[0017]注意力增强模块，其输入为所述深层特征提取模块的输出；
[0018]特征融合模块，其输入为所述注意力增强模块的输出；
[0019]上采样放大模块，其输入为所述特征融合模块的输出。
[0020]在一实施例中，所述浅层特征提取模块为一个单通道输入的3x3的卷积。
[0021]在一实施例中，所述深层特征提取模块由多个ACRB模块和一个1x1的卷积串连组成，所述深层特征提取模块的输出由每个ACRB模块的输出在通道维度拼接后经过1x1的卷积降维得到。
[0022]在一实施例中，所述ACRB模块包括两个1X1的卷积和多个串连的非对称卷积对AC，其中一个1X1的卷积对特征进行压缩，并输入卷积核为1X3和3X1的非对称卷积对AC，每个AC的输出作为下一个AC的输入，各个AC的输出与另一个1X1的卷积压缩后的特征进行拼接，拼接后进行残差连接。
[0023]在一实施例中，所述浅层特征提取模块和深层特征提取模块的卷积层都有对应的激活函数，激活函数使用Relu。
[0024]在一实施例中，所述注意力增强模块包含一个1x3和3x1的非对称卷积对AC和一个PA模块。
[0025]在一实施例中，所述PA模块由一个1x1的卷积和Sigmoid函数构成，原始输入经过1x1的卷积和Sigmoid函数后和原始输入相乘。
[0026]在一实施例中，所述特征融合模块用于将浅层特征经过1x1的卷积降维后和注意力增强模块输出的深层特征相加。
[0027]在一实施例中，所述上采样放大模块由1个3x3的卷积、1个ClipRelu异常值过滤模块和1个Pixelshuffle串连构成。
[0028]本专利技术实施例的有益效果包括：通过对原图像只基于其Y通道进行超分，从而可以通过硬件或者CPU并行地执行Bicubic插值和YCbCr转换RGB和RGB转换YCbCr操作，相比对RGB三通道直接超分，减少了GPU或者NPU的计算压力，有效利用了计算资源。在网络的主要模块中批量使用非对称卷积对来代替传统对称卷积，参数量和计算量大大减少，使得即使在移动端限制很小的参数量和计算量，模型依旧能够保持较高质量的超分效果。
附图说明
[0029]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0030]在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本专利技术的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
[0031]图1是本申请方法实施例的流程图；
[0032]图2是基于非对称卷积残差块的图像超分网络模型的模块结构图；
[0033]图3是ACRB模块的结构图；
[0034]图4是PA模块的结构图；
[0035]图5是Pixelshuffle上采样方法示例图；
[0036]图6是本申请实施例与现有方法的相关参数对比图。
具体实施方式
[0037]以下结合附图和具体实施例对本专利技术作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本专利技术的保护范围进行任何限制。
[0038]本实施例提供了一种基于非对称卷积残差块的极轻量级图像超分辨率重建方法，如图1所示，分为训练阶段和预测阶段。
[0039]一、训练阶段包括：
[0040]步骤1、训练数据预处理。本实施例中使用公开图像超分数据DIV2K，对原始高清图像数据HR和其对应的低分辨率图像数据LR进行预处理，预处理操作包括但不限于随机裁剪、随机水平翻转、随机垂直翻转等数据增强操作，并通过下式将RGB图像转换为YCbCr图像，并且提取原始图像Y通道的数据HR
Y
和LR
Y
。
...

【技术保护点】

【技术特征摘要】
1.一种极轻量级图像超分辨率重建方法，其特征在于，包括：步骤1、对原始高清图像数据和其对应的低分辨率图像数据进行预处理，然后将RGB图像转换为YCbCr图像，并且提取原始高清图像的Y通道数据；步骤2、构建基于非对称卷积残差块的图像超分网络模型；步骤3、使用步骤1的Y通道数据训练步骤2构建好的网络模型，迭代至损失函数收敛；步骤4、将待重建图像由RGB图像转换为YCbCr图像，并提取Y通道数据，同时将待重建图像插值放大后提取其Cr和Cb通道数据；步骤5、将步骤4得到的Y通道数据的输入训练好的模型进行预测，得到放大后的Y通道；步骤6、在步骤4得到的Cr和Cb通道和步骤5得到的Y通道进行合并得到YCbCr图像；步骤7、将合并后YCbCr图像转换成RGB图像，得到重建后的高清图像。2.根据权利要求1所述的极轻量级图像超分辨率重建方法，其特征在于，所述基于非对称卷积残差块的图像超分网络模型，包括：浅层特征提取模块；深层特征提取模块，其输入为所述浅层特征提取模块的输出；注意力增强模块，其输入为所述深层特征提取模块的输出；特征融合模块，其输入为所述注意力增强模块的输出；上采样放大模块，其输入为所述特征融合模块的输出。3.根据权利要求2所述的极轻量级图像超分辨率重建方法，其特征在于：所述浅层特征提取模块为一个单通道输入的3x3的卷积。4.根据权利要求3所述的极轻量级图像超分辨率重建方法，其特征在于：所述深层特征提取模块由多个ACRB模块和一个1x1的卷积...

【专利技术属性】
技术研发人员：杨悦，黄正林，王欢良，张李，
申请(专利权)人：苏州奇梦者科技有限公司，
类型：发明
国别省市：