一种基于卷积神经网络的图像缩小方法及系统技术方案

本发明专利技术涉及一种基于卷积神经网络的图像缩小方法及系统，首先对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；然后设计图像缩小教师网络，并使用图像块数据集训练该网络；接着设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；最后将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。本发明专利技术能够提高图像缩小后小图的质量。

【技术实现步骤摘要】
一种基于卷积神经网络的图像缩小方法及系统
本专利技术涉及图像和视频处理
，特别是一种基于卷积神经网络的图像缩小方法及系统。
技术介绍
图像缩小是数字图像处理中的一个重要课题。随着计算机技术、多媒体技术以及网络通讯技术的快速发展，数字图像处理的相关技术被广泛地应用于人类社会生活的各个方面。视觉是人类获取外界信息的主要途径之一。最近几年来移动互联网的快速发展，越来越多用户在移动设备上观看图像，不同设备上的显示窗口大小也各不相同，如何在保证直观效果的同时，尽可能高效地将图像缩小到合适的尺寸是数字图像处理的关键性问题之一。早期提出的基于插值的方法，虽然可以直接将图像缩小到合适的尺寸，但是由于插值算法较为简单，图像在经过缩小后经常存在模糊、过度平滑的现象，进而影响到人眼直观感受，且这类方法依赖统计出来的图像先验，因此效果较差。目前先进的方法都是基于卷积神经网络，强大的特征表示及端到端的训练过程使得卷积神经网络能够重建出高质量的小图。但现有的方法都是在图像缩小的卷积神经网络后接上一个图像超分辨率网络来进行端到端的训练，导致生成的小图质量无法得到保证。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于卷积神经网络的图像缩小方法及系统，能够提高图像缩小后小图的质量。本专利技术采用以下方案实现：一种基于卷积神经网络的图像缩小方法，具体包括以下步骤：对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；设计图像缩小教师网络，并使用图像块数据集训练该网络；设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。本专利技术使用逆亚像素卷积，将图像无损地按比例缩小为特征并利用通道注意力密集残差块有效地提取出缩小后特征的信息，再利用知识蒸馏的思路，充分发挥卷积神经网络的拟合能力，对比现有的图像缩小模型，该方法能显著提高图像缩小的性能。进一步地，所述对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集具体包括以下步骤：将原始高分辨率图像进行无重叠的切块，得到原始高分辨率训练图像块；将得到的图像块进行旋转和翻转，得到用于训练的图像块数据集。其中，旋转角度包括顺时针旋转90°，180°，和270°，翻转包括水平翻转和垂直翻转。进一步地，所述设计图像缩小教师网络，并使用图像块数据集训练该网络具体包括以下步骤：将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果；根据图像缩小教师网络的目标损失函数loss，利用反向传播方法计算所述图像缩小教师网络中各参数的梯度，并利用随机梯度下降方法更新参数；以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小教师网络的训练过程。其中，所述图像缩小教师网络由逆亚像素卷积模块以及通道注意力密集残差模块构成。进一步地，所述将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果具体包括以下步骤：A1：将高分辨率图像块输入到一个逆亚像素卷积模块，按如下公式重新排列图像特征：式中，s代表图像缩小的尺度，s是大于1的整数，(c,h,w)分别代表特征的通道、高度、宽度，代表向下取整操作，invpixel()代表逆亚像素卷积操作，F0为经过逆亚像素卷积模块重新排列后的特征，代表高分辨率图像块；A2：将得到的特征F0输入到一个通道注意力密集残差模块，首先计算密集通道注意力模块的输出：F1＝Ψchannel(Hi)；式中，F1为密集通道注意力模块的输出，Ψchannel为通道注意力模块，Hi代表密集连接模块，下标i表示第i个卷积层，其中密集连接模块公式如下：式中，代表按照通道拼接特征操作，wi,bi分别为第i层采用的卷积核的权重和偏置；然后计算残差模块输出：F2＝ReLU(w2(ReLU(w1(F0)+b1))+b2)；式中，F2为残差模块输出，该模块包括两个3×3卷积和ReLU函数，w1,b1,w2,b2分别代表模块中第一、第二层卷积层采用的卷积核的权重和偏置；其中，ReLU()为线性整流函数，其公式如下：其中，a表示ReLU函数的输入值；最后计算通道注意力密集残差块的输出：式中，F3为通道注意力密集残差块的输出，由F1,F2按通道拼接而成；A3：通过一个卷积层将输出特征的通道数调整为3，按如下公式得到图像缩小教师网络的最终输出F4：F4＝w3(F3)+b3；式中，其中w3,b3是这一步采用的卷积核的权重和偏置。进一步地，所述图像缩小教师网络的目标损失函数loss为：式中，||·||1为1范数，Hteacher()为图像缩小教师网络，为输入的第i个高分辨率图像块，则为所述的图像缩小教师网络输出预测的缩小图像块；Fbic()为双三次插值放大操作(bicubic方法)，将缩小图像块放大到与相同的尺寸，Lteacher为目标损失函数值。进一步地，所述设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络具体包括以下步骤：将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；将每个批次的图像块分别输入到预训练好的图像缩小教师网络以及需要训练的图像缩小学生网络；根据图像缩小学生网络的目标损失函数loss，利用反向传播方法计算所述图像缩小卷积神经网络中各参数的梯度，并利用随机梯度下降方法更新参数；以批次为单位重复进行上述步骤，直至图像缩小学生网络的目标损失函数loss值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小学生网络训练过程。其中，所述图像缩小学生网络由逆亚像素卷积模块以及通道注意力密集残差模块构成，其结构与图像缩小教师网络相同。进一步地，所述图像缩小学生网络的目标损失函数loss计算如下：式中，Ldistillation为蒸馏损失，Hstudent()为图像缩小学生网络，则为所述图像缩小学生网络输出的预测的缩小图像块，为图像缩小教师网络的预测结果；Fbil()为双线性插值放大操作(bilinear方法)，将缩小图像块放大到与相同的尺寸；Lstudent为图像缩小学生网络的目标损失函数值。本专利技术还提供了一种基于卷积神经网络的图像缩小系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法步骤。与现有技术相比，本专利技术有以下有益效果：本专利技术首先通过使用高分辨率训练图像块训练图像缩小教师网本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的图像缩小方法，其特征在于，包括以下步骤：/n对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；/n设计图像缩小教师网络，并使用图像块数据集训练该网络；/n设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；/n将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。/n

【技术特征摘要】
1.一种基于卷积神经网络的图像缩小方法，其特征在于，包括以下步骤：
对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；
设计图像缩小教师网络，并使用图像块数据集训练该网络；
设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；
将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。


2.根据权利要求1所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集具体包括以下步骤：
将原始高分辨率图像进行无重叠的切块，得到原始高分辨率训练图像块；
将得到的图像块进行旋转和翻转，得到用于训练的图像块数据集。


3.根据权利要求1所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述设计图像缩小教师网络，并使用图像块数据集训练该网络具体包括以下步骤：
将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；
将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果；
根据图像缩小教师网络的目标损失函数loss，利用反向传播方法计算所述图像缩小教师网络中各参数的梯度，并利用随机梯度下降方法更新参数；
以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小教师网络的训练过程。


4.根据权利要求3所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述图像缩小教师网络由逆亚像素卷积模块以及通道注意力密集残差模块构成。


5.根据权利要求4所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果具体包括以下步骤：
A1：将高分辨率图像块输入到一个逆亚像素卷积模块，按如下公式重新排列图像特征：



式中，s代表图像缩小的尺度，s是大于1的整数，(c,h,w)分别代表特征的通道、高度、宽度，代表向下取整操作，invpixel()代表逆亚像素卷积操作，F0为经过逆亚像素卷积模块重新排列后的特征，代表高分辨率图像块；
A2：将得到的特征F0输入到一个通道注意力密集残差模块，首先计算密集通道注意力模块的输出：
F1＝Ψchannel(Hi)；
式中，F1为密集通道注意力模块的输出，Ψchannel为通道注意力模块，Hi代表密集连接模块，下标i表示第i个卷积层，其中密集连接模块公式如下：



式中，代表按照通道拼接特征操作，wi,bi分别为第i层采用的卷积核的权重和偏置；
然后计算残差模块输出：
F2＝ReLU(w2(...

【专利技术属性】
技术研发人员：牛玉贞，钟梦真，林家祺，刘文犀，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35