一种基于卷积神经网络的超分辨率图像重建方法技术

一种基于卷积神经网络的超分辨率图像重建方法，属于图像处理技术领域，用以解决现有的超分辨率卷积神经网络的运行速度慢、得到的图像质量不理想、图像分辨率较低、训练网络梯度易消失等问题。本发明专利技术的技术要点包括：对现有超分辨率卷积神经网络模型进行改进，包括：使缩放图像发生在模型后段进行后上采样操作；后上采样为基于学习的上采样‑亚像素方法；加深了网络层数，并在网络中加入了残差网络；并进一步将经过上述改进的超分辨率卷积神经网络模型作为生成对抗网络中的生成网络，并和对抗网络相整合，进一步提高图像重建效率。本发明专利技术可广泛应用于超分辨率图像重建研究领域。

【技术实现步骤摘要】
一种基于卷积神经网络的超分辨率图像重建方法
本专利技术涉及图像处理
，具体涉及一种基于卷积神经网络的超分辨率图像重建方法。
技术介绍
神经网络已经成为图像识别和图像分类领域的重要技术手段，且有着壮大的趋势，所以应用超分辨率卷积神经网络技术，将模糊不清的图片重建为高清的图像技术的研究，对计算机的视觉发展及人工智能的发展都具有重要的价值和意义。使用计算机技术对图片、视频、语音等目标进行操作时，由于受限于电脑CPU、GPU等硬件条件的影响，当我们想要更加高效、快速地获得高质量的目标内容时，只能退而求其次地对网络结构(例如：网络模型的框架、上采样方法、网络设计等)进行修改和整合，来尽可能地满足我们的需求。超分辨率图像重建(SuperResolutionImageReconstruction,SRIR)是近年来计算机视觉处理和图像处理领域的一个研究热点，由于其应用场景的广泛和理论价值的实用，超分辨率图像重建技术得到研究者更密切的关注。超分辨率图像重建技术，在本质上讲是由一幅或多幅低分辨率(LowResolution，LR)图像经过网络模型的处理，最终生成具有良好视觉效果且更接近真实图像的高分辨率(HighResolution，HR)图像的技术。在该技术的日常应用中，为了减缓由于传送图像、存储图像所造成的一系列图像质量问题，一般对图像采用下采样的操作来降低图像的质量，但降质操作具有不可逆转性，因此该问题是病态问题。将低分辨率图像重建为高分辨率图像的关键是找到低分辨率和高分辨率图像之间的逼近映射关系。目前主流的超分辨率重构技术可大致分为基于插值、基于重建和基于学习三类方法。其中基于插值的方法(例如最近邻域插值和双三次插值)，能够简单且有效地增强图像的分辨率，但会出现图像部分边缘模糊。而基于重建的方法能够恢复简单图像丢失的高频信息，且该方法操作简单、工作量低，但该方法不能很好地处理结构较复杂的图像信息。基于学习的方法是近年来的主流方法，该类方法旨在通过对大量数据样本的学习，建立低分辨率图像和高分辨率图像之间的逼近映射关系。其中，基于深度学习的超分辨率重建相比于只能由人工提取特征的传统技术进行的简单函数拟合的浅层卷积网络学习来说，深度学习可以自动学习得到不同层次化的特征表示，实现更加复杂的非线性函数模型逼近，有更强的实用价值。因此，基于深度学习的算法在性能上超越了以前的很多经典算法。但是现有的基于卷积神经网络的超分辨率图像重建方法存在参数较多、计算量较大、训练时间较长、图像纹理模糊等问题，难以有效获得高质量重建图像。
技术实现思路
鉴于以上问题，本专利技术提出一种基于卷积神经网络的超分辨率图像重建方法，用以解决现有的超分辨率卷积神经网络的运行速度慢、得到的图像质量不理想、图像分辨率较低、训练网络梯度易消失等问题。根据本专利技术一方面，提出一种基于卷积神经网络的超分辨率图像重建方法，该方法包括以下步骤：步骤一、获取训练图像数据集和测试图像数据集；其中，所述图像为低分辨率图像；步骤二、设定训练参数和内容损失函数，构建改进的超分辨率卷积神经网络模型；步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入，调整所述训练参数直至所述内容损失函数最小化，获得训练好的超分辨率卷积神经网络模型；步骤四、将所述测试图像数据集输入训练好的超分辨率卷积神经网络模型，获得高分辨率图像。进一步地，步骤二中训练参数包括学习率和训练次数；所述内容损失函数为均方误差。进一步地，步骤二中所述改进的超分辨率卷积神经网络模型包括特征提取模块、非线性映射模块、上采样模块和特征重组模块，特征提取模块的输出与非线性映射模块的输入相连，非线性映射模块的输出与上采样模块的输入相连，上采样模块的输出与特征重组模块的输入相连；其中，所述特征提取模块用于采用卷积操作从低分辨率图像中提取特征信息；所述非线性映射模块用于将特征信息映射到高维向量上，获得多个高维特征图；所述上采样模块用于对高维特征图进行放大；所述特征重组模块用于将放大后的多个高维特征图重组，获得高分辨率图像。进一步地，所述非线性映射模块中加入了跳跃连接的多个残差块，所述残差块的结构依次是卷积、块的标准化、激活函数、卷积、块的标准化、各元素对应乘积后求和，其中，所述激活函数是ReLU函数；所述上采样模块采用亚像素层卷积方法对特征图进行重构，所述亚像素层卷积方法为：将多通道特征图上的单个像素，按一定的组合方式形成一个特征图单位，并且每个特征图上的像素等价于新特征图上的亚像素。进一步地，步骤二中所述改进的超分辨率卷积神经网络模型还包括降维模块，所述降维模块用于采用卷积操作将特征图的通道数降为RGB的3维通道。根据本专利技术另一方面，又提出一种基于卷积神经网络的超分辨率图像重建方法，该方法包括以下步骤：步骤一、获取训练图像数据集和测试图像数据集；其中，所述图像为低分辨率图像；步骤二、设定训练参数和内容损失函数，构建改进的超分辨率卷积神经网络模型；步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入，调整所述训练参数直至所述内容损失函数最小化，获得训练好的超分辨率卷积神经网络模型；步骤四、将训练好的超分辨率卷积神经网络模型作为生成对抗网络模型中的生成网络模型，使用生成对抗损失函数同时训练所述生成网络模型和生成对抗网络模型中的判别网络模型，直到生成网络和判别网络达到纳什平衡，获得最终训练好的生成网络模型和判别网络模型；步骤五、将所述测试图像数据集输入步骤四中最终训练好的生成网络模型中，获得高分辨率图像。进一步地，步骤二中训练参数包括学习率和训练次数；所述内容损失函数为均方误差。进一步地，步骤二中所述改进的超分辨率卷积神经网络模型包括特征提取模块、非线性映射模块、上采样模块和特征重组模块，特征提取模块的输出与非线性映射模块的输入相连，非线性映射模块的输出与上采样模块的输入相连，上采样模块的输出与特征重组模块的输入相连；其中，所述特征提取模块用于采用卷积操作从低分辨率图像中提取特征信息；所述非线性映射模块用于将特征信息映射到高维向量上，获得多个高维特征图；所述上采样模块用于对高维特征图进行放大；所述特征重组模块用于将放大后的多个高维特征图重组，获得高分辨率图像。进一步地，所述非线性映射模块中加入了跳跃连接的多个残差块，所述残差块的结构依次是卷积、块的标准化、激活函数、卷积、块的标准化、各元素对应乘积后求和，其中，所述激活函数是ReLU函数；所述上采样模块采用亚像素层卷积方法对特征图进行重构，所述亚像素层卷积方法为：将多通道特征图上的单个像素，按一定的组合方式形成一个特征图单位，并且每个特征图上的像素等价于新特征图上的亚像素。进一步地，步骤四中所述生成对抗损失函数包括内容损失函数和对抗损失函数，所述生成对抗损失函数的公式表示为：其中，表示内容损失函数，也即均方误差；表示对抗损失函数。本专利技术的有益技术效果是：本专利技术首先将缩放图像发本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，包括以下步骤：/n步骤一、获取训练图像数据集和测试图像数据集；其中，所述图像为低分辨率图像；/n步骤二、设定训练参数和内容损失函数，构建改进的超分辨率卷积神经网络模型；/n步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入，调整所述训练参数直至所述内容损失函数最小化，获得训练好的超分辨率卷积神经网络模型；/n步骤四、将所述测试图像数据集输入训练好的超分辨率卷积神经网络模型，获得高分辨率图像。/n

【技术特征摘要】
1.一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，包括以下步骤：
步骤一、获取训练图像数据集和测试图像数据集；其中，所述图像为低分辨率图像；
步骤二、设定训练参数和内容损失函数，构建改进的超分辨率卷积神经网络模型；
步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入，调整所述训练参数直至所述内容损失函数最小化，获得训练好的超分辨率卷积神经网络模型；
步骤四、将所述测试图像数据集输入训练好的超分辨率卷积神经网络模型，获得高分辨率图像。


2.根据权利要求1所述的一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，步骤二中训练参数包括学习率和训练次数；所述内容损失函数为均方误差。


3.根据权利要求2所述的一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，步骤二中所述改进的超分辨率卷积神经网络模型包括特征提取模块、非线性映射模块、上采样模块和特征重组模块，特征提取模块的输出与非线性映射模块的输入相连，非线性映射模块的输出与上采样模块的输入相连，上采样模块的输出与特征重组模块的输入相连；其中，所述特征提取模块用于采用卷积操作从低分辨率图像中提取特征信息；所述非线性映射模块用于将特征信息映射到高维向量上，获得多个高维特征图；所述上采样模块用于对高维特征图进行放大；所述特征重组模块用于将放大后的多个高维特征图重组，获得高分辨率图像。


4.根据权利要求3所述的一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，所述非线性映射模块中加入了跳跃连接的多个残差块，所述残差块的结构依次是卷积、块的标准化、激活函数、卷积、块的标准化、各元素对应乘积后求和，其中，所述激活函数是ReLU函数；所述上采样模块采用亚像素层卷积方法对特征图进行重构，所述亚像素层卷积方法为：将多通道特征图上的单个像素，按一定的组合方式形成一个特征图单位，并且每个特征图上的像素等价于新特征图上的亚像素。


5.根据权利要求4所述的一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，步骤二中所述改进的超分辨率卷积神经网络模型还包括降维模块，所述降维模块用于采用卷积操作将特征图的通道数降为RGB的3维通道。


6.一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，包括以下步骤：
步骤一、获取训练图像数据集和测试图像数据集；其中，所述图像为...

【专利技术属性】
技术研发人员：李鹏飞，李丽丽，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江;23