本发明专利技术公开了一种基于图像噪声预测机制的图像超分辨率方法及系统，方法包括：构建含有噪声干扰的训练数据集；构建基于噪声预测机制的图像超分辨率网络；将所述训练数据集中的图像输入到所述图像超分辨率网络中，完成基于噪声预测机制的图像超分辨率网络的训练；将待重建的低分辨率图像输入到基于噪声预测机制的图像超分辨率网络中，得到重建后的高分辨率重构图像。本发明专利技术有助于提高图像超分辨率效果，可广泛应用于计算机技术领域。可广泛应用于计算机技术领域。可广泛应用于计算机技术领域。
【技术实现步骤摘要】
一种基于图像噪声预测机制的图像超分辨率方法及系统
[0001]本专利技术涉及计算机
，尤其是一种基于图像噪声预测机制的图像超分辨率方法及系统。
技术介绍
[0002]图像超分辨率技术是一种将低分辨率图像(Low Resolution，LR)重建为高分辨率图像(High Resolution，HR)的图像处理技术，在社会的各个行业存在着广泛的应用，如：卫星图像分析，医学图像分析，图像视频传输等。随着深度学习技术的发展，基于卷积神经网络(Convolution Neural Network，CNN)技术的图像超分辨率效果已经远远超过了基于插值的传统超分辨率方法。
[0003]基于深度学习技术的图像超分辨率方法可以大致分为两类。第一类是有参考的图像超分辨率方法，该类方法在输入LR图像的基础上，通过引入额外的HR图像作为参考，能够获取更丰富的图像特征，使得重建得到的高分辨率图像拥有更丰富的细节。然而，由于这类方法所需要同时提供的HR图像，一般在实际应用场景中难以获取，因此，该方法在实际应用中较少采用。
[0004]第二类则是无参考的图像超分辨率方法，该类方法只需要输入LR图像，就能够实现超分辨率图像的重建。然而，该类方法在训练时通常采用插值的方式在HR图像的基础上合成出一张LR的图像，然后再将该LR图像输入到卷积神经网络中进行训练。由于实际应用场景中的LR图像通常会受到噪声、压缩等干扰，使得实际应用中的LR图像与用于训练卷积神经网络的插值LR图像并不一致，导致在实际应用的场景中基于深度学习技术的图像超分辨率效果往往会有比较大的下降。
技术实现思路
[0005]有鉴于此，本专利技术实施例提供一种效果好的，基于图像噪声预测机制的图像超分辨率方法及系统。
[0006]本专利技术实施例的一方面提供了一种基于图像噪声预测机制的图像超分辨率方法，包括：
[0007]构建含有噪声干扰的训练数据集；
[0008]构建基于噪声预测机制的图像超分辨率网络；
[0009]将所述训练数据集中的图像输入到所述图像超分辨率网络中，完成基于噪声预测机制的图像超分辨率网络的训练；
[0010]将待重建的低分辨率图像输入到基于噪声预测机制的图像超分辨率网络中，得到重建后的高分辨率重构图像。
[0011]可选地，所述构建含有噪声干扰的训练数据集，包括：
[0012]将待处理的低分辨率图像转换为RGB格式的图像，得到的低质量RGB图像，将低质量RGB图像划分为若干个子图像；
[0013]针对每一个子图像，随机生成一个噪声加入到对应的子图像中；所述噪声的种类包括高斯噪声、均匀分布噪声或泊松噪声；
[0014]获取各个低质量RGB图像对应的高分辨率图像以及对应的噪声幅值，完成训练数据集的构建。
[0015]可选地，所述构建基于噪声预测机制的图像超分辨率网络中，所述图像超分辨率网络包括图像特征预提取模块、特征提取模块、噪声预测模块、上采样模块、图像特征精炼模块。
[0016]可选地，所述图像特征预提取模块的卷积核大小为3，输入通道为3，输出通道为64，padding填充为1，stride步幅为1。
[0017]可选地，所述噪声预测模块由第一卷积层、第一激活层、第二卷积层、第二激活层、第一全局池化层、第三激活层依次连接组成；
[0018]所述第一卷积层和第二卷积层的卷积核大小为3，输入通道为64，输出通道为64，padding填充为1，stride步幅为1；
[0019]所述第一激活层和第二激活层使用ReLu作为激活函数，所述第三激活层使用Sigmoid作为激活函数。
[0020]可选地，所述图像特征提取模块包括第三卷积层、第四激活层、第四卷积层、第五卷积层、第一残差连接层和第一权重融合层；
[0021]所述第三卷积层和所述第四卷积层的卷积核大小为3，输入通道为64，输出通道为64，padding填充为1，stride步幅为1；
[0022]所述第四激活层和所述第五激活层使用LeakyRelu作为激活函数，函数的坡度为0.1；
[0023]所述第一残差连接层将第五激活层的输出与图像特征提取模块的输入进行相加；
[0024]将第一残差连接层的输出与噪声预测模块的输出进行相乘，将噪声影响因素融合到所提取的图像特征中。
[0025]可选地，所述上采样模块包括第五卷积层和上采样层；
[0026]所述第五卷积层的卷积核大小为3，输入通道为64，输出通道为64，padding填充为1，stride步幅为1；
[0027]所述图像特征精炼模块的卷积核大小为3，输入通道为64，输出通道为3，padding填充为1，stride步幅为1。
[0028]可选地，所述将所述训练数据集中的图像输入到所述图像超分辨率网络中，完成基于噪声预测机制的图像超分辨率网络的训练，包括：
[0029]根据所述训练数据集，将含有噪声干扰的子图像和对应的高分辨率图像以及对应的噪声幅值组成一对训练样本输入到图像超分辨率网络中进行训练；其中，所述图像超分辨率网络的损失函数分别设置图像的内容损失函数以及噪声预测损失函数，采用Adam优化器以及批学习方法对基于噪声预测机制的图像超分辨率网络进行训练；
[0030]所述内容损失函数的表达式为：
[0031][0032]其中，Content_loss表示图像内容损失函数，SR表示超分网络的重建图像，HR表示对应的高分辨率图像，(x,y)表示像素的坐标；
[0033]所述噪声预测损失函数的表达式为：
[0034][0035]其中，Noise_loss表示噪声的损失函数，表示噪声预测模块的估计噪声幅值，
ɑ
表示对应的噪声幅值。
[0036]本专利技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
[0037]所述存储器用于存储程序；
[0038]所述处理器执行所述程序实现如前面所述的方法。
[0039]本专利技术实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0040]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0041]本专利技术实施例构建含有噪声干扰的训练数据集；构建基于噪声预测机制的图像超分辨率网络；将所述训练数据集中的图像输入到所述图像超分辨率网络中，完成基于噪声预测机制的图像超分辨率网络的训练；将待重建的低分辨率图像输入到基于噪声预测机制的图像超分辨率网络中，得到重建后的高分辨率重构图像。本专利技术有助于提高图像超分辨率效果。
附图说明
[0042]为了更清楚地说明本申请实施例中的技术方案，下面将对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像噪声预测机制的图像超分辨率方法，其特征在于，包括：构建含有噪声干扰的训练数据集；构建基于噪声预测机制的图像超分辨率网络；将所述训练数据集中的图像输入到所述图像超分辨率网络中，完成基于噪声预测机制的图像超分辨率网络的训练；将待重建的低分辨率图像输入到基于噪声预测机制的图像超分辨率网络中，得到重建后的高分辨率重构图像。2.根据权利要求1所述的一种基于图像噪声预测机制的图像超分辨率方法，其特征在于，所述构建含有噪声干扰的训练数据集，包括：将待处理的低分辨率图像转换为RGB格式的图像，得到的低质量RGB图像，将低质量RGB图像划分为若干个子图像；针对每一个子图像，随机生成一个噪声加入到对应的子图像中；所述噪声的种类包括高斯噪声、均匀分布噪声或泊松噪声；获取各个低质量RGB图像对应的高分辨率图像以及对应的噪声幅值，完成训练数据集的构建。3.根据权利要求1所述的一种基于图像噪声预测机制的图像超分辨率方法，其特征在于，所述构建基于噪声预测机制的图像超分辨率网络中，所述图像超分辨率网络包括图像特征预提取模块、特征提取模块、噪声预测模块、上采样模块、图像特征精炼模块。4.根据权利要求3所述的一种基于图像噪声预测机制的图像超分辨率方法，其特征在于，所述图像特征预提取模块的卷积核大小为3，输入通道为3，输出通道为64，padding填充为1，stride步幅为1。5.根据权利要求3所述的一种基于图像噪声预测机制的图像超分辨率方法，其特征在于，所述噪声预测模块由第一卷积层、第一激活层、第二卷积层、第二激活层、第一全局池化层、第三激活层依次连接组成；所述第一卷积层和第二卷积层的卷积核大小为3，输入通道为64，输出通道为64，padding填充为1，stride步幅为1；所述第一激活层和第二激活层使用ReLu作为激活函数，所述第三激活层使用Sigmoid作为激活函数。6.根据权利要求3所述的一种基于图像噪声预测机制的图像超分辨率方法，其特征在于，所述图像特征提取模块包括第三卷积层、第四激活层、第四卷积层、第五卷积层、第一残差连接层和第一权重融合层；所述第三卷积层和所述第四...
【专利技术属性】
技术研发人员：戴振军，王兵，柯建生，陈学斌，
申请(专利权)人：广州极点三维信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。