一种图像超分辨率方法及设备技术

本申请公开了一种超分辨图像生成方法，在预先设置生成网络以及判别网络后，将真实图像样本输入生成网络以输出超分辨率图像样本，并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率，根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数，根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。在当调整完成后接收到处理低分辨率图像，能够根据生成网络生成低分辨率图像的超分辨率图像，并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨率效果以及超分辨图像的真实性。

【技术实现步骤摘要】

本专利技术涉及通信
，特别涉及一种图像超分辨率方法。本专利技术同时还涉及一种图像超分辨率设备。
技术介绍
图像超分辨率重建技术是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。在计算机视觉领域，图像超分辨率重建技术有可能使图像实现从检出水平向识别水平的转化，或更进一步实现向细辨水平的转化。基于可以提高图像的识别能力和识别精度的图像超分辨率重建技术，现有技术提出了利用单帧低分辨率、欠采样图像，生成高分辨率图像的单帧图像超分辨率。单帧图像超分辨率重建技术可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。随着人工神经网络领域的不断发展，目前技术人员能够基于深度卷积神经网络实现单帧图像超分辨率，使得单帧图像超分辨率技术有了巨大的进步。卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。目前，在基于深度卷积神经网络的单帧图像超分辨率时，该方法通过对输入低分辨率图像进行一系列的卷积或者反卷积操作，输出为一帧高分辨率的图像。通过计算输出高分辨率图像与真实高分辨率图像的均方差(MSE),作为深度卷积神经网络训练的监督信号。然而，专利技术人在实现本申请的过程中发现，当现有技术对图片进行大采样因子处理(例如4x上采样，即图像宽高分别放大为原来的4倍)时，纹理细节的恢复仍然存在问题，从而细节不够清晰。即便是利用深度卷积神经网络的单帧图像超分辨率，也会在采样因子较大时使得结果通常过分平滑，缺乏高频细节信息，导致无法满足需求。
技术实现思路
本专利技术提供了一种超分辨率图像生成方法，用以更好的保留待处理图像的细节信息，并解决现有技术中在采样因子较大时输出高分辨率图像纹理细节不清晰的问题。该方法预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络，该方法还包括：将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；其中，当所述生成网络的损失函数越小，与所述生成网络所输出的超分辨率图像的真实度越高；当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。优选的，所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，其中：所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成；所述规则约束函数根据所述超分辨率图像样本的空间一致性确定；所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。优选的，在将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本之后，还包括：分别为所述真实图像样本以及所述超分辨率图像样本设置标签；其中，所述真实图像样本的标签置1，所述超分辨率图像样本的标签置0。优选的，所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述判别网络输出的判别概率生成。优选的，所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理；所述低分辨率图像在输入所述生成网络前进行归一化处理。相应的，本申请还公开了一种超分辨率图像生成设备，包括：预置模块，预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络；输入模块，将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；获取模块，获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；确定模块，根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；生成模块，当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；其中，当所述生成网络的损失函数越小，与所述生成网络所输出的超分辨率图像的真实度越高；当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。优选的，所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，其中：所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成；所述规则约束函数根据所述超分辨率图像样本的空间一致性确定；所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。优选的，还包括：标签模块，分别为所述真实图像样本以及所述超分辨率图像样本设置标签；其中，所述真实图像样本的标签置1，所述超分辨率图像样本的标签置0。优选的，所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述判别网络输出的判别概率生成。优选的，所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理；所述低分辨率图像在输入所述生成网络前进行归一化处理。由此可见，通过应用本申请的技术方案，在预先设置生成网络以及判别网络后，将真实图像样本输入生成网络以输出超分辨率处理后的超分辨率图像样本，并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率，最后根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数，并根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。这样在当调整完成后接收到待处理的低分辨率图像时，能够根据生成网络生成低分辨率图像的超分辨率图像，并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨率效果以及超分辨图像的真实性。附图说明图1为本申请具体实施例所公开的一种生成网络的结构示意图；图2为本申请具体实施例所公开的一种判别网络的结构示意图；图3为本申请提出的一种超分辨图像生成方法的流程示意图；图4为本申请具体实施例所提出的训练过程工作流程示意图；图5为本申请本具体实施例中超分辨率图像计算流程示意图；图6为本申请提出的一种超分辨图像生成设备的结构示意图。具体实施方式如背景技本文档来自技高网...

【技术保护点】
一种超分辨率图像生成方法，其特征在于，预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络，该方法还包括：将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；其中，当所述生成网络的损失函数越小，所述生成网络所输出的超分辨率图像的真实度越高；当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。

【技术特征摘要】
1.一种超分辨率图像生成方法，其特征在于，预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络，该方法还包括：将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；其中，当所述生成网络的损失函数越小，所述生成网络所输出的超分辨率图像的真实度越高；当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。2.如权利要求1所述的方法，其特征在于，所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，其中：所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成；所述规则约束函数根据所述超分辨率图像样本的空间一致性确定；所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。3.如权利要求1或2任一项所述的方法，其特征在于，在将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本之后，还包括：分别为所述真实图像样本以及所述超分辨率图像样本设置标签；其中，所述真实图像样本的标签置1，所述超分辨率图像样本的标签置0。4.如权利要求3所述的方法，其特征在于，所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述判别网络输出的判别概率生成。5.如权利要求4所述的方法，其特征在于，所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理；所述低分辨率图像在输入所述生成网络前进行...

【专利技术属性】
技术研发人员：吕春旭，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33