模型训练方法、超分辨率重建方法、装置、设备及介质制造方法及图纸

本申请公开了一种模型训练方法、超分辨率重建方法、装置、设备及介质，涉及人工智能领域，包括：获取对原始分辨率图像进行下采样得到的下采样图像，并对下采样图像进行特征提取以得到初始特征图；按照预设采样比率对初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于第一特征图和第二特征图构建对比损失函数；利用预设上采样方法对初始特征图进行处理得到超分辨率图像，基于原始分辨率图像和超分辨率图像构建L1损失函数；基于对比损失函数和L1损失函数构建总损失函数，并利用总损失函数对原始超分辨率模型进行训练。本申请通过构建对比损失函数并结合L1损失函数对原始超分辨率模型进行训练，以提高模型的性能。能。能。

【技术实现步骤摘要】
模型训练方法、超分辨率重建方法、装置、设备及介质


[0001]本专利技术涉及人工智能技术，特别涉及一种模型训练方法、超分辨率重建方法、装置、设备及介质。

技术介绍

[0002]超分辨率（Super Resolution，即SR）是从给定的低分辨率(Low Resolution ，即LR)图像中恢复高分辨率(High Resolution，即HR)图像的过程，是计算机视觉的一个经典应用。通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。而当前在使用超分辨率模型对图像进行重建，以得到相应的超分辨率图像时，仍存在图像质量较低、不清晰的问题。
[0003]综上，如何提高超分辨率模型的性能，以便利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像是目前有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种模型训练方法、超分辨率重建方法、装置、设备及介质，能够提高超分辨率模型的性能，以便利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。其具体方案如下：第一方面，本申请公开了一种超分辨率模型训练方法，包括获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
[0005]可选的，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型之前，还包括：按照预设下采样倍数对若干数量张原始分辨率图像进行下采样，以得到相应的下采样图像；基于所述原始分辨率图像和所述下采样图像构造用于训练所述原始超分辨率模型的训练集，其中，所述训练集中的训练样本包含所述原始分辨率图像以及对应的所述下采样图像。
[0006]可选的，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型，包括：
确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和批量大小；基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
[0007]可选的，所述基于所述第一特征图和所述第二特征图构建对比损失函数，包括：将所述第一特征图和所述第二特征图分别输入多层感知机网络，得到与所述第一特征图对应的第一输出值和与所述第二特征图对应的第二输出值；基于所述第一特征图和所述第二特征图以及所述第一输出值和所述第二输出值构建对比损失函数。
[0008]可选的，所述利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，包括：利用插值方法对所述初始特征图的像素点进行扩充，得到扩充后特征图；将所述扩充后特征图输入至最后一层卷积层的滤波器数量为三的卷积神经网络，以便通过所述卷积神经网络对所述扩充后特征图进行处理以降低所述扩充后特征图的通道数，得到通道数为三的超分辨率图像。
[0009]可选的，所述基于所述对比损失函数和所述L1损失函数构建总损失函数，包括：为所述对比损失函数和所述L1损失函数分配相应的权重系数；利用所述权重系数分别对所述对比损失函数和所述L1损失函数进行相应的加权，以构建总损失函数。
[0010]第二方面，本申请公开了一种图像超分辨率重建方法，包括：获取待重建低分辨率图像；利用前述公开的超分辨率模型训练方法训练得到的超分辨率模型对所述待重建低分辨率图像进行处理，以得到相应的超分辨率图像。
[0011]第三方面，本申请公开了一种超分辨率模型训练装置，包括特征提取模块，用于获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；对比损失函数构建模块，用于按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；L1损失函数构建模块，用于利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；模型训练模块，用于基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
[0012]第四方面，本申请公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的超分辨率模型训练方法的步骤。
[0013]第五方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的超分辨率模型训练方法的步骤。
[0014]可见，本申请首先获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；然后按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；接着利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；最后基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。由此可见，本申请在获得对原始分辨率图像进行下采样得到的下采样图后，先对下采样图进行特征提取以得到初始特征图，再对初始特征图进行两次随机采样，以得到初始特征图对应的第一特征图和第二特征图；然后基于第一特征图和第二特征图构建对比损失函数，并结合L1损失函数构建总损失函数对原始超分辨率模型进行训练，以得到性能更好的超分辨率模型，以便后续利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0016]图1为本申请公开的一种超分辨率模型训练方法流程图；图2为本申请公开的一种具体的超分辨率模型训练方法流程图；图3为本申请公开的一种具体的超分辨率模型训练方法流程图；图4为本申请公开的一种图像超分辨率重建方法流程图；图5为本申请公开的一种超分辨率模型训练装置结构示意图；图6为本申请公开的一种电子设备结构图。
具体实施方式
[0017]下面将结合本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率模型训练方法，其特征在于，包括获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。2.根据权利要求1所述的超分辨率模型训练方法，其特征在于，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型之前，还包括：按照预设下采样倍数对若干数量张原始分辨率图像进行下采样，以得到相应的下采样图像；基于所述原始分辨率图像和所述下采样图像构造用于训练所述原始超分辨率模型的训练集，其中，所述训练集中的训练样本包含所述原始分辨率图像以及对应的所述下采样图像。3.根据权利要求2所述的超分辨率模型训练方法，其特征在于，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型，包括：确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和批量大小；基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。4.根据权利要求1所述的超分辨率模型训练方法，其特征在于，所述基于所述第一特征图和所述第二特征图构建对比损失函数，包括：将所述第一特征图和所述第二特征图分别输入多层感知机网络，得到与所述第一特征图对应的第一输出值和与所述第二特征图对应的第二输出值；基于所述第一特征图和所述第二特征图以及所述第一输出值和所述第二输出值构建对比损失函数。5.根据权利要求1所述的超分辨率模型训练方法，其特征在于，所述利用预设上采样方法对所述初始特征图进行处理得到超...

【专利技术属性】
技术研发人员：张英杰，史宏志，温东超，赵健，崔星辰，尹云峰，葛沅，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：