模型训练、图像超分辨处理方法、装置、终端及存储介质制造方法及图纸

本申请提供一种模型训练、图像超分辨处理方法、装置、终端及存储介质，涉及模型训练技术领域。该方法包括：对样本低分辨率图像对应的原始高分辨率图像进行降采样，得到包括原始高分辨率的多个分辨率的高分辨率图像；分别采用多个特征提取分支，对样本低分辨率图像进行特征提取，得到多个层次的图像特征；采用特征融合模块，对多个层次的图像特征融合处理，得到样本低分辨率图像的融合特征；采用多个重建分支，对融合特征重建处理，得到多个分辨率的超分辨率图像；根据多个分辨率的高分辨率图像和对应的超分辨率图像，对神经网络模型训练。通过该神经网络模型对低分辨率图像恢复，生成的超分辨率图像所包含的语义信息更加丰富，清晰度也更高。

Model training, image super-resolution processing method, device, terminal and storage medium

【技术实现步骤摘要】
模型训练、图像超分辨处理方法、装置、终端及存储介质
本专利技术涉及模型训练
，具体而言，涉及一种模型训练、图像超分辨处理方法、装置、终端及存储介质。
技术介绍
图像分辨率指图像中存储的信息量，是每英寸图像内有多少个像素点。低分辨率图像清晰度较差，所包含的特征也较少。将低图像分辨率图像恢复为超分辨率图像，可以提高图像的清晰度，使得图像所包含的细节更加真实。相关技术中，通过设置多个特征提取块，对多个尺度特征提取块依次串联，以通过串联的多个特征提取块提取不同层次的图像特征，根据不同层次的图像特征生成超分辨率图像。但是，相关技术中，通过串联的多个特征提取块提取图像特征，直接生成超分辨率图像，会出现生成的超分辨率图像存在较多的噪声和伪影，导致生成的超分辨图像清晰度较差的问题。
技术实现思路
本专利技术的目的在于，针对上述现有技术中的不足，提供一种模型训练、图像超分辨处理方法、装置、终端及存储介质，以解决相关技术中，通过串联的多个特征提取块提取图像特征，直接生成超分辨率图像，会出现生成的超分辨率图像存在较多的噪声和伪影，导致生成的超分辨图像清晰度较差的问题。为实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种模型训练方法，所述模型训练方法应用于神经网络模型，所述神经网络模型包括：特征提取模块和重建模块，所述特征提取模块包括：多个特征提取分支和特征融合模块，不同的特征提取分支对应不同层次的图像特征；所述重建模块包括：多个重建分支，不同的重建分支对应不同的分辨率，后一分辨率的重建分支的输入为前一分辨率的重建分支的输出，其中，所述后一分辨率大于所述前一分辨率；所述方法包括：对输入的样本低分辨率图像对应的原始高分辨率图像进行至少一次降采样，得到包括所述原始高分辨率的多个分辨率的高分辨率图像；分别采用所述多个特征提取分支，对所述样本低分辨率图像进行特征提取，得到多个层次的图像特征；采用所述特征融合模块，对所述多个层次的图像特征进行融合处理，得到所述样本低分辨率图像的融合特征；分别采用所述多个重建分支，对所述融合特征进行重建处理，得到所述多个分辨率的超分辨率图像；其中，最后一个重建分支输出的图像为所述样本低分辨率图像对应的目标超分辨率图像；根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练。进一步地，所述根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练，包括：根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定初始神经网络模型的损失函数值；根据所述损失函数值，对所述神经网络模型的参数进行调节，直至调节后的神经网络模型的损失函数值收敛。进一步地，所述根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定所述神经网络模型的损失函数值，包括：根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定所述神经网络模型的像素损失值；根据所述多个分辨率的高分辨率图像和对应的超分辨率图像在预训练模型中预设层输出的特征图，确定所述神经网络模型的感知损失值；根据所述原始高分辨率图像，以及所述目标超分辨率图像，确定所述神经网络模型的对抗损失值；根据所述像素损失值、所述感知损失值以及所述对抗损失值，确定所述神经网络模型的损失函数值。进一步地，所述根据所述原始高分辨率图像，以及所述目标超分辨率图像，确定所述初始神经网络模型的对抗损失值，包括：采用判别器，确定所述原始高分辨率图像比所述目标超分辨率图像真实的概率，以及所述目标超分辨率图像比所述原始高分辨率图像虚假的概率；根据所述真实的概率以及所述虚假的概率，确定所述对抗损失值。进一步地，所述根据所述像素损失值、所述感知损失值以及所述对抗损失值，确定所述神经网络模型的损失函数值，包括：根据所述像素损失值、所述感知损失值以及所述对抗损失值，采用预设的加权算法，确定所述神经网络模型的损失函数值。进一步地，所述根据所述损失函数值，对所述神经网络模型的参数进行调节，直至调节后的神经网络模型的损失函数值收敛，包括：根据所述损失函数值，采用预设的梯度下降方法，对所述神经网络模型的参数进行调节，直至调节后的神经网络模型的损失函数值收敛。第二方面，本申请实施例还提供一种图像超分辨处理方法，所述方法应用于上述第一方面中任一所述的训练方法得到的神经网络模型，所述图像超分辨处理方法包括：获取输入的低分辨率图像；采用所述神经网络模型对所述低分辨率图像进行超分辨处理，得到所述低分辨率图像对应的目标超分辨率图像。第三方面，本申请实施例还提供一种模型训练装置，所述模型训练装置应用于神经网络模型，所述神经网络模型包括：特征提取模块和重建模块，所述特征提取模块包括：多个特征提取分支和特征融合模块，不同的特征提取分支对应不同层次的图像特征；所述重建模块包括：多个重建分支，不同的重建分支对应不同的分辨率，后一分辨率的重建分支的输入为前一分辨率的重建分支的输出，其中，所述后一分辨率大于所述前一分辨率；所述装置包括：降采样模块，用于对输入的样本低分辨率图像对应的原始高分辨率图像进行至少一次降采样，得到包括所述原始高分辨率的多个分辨率的高分辨率图像；提取模块，用于分别采用所述多个特征提取分支，对所述样本低分辨率图像进行特征提取，得到多个层次的图像特征；融合模块，用于采用所述特征融合模块，对所述多个层次的图像特征进行融合处理，得到所述样本低分辨率图像的融合特征；重建处理模块，用于分别采用所述多个重建分支，对所述融合特征进行重建处理，得到所述多个分辨率的超分辨率图像；其中，最后一个重建分支输出的图像为所述样本低分辨率图像对应的目标超分辨率图像；训练模块，用于根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练。进一步地，所述训练模块，还用于根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定初始神经网络模型的损失函数值；根据所述损失函数值，对所述神经网络模型的参数进行调节，直至调节后的神经网络模型的损失函数值收敛。进一步地，所述训练模块，还用于根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定所述神经网络模型的像素损失值；根据所述多个分辨率的高分辨率图像和对应的超分辨率图像在预训练模型中预设层输出的特征图，确定所述神经网络模型的感知损失值；根据所述原始高分辨率图像，以及所述目标超分辨率图像，确定所述神经网络模型的对抗损失值；根据所述像素损失值、所述感知损失值以及所述对抗损失值，确定所述神经网络模型的损失函数值。进一步地，所述训练模块，还用于采用判别器，确定所述原始高分辨率图像比所述目标超分辨率图像真实的概率，以及所述目标超分辨率图像比所述原始高分辨率图像虚假的概率；根据所述真实的概率以及所述虚假的概率，确定所述对抗损失值。进一步地，所述训练模本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，所述模型训练方法应用于神经网络模型，所述神经网络模型包括：特征提取模块和重建模块，所述特征提取模块包括：多个特征提取分支和特征融合模块，不同的特征提取分支对应不同层次的图像特征；所述重建模块包括：多个重建分支，不同的重建分支对应不同的分辨率，后一分辨率的重建分支的输入为前一分辨率的重建分支的输出，其中，所述后一分辨率大于所述前一分辨率；所述方法包括：/n对输入的样本低分辨率图像对应的原始高分辨率图像进行至少一次降采样，得到包括所述原始高分辨率的多个分辨率的高分辨率图像；/n分别采用所述多个特征提取分支，对所述样本低分辨率图像进行特征提取，得到多个层次的图像特征；/n采用所述特征融合模块，对所述多个层次的图像特征进行融合处理，得到所述样本低分辨率图像的融合特征；/n分别采用所述多个重建分支，对所述融合特征进行重建处理，得到所述多个分辨率的超分辨率图像；其中，最后一个重建分支输出的图像为所述样本低分辨率图像对应的目标超分辨率图像；/n根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述模型训练方法应用于神经网络模型，所述神经网络模型包括：特征提取模块和重建模块，所述特征提取模块包括：多个特征提取分支和特征融合模块，不同的特征提取分支对应不同层次的图像特征；所述重建模块包括：多个重建分支，不同的重建分支对应不同的分辨率，后一分辨率的重建分支的输入为前一分辨率的重建分支的输出，其中，所述后一分辨率大于所述前一分辨率；所述方法包括：
对输入的样本低分辨率图像对应的原始高分辨率图像进行至少一次降采样，得到包括所述原始高分辨率的多个分辨率的高分辨率图像；
分别采用所述多个特征提取分支，对所述样本低分辨率图像进行特征提取，得到多个层次的图像特征；
采用所述特征融合模块，对所述多个层次的图像特征进行融合处理，得到所述样本低分辨率图像的融合特征；
分别采用所述多个重建分支，对所述融合特征进行重建处理，得到所述多个分辨率的超分辨率图像；其中，最后一个重建分支输出的图像为所述样本低分辨率图像对应的目标超分辨率图像；
根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练，包括：
根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定初始神经网络模型的损失函数值；
根据所述损失函数值，对所述神经网络模型的参数进行调节，直至调节后的神经网络模型的损失函数值收敛。


3.根据权利要求2所述的方法，其特征在于，所述根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定所述神经网络模型的损失函数值，包括：
根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定所述神经网络模型的像素损失值；
根据所述多个分辨率的高分辨率图像和对应的超分辨率图像在预训练模型中预设层输出的特征图，确定所述神经网络模型的感知损失值；
根据所述原始高分辨率图像，以及所述目标超分辨率图像，确定所述神经网络模型的对抗损失值；
根据所述像素损失值、所述感知损失值以及所述对抗损失值，确定所述神经网络模型的损失函数值。


4.根据权利要求3所述的方法，其特征在于，所述根据所述原始高分辨率图像，以及所述目标超分辨率图像，确定所述初始神经网络模型的对抗损失值，包括：
采用判别器，确定所述原始高分辨率图像比所述目标超分辨率图像真实的概率，以及所述目标超分辨率图像比所述原始高分辨率图像虚假的概率；
根据所述真实的概率以及所述虚假的概率，确定所述对抗损失值。


5.根据权利要求3所述的方法，其特征在于，所述根据所述像素损失值、所述感知损失值以及所述对抗损失值，确定所述神经网络模型的损失函数值，包括：
根据...

【专利技术属性】
技术研发人员：陈伟民，袁燚，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33