图像超分辨率模型训练方法、装置、计算机设备和介质制造方法及图纸

本申请涉及一种图像超分辨率模型训练方法、装置、计算机设备和存储介质。所述方法包括：获取第一分辨率样本图像，以及匹配的第二分辨率样本图像；第一分辨率低于第二分辨率；将第一分辨率样本图像以及第二分辨率样本图像，输入神经网络模型，用于切分成第一分辨率图像块，以及第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出预测图像块；基于预测图像块，以及第二分辨率图像块，从基准真相图像块库中选取基准图像块；根据基准图像块以及预测图像块，获取神经网络模型的损失值，对神经网络模型进行训练，神经网络模型满足预设条件时，得到图像超分辨率模型。采用本方法能够恢复更多的图像细节。复更多的图像细节。复更多的图像细节。

【技术实现步骤摘要】
图像超分辨率模型训练方法、装置、计算机设备和介质


[0001]本申请涉及图像处理
，特别是涉及一种图像超分辨率模型训练方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着图像处理技术的发展，出现了一种将低分辨率的图像重建成高分辨率图像的图像超分辨率技术，从而满足了高清显示的需求，在医学诊断成像，安全监控成像和卫星成像等任务中广泛应用。
[0003]目前，图像超分辨率处理可以通过将低分辨率图片输入预先训练的超分辨率模型，通过模型输出对应的高分辨率图像，这种模型通常是利用低分辨率图像的图像块和高分辨率图像的图像块的一对一的映射关系设置的损失函数进行模型训练，因此得到的高分辨率图像可能会存在细节缺失的现象。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种图像超分辨率模型训练方法、装置、计算机设备和存储介质。
[0005]一种图像超分辨率模型训练方法，所述方法包括：
[0006]获取第一分辨率样本图像，以及与所述第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；
[0007]将所述第一分辨率样本图像以及所述第二分辨率样本图像，输入当前神经网络模型；所述当前神经网络模型用于将所述第一分辨率样本图像切分成多个第一分辨率图像块，以及将所述第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出所述各第一分辨率图像块对应的预测图像块；
[0008]基于所述各第一分辨率图像块对应的预测图像块，以及所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块；
[0009]根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据所述损失值对所述当前神经网络模型进行训练，当所述当前神经网络模型满足预设条件时，得到图像超分辨率模型。
[0010]在其中一个实施例中，所述根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，包括：确定当前第一分辨率图像块对应的当前基准图像块，以及所述当前第一分辨率图像块对应的当前预测图像块；根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的损失值；获取各第一分辨率图像块对应的损失值，根据所述各第一分辨率图像块对应的损失值的平均值得到所述当前神经网络模型的损失
值。
[0011]在其中一个实施例中，所述根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的损失值，包括：根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的第一损失值；对所述当前预测图像块进行下采样处理，并获取下采样处理后的当前预测图像块对应的像素与所述当前第一分辨率图像块的像素的损失值，作为所述当前第一分辨率图像块对应的第二损失值；根据所述第一损失值以及所述第二损失值得到所述当前第一分辨率图像块对应的损失值。
[0012]在其中一个实施例中，所述根据所述第一损失值以及所述第二损失值得到所述当前低分辨率图像块对应的损失值，包括：获取所述当前预测图像块对应的像素标准差；若所述像素标准差大于预设的像素标准差阈值，则获取所述当前神经网络模型对应的生成器与判别器之间的第三损失值；根据所述第一损失值、所述第二损失值，以及所述第三损失值得到所述当前第一分辨率图像块对应的损失值。
[0013]在其中一个实施例中，所述基于所述各第一分辨率图像块对应的预测图像块，以及所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块，包括：获取基准真相图像块库中各第二分辨率图像块的像素与所述当前第一分辨率图像块对应的当前第二分辨率图像块的像素之间的第一欧几里得距离，以及获取所述各第二分辨率图像块的像素与所述当前第一分辨率图像块对应的当前预测图像块的像素之间的第二欧几里得距离；根据所述第一欧几里得距离，以及所述第二欧几里得距离，得到针对所述各第二分辨率图像块的相似度函数；将所述相似度函数的函数值最小对应的第二分辨率图像块，作为所述当前第一分辨率图像块对应的基准图像块。
[0014]在其中一个实施例中，所述根据所述第一欧几里得距离，以及所述第二欧几里得距离，得到针对所述各第二分辨率图像块的相似度函数，包括：获取与所述第一欧几里得距离对应的第一权重，以及与所述第二欧几里得距离对应的第二权重；利用所述第一权重以及所述第二权重，对所述第一欧几里得距离以及所述第二欧几里得距离进行加权求和处理，得到所述相似度函数。
[0015]在其中一个实施例中，所述得到图像超分辨率模型之后，还包括：获取待超分辨率处理的第一分辨率图像；将所述第一分辨率图像输入所述图像超分辨率模型，通过所述图像超分辨率模型输出所述第一分辨率图像对应的第二分辨率图像。
[0016]一种图像超分辨率模型训练装置，所述装置包括：
[0017]样本图像获取模块，用于获取第一分辨率样本图像，以及与所述第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；
[0018]网络模型输入模块，用于将所述第一分辨率样本图像以及所述第二分辨率样本图像，输入当前神经网络模型；所述当前神经网络模型用于将所述第一分辨率样本图像切分成多个第一分辨率图像块，以及将所述第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出所述各第一分辨率图像块对应的预测图像块；
[0019]基准图像获取模块，用于基于所述各第一分辨率图像块对应的预测图像块，以及
所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块；
[0020]网络模型训练模块，用于根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据所述损失值对所述当前神经网络模型进行训练，当所述当前神经网络模型满足预设条件时，得到图像超分辨率模型。
[0021]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0022]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0023]上述图像超分辨率模型训练方法、装置、计算机设备和存储介质，获取第一分辨率样本图像，以及与第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；将第一分辨率样本图像以及第二分辨率样本图像，输入当前神经网络模型；当前神经网络模型用于将第一分辨率样本图像切分成多个第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率模型训练方法，其特征在于，所述方法包括：获取第一分辨率样本图像，以及与所述第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；将所述第一分辨率样本图像以及所述第二分辨率样本图像，输入当前神经网络模型；所述当前神经网络模型用于将所述第一分辨率样本图像切分成多个第一分辨率图像块，以及将所述第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出所述各第一分辨率图像块对应的预测图像块；基于所述各第一分辨率图像块对应的预测图像块，以及所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块；根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据所述损失值对所述当前神经网络模型进行训练，当所述当前神经网络模型满足预设条件时，得到图像超分辨率模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，包括：确定当前第一分辨率图像块对应的当前基准图像块，以及所述当前第一分辨率图像块对应的当前预测图像块；根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的损失值；获取各第一分辨率图像块对应的损失值，根据所述各第一分辨率图像块对应的损失值的平均值得到所述当前神经网络模型的损失值。3.根据权利要求2所述的方法，其特征在于，所述根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的损失值，包括：根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的第一损失值；对所述当前预测图像块进行下采样处理，并获取下采样处理后的当前预测图像块对应的像素与所述当前第一分辨率图像块的像素的损失值，作为所述当前第一分辨率图像块对应的第二损失值；根据所述第一损失值以及所述第二损失值得到所述当前第一分辨率图像块对应的损失值。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一损失值以及所述第二损失值得到所述当前低分辨率图像块对应的损失值，包括：获取所述当前预测图像块对应的像素标准差；若所述像素标准差大于预设的像素标准差阈值，则获取所述当前神经网络模型对应的生成器与判别器之间的第三损失值；根据所述第一损失值、所述第二损失值，以及所述第三损失值得到所述当前第一分辨率图像块对应的损失值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述各第一分辨率图像块对应的预测图像块，以及所述各第一分辨率图像块对应的第二分...

【专利技术属性】
技术研发人员：李文博，周昆，亓鲁，蒋念娟，吕江波，贾佳亚，沈小勇，
申请(专利权)人：上海思谋科技有限公司，
类型：发明
国别省市：