图像生成方法及其模型训练方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种图像生成模型的训练方法及图像生成方法、装置、设备及计算机存储介质。该方法包括：根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像；其中，所述退化处理用于根据目标参数值组合对图像进行至少两种图像处理以降低图像的清晰度，所述第二图像的清晰度低于所述第一图像，所述目标参数值组合包括与每种所述图像处理对应的参数值；根据所述第一图像和所述第二图像，对原始图像生成模型进行训练，得到训练完成的图像生成模型，其中，所述图像生成模型用于对输入的图像进行修复。根据本发明专利技术，可以将输入图像生成模型的低清晰度图像修复成去噪效果及视觉效果更好的高清晰度图像。

Image generation method and model training method, device and electronic equipment

【技术实现步骤摘要】
图像生成方法及其模型训练方法、装置及电子设备
本专利技术涉及机器学习
，更具体地，涉及一种图像生成模型的训练方法、一种图像生成方法、一种图像生成模型的训练装置、一种图像生成装置以及一种电子设备。
技术介绍
现有的基于深度学习的高清晰度图像生成方法，主要思路是基于卷积神经网络算法，输入大量的高清晰度图像和低清晰度图像，经过卷积神经网络算法的训练，得到高清晰度图像与低清晰度图像之间的映射关系。这样，输入一张低清晰度图像，即可经过卷积神经网络的计算输出对应的高清晰度图像，从而实现图像修复。但是，在同一条件、同一场景下无法获取到根据高清晰度图像获取到对应的低清晰度图像，因此，如何模拟真实的低清晰度图像用于卷积神经网络的训练是十分重要的。现有的传统方案主要是对高清晰度图像进行下采样、加模糊、加噪声等简单的方式来得到对应的低清晰度图像。但现实生活中真实的低清晰度图像是多种多样的，真实的低清晰度图像的失真过程是复杂的，通过上述方案很难模拟出真实的低清晰度图像，这就导致训练得到的低清晰度图像与高清晰度图像之间的映射关系并不准确，使得根据该卷积神经网络算法计算输出的高清晰度图像的去噪效果不好，从而导致视觉效果不好。因此，需要提供一种新的方法来提升去噪效果及视觉效果。
技术实现思路
本专利技术实施例的一个目的是提供一种图像生成模型的训练的新的技术方案。根据本专利技术的第一方面，提供了一种图像生成方法，所述方法包括：根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像；其中，所述退化处理用于根据目标参数值组合对图像进行至少两种图像处理以降低图像的清晰度，所述第二图像的清晰度低于所述第一图像，所述目标参数值组合包括与每种所述图像处理对应的参数值；根据所述第一图像和所述第二图像，对原始图像生成模型进行训练，得到训练完成的图像生成模型，其中，所述图像生成模型用于对输入的图像进行修复。可选地，根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像包括：根据所述目标参数值组合中的第一参数值，对所述第一图像进行调整大小处理，得到第一中间图像，其中，所述调整大小处理用于通过调整图像尺寸以降低图像清晰度；根据所述目标参数值组合中的第二参数值，对所述第一中间图像进行高斯模糊处理，得到第二中间图像；根据所述目标参数值组合中的第三参数值，对所述第二中间图像进行高斯噪声处理，得到第三中间图像，其中，所述高斯噪声处理用于在图像中添加高斯噪声；根据所述目标参数值组合中的第四参数值，对所述第三中间图像进行压缩处理，得到所述第二图像，其中，所述压缩处理用于在图像中添加压缩噪声。可选地，在所述根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像的步骤之前，所述方法还包括：对第三图像按照不同的调整参数值进行调整大小处理，得到第一图像集；对所述第一图像集中的每个图像分别按照不同的模糊参数值进行高斯模糊处理，得到第二图像集；对所述第二图像集中的每个图像分别按照不同的噪声参数值进行高斯噪声处理，得到第三图像集；对所述第三图像集中的每个图像分别按照不同的压缩参数值进行压缩处理，得到第四图像集；在所述第四图像集中，根据与所述第三图像相关联的第四图像确定出目标图像，其中，所述第四图像的清晰度小于所述第三图像，所述目标图像与所述第四图像的相似度大于第一阈值；将得到所述第四图像的调整参数值、模糊参数值、噪声参数值、压缩参数值确定为所述目标参数值组合。可选地，在所述第四图像集中，根据与所述第三图像相关联的第四图像确定出目标图像，包括：计算所述第四图像集中的每个图像对应的客观评价指标值；根据所述客观评价指标值对所述第四图像集中的图像进行排序；根据排序从所述第四图像集中选择预设数量个图像，分别与所述第四图像进行比较；将所述预设数量个图像中与所述第四图像的相似度大于所述第一阈值的图像确定为所述目标图像。可选地，所述客观评价指标包括：峰值信噪比PSNR，结构相似性SSIM以及多层级结构相似性MS-SSIM。根据本专利技术的第二方面，还提供一种图像生成方法，所述方法包括：获取待处理图像；将所述待处理图像输入图像生成模型，得到所述图像生成模型输出的修复图像；其中，所述图像生成模型根据第一图像和第二图像对原始图像生成模型进行训练获得，所述第二图像为根据预设的图像退化处理方式，对所述第一图像进行退化处理获得，所述退化处理用于根据目标参数值组合对图像进行至少两种图像处理以降低图像的清晰度，所述第二图像的清晰度低于所述第一图像，所述目标参数值组合包括与每种所述图像处理对应的参数值。根据本专利技术的第三方面，还提供一种图像生成模型的训练装置，所述装置包括：退化处理模块，用于根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像对应的第二图像数据集；其中，所述退化处理用于根据目标参数值组合对图像进行至少两种图像处理以降低图像的清晰度，所述第二图像的清晰度低于所述第一图像，所述目标参数值组合包括与每种所述图像处理对应的参数值；模型训练模块，用于根据所述第一图像和所述第二图像，对原始图像生成模型进行训练，得到训练完成的图像生成模型，其中，所述图像生成模型用于对输入的图像进行修复。可选地，所述退化处理模块具体用于：根据所述目标参数值组合中的第一参数值，对所述第一图像进行调整大小处理，得到第一中间图像，其中，所述调整大小处理用于通过调整图像尺寸以降低图像清晰度；根据所述目标参数值组合中的第二参数值，对所述第一中间图像进行高斯模糊处理，得到第二中间图像；根据所述目标参数值组合中的第三参数值，对所述第二中间图像进行高斯噪声处理，得到第三中间图像，其中，所述高斯噪声处理用于在图像中添加高斯噪声；根据所述目标参数值组合中的第四参数值，对所述第三中间图像进行压缩处理，得到所述第二图像，其中，所述压缩处理用于在图像中添加压缩噪声。可选地，所述退化处理模块还用于：对第三图像按照不同的调整参数值进行调整大小处理，得到第一图像集；对所述第一图像集中的每个图像分别按照不同的模糊参数值进行高斯模糊处理，得到第二图像集；对所述第二图像集中的每个图像分别按照不同的噪声参数值进行高斯噪声处理，得到第三图像集；对所述第三图像集中的每个图像分别按照不同的压缩参数值进行压缩处理，得到第四图像集；在所述第四图像集中，根据与所述第三图像相关联的第四图像确定出目标图像，其中，所述第四图像的清晰度小于所述第三图像，所述目标图像与所述第四图像的相似度大于第一阈值；将得到所述第四图像的调整参数值、模糊参数值、噪声参数值、压缩参数值确定为所述目标参数值组合。可选地，所述退化处理模块还用于：计算所述第四图像集中的每个图像对应的客观评价指标值；根据所述客观评价指标值对所述第四图像集中的图像进行排序；...

【技术保护点】
1.一种图像生成模型的训练方法，其特征在于，所述方法包括：/n根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像；其中，所述退化处理用于根据目标参数值组合对图像进行至少两种图像处理以降低图像的清晰度，所述第二图像的清晰度低于所述第一图像，所述目标参数值组合包括与每种所述图像处理对应的参数值；/n根据所述第一图像和所述第二图像，对原始图像生成模型进行训练，得到训练完成的图像生成模型，其中，所述图像生成模型用于对输入的图像进行修复。/n

【技术特征摘要】
1.一种图像生成模型的训练方法，其特征在于，所述方法包括：
根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像；其中，所述退化处理用于根据目标参数值组合对图像进行至少两种图像处理以降低图像的清晰度，所述第二图像的清晰度低于所述第一图像，所述目标参数值组合包括与每种所述图像处理对应的参数值；
根据所述第一图像和所述第二图像，对原始图像生成模型进行训练，得到训练完成的图像生成模型，其中，所述图像生成模型用于对输入的图像进行修复。


2.根据权利要求1所述的方法，其特征在于，根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像包括：
根据所述目标参数值组合中的第一参数值，对所述第一图像进行调整大小处理，得到第一中间图像，其中，所述调整大小处理用于通过调整图像尺寸以降低图像清晰度；
根据所述目标参数值组合中的第二参数值，对所述第一中间图像进行高斯模糊处理，得到第二中间图像；
根据所述目标参数值组合中的第三参数值，对所述第二中间图像进行高斯噪声处理，得到第三中间图像，其中，所述高斯噪声处理用于在图像中添加高斯噪声；
根据所述目标参数值组合中的第四参数值，对所述第三中间图像进行压缩处理，得到所述第二图像，其中，所述压缩处理用于在图像中添加压缩噪声。


3.根据权利要求1或2所述的方法，其特征在于，在所述根据预设的图像退化处理方式，对第一图像进行退化处理，得到第二图像的步骤之前，所述方法还包括：
对第三图像按照不同的调整参数值进行调整大小处理，得到第一图像集；
对所述第一图像集中的每个图像分别按照不同的模糊参数值进行高斯模糊处理，得到第二图像集；
对所述第二图像集中的每个图像分别按照不同的噪声参数值进行高斯噪声处理，得到第三图像集；
对所述第三图像集中的每个图像分别按照不同的压缩参数值进行压缩处理，得到第四图像集；
在所述第四图像集中，根据与所述第三图像相关联的第四图像确定出目标图像，其中，所述第四图像的清晰度小于所述第三图像，所述目标图像与所述第四图像的相似度大于第一阈值；
将得到所述目标图像的调整参数值、模糊参数值、噪声参数值、压缩参数值确定为所述目标参数值组合。


4.根据权利要求3所述的方法，其特征在于，在所述第四图像集中，根据与所述第三图像相关联的第四图像确定出目标图像，包括：
计算所述第四图像集中的每个图像对应的客观评价指标值；
根据所述客观评价指标值对所述第四图像集中的图像进行排序；
根据排序从所述第四图像集中选择预设数量个图...

【专利技术属性】
技术研发人员：李雅文，贺沁雯，李果，张玉梅，张文杰，樊鸿飞，蔡媛，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11