一种模糊图像生成方法、网络模型训练方法及装置制造方法及图纸

本发明专利技术实施例提供了一种模糊图像生成方法、网络模型训练方法及装置，涉及图像处理技术领域。该方法包括：获取第一图像集合中各个图像的模糊核，生成模糊核池；第一图像集合包括多个分辨率小于第一阈值的图像；从模糊核池中选取第二图像集合中的各个图像对应的模糊核；第二图像集合包括多个分辨率大于第二阈值的图像；通过各个图像对应的模糊核对第二图像集合中的图像进行降质，获取第二图像集合中各个图像对应的模糊图像。本发明专利技术实施例用于解决现有技术中获取的训练数据集中模糊图像与真实的模糊图像的差异很大的问题。实的模糊图像的差异很大的问题。实的模糊图像的差异很大的问题。

【技术实现步骤摘要】
一种模糊图像生成方法、网络模型训练方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种模糊图像生成方法、网络模型训练方法及装置。

技术介绍

[0002]视频修复任务是视频画质增强中的重点业务。目前使用最为广泛的一种视频修复方式为：获取训练数据集，使用获取的训练数据集对网络模型进行训练获取视频修复网络模型，最终通过视频修复网络模型进行视频修复。由于训练数据集直接决定获取的视频修复网络模型的模型性能，因此如何获取与真实数据更加吻合的训练数据集已成为本领域的研究热点之一。
[0003]现有技术中普遍采用的方法为：获取包括多个清晰图像的高质量图像集合，然后采用Bicubic降采样等降质方式生成高质量图像集合中各个清晰图像对应的模糊图像，最后将高质量图像集合中的清晰图像以及对应的模糊图像作为训练数据集。然而，采用Bicubic降采样等降质方式获取的模糊图像与真实的模糊图像的差异很大。由于通过现有技术中的训练数据集生成方法获取的训练数据集中的模糊图像与真实的模糊图像的差异很大，因此训练得到的视频修复网络模型的性能非常不理想。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种模糊图像生成方法、网络模型训练方法及装置，用于解决现有技术中获取的训练数据集中模糊图像与真实的模糊图像的差异很大的问题。
[0005]为了实现上述目的，本专利技术实施例提供技术方案如下：
[0006]第一方面，本专利技术的实施例提供了一种模糊图像生成方法，包括：
[0007]获取第一图像集合中各个图像的模糊核，生成模糊核池；所述第一图像集合包括多个分辨率小于第一阈值的图像；
[0008]从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
[0009]通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
[0010]作为本专利技术实施例一种可选的实施方式，所述获取第一图像集合中各个图像的模糊核，包括：
[0011]随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；
[0012]将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；
[0013]将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；
[0014]通过所述预测模糊核对所述第一图像进行降质，获取第二图像；
[0015]基于所述第二图像和所述目标图像判断是否满足收敛条件；
[0016]若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；
[0017]若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
[0018]作为本专利技术实施例一种可选的实施方式，所述更新模型参数和/或模型输入，包括：
[0019]更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
[0020]作为本专利技术实施例一种可选的实施方式，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：
[0021]针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。
[0022]作为本专利技术实施例一种可选的实施方式，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：
[0023]基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合；
[0024]将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组；
[0025]基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合；
[0026]对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。
[0027]作为本专利技术实施例一种可选的实施方式，所述第一图像集合由第一视频的图像帧组成，所述第二图像集合由第二视频的图像帧组成；
[0028]所述基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合，包括：基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一个所述第一子图像集合；
[0029]所述基于图像的场景将所述第一图像集合中的图像划分为多个第二子图像集合，包括：基于图像的场景将所述第二视频划分为多个第二视频片段，并分别将各个所述第二视频片段的图像帧划分一个所述第二子图像集合。
[0030]第二方面，本专利技术的实施例提供了一种网络模型训练方法，包括：
[0031]获取样本图像集合，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像；
[0032]通过第一方面任一项所述的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像；
[0033]根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集；
[0034]通过所述训练数据集对用于对模糊图像进行修复的图像修复网络模型进行训练。
[0035]第三方面，本专利技术的实施例提供了一种模糊图像生成装置，包括：
[0036]获取单元，用于获取第一图像集合中各个图像的模糊核；生成模糊核池，所述第一图像集合包括多个分辨率小于第一阈值的图像；
[0037]选取单元，用于从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
[0038]处理单元，用于通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
[0039]作为本专利技术实施例一种可选的实施方式，所述获取单元，具体用于随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；通过所述预测模糊核对所述第一图像进行降质，获取第二图像；基于所述第二图像和所述目标图像判断是否满足收敛条件；若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
[0040]作为本专利技术实施例一种可选的实施方式，所述获取单元，具体用于更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
[0041]作为本专利技术实施例一种可选的实施方式，所述选取单元，具体用于针对所述第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模糊图像生成方法，其特征在于，包括：获取第一图像集合中各个图像的模糊核，生成模糊核池；所述第一图像集合包括多个分辨率小于第一阈值的图像；从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。2.根据权利要求1所述的方法，其特征在于，所述获取第一图像集合中各个图像的模糊核，包括：随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；通过所述预测模糊核对所述第一图像进行降质，获取第二图像；基于所述第二图像和所述目标图像判断是否满足收敛条件；若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。3.根据权利要求2所述的方法，其特征在于，所述更新模型参数和/或模型输入，包括：更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。4.根据权利要求1所述的方法，其特征在于，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。5.根据权利要求1所述的方法，其特征在于，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合；将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组；基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合；对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。6.根据权利要求5所述的方法，其特征在于，所述第一图像集合由第一视频的图像帧组成，所述第二图像集合由第二视频的图像帧组成；所述基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合，包括：基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一...

【专利技术属性】
技术研发人员：董航，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：