图像生成方法及装置、训练图像生成模型的方法及装置制造方法及图纸

本公开涉及图像生成方法及装置、训练图像生成模型的方法及装置、电子设备、计算机可存储介质，涉及人工智能技术领域。图像生成方法包括：获取待处理清晰图像和噪声图像；利用所述噪声图像，对所述待处理清晰图像加噪，得到中间图像；确定所述待处理清晰图像的景深信息；根据所述中间图像和所述景深信息，利用图像生成模型，生成运动偏移图，其中，所述运动偏移图用于描述所述待处理清晰图像中每个像素的运动轨迹；根据所述运动偏移图和所述待处理清晰图像，利用所述图像生成模型，生成相应的合成模糊图像。根据本公开，可以使得生成的模糊图像更加符合真实场景，提高图像生成模型生成模糊图像的准确性。成模糊图像的准确性。成模糊图像的准确性。

【技术实现步骤摘要】
图像生成方法及装置、训练图像生成模型的方法及装置


[0001]本公开涉及人工智能
，特别涉及图像生成方法及装置、训练图像生成模型的方法及装置、电子设备、计算机可存储介质。

技术介绍

[0002]图像去模糊一直是计算机视觉中的经典问题，旨在从一张模糊图中恢复出一张潜在的清晰图。近年来，由于深度学习的成功，基于学习的图像去模糊技术已被广泛研究，并获得良好的性能。随着卷积神经网络拟合能力的提高，许多基于学习的方法被提出，用于直接从模糊图中恢复潜在的清晰图像。
[0003]图像去模糊方法的性能，严重依赖于训练所用的数据集。为了得到大规模、高质量的模糊图和清晰图构成的数据集，以用于去模糊方法的训练，一些用于合成模糊图像的方法被提出。
[0004]相关技术中，利用随机噪声向量，对清晰图像进行加噪，并利用图像生成模型对加噪后的图像进行处理，直接生成与清晰图像对应的模糊图像。

技术实现思路

[0005]相关技术，将随机噪声向量作为合成模糊图像的模糊源，在模糊合成的过程中，没有结合清晰图像的语义信息，且模糊源没有与真实场景中模糊产生过程类似的物理意义，从而所生成的模糊图像与真实的模糊图像具有一定差距，生成模糊图像的准确性较差。
[0006]针对上述技术问题，本公开提出了一种解决方案，可以使得生成的模糊图像更加符合真实场景，提高图像生成模型生成模糊图像的准确性。
[0007]根据本公开的第一方面，提供了一种图像生成方法，包括：获取待处理清晰图像和噪声图像；利用所述噪声图像，对所述待处理清晰图像加噪，得到中间图像；确定所述待处理清晰图像的景深信息；根据所述中间图像和所述景深信息，利用图像生成模型，生成运动偏移图，其中，所述运动偏移图用于描述所述待处理清晰图像中每个像素的运动轨迹；根据所述运动偏移图和所述待处理清晰图像，利用所述图像生成模型，生成相应的合成模糊图像。
[0008]根据本公开的第二方面，提供了一种训练图像生成模型的方法，包括：获取目标清晰图像和噪声图像；利用所述噪声图像，对所述目标清晰图像加噪，得到中间图像；确定所述目标清晰图像的景深信息；根据所述中间图像和所述景深信息，利用所述图像生成模型，生成运动偏移图，其中，所述运动偏移图用于描述所述目标清晰图像中每个像素的运动轨迹；根据所述运动偏移图和所述目标清晰图像，利用所述图像生成模型，生成相应的合成模糊图像；根据所述合成模糊图像和所述目标清晰图像，训练所述图像生成模型。
[0009]在一些实施例中，所述图像生成模型包括运动偏移图合成网络，所述运动偏移图合成网络包括空间自适应归一化SPADE模块，生成运动偏移图包括：利用所述运动偏移图合成网络，对所述中间图像进行处理，得到相应的初始特征图；利用所述SPADE模块，对所述景
深信息进行卷积处理，得到用于对所述初始特征图进行归一化的调制参数；根据所述调制参数，利用所述SPADE模块，对所述初始特征图，进行归一化处理，得到目标特征图；根据所述目标特征图，利用运动偏移图合成网络，生成所述运动偏移图。
[0010]在一些实施例中，所述运动偏移图合成网络包括多个串联的语义感知模块，每个语义感知模块包括依次串联的所述SPADE模块、激活层和卷积层，其中，第一个语义感知模块的输入包括所述初始特征图和所述景深信息，其他语义感知模块的输入包括串联在所述其他语义感知模块之前的语义感知模块的输出和所述景深信息。
[0011]在一些实施例中，所述景深信息包括景深图，利用所述SPADE模块，对所述景深信息进行卷积处理包括：对输入到其他语义感知模块的景深图，进行分辨率调整，其中，调整后的景深图的分辨率与串联在所述其他语义感知模块之前的语义感知模块的输出的分辨率相同；利用所述SPADE模块，对调整后的景深图，进行卷积处理。
[0012]在一些实施例中，所述运动偏移图合成网络还包括多个串联的语义感知模块以及在最后一个语义感知模块之后串联的至少一个卷积层，根据所述目标特征图，生成所述运动偏移图包括：利用在最后一个语义感知模块之后串联的至少一个卷积层，对所述目标特征图进行卷积处理，得到所述运动偏移图。
[0013]在一些实施例中，所述运动偏移图合成网络还包括残差网络，利用所述图像生成模型，对所述中间图像进行处理，得到相应的初始特征图包括：利用所述残差网络，对所述中间图像进行处理，得到相应的初始特征图。
[0014]在一些实施例中，获取目标清晰图像包括：对原始清晰图像进行随机裁剪，得到所述目标清晰图像。
[0015]在一些实施例中，根据所述合成模糊图像和所述目标清晰图像，训练所述图像生成模型包括：对与所述原始清晰图像对应的原始真实模糊图像，进行随机裁剪，得到目标真实模糊图像；根据所述合成模糊图像、所述目标清晰图像和所述原始真实模糊图像，训练所述图像生成模型。
[0016]在一些实施例中，训练所述图像生成模型包括：利用预训练的卷积神经网络，生成与所述合成模糊图像对应的第一特征以及与所述目标清晰图像对应的第二特征；根据所述第一特征和所述第二特征，确定第一损失值，其中，所述第一损失值表征所述第一特征和所述第二特征之间的差异程度；利用所述第一损失值，训练所述图像生成模型。
[0017]在一些实施例中，训练所述图像生成模型包括：将与所述原始清晰图像对应的原始真实模糊图像以及所述合成模糊图像，输入预训练的判别器，得到判别器结果；根据所述判别器结果，确定第二损失值，其中，所述第二损失值表征所述原始真实模糊图像与所述合成模糊图像之间的差异程度；利用所述第二损失值，训练所述图像生成模型。
[0018]在一些实施例中，训练所述图像生成模型包括：根据所述运动偏移图，确定第三损失值，其中，所述第三损失值表征所述运动偏移图中的每条运动轨迹的偏移量；利用所述第三损失值，训练所述图像生成模型。
[0019]在一些实施例中，训练所述图像生成模型包括：根据所述运动偏移图，确定第四损失值，其中，所述第四损失值表征所述运动偏移图中的相邻运动轨迹的差异程度；利用所述第四损失值，训练所述图像生成模型。
[0020]在一些实施例中，所述图像生成模型包括可变形卷积网络，利用所述图像生成模
型，生成相应的合成模糊图像包括：利用所述可变形卷积网络，生成所述合成模糊图像。
[0021]根据本公开第三方面，提供了一种图像生成装置，包括：获取模块，被配置为获取待处理清晰图像和噪声图像；加噪模块，被配置为利用所述噪声图像，对所述待处理清晰图像加噪，得到中间图像；确定模块，被配置为确定所述待处理清晰图像的景深信息；第一生成模块，被配置为根据所述中间图像和所述景深信息，利用图像生成模型，生成运动偏移图，其中，所述运动偏移图用于描述所述待处理清晰图像中每个像素的运动轨迹；第二生成模块，被配置为根据所述运动偏移图和所述待处理清晰图像，利用所述图像生成模型，生成相应的合成模糊图像。
[0022]根据本公开第四方面，提供了一种训练图像生成模型的装置，包括：获取模块，被配置为获取目标清晰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，包括：获取待处理清晰图像和噪声图像；利用所述噪声图像，对所述待处理清晰图像加噪，得到中间图像；确定所述待处理清晰图像的景深信息；根据所述中间图像和所述景深信息，利用图像生成模型，生成运动偏移图，其中，所述运动偏移图用于描述所述待处理清晰图像中每个像素的运动轨迹；根据所述运动偏移图和所述待处理清晰图像，利用所述图像生成模型，生成相应的合成模糊图像。2.一种训练图像生成模型的方法，包括：获取目标清晰图像和噪声图像；利用所述噪声图像，对所述目标清晰图像加噪，得到中间图像；确定所述目标清晰图像的景深信息；根据所述中间图像和所述景深信息，利用所述图像生成模型，生成运动偏移图，其中，所述运动偏移图用于描述所述目标清晰图像中每个像素的运动轨迹；根据所述运动偏移图和所述目标清晰图像，利用所述图像生成模型，生成相应的合成模糊图像；根据所述合成模糊图像和所述目标清晰图像，训练所述图像生成模型。3.根据权利要求1或2所述的方法，其中，所述图像生成模型包括运动偏移图合成网络，所述运动偏移图合成网络包括空间自适应归一化SPADE模块，生成运动偏移图包括：利用所述运动偏移图合成网络，对所述中间图像进行处理，得到相应的初始特征图；利用所述SPADE模块，对所述景深信息进行卷积处理，得到用于对所述初始特征图进行归一化的调制参数；根据所述调制参数，利用所述SPADE模块，对所述初始特征图，进行归一化处理，得到目标特征图；根据所述目标特征图，利用运动偏移图合成网络，生成所述运动偏移图。4.根据权利要求3所述的方法，其中，所述运动偏移图合成网络包括多个串联的语义感知模块，每个语义感知模块包括依次串联的所述SPADE模块、激活层和卷积层，其中，第一个语义感知模块的输入包括所述初始特征图和所述景深信息，其他语义感知模块的输入包括串联在所述其他语义感知模块之前的语义感知模块的输出和所述景深信息。5.根据权利要求4所述的方法，其中，所述景深信息包括景深图，利用所述SPADE模块，对所述景深信息进行卷积处理包括：对输入到其他语义感知模块的景深图，进行分辨率调整，其中，调整后的景深图的分辨率与串联在所述其他语义感知模块之前的语义感知模块的输出的分辨率相同；利用所述SPADE模块，对调整后的景深图，进行卷积处理。6.根据权利要求3所述的方法，其中，所述运动偏移图合成网络还包括多个串联的语义感知模块以及在最后一个语义感知模块之后串联的至少一个卷积层，根据所述目标特征图，生成所述运动偏移图包括：利用在最后一个语义感知模块之后串联的至少一个卷积层，对所述目标特征图进行卷积处理，得到所述运动偏移图。
7.根据权利要求3所述的方法，其中，所述运动偏移图合成网络还包括残差网络，利用所述图像生成模型，对所述中间图像进行处理，得到相应的初始特征图包括：利用所述残差网络，对所述中间图像进行处理，得到相应的初始特征图。8.根据权利要求2所述的方法，其中，获取目标清晰图像包括：对原始清晰图像进行随机裁剪，得到所述目标清晰图像。9.根据权利要求8所述的方法，其中，根据所述合成模糊图像和所述目标清晰图像，训练所述图像生成模型包括：对与所述原始清晰图像对应的原始真实模...

【专利技术属性】
技术研发人员：王超岳，刘大庆，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：