图像处理模型训练方法和装置制造方法及图纸

公开了一种图像处理模型训练方法和装置

【技术实现步骤摘要】
图像处理模型训练方法和装置


[0001]本公开涉及图像处理领域，更具体地涉及一种图像处理模型训练方法和装置
、
图像处理方法
、
计算设备
、
计算机可读存储介质及计算机程序产品
。

技术介绍

[0002]随着深度学习的发展和大规模图像数据集的出现，有很多自动化图像处理方法已经出现并且受到广泛关注，其中包括图像风格迁移（
Style Transfer
）
。
然而，相关技术的图像风格迁移模型和方法存在一些缺点，例如：配对样本图像缺乏的问题，这进而造成完全无监督的学习和训练过程；风格迁移的效果不够准确，使得所得融合图像不够真实
、
清晰
、
自然；等等
。
这些问题和缺点限制了图像风格迁移的普及和发展
。

技术实现思路

[0003]有鉴于此，本公开提供了一种图像处理模型训练方法和装置
、
图像处理方法
、
计算设备
、
计算机可读存储介质及计算机程序产品，从而缓解
、
减轻或甚至消除上述问题中的一些或全部以及其它可能的问题
。
[0004]根据本公开的一个方面，提出了一种图像处理模型训练方法，其包括：获取训练数据，所述训练数据包括第一样本图像
、
第二样本图像和第三样本图像，其中所述第一样本图像与所述第三样本图像具有相同的内容特征；将所述第一样本图像和所述第二样本图像输入到预设的图像处理模型，以得到融合了所述第一样本图像的内容特征和所述第二样本图像的风格特征的第一目标图像；通过特征图提取确定所述第二样本图像与所述第三样本图像的第一相似度；基于所述第一相似度
、
所述第二样本图像和所述第一目标图像，确定所述图像处理模型的第一损失；至少基于所述第一损失，确定所述图像处理模型的目标损失；基于所述目标损失，对所述图像处理模型的参数进行迭代更新直至所述目标损失满足预设条件
。
[0005]根据本公开一些实施例，所述至少基于所述第一损失，确定所述图像处理模型的目标损失，包括：将所述第一目标图像划分为多个第一图像块并将所述第二样本图像划分为多个第二图像块；针对所述第一目标图像中的每一个第一图像块，计算所述第二样本图像中的每一个第二图像块与该第一图像块的第二相似度；针对所述第一目标图像中的每一个第一图像块，根据所述第二样本图像中的每一个第二图像块与该第一图像块的第二相似度，从所述多个第二图像块中选择该第一图像块的相似图像块；根据所述第一目标图像中的每一个第一图像块及其相似图像块，确定所述图像处理模型的第二损失；至少基于所述第一损失和所述第二损失，确定所述图像处理模型的目标损失
。
[0006]根据本公开一些实施例，第一图像块与第二图像块的面积相同，所述计算所述第二样本图像中的每一个第二图像块与该第一图像块的第二相似度包括：针对所述第二样本图像中的每一个第二图像块，计算该第二图像块对应的第二向量与该第一图像块对应的第一向量之间的欧氏距离，其中第二向量由该第二图像块的各像素点的像素值构成，第一向
量由该第一图像块的各像素点的像素值构成；根据所述欧氏距离，确定所述第二相似度
。
[0007]根据本公开一些实施例，所述根据所述第一目标图像中的每一个第一图像块及其相似图像块，确定所述图像处理模型的第二损失包括：针对所述第一目标图像中的每一个第一图像块及其相似图像块，计算每一个第一图像块对应的第一向量与其相似图像块对应的第三向量之间的曼哈顿距离，所述第三向量由该相似图像块的各像素点的像素值构成；基于所有第一图像块及其相似图像块对应的曼哈顿距离的总和，确定所述图像处理模型的第二损失
。
[0008]根据本公开一些实施例，所述至少基于所述第一损失，确定所述图像处理模型的目标损失，包括：将所述第一样本图像和所述第三样本图像输入到预设的图像处理模型，以得到融合了所述第一样本图像的内容特征和所述第三样本图像的风格特征的第二目标图像；根据所述第三样本图像和所述第二目标图像确定所述图像处理模型的第三损失；至少基于所述第一损失和所述第三损失，确定所述图像处理模型的目标损失
。
[0009]根据本公开一些实施例，所述至少基于所述第一损失和所述第二损失，确定所述图像处理模型的目标损失，包括：将所述第一样本图像和所述第三样本图像输入到预设的图像处理模型，以得到融合了所述第一样本图像的内容特征和所述第三样本图像的风格特征的第二目标图像；根据所述第三样本图像和所述第二目标图像确定所述图像处理模型的第三损失；至少基于所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失
。
[0010]根据本公开一些实施例，所述至少基于所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失，包括：根据所述第二目标图像，确定所述图像处理模型的第一对抗损失；根据所述第一目标图像，确定所述图像处理模型的第二对抗损失；根据第一目标图像和第二样本图像，确定所述图像处理模型的联合块对抗损失；根据所述第一样本图像和所述第一目标图像，确定所述图像处理模型的内容损失；基于所述第一对抗损失
、
所述第二对抗损失
、
所述联合块对抗损失和所述内容损失中的至少一个以及所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失
。
[0011]根据本公开一些实施例，所述基于所述第一对抗损失
、
所述第二对抗损失
、
所述联合块对抗损失和所述内容损失中的至少一个以及所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失，包括：将所述第一损失
、
所述第二损失
、
所述第三损失
、
所述第一对抗损失
、
所述第二对抗损失
、
所述联合块对抗损失
、
和所述内容损失的加权和确定为所述目标损失
。
[0012]根据本公开一些实施例，所述通过特征图提取确定所述第二样本图像与所述第三样本图像的第一相似度，包括：分别从所述第二样本图像和所述第三样本图像提取第一特征图和第二特征图；计算第一特征图与第二特征图的关系矩阵；根据所述关系矩阵，确定所述第二样本图像与所述第三样本图像的第一相似度
。
[0013]根据本公开一些实施例，所述基于所述第一相似度
、
所述第二样本图像和所述第一目标图像，确定所述图像处理模型的第一损失，包括：基于所述第二样本图像和所述第一相似度，确定与第一目标图像对应的伪标签图像；根据所述第一目标图像和所述伪标签图像，确定所述图像处理模型的第一损失
。
[0014]根据本公开一些实施例，所述获取训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理模型训练方法，包括：获取训练数据，所述训练数据包括第一样本图像
、
第二样本图像和第三样本图像，其中所述第一样本图像与所述第三样本图像具有相同的内容特征；将所述第一样本图像和所述第二样本图像输入到预设的图像处理模型，以得到融合了所述第一样本图像的内容特征和所述第二样本图像的风格特征的第一目标图像；通过特征图提取确定所述第二样本图像与所述第三样本图像的第一相似度；基于所述第一相似度
、
所述第二样本图像和所述第一目标图像，确定所述图像处理模型的第一损失；至少基于所述第一损失，确定所述图像处理模型的目标损失；基于所述目标损失，对所述图像处理模型的参数进行迭代更新直至所述目标损失满足预设条件
。2.
根据权利要求1所述的方法，其中，所述至少基于所述第一损失，确定所述图像处理模型的目标损失，包括：将所述第一目标图像划分为多个第一图像块并将所述第二样本图像划分为多个第二图像块；针对所述第一目标图像中的每一个第一图像块，计算所述第二样本图像中的每一个第二图像块与该第一图像块的第二相似度；针对所述第一目标图像中的每一个第一图像块，根据所述第二样本图像中的每一个第二图像块与该第一图像块的第二相似度，从所述多个第二图像块中选择该第一图像块的相似图像块；根据所述第一目标图像中的每一个第一图像块及其相似图像块，确定所述图像处理模型的第二损失；至少基于所述第一损失和所述第二损失，确定所述图像处理模型的目标损失
。3.
根据权利要求2所述的方法，其中第一图像块与第二图像块的面积相同，所述计算所述第二样本图像中的每一个第二图像块与该第一图像块的第二相似度包括：针对所述第二样本图像中的每一个第二图像块，计算该第二图像块对应的第二向量与该第一图像块对应的第一向量之间的欧氏距离，其中第二向量由该第二图像块的各像素点的像素值构成，第一向量由该第一图像块的各像素点的像素值构成；根据所述欧氏距离，确定所述第二相似度
。4.
根据权利要求2所述的方法，其中所述根据所述第一目标图像中的每一个第一图像块及其相似图像块，确定所述图像处理模型的第二损失包括：针对所述第一目标图像中的每一个第一图像块及其相似图像块，计算每一个第一图像块对应的第一向量与其相似图像块对应的第三向量之间的曼哈顿距离，所述第三向量由该相似图像块的各像素点的像素值构成；基于所有第一图像块及其相似图像块对应的曼哈顿距离的总和，确定所述图像处理模型的第二损失
。5.
根据权利要求1所述的方法，其中，所述至少基于所述第一损失，确定所述图像处理模型的目标损失，包括：
将所述第一样本图像和所述第三样本图像输入到预设的图像处理模型，以得到融合了所述第一样本图像的内容特征和所述第三样本图像的风格特征的第二目标图像；根据所述第三样本图像和所述第二目标图像确定所述图像处理模型的第三损失；至少基于所述第一损失和所述第三损失，确定所述图像处理模型的目标损失
。6.
根据权利要求2所述的方法，其中，所述至少基于所述第一损失和所述第二损失，确定所述图像处理模型的目标损失，包括：将所述第一样本图像和所述第三样本图像输入到预设的图像处理模型，以得到融合了所述第一样本图像的内容特征和所述第三样本图像的风格特征的第二目标图像；根据所述第三样本图像和所述第二目标图像确定所述图像处理模型的第三损失；至少基于所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失
。7.
根据权利要求6所述的方法，其中，所述至少基于所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失，包括：根据所述第二目标图像，确定所述图像处理模型的第一对抗损失；根据所述第一目标图像，确定所述图像处理模型的第二对抗损失；根据第一目标图像和第二样本图像，确定所述图像处理模型的联合块对抗损失；根据所述第一样本图像和所述第一目标图像，确定所述图像处理模型的内容损失；基于所述第一对抗损失
、
所述第二对抗损失
、
所述联合块对抗损失和所述内容损失中的至少一个以及所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失
。8.
根据权利要求7所述的方法，其中，所述基于所述第一对抗损失
、
所述第二对抗损失
、
所述联合块对抗损失和所述内容损失中的至少一个以及所述第一损失
、
所述第二损失和所述第三损失，确定所述图像处理模型的目标损失，包括：将所述第一损失
、
所述第二损失
、
所述第三损失
、
所述第一对抗损失
、
所述第二对抗损失
、
所述联合块对抗损失
、
和所述内容损失的加权和确定为所述目标损失
。9.
根据权利要求1所述的...

【专利技术属性】
技术研发人员：何盛烽，李占胜，王君乐，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：