基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质。所述方法包括：将获取的第一图像和第二图像输入训练后的图像跨域转换神经网络，得到转换图像。其中，在对图像跨域转换神经网络进行训练时，利用颜色统计损失函数以及自结构保持损失函数对其进行参数调整，使得通过训练后的图像跨域转换神经网络转换得到的转换图像，保持第一图像的内容特征的同时具有第二图像的风格特征从而实现高质量的多模态地图像跨域转换。特征从而实现高质量的多模态地图像跨域转换。特征从而实现高质量的多模态地图像跨域转换。

【技术实现步骤摘要】
基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质


[0001]本申请涉及图像跨域迁移
，特别是涉及一种基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质。

技术介绍

[0002]跨域图像转换的主要目标是学习在源域和目标域内映射图像的函数。转换图像的内容应与输入的源域图像的内容相似，且转换图像的风格应与目标域的一致。该方向在风格转换、图像编辑、超分辨率和彩色化等领域得到了广泛的应用，受到了深度学习和计算机视觉领域研究人员的广泛关注。
[0003]早期的跨域图像转换方法使用成对样本对条件深层神经网络模型或简单回归模型进行监督训练。这些方法在许多应用程序场景中都是不切实际的，因为它们需要成对的数据。在没有配对样本的情况下，许多方法都是在无监督的情况下，利用潜在码和周期一致性约束，成功地实现了图像的转换。尽管以上方法都取得了直观、逼真的转换结果，但它们只能生成与实际情况不符的单峰转换结果。在给定一幅源域图像的情况下，有许多对应的目标域图像满足跨域图像转换的要求。为了生成多模态转换结果，人们提出了许多方法，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无监督神经网络的跨域图像转换方法，其特征在于，所述方法包括：获取第一图像和第二图像；将所述第一图像和第二图像输入训练后的图像跨域转换神经网络，得到转换图像；对所述图像跨域转换神经网络进行训练时，利用颜色统计损失函数以及自结构保持损失函数对其进行参数调整，使得通过所述训练后的图像跨域转换神经网络转换得到的所述转换图像，保持所述第一图像的内容特征的同时具有所述第二图像的风格特征。2.根据权利要求1所述的基于无监督神经网络的跨域图像转换方法，其特征在于，将所述第一图像和第二图像输入训练后的图像跨域转换神经网络后具体包括：所述训练后的图像跨域转换神经网络包括：内容编码模型、风格编码模型、AdaIN层模型以及解码器模型；将所述第一图像输入内容编码模型，得到与所述第一图像相关的内容语义特征；将所述第二图像输入风格编码模型，得到与所述第二图像相关的风格语义特征；将所述内容语义特征以及风格语义特征输入AdaIN层模型，得到具有内容特征以及风格特征的融合语义特征；将所述融合特征输入解码器模型，得到所述转换图像。3.根据权利要求1所述的基于无监督神经网络的跨域图像转换方法，其特征在于，所述风格特征为与颜色相关的风格特征。4.根据权利要求1所述的基于无监督神经网络的跨域图像转换方法，其特征在于，训练所述跨域图像转换神经网络包括：获取训练图像以及参考图像，其中，所述训练图像获取自源域图像集合，用于提供转换图像的内容特征，所述参考图形获取自目标域图像集合，用于提供转换图像的风格特征；将所述训练图像以及参考图像输入所述跨域图像转换神经网络，得到训练转换图像；根据所述训练转换图像、训练图像、参考图像、源域图像集合以及目标域图像集合计算所述颜色统计损失函数以及自结构保持损失函数，若各所述损失函数符合预设标准，则完成对所述跨域图像转换神经网络的训练；若各所述损失函数不符合预设要求，则对所述跨域图像转换神经网络的各参数进行调节，重新将内...

【专利技术属性】
技术研发人员：赵磊，王志忠，仇礼鸿，张惠铭，莫启航，林思寰，陈海博，李艾琳，左智文，邢卫，鲁东明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：