一种使用对比学习和数据增强的单向图像转换方法技术

本发明专利技术公开了一种使用对比学习和数据增强的单向图像转换方法，包括如下步骤：分别从源域和目标域获取用于单向图像转换的训练数据集，输入预先构建的转换网络模型中，基于特征插值对训练数据集进行数据增强；训练数据集包括：输入图像和输出图像；将数据增强后的训练数据集输入转换网络模型中进行训练，通过对比学习建立目标函数，生成训练好的转换网络模型；将待转换的图像输入训练好的转换网络模型中，输出转换好的图像。可有效防止构建的转换网络模型判别器出现过度拟合的现象，且增大了网络的泛化能力，并且有效保证了样本之间的感知关系，提高了单向图像转换效率。提高了单向图像转换效率。提高了单向图像转换效率。

【技术实现步骤摘要】
一种使用对比学习和数据增强的单向图像转换方法


[0001]本专利技术涉及人工智能
，特别涉及一种使用对比学习和数据增强的单向图像转换方法。

技术介绍

[0002]图像到图像的转换实质上是通过训练使模型学习一个图像领域到另一个领域之间的映射关系。目前主流的方法是使用生成对抗网络。保证输出呈现目标域的外观，同时保留特定输入的结构或内容。从根本上说，这是一个分离问题：将需要跨域保存的内容与必须更改的外观分离开来。通常情况下，目标外观使用对抗性损失进行强制，而内容则使用循环一致性进行保证。虽然有效，但循环一致性背后的基本双射假设有时过于严格。完美的重建是很难实现的，尤其是当一个域的图像与另一个域相比具有额外的信息时。
[0003]另一种方法是鼓励输入中存在的图像关系类似地反映在输出中。例如，输入图像中感知相似的图片在输出中应该相似。关于预定义的距离，输出和输入图像共享相似的内容，输入图像之间的向量算法是使用基于边距的三元组丢失进行的，输入图像之间的距离在输出图像中应一致，网络应与几何变换相同。其中，TraVeLGAN、DistanceGA本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用对比学习和数据增强的单向图像转换方法，其特征在于，包括如下步骤：S1、分别从源域和目标域获取用于单向图像转换的训练数据集，输入预先构建的转换网络模型中，基于特征插值对所述训练数据集进行数据增强；所述训练数据集包括：输入图像和输出图像；S2、将数据增强后的所述训练数据集输入所述转换网络模型中进行训练，通过对比学习建立目标函数，生成训练好的转换网络模型；S3、将待转换的图像输入所述训练好的转换网络模型中，输出转换好的图像。2.如权利要求1所述的一种使用对比学习和数据增强的单向图像转换方法，其特征在于，所述步骤S1中，基于特征插值对所述训练数据集进行数据增强，包括：S11、将所述训练数据集在特征层面上进行插值，所述插值的数据为：e
′
＝λ
·
e1+(1
‑
λ)
·
e2上式中，e
’
表示所述插值的数据；λ表示插值权重，λ∈[0,1]；e1和e2表示两个特征向量，通过将x1和x2输入所述转换网络模型中的编码器获得，所述x1和x2表示所述源域中的两个随机样本；S12、根据约束限制，将所述插值的数据转换成保持特定内容信息的插值数据，输入所述转换网络模型中的解码器得到插值图像，对所述训练数据集进行数据增强；所述特定内容信息指所述训练数据集图像中物体的形状和位置。3.如权利要求2所述的一种使用对比学习和数据增强的单向图像转换方法，其特征在于，所述步骤S12中的约束限制为：上式中，表示内容损失；s
′
＝G2(G1(e
′
))，e
’
表示所述插值的数据，G1表示所述转换网络模型的生成器G的前半部分，G2表示所述转换网络模型的生成器G的后半部分；t1表示所述x1的内容信息；t2表示所述x2的内容信息；t
rand
表示x
rand
的内容信息，所述x
rand
表示所述源域中除了所述x1和所述x2的另外一个随机样本；φ(s
’
)表示所述s
’
经过预先构建的内容提取网络后的输出；φ(t1)表示所述t1经过所述内容提取网络后的输出；φ(t2)表示所述t2经过所述内容提取网络后的输出；φ(t
rand
)表示所述t
rand
经过所述内容提...

【专利技术属性】
技术研发人员：张贤坤，邢志强，张雪松，张翼英，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：