用于服装图像特定相关区域的风格迁移模型及方法技术

技术编号:26532458 阅读:74 留言:0更新日期:2020-12-01 14:15
本发明专利技术涉及一种用于服装图像特定相关区域的风格迁移模型及方法,本发明专利技术利用注意力机制和循环生成对抗网络相结合,可实现以下两个目标:(1)在复杂背景和光照变化的服装图像中,实现对特定的局部区域以及相关区域的控制,而且避免风格迁移区域边界伪影。(2)对选择的局部以及相关区域实现无需配对的服装图像风格迁移。我们提出了一个融合注意力机制和循环生成对抗网络的服装特定相关区域风格迁移模型,其中循环生成对抗网络负责服装图像局部以及相关区域无配对的风格迁移。在模型的核心,本申请设计了一种嵌入注意力机制的生成器架构,以实现对服装图像特定局部区域以及相关区域的控制,实现风格迁移边缘区域的平滑效果。

【技术实现步骤摘要】
用于服装图像特定相关区域的风格迁移模型及方法
本专利技术涉及布料辅助加工装置,具体涉及一种用于服装图像特定相关区域的风格迁移模型及方法。
技术介绍
近年来,随着深度学习的兴起,基于卷积神经网络的图像风格迁移可以使用卷积神经网络来分离图像的内容特征表示和风格特征表示,通过独立处理高层特征表示实现图像的风格迁移。后续学术界和工业界研究人员对此进行了深入的研究,发表了大量的文献。目前主要的基于深度学习的图像风格迁移方法,包括基于图像迭代和基于模型迭代两类。针对本课题研究背景采用一种典型的图像风格迁移方法:基于图像迭代的风格迁移方法,基于模型迭代的图像风格迁移方法对图像风格迁移的研究现状进行分析。基于图像迭代的风格迁移方法基于图像迭代的风格迁移方法是直接在白噪声图像上进行优化迭代,使得白噪声图像同时匹配内容图像的内容特征表示和风格图像的风格特征表示,最终获得风格化的合成图像。典型的方法包括三类:基于最大均值差异,以及基于马尔可夫随机场和基于深度图像类比。最大均值差异由Gatys最早发现通过重建VGG网络中间层的特征表示,本文档来自技高网...

【技术保护点】
1.用于服装图像特定相关区域的风格迁移方法,其特征在于,包括以下步骤:/n步骤1、将风格图像和带有标注信息的服装内容图像输入到VGG16网络中,分别提取风格图像Q1的风格特征和带有标注信息的原始服装内容图像Q2的内容特征;/n步骤2、将上步得到的内容特征和风格特征作为条件输入到基于注意力机制的生成器G

【技术特征摘要】
1.用于服装图像特定相关区域的风格迁移方法,其特征在于,包括以下步骤:
步骤1、将风格图像和带有标注信息的服装内容图像输入到VGG16网络中,分别提取风格图像Q1的风格特征和带有标注信息的原始服装内容图像Q2的内容特征;
步骤2、将上步得到的内容特征和风格特征作为条件输入到基于注意力机制的生成器Gattention1中,生成风格迁移后的服装图像P1;
步骤3、将风格迁移后的服装图像P1输入到判别器D1中,计算P1的内容损失和风格损失,并反馈到Gattention1中学习,直至内容损失和风格损失达到设定的阈值,并得到生成风格迁移后的服装图像Pn;
步骤4、将风格迁移后的服装图像Pn输入到VGG16网络继续提取内容特征,同时将带有标注信息的原始服装内容图像Q2输入到VGG16网络提取风格特征;
步骤5、将上一步中得到的内容特征和风格特征输入到生成器G2,得到生成的带有标注信息的服装内容图像q1;
步骤6、将生成的带有标注信息的服装内容图像q1输入到判别器D2,跟风格图像Q1和带有标注信息的原始服装内容图像Q2相比,计算服装内容图像q1内容损失和风格损失,反馈到生成器G2中学习,直至内容损失和风格损失达到设定的阈值,并得到生成原始内容图像qn。


2.根据权利要求1所述的用于服装图像特定相关区域的风格迁移方法,其特征在于,所述基于注意力机制的生成器Gattention1包括下采样区、中间区和上采样区,所述下采样区用于提取输入风格特征和内容特征的其它特征,所述中间区用于利用残差模块层进行图像转换,上采样区用于先利用转置卷积层还原图像低级特征,然后利用自注意力层采用注意力机制关注服装部分特定的相关区域,得到注意力机制在服装各个区域的权值分布的情况,最后根据注意力机制在服装各个区域的权值分布的情况,选择权值大的以及相关度高的区域进行风格迁移。


3.根据权利要求2所述的用于服装图像特定相关区域的风格迁移方法,其特征在于,每个所述残差模块层由3个卷积层组成,第1个卷积层的输出乘以δ的权重值与第2个卷积层的输出一起作为第3个卷积层的输入,如以下公式所示:
L=δL1+L2
其中,L1表示基于卷积神经网络的Gattention1网络的第1层输出,L2表示第2层输出,δ为权重参数。


4.根据权利要求1所述的用于服装图像特定相关区域的风格迁移方法,其特征在于,所述注意力机制为:
将通道数为C、尺寸大小为S的服装图像向量h∈...

【专利技术属性】
技术研发人员:陈佳董学良胡新荣何儒汉
申请(专利权)人:武汉纺织大学
类型:发明
国别省市:湖北;42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1