一种基于解纠缠网络的服装图像生成系统和方法技术方案

本发明专利技术涉及计算机视觉领域，特别是一种基于解纠缠网络的服装图像生成系统和方法，该方法包括：步骤S101，获取多张带有类别标签的服装图像；步骤S102，获取服装图像的颜色标签、并与类别标签进行级联；步骤S103，训练解纠缠神经网络，初始化解纠缠网络的生成器和判别器网络参数；步骤S104，判别真实图像和解纠缠生成器生成的服装图像；步骤S105，根据所属判定值和输出图像，对解纠缠网络参数进行调整优化。本发明专利技术将人工智能技术和传统服装行业结合，克服了传统服装行业中设计单一、用户满意度不够、设计成本昂贵等问题，提高了服装设计效率，所设计的服装充分满足用户的设计需求。所设计的服装充分满足用户的设计需求。所设计的服装充分满足用户的设计需求。

【技术实现步骤摘要】
一种基于解纠缠网络的服装图像生成系统和方法


[0001]本专利技术涉及计算机视觉领域，特别是一种基于解纠缠网络的服装图像生成系统和方法。

技术介绍

[0002]计算机视觉技术在图像生成、转换、修复等领域有非常多的具体应用，条件式对抗生成网络能够根据输入标签生成与真实图像无法区分的服装图像，从而为服装设计师和消费者提供灵感；服装图像生成的关键是多样化的样式设计，这要求网络能够很好的解开服装图像特征之间的纠缠，例如服装颜色特征和形状特征；同时，用户可以选择需要生成的服装类型或者颜色风格，可以在一定程度上解决服装定制化设计问题，实现以用户为中心的服装智能设计，根据用户要求给予设计灵感，所有生成的服装图像都是根据真实图像分布从无到有生成的，条件式地随机生成既能保证生成服装图像的多样性，又能依据用户要求，实现服装的定制化生成，同时也能为服装设计师提供设计灵感，有助于服装行业与人工智能技术的结合，促进服装行业的发展。
[0003]当然，使用人工智能技术来设计服装图像也存在着许多难点。难点主要表现在：
[0004]1)生成对抗网络本身的训练难度较大，难收敛；
[0005]2)生成图像的随机性；
[0006]3)服装图像特征较多、纹理和图案较复杂，很容易造成特征交叉，图像模糊；
[0007]4)高分辨率、高清晰度的图像生成效果不佳。

技术实现思路

[0008]为了解决上述现有技术的不足，本专利技术提供一种基于解纠缠网络的服装图像生成方法，根据用户条件生成多种样式的服装图像，为消费者和设计师提供服装设计灵感，其具体技术方案如下：
[0009]一种基于解纠缠神经网络的服装图像生成方法，包括以下步骤：
[0010]S101、获取多张带有类别标签的服装图像；
[0011]S102、获取服装图像的颜色标签，并与服装类别标签进行级联；
[0012]S103、训练解纠缠神经网络，初始化所述解纠缠神经网络的解纠缠生成器参数和判别器网络参数；
[0013]S104、将所述级联后的标签输入所述解纠缠神经网络，判别真实图像和解纠缠生成器生成的服装图像；
[0014]S105、根据判定值和输出服装图像，对解纠缠网络参数进行调整优化。
[0015]进一步的，所述服装图像的类别标签和颜色标签均采用独热编码的方法获得，其中，服装图像颜色的分类采用OpenCV工具将服装图像的RGB模型转化为HSV模型。
[0016]进一步的，所述步骤S103具体包括：
[0017]S103_1，训练解纠缠神经网络，所述解纠缠神经网络为条件式对抗网络，包括解纠
缠生成器G和多级判别器D，解纠缠生成器提取出服装图像的样式特征后生成图片，多级判别器对真实图片与生成图片进行判别，解纠缠神经网络的输入是服装图像的类别标签l
class
、颜色标签l
color
和随机噪声变量z，解纠缠生成器输出G(z，(l
class
，l
color
))，多级判别器输出log(G(z，(l
class
，l
color
)))和log(I
real
)，分别对应多级判别器对生成图片和真实图片的判别结果，其中的I
real
是真实服装图像和其标签的级联；
[0018]训练时的总体目标函数为：即总的GAN损失函数为：
[0019][0020]其中的，分别是服从真实分布和解纠缠生成器生成分布的判别结果期望，分别是判别器最小化解纠缠生成器生成分布判别期望和最大化真实分布判别期望的训练过程，l
true
、x
true
、l分别表示真实服装图像的标签、真实服装图像、生成服装图像的标签；
[0021]S103_2，对解纠缠生成器和多级判别器的所有网络层都进行谱归一化，所有网络层的权重初始化都服从高斯分布，均值为0，方差为1。
[0022]进一步的，所述多级判别器由局部判别器和全局判别器组成，局部判别器和全局判别器分别在两个不同的尺度上对真实图片和生成图片进行下采样区分，最终采样的结果进行组合，得到多级判别器的判别结果。
[0023]进一步的，所述多级判别器的生成图像中间特征输出与真实图像中间特征输出相匹配，特征匹配损失函数为：
[0024][0025]其中T并表示总的网络层数，N
i
表示每一层网络中的元素数量，D
k
代表子判别器，作为特征提取器，仅仅在训练解纠缠生成器时进行最小化特征匹配损失
[0026]进一步的，所述解纠缠生成器由映射网络ω和渐进式生成网络G
progress
组成，所述映射网络ω由全连接网络层组成，输入随机噪声和标签编码至中间潜空间，输出中间潜码ψ＝(ψ
style
，ψ
bias
)控制自适应实例归一化层的参数，归一化函数为：其中每一个特征图x
i
分别进行归一化操作，所述特征图被中间潜码ψ缩放ψ
style
倍并加上偏置量ψ
bias
；渐进式生成网络G
progress
是带有自适应实例归一化层的卷积模块，所述卷积模块采用线性插值法进行上采样，放大倍数为2，输入是中间潜码和随机高斯噪声，所添加的噪声服从高斯分布，其均值为0，方差为1，最后通过一个卷积核为1的卷积层将输出转换为RGB图像。
[0027]进一步的，所述映射网络将输入信号映射成潜在空间变量ω，接着映射转换将潜在空间变量转换成样式变量y＝(y
s
,y
b
)输出至渐进式生成网络G
progress
，y
s
、y
b
分别缩放倍数和偏差，在每个卷积模块后，所述样式变量控制自适应实例归一化的参数，自适应实例归一化参数的操作表示为：
[0028]其中，每一个特征图x
i
是单独正则化的，接着再
与特征样式变量y进行归一化，故y的维度是该网络层特征图数量的两倍。
[0029]进一步的，所述步骤S104具体为：真实图像及其类别标签和色彩风格标签被送入到多级判别器中进行判定真假，多级判别器训练开始时将真实图片和匹配的标签判断为真，对解纠缠生成器生成的服装图像判断为假。
[0030]进一步的，所述步骤S105具体为：在每一轮训练中，根据判定值和目标函数对参数进行优化，具体通过VGG网络来提取生成图像的特征，在训练过程中增加感知损失函数：F
(i)
表示VGG网络中含有M
i
个元素的第i层网络，整个网络的目标函数为：
[0031][0032]其中，λ1和λ2分别是训练时需要调节的超参数，网络每一轮迭代后，使用梯度下降法来更新解纠缠生成器和多级判别器参数，每更新5次生成器参数θ
G
，更新一次判别器参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于解纠缠神经网络的服装图像生成方法，其特征在于，包括以下步骤：S101、获取多张带有类别标签的服装图像；S102、获取服装图像的颜色标签，并与服装类别标签进行级联；S103、训练解纠缠神经网络，初始化所述解纠缠神经网络的解纠缠生成器参数和判别器网络参数；S104、将所述级联后的标签输入所述解纠缠神经网络，判别真实图像和解纠缠生成器生成的服装图像；S105、根据判定值和输出服装图像，对解纠缠网络参数进行调整优化。2.如权利要求1所述的一种基于解纠缠神经网络的服装图像生成方法，其特征在于，所述服装图像的类别标签和颜色标签均采用独热编码的方法获得，其中，服装图像颜色的分类采用OpenCV工具将服装图像的RGB模型转化为HSV模型。3.如权利要求1所述的一种基于解纠缠神经网络的服装图像生成方法，其特征在于，所述步骤S103具体包括：S103_1，训练解纠缠神经网络，所述解纠缠神经网络为条件式对抗网络，包括解纠缠生成器G和多级判别器D，解纠缠生成器提取出服装图像的样式特征后生成图片，多级判别器对真实图片与生成图片进行判别，解纠缠神经网络的输入是服装图像的类别标签l
class
、颜色标签l
color
和随机噪声变量z，解纠缠生成器输出G(z，(l
class
，l
color
))，多级判别器输出log(G(z，(l
class
，l
color
)))和log(I
real
)，分别对应多级判别器对生成图片和真实图片的判别结果，I
real
是真实服装图像和其标签的级联；训练时的总体目标函数为：即总的GAN损失函数为：其中的，分别是服从真实分布和解纠缠生成器生成分布的判别结果期望，分别是判别器最小化解纠缠生成器生成分布判别期望和最大化真实分布判别期望的训练过程，l
true
、x
true
、l分别表示真实服装图像的标签、真实服装图像、生成服装图像的标签；S103_2，对解纠缠生成器和多级判别器的所有网络层都进行谱归一化，所有网络层的权重初始化都服从高斯分布，均值为0，方差为1。4.如权利要求3所述的一种基于解纠缠神经网络的服装图像生成方法，其特征在于，所述多级判别器由局部判别器和全局判别器组成，局部判别器和全局判别器分别在两个不同的尺度上对真实图片和生成图片进行下采样区分，最终采样的结果进行组合，得到多级判别器的判别结果。5.如权利要求3所述的一种基于解纠缠神经网络的服装图像生成方法，其特征在于，所述多级判别器的生成图像中间特征输出与真实图像中间特征输出相匹配，特征匹配损失函数为：其中T并表示总的网络层数，N
i
表示每一层网络中的元素数量，D
k
代表子判别器，作为特
征提取器，仅仅在训练解纠缠生成器时进行最小化特征匹配损失6.如权利要求3所述的一种基于解纠缠神经网络的服装图像生成方法，其特征在于，所述...

【专利技术属性】
技术研发人员：张建明，宋阳，王志坚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：