基于服装类别及纹理图案控制的时尚服装图像生成方法技术

本发明专利技术公开了一种基于服装类别及纹理图案控制的时尚服装图像生成方法。本发明专利技术构建了一个全新的数据集，同时在网络结构上进行了创新并且进行了有效性验证；参考设计师在设计服装的过程中先绘制时尚服装设计草图，然后再挑选相应的纹理图案布料应用到设计草图上完成服装设计的步骤，将整个任务分为了基于服装类别控制的时尚服装设计草图生成和基于纹理图案和设计草图控制的时尚服装图像生成两个部分；且两个部分是分开训练的，在完成两个部分的训练后将第一部分的输出作为第二部分时尚设计草图的输入就能拼接两个网络。本发明专利技术提高时尚服装的生成质量，增加了纹理扩展模块以优化纹理的生成，增加了梯度重构损失让生成的时尚服装图片更加清晰。尚服装图片更加清晰。尚服装图片更加清晰。

【技术实现步骤摘要】
基于服装类别及纹理图案控制的时尚服装图像生成方法


[0001]本专利技术提出一种基于服装类别及纹理图案控制的时尚服装图像生成方法，主要涉及时尚服装图像生成领域。

技术介绍

[0002]基于深度学习的图像生成是指通过深度学习技术生成虚拟数字图像的一种计算机技术，使用此项技术可以快速生成大量与真实图片相似的虚拟图片。为了提高图像生成技术的可用性，现在更多的研究关注于条件图像生成技术。在条件图像生成网络当中，用户可以输入一些相关的条件来控制图像的生成，这让用户对图片的生成有一定的控制能力。
[0003]时尚服装图像生成方法也是基于条件图像生成技术展开的，用户通过输入一些时尚元素信息作为控制条件，便可以生成与控制条件相关的时尚服装图片。这对于时尚服装设计师来说，意义重大。如今在服装设计的流程当中，为了节约成本，设计师们通常会先使用电脑软件设计渲染出服装效果图进行参考，以确定是否要进行样品生产。但是，使用传统的计算机方法需要复杂而繁琐的操作步骤，计算机渲染过程也需要花费昂贵的时间代价，这就使得设计师们很多新奇的设计想法无法快速实现而被迫放弃。所以，研究基于深度学习的时尚服装生成方法能够帮助设计师快速实现想法，减少不必要的重复性工作，提高服装设计的整体效率。
[0004]近年来也有许多方法在时尚服装生成方面展开了相关的研究并获得了不错的成果。但是，这些方法也存在着一些缺点。首先，部分方法选择的控制条件本身就难以获得，例如时尚服装草图，绘制时尚服装草图本身就需要十分专业的知识基础并且需要花费较多的时间。其次，现有的一些基于深度学习的生成方法在生成服装纹理上效果不是特别理想。本专利技术从上述问题出发，提出了一种基于服装类别及纹理图案的是时尚服装生成方法。用户只需要提供服装的类别信息(如上衣，短裤，长裙等)和选择好的小块纹理图案就能生成多样的时尚服装图像，这样简单的输入条件能让设计师们更快地实现自己的设计想法。并且，本专利技术为了改进时尚服装图像的生成效果，在生成网络上也进行了相应的创新，这使得生成的服装图像有更清晰的纹理。

技术实现思路

[0005]本专利技术针对现有技术的不足，提出了一种基于服装类别及纹理图案控制的时尚服装图像生成方法。考虑到现有相关数据集不完全适用于本专利技术，我们构建了一个全新的数据集，本专利技术所有实验均在此数据集上进行。为了提高生成图片的效果，本专利技术在网络结构上进行了创新并且进行了有效性验证。本专利技术参考设计师在设计服装的过程中先绘制时尚服装设计草图，然后再挑选相应的纹理图案布料应用到设计草图上完成服装设计的步骤，将整个任务分为了基于服装类别控制的时尚服装设计草图生成和基于纹理图案和设计草图控制的时尚服装图像生成两个步骤。值得注意的是，两个子部分是分开训练的，在完成两个子部分的训练后只需要简单地将第一部分的输出作为第二部分时尚设计草图的输入就
能拼接两个网络。
[0006]本专利技术采用的技术方案包括如下步骤：
[0007]步骤(1)时尚服装数据集的创建
[0008]在互联网时尚大数据中收集高清服装图片作为初始图像数据集，然后对其中的初始图像数据进行简单的清理，之后再使用计算机图像技术进一步处理，最终构建一个时尚服装数据集。
[0009]步骤(2)基于服装类别控制的时尚服装设计草图生成
[0010]结合CVAE和GAN两者的结构优势，本专利技术的第一部分以服装类别(长裙、短裙、长裤等)标签作为输入条件生成时尚服装设计草图。生成的时尚服装设计草图保证类别上与输入条件一致且具有一定的多样性，这将作为接下来生成时尚服装图片的基础。为了增强生成模型的稳定性和生成图片的多样性，本专利技术在这一部分使用WGAN
‑
GP中的对抗损失代替传统GAN中的对抗损失。
[0011]步骤(3)基于纹理图案和设计草图控制的时尚服装图像生成
[0012]以纹理图案和设计草图为输入，本专利技术设计生成模型来生成时尚服装图像。为了增强图像的生成效果，本专利技术的生成模型设计有纹理扩展模块和特征融合模块。纹理扩展模块的设计使得尺寸较小的纹理块信息能够在特征融合前被扩展，从而提供更丰富的指导信息以达到更好的时尚服装图片生成效果。特征融合模块使用空间自适应归一化的方法将扩展后的纹理特征和设计草图特征融合最终生成时尚服装图片。除此之外，生成模型还增加有全新的梯度重构损失以使得生成图像的纹理更加清晰。
[0013]步骤(1)时尚服装数据集的创建：
[0014]1‑
1.在互联网时尚大数据中收集高清服装图片作为初始图像数据，使用人工和人脸检测算法对初始图像数据进行清理，只保留包含纯净服饰的图片形成服装数据集(图中没有模特)。最终保留12500张服饰图片，服饰图片中包含5个类别：衣服、裤子、短裤、裙子和上衣；每个类别数目相同。并以8.5：1.5的比例划分成了训练集和测试集，训练集和测试集中每个类别的图片数量保持了均匀分布以确保模型训练的可靠性(训练集每个类别2125张图片，测试集每个类别375张图片)。
[0015]1‑
2.对经过清理的服装数据集使用整体嵌套边缘检测技术(Holistically
‑
Nested Edge Detection,HED)检测其中时尚服装图像的线条，此项技术能够得到服装的整体骨架图，但获取的整体骨架图还会包含许多干扰像素。所以对整体骨架图进行二值化处理获得二值化图像；再使用传统图像处理方法对二值化图像进行像素值细化操作，从而得到初步的时尚服装设计草图。由于细化后的时尚服装设计草图会留下一些孤立的孤岛像素，所以继续使用删除小面积对象的方法去除孤立的孤岛像素，减少小面积的像素孤岛。最后，再使用去马刺技术去除时尚服装设计草图结构中额外的突出像素，得到所需时尚服装设计草图。
[0016]1‑
3.由于上述步骤中存在一些阈值选择问题，得到的时尚服装设计草图容易出现边界像素丢失，这使得时尚服装设计草图轮廓总是不够连续。这样数据集中的不足将影响网络模型的性能，所以需要进一步改进时尚服装设计草图的效果。具体操作如下：
[0017](1)使用K
‑
means算法对服装数据集中每张纯净服饰图片的像素进行聚类。
[0018](2)通过Sobel滤波的方法计算聚类矩阵的梯度，得到梯度图(聚类矩阵中的每个
条目都对应于服装数据集中每张纯净服饰图片中的一个像素值，并且每个条目的值都使用相应像素的K
‑
means类别标签进行设置)，在该梯度图上执行Flood
‑
Fill操作(一个图像处理方法，会填充所有的闭合区域)，获得服装数据集中每张纯净服饰图片的前景和背景分开的蒙版图。
[0019](3)通过计算蒙版图的梯度并将其二值化来生成连续的轮廓图像。
[0020](4)通过简单地叠加时尚服装设计草图和轮廓图像来进一步增强服装设计草图的效果，得到最终时尚服装设计草图。
[0021]步骤(2)基于服装类别的时尚草图生成：
[0022]2‑...

【技术保护点】

【技术特征摘要】
1.基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于考虑到现有相关数据集的不适应，构建一个全新的数据集，同时在网络结构上进行了创新并且进行了有效性验证；参考设计师在设计服装的过程中先绘制时尚服装设计草图，然后再挑选相应的纹理图案布料应用到设计草图上完成服装设计的步骤，将整个任务分为了基于服装类别控制的时尚服装设计草图生成和基于纹理图案和设计草图控制的时尚服装图像生成两个部分；且两个部分是分开训练的，在完成两个部分的训练后将第一部分的输出作为第二部分时尚设计草图的输入就能拼接两个网络。2.根据权利要求1所述的基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于包括如下步骤：步骤(1)时尚服装数据集的创建在互联网时尚大数据中收集高清服装图片作为初始图像数据集，然后对其中的初始图像数据进行清理，之后再使用计算机图像技术进一步处理，最终构建一个时尚服装数据集；步骤(2)基于服装类别控制的时尚服装设计草图生成结合CVAE和GAN两者的结构优势，第一部分以服装类别标签作为输入条件生成时尚服装设计草图；且第一部分使用WGAN
‑
GP中的对抗损失代替传统GAN中的对抗损失；步骤(3)基于纹理图案和设计草图控制的时尚服装图像生成以纹理图案和设计草图为输入，设计生成模型来生成时尚服装图像；生成模型设计有纹理扩展模块和特征融合模块；纹理扩展模块的设计使得尺寸较小的纹理块信息能够在特征融合前被扩展，从而提供更丰富的指导信息以达到更好的时尚服装图片生成效果；特征融合模块使用空间自适应归一化的方法将扩展后的纹理特征和设计草图特征融合最终生成时尚服装图片；同时生成模型还增加有全新的梯度重构损失以使得生成图像的纹理更加清晰。3.根据权利要求2所述的基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于步骤(1)所述的时尚服装数据集的创建，具体实现如下：1
‑
1.在互联网时尚大数据中收集高清服装图片作为初始图像数据，使用人工和人脸检测算法对初始图像数据进行清理，只保留包含纯净服饰的图片形成服装数据集；；最终保留12500张服饰图片，服饰图片中包含5个类别：衣服、裤子、短裤、裙子和上衣；每个类别数目相同；并以8.5：1.5的比例划分成了训练集和测试集，训练集和测试集中每个类别的图片数量保持了均匀分布以确保模型训练的可靠性(训练集每个类别2125张图片，测试集每个类别375张图片)；1
‑
2.对经过清理的服装数据集使用整体嵌套边缘检测技术检测其中时尚服装图像的线条，得到服装的整体骨架图；由于获取的整体骨架图还会包含许多干扰像素，所以对整体骨架图进行二值化处理获得二值化图像；再对二值化图像进行像素值细化操作，从而得到初步的时尚服装设计草图；由于细化后的时尚服装设计草图会留下一些孤立的孤岛像素，所以继续使用删除小面积对象的方法去除孤立的孤岛像素，减少小面积的像素孤岛；最后，再使用去马刺技术去除时尚服装设计草图结构中额外的突出像素，得到所需时尚服装设计草图；1
‑
3.由于阈值选择问题，得到的时尚服装设计草图容易出现边界像素丢失，这使得时尚服装设计草图轮廓总是不够连续，所以需要进一步改进时尚服装设计草图的效果，具体
操作如下：(1)使用K
‑
means算法对服装数据集中每张纯净服饰图片的像素进行聚类；(2)通过Sobel滤波的方法计算聚类矩阵的梯度，得到梯度图，在该梯度图上执行Flood
‑
Fill操作，获得服装数据集中每张纯净服饰图片的前景和背景分开的蒙版图；(3)通过计算蒙版图的梯度并将其二值化来生成连续的轮廓图像；(4)通过叠加时尚服装设计草图和轮廓图像来进一步增强服装设计草图的效果，得到最终时尚服装设计草图。4.根据权利要求3所述的基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于步骤(2)基于服装类别的时尚草图生成，具体实习如下：2
‑
1.将最终时尚服装设计草图中的真实草图x与对应类别信息c输入到编码器当中进行编码操作，编码器通过连续的卷积操作将输入映射到隐藏向量空间当中得到隐空间向量z；使用KL损失将向量空间限定为标准的高斯分布；2
‑
2.将隐空间向量z与对应类别信息c结合输入到生成器当中重构输入的真实草图x，生成设计草图图片x'；这是标准的编码
‑
解码步骤，通过对数据集中真实草图x的重构，生成器能够拟合从隐向量空间到真实数据分布的映射；在测试阶段，只需要在高斯分布中进行采样并与服装类别信息结合输入到生成器当中，就能生成不同类别的设计草图图片；2
‑
3.为了保证数据的重构效果，使用多种损失函数同时对生成的设计草图图片x'进行约束；首先使用L2重构损失保证图像在像素点上与真实草图x相近；为了保证类别的正确性，使用预训练好的VGG19网络作为分类器对真实草图x进行分类以微调分类网络；得到微调的VGG19后，便可在训练时计算生成器的分类损失；与此同时，提取真实草图x与生成的设计草图图片x'在VGG19中的特征以计算VGG重构损失；为了让生成的设计草图图片x'更真实，网络同时使用了对抗损失；为了增强生成模型的稳定性和生成图片的多样性，此处使用了WGAN
‑
GP中的对抗损失代替了传统GAN中的对抗损失。5.根据权利要求4所述的基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于：提及的L2重构损失表示为公式1，其中x为真实设计草图图片，x'为生成的设计草图图片：Loss
l2
＝||x
‑
x'||2ꢀꢀꢀꢀꢀꢀ
(公式1)提及的生成器分类损失表示为公式2，其中P
g
表示生成的设计草图的数据分布，x...

【专利技术属性】
技术研发人员：顾晓玲，俞俊，方隽凯，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：