一种姿态和纹理引导的时尚服装设计合成方法技术

本发明专利技术公开了一种姿态和纹理引导的时尚服装设计合成的方法。本发明专利技术步骤：1、借助现有的时尚数据集，收集任务的数据，并对数据进行预处理，构建时尚图像、姿态信息、语义信息数据组；2、以生成自然准确的时尚图像为目标，构建两阶段生成模型；生成模型包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像；3、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下，利用收集到的数据组训练语义布局生成网络和纹理转移网络；4、通过反向传播算法对生成模型中的网络参数进行训练，直至整个模型收敛，生成对应的时尚图像。本发明专利技术在Fashion

【技术实现步骤摘要】
一种姿态和纹理引导的时尚服装设计合成方法


[0001]本专利技术提到了一种姿态和纹理引导的时尚服装设计合成(Pose and Texture Guided Multi
‑
View Fashion Design Synthesis)的新方法，其中主要涉及一种利用语义布局生成网络将输入的人体姿态转换为一系列的人体语义布局的方法，以及使用纹理转移网络实现纹理转移，并通过生成对抗网络生成真实的时尚图像的方法。

技术介绍

[0002]由于现实生活应用的高需求和深度学习、机器学习、计算机视觉、多媒体技术等相关理论和技术的突破发展，将人工智能与时尚相结合的任务近年来受到了相当多的关注，如服装识别、服装检索、时尚推荐、时尚趋势预测等方面，研究的主题对象为服装。最近几年，由于生成式模型(如GANs、VAEs)在图像合成方面取得的引人瞩目的结果，计算机学者在时尚图像合成领域也开展了广泛的研究应用，如人体姿态引导的服装图像生成算法、文本引导的服装图像生成算法、基于图像生成模型的虚拟试衣算法、基于图像生成模型的服装设计应用等。
[0003]人体姿态引导的服装图像生成算法为以人体姿态图片为输入条件，改变已有包含人物模特的服装图片，合成全新的服装图像，这张新生成的服装图像一方面需要保证人物模特的姿态与输入姿态保持一致，另外一方面需要保证人物模特的衣物、外表等特征与原服装图片保持一致。文本引导的服装图像生成算法为以包含衣物特性语义的文本描述为输入条件，改变已有包含人物模特的服装图片，合成全新的服装图像，这张新生成的服装图像一方面需要保证模特的衣物特征与输入的文本描述在语义上保持一致，另外一方面需要保证人物模特的外表、姿态等特征与原服装图片保持一致。基于图像生成模型的虚拟试衣算法为给定人物模特图片和目标服装图片，他们先生成粗略的试衣结果图，其中形变后的目标服装被转移到人物模特的正确区域上。基于图像生成模型的服装设计应用为通过颜色、纹理和形状等信息来控制输出服装设计图。本方法可以归类为基于图像生成模型的服装设计应用，通过姿态和纹理信息控制生成多样的时尚服装设计图，用于减轻设计师的工作，加快时尚产品的设计周期。
[0004]在姿态和纹理引导的时尚图像生成任务上，现有的简单的想法是直接应用标准的图像到图像转换模型，如pix2pix和pix2pixHD来解决我们提出的问题。然而，这些方法本质上是学习从源图像到目标图像的映射。实验结果证明，这并不能完成我们的任务。此外，我们的任务需要解决几个具有挑战性的问题。
[0005]1)引导姿态中包含信息过少
[0006]人体姿态通常用二维关节点表示，其中只包含人体关节点信息，不包含形状信息，现有的方法难以从粗糙的姿态信息中推断出人体结构和服装结构。
[0007]2)纹理转移实现的困难性
[0008]由于普通卷积网络对于特征处理的局部性，现有的时尚图像生成方法中不存在一个专门的纹理传输机制实现时尚图像纹理的有效转移。其次，由于服装区域通常是不规则
的，如何利用任意尺寸的纹理块精确的转移纹理到相应的服装区域，合成自然逼真的时尚图像也是一个挑战。现有的时尚图像生成方法实现的都是纯色纹理的生成，无法实现对复杂纹理的有效转移，普遍实现的是局部纹理的生成或者是不正确纹理的生成。
[0009]3)时尚服装生成的多样性局限
[0010]现有的时尚图像生成方法普遍使用人体的姿态信息或人体的语义信息进行引导，服装结构类型固定，无法生成与现实情况中各种服装类别和时尚风格对应的时尚图像。
[0011]我们的方法致力于解决现有的问题，在姿态和纹理信息的引导下合成多样的准确的时尚图像。

技术实现思路

[0012]本专利技术提供了一种姿态和纹理引导的时尚服装设计合成的方法，该方法使用两阶段网络，分别使用语义生成网络和纹理转移网络实现多样化和纹理自然准确的时尚图像生成，我们在Fashion
‑
Gen数据集上进行了实验，在定量和定性上都取得了很好的结果。
[0013]一种姿态和纹理引导的时尚服装设计合成的方法，其步骤如下：
[0014]步骤(1)、借助现有的时尚数据集，收集任务的数据，并对数据进行预处理，构建时尚图像、姿态信息、语义信息数据组。
[0015]步骤(2)、在现有时尚数据集下，以生成自然准确的时尚图像为目标，构建两阶段生成模型；生成模型包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像。
[0016]步骤(3)、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下，利用收集到的数据组训练语义布局生成网络和纹理转移网络。
[0017]步骤(4)、通过反向传播算法对步骤(3)中的生成模型中的网络参数进行训练，直至整个模型收敛，生成对应的时尚图像。
[0018]步骤(1)所述的借助现有时尚数据集，收集任务的数据，是指我们在Fashion
‑
Gen数据集上评估了我们的方法，因为它包含了各种复杂的服装纹理。我们从Fashion
‑
Gen数据集的48个主要时尚类别中选择4个主要的服装类别(即连衣裙、衬衫、毛衣和上衣)进行评估。
[0019]步骤(1)所述的构建时尚图像、姿态信息、语义信息数据组，是指对于对应的时尚图像数据，使用最先进的姿态评估器从时尚图像中估计人的姿态，计算出的人的姿态信息包含18个关节坐标点。另外，使用先进的人体解析器来计算一个包含20个标签的人体语义信息，每个标签代表人体的特定部分，比如脸、头发、胳膊、腿和衣服区域。
[0020]步骤(2)所述的构建两阶段生成模型，包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像，具体如下：
[0021]第一阶段：语义布局生成网络
[0022]在语义布局生成网络中，我们的目标是将引导姿态p映射到一系列人的语义布局{H1,H2,....,H
N
}。这些语义布局提供了充分的人体形状和服装结构的先验知识。
[0023]我们使用姿态信息以及对应的语义信息作为输入，学习生成多样化的语义信息，简单的UNet网络也可以生成对应的语义输出，但是无法满足我们对于多样性的要求，我们提出的语义布局生成网络建立在BicycleGAN模型的基础上，因为它鼓励从单一源图像生成
多个输出来完成图像到图像的翻译任务。语义布局生成网络包括一个条件变分自编码神经子网络和一个条件潜在回归神经子网络。
[0024]条件变分自编码神经子网络使用姿态信息和语义信息一起作为输入，使用编码器处理语义信息，编码得到控制特征的潜在向量后，与姿态信息一起输入生成器，生成对应的重构语义信息；使用KL损失约束潜在向量服从高斯分布，方便在测试时采样。
[0025]条件潜在回归神经网络使用姿态信息和随机采样的服从高斯分布的向量作为生成器的输入，在判别器的约束下生成真实的语义布局，通过使用编码器对生成的语义布局进行处理，使用L1损失约束生成的向量与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态和纹理引导的时尚服装设计合成的方法，其特征在于包括如下步骤：步骤(1)、借助现有的时尚数据集，收集任务的数据，并对数据进行预处理，构建时尚图像、姿态信息、语义信息数据组；步骤(2)、在现有时尚数据集下，以生成自然准确的时尚图像为目标，构建两阶段生成模型；生成模型包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像；步骤(3)、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下，利用收集到的数据组训练语义布局生成网络和纹理转移网络；步骤(4)、通过反向传播算法对步骤(3)中的生成模型中的网络参数进行训练，直至整个模型收敛，生成对应的时尚图像。2.根据权利要求1所述的一种姿态和纹理引导的时尚服装设计合成的方法，其特征在于步骤(1)所述的构建时尚图像、姿态信息、语义信息数据组，是指对于对应的时尚图像数据，使用最先进的姿态评估器从时尚图像中估计人的姿态，计算出的人的姿态信息包含18个关节坐标点；另外，使用先进的人体解析器来计算一个包含20个标签的人体语义信息，每个标签代表人体的特定部分，比如脸、头发、胳膊、腿和衣服区域。3.根据权利要求2所述的一种姿态和纹理引导的时尚服装设计合成的方法，其特征在于步骤(2)所述的构建两阶段生成模型，包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像，第一阶段：语义布局生成网络的具体实现如下：在语义布局生成网络中，目标是将引导姿态p映射到一系列人的语义布局{H1,H2,....,H
N
}；这些语义布局提供了充分的人体形状和服装结构的先验知识；使用姿态信息以及对应的语义信息作为输入，学习生成多样化的语义信息；语义布局生成网络建立在BicycleGAN模型的基础上，语义布局生成网络包括一个条件变分自编码神经子网络和一个条件潜在回归神经子网络；条件变分自编码神经子网络使用姿态信息和语义信息一起作为输入，使用编码器处理语义信息，编码得到控制特征的潜在向量后，与姿态信息一起输入生成器，生成对应的重构语义信息；使用KL损失约束潜在向量服从高斯分布，方便在测试时采样；条件潜在回归神经网络使用姿态信息和随机采样的服从高斯分布的向量作为生成器的输入，在判别器的约束下生成真实的语义布局，通过使用编码器对生成的语义布局进行处理，使用L1损失约束生成的向量与原有的服从高斯分布的向量，保证一对一的生成，进一步实现多样化语义信息的输出。4.根据权利要求3所述的一种姿态和纹理引导的时尚服装设计合成的方法，其特征在于第二阶段：纹理生成网络具体实现如下：在纹理生成网络中，目标是设计一个纹理生成网络来生成经过语义布局生成网络转换后的语义布局上的纹理，其中服装区域的合成纹理要求与引导纹理示例一致，合成人体外观应具有感知说服力；语义布局生成网络的多样化的语义布局输出为纹理生成网络提供了多模态的信息输入；将上下装的纹理生成分开处理，分别生成上装和下装，将纹理块、纹理块区域掩膜、以及服装区域掩膜作为输入，分别通过编码器、纹理生成块和解码器以及Patch
‑
GAN判别器实现纹理生成网络；编码器对输入的纹理块进行解码，纹理生成块将局部纹理特征转移到对
应的服装区域，解码器实现将重构的特征解码为对应的时尚图像；同时加入了Patch
‑
GAN判别器与编码器、纹理生成块和解码器共同训练；所述的纹理生成网络的编码器：编码器采用普通的Encoder结构，对输入的纹理块进行解码，与其他方法相比，我们在Encoder中使用部分卷积代替标准卷积层，避免产生模糊、颜色差异；在每个位置的部分卷积表示为：其中X为当前卷积(滑动)窗口的特征值，M为纹理块区域掩膜对应当前卷积窗口的二进制掩膜，W为卷积滤波器权值，n为偏置...

【专利技术属性】
技术研发人员：顾晓玲，俞俊，黄洁，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：