服饰生成模型的训练、生成服饰图像的方法和装置制造方法及图纸

本公开提供了服饰生成模型的训练、生成服饰图像的方法和装置，涉及人工智能技术领域，具体为增强现实AR、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙等场景。具体实现方案为：获取服饰的样本图像集。将所选取的样本图像输入初始的服饰生成模型，得到虚拟服饰图像；将所选取的样本图像的形状掩码图像和虚拟服饰图像组成负样本，并将所选取的样本图像的形状掩码图像和纹理图像组成正样本；将正样本和负样本分别输入判别器，计算判别损失；根据判别损失调整服饰生成模型的相关参数和判别器的相关参数。通过该实施方式能够得到一种可以生成指定形状和纹理的服饰图像的模型。型。型。

【技术实现步骤摘要】
服饰生成模型的训练、生成服饰图像的方法和装置


[0001]本公开涉及人工智能
，具体为增强现实AR、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙等场景，具体为一种服饰生成模型的训练、生成服饰图像的方法和装置。

技术介绍

[0002]近年来，随着计算机技术的迅速发展，图像处理技术应用于各方面。例如，卡通虚拟形象服饰个性化重建。需要根据拍摄的真人照片生成2D(二维)卡通虚拟形象服饰部件，要求生成的服饰满足给定模板形状，并且和原照片服饰保持较高相似度。
[0003]相关技术生成的服饰图像形状和纹理不受控制，无法实现特定款式形状和纹理的服饰图像高相似度重建。

技术实现思路

[0004]本公开提供了一种服饰生成模型的训练、生成服饰图像的方法、装置、设备、存储介质以及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种训练服饰生成模型的方法，包括：获取服饰图像的样本集，其中，所述样本集中的样本包括形状掩码图像和纹理图像；从所述样本集中选取样本，并执行如下训练步骤：将所选取的样本输入初始的服饰生成模型，得到虚拟服饰图像；将所选取的样本图像的形状掩码图像和所述虚拟服饰图像组成负样本，并将所选取的样本图像的形状掩码图像和纹理图像组成正样本；将所述正样本和所述负样本分别输入判别器，计算判别损失；基于所述判别损失调整所述服饰生成模型的相关参数，生成目标服饰生成模型。
[0006]根据本公开的第二方面，提供了一种生成服饰图像的方法，包括：获取指定款式的服饰的形状图像和纹理图像；将所述形状图像和所述纹理图像输入采用如第一方面所述的方法生成的服饰生成模型中，生成指定款式的服饰图像。
[0007]根据本公开的第三方面，提供了一种服饰生成模型的训练装置，包括：获取单元，被配置成获取服饰的样本图像集，其中，所述样本图像集中的样本图像包括形状掩码图像和纹理图像；训练单元，被配置成从所述样本图像集中选取样本图像，并执行如下训练步骤：将所选取的样本图像输入初始的服饰生成模型，得到虚拟服饰图像；将所选取的样本图像的形状掩码图像和所述虚拟服饰图像组成负样本，并将所选取的样本图像的形状掩码图像和纹理图像组成正样本；将所述正样本和所述负样本分别输入判别器，计算判别损失；基于所述判别损失调整所述服饰生成模型的相关参数，生成目标服饰生成模型。
[0008]根据本公开的第四方面，提供了一种生成服饰图像的装置，包括：获取单元，被配置成获取指定款式的服饰的形状图像和纹理图像；生成单元，被配置成将所述形状图像和所述纹理图像输入采用如第三方面所述的装置生成的服饰生成模型中，生成指定款式的服饰图像。
[0009]根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面和第二方面所述的方法。
[0010]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面和第二方面所述的方法。
[0011]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面和第二方面所述的方法。
[0012]本申请提出了一种无监督的服饰图像生成技术。该技术主要包括两个模块，分别是生成器模块和判别器模块。整体方案是没有真值服饰标签的，通过GAN进行无监督判别训练。判别器部分分别对真实掩码图
‑
真实服饰、真实掩码图
‑
生成服饰进行条件判别训练。本申请的设计思想是纹理图像像素颜色复制再填充，不引入纹理图像之外的像素值，这样一方面降低了服饰生成难度(颜色空间有限)，并且保证了和纹理输入相似度。另外，由于缺少服饰真值标签进行有监督的训练，为了保证生成的服饰图像是正常合理的服饰，提出了通过有掩码图条件的无监督对抗方法来对生成服饰真实性和合理性进行约束。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
[0016]图2是根据本申请的服饰生成模型的训练方法的一个实施例的流程图；
[0017]图3a
‑
3b是根据本申请的服饰生成模型的训练方法的应用场景的示意图；
[0018]图4是根据本申请的生成服饰图像的方法的一个实施例的流程图；
[0019]图5是根据本申请的服饰生成模型的训练装置的一个实施例的结构示意图；
[0020]图6是根据本申请的生成服饰图像的装置的一个实施例的结构示意图；
[0021]图7是根据本申请实施例的服饰生成模型的训练和生成服饰图像的方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]图1示出了可以应用本申请实施例的服饰生成模型的训练方法、服饰生成模型的训练装置、生成服饰图像的方法或生成服饰图像的装置的示例性系统架构100。
[0024]如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0025]用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、服饰图像编辑类应用、虚拟试衣类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。
[0026]这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0027]当终端101、1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服饰生成模型的训练方法，包括：获取服饰的样本图像集，其中，所述样本图像集中的样本图像包括形状掩码图像和纹理图像；从所述样本图像集中选取样本图像，执行如下训练步骤：将所选取的样本图像输入初始服饰生成模型，得到虚拟服饰图像；将所选取的样本图像的形状掩码图像和所述虚拟服饰图像组成负样本，并将所述样本图像的形状掩码图像和纹理图像组成正样本；将所述正样本和所述负样本分别输入判别器，计算判别损失；基于所述判别损失调整所述服饰生成模型的相关参数，生成目标服饰生成模型。2.根据权利要求1所述的方法，其中，所述基于所述判别损失调整所述服饰生成模型的相关参数，生成目标服饰生成模型，包括：若所述判别损失小于预定值，则输出训练完成的目标服饰生成模型；否则，调整所述服饰生成模型的相关参数和所述判别器的相关参数，重新选取样本图像继续执行上述训练步骤。3.根据权利要求1所述的方法，其中，所述服饰生成模型包括特征提取模块和回归模块；以及所述将所选取的样本图像输入初始的服饰生成模型，得到虚拟服饰图像，包括：将所述纹理图像进行图像语义分割，得到纹理掩码图像；将所述样本图像的纹理掩码图像和形状掩码图像分别输入特征提取模块，得到纹理特征和形状特征；计算纹理特征和形状特征的空间对应关系；将所述空间对应关系输入回归模块，得到变形转换系数；通过所述变形转换系数对所述纹理图像进行变形后得到虚拟服饰图像。4.根据权利要求3所述的方法，其中，所述回归模块包括粗粒度回归模块和细粒度回归模块；以及所述将所述空间对应关系输入回归模块，得到变形转换系数，包括：将所述空间对应关系输入粗粒度回归模块，得到粗粒度变形转换系数；将所述空间对应关系输入细粒度回归模块，得到细粒度变形转换系数；所述通过所述变形转换系数对所述纹理图像进行变形后得到虚拟服饰图像，包括：通过所述粗粒度变形转换系数对所述纹理图像进行薄板样条变形后得到粗略服饰图像；通过所述细粒度变形转换系数对所述粗略服饰图像进行稠密变形后得到虚拟服饰图像。5.根据权利要求1所述的方法，其中，所述方法还包括：将所述虚拟服饰图像进行图像语义分割，得到分割掩码图像；计算所述分割掩码图像和所选取的样本图像的形状掩码图像之间的形状损失；根据所述形状损失和所述判别损失调整所述服饰生成模型的相关参数和所述判别器的相关参数。6.根据权利要求4所述的方法，其中，所述方法还包括：将所述粗略服饰图像进行图像语义分割，得到粗略分割掩码图像；
计算所述粗略分割掩码图像和所选取的样本图像的形状掩码图像之间的形状损失；根据所述形状损失和所述判别损失调整所述服饰生成模型的相关参数和所述判别器的相关参数。7.根据权利要求4所述的方法，其中，所述方法还包括：对薄板样条变形和稠密变形计算正则化损失；根据所述正则化损失和所述判别损失调整所述服饰生成模型的相关参数和所述判别器的相关参数。8.一种生成服饰图像的方法，包括：获取指定款式的服饰的形状图像和纹理图像；将所述形状图像和所述纹理图像输入如权利要求1
‑
7之一所述的方法生成的目标服饰生成模型中，生成指定款式的服饰图像。9.一种服饰生成模型的训练装置，包括：获取单元，被配置成获取服饰图像的样本图像集，其中，所述样本图像集中的样本图像包括形状掩码图像和纹理图像；训练单元，被配置成从所述样本图像集中选取样本图像，并执行如下训练步骤：将所选取的样本图像输入初始的服饰生成模型，得...

【专利技术属性】
技术研发人员：杨少雄，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：