虚拟试衣模型的训练方法及相关装置制造方法及图纸

本申请实施例涉及图像处理技术领域，公开了一种虚拟试衣模型的训练方法及相关装置，该虚拟试衣模型包括衣服扭曲网络和试衣生成网络，该训练方法通过基于衣服扭曲网络损失函数对衣服扭曲网络进行训练，该衣服扭曲网络损失函数包括衣服边缘损失函数和衣服变形感知损失函数，使得衣服扭曲网络对第一图像进行特征提取和融合得到低分辨率光流图，以及基于试衣生成网络损失函数对试衣生成网络进行训练，该试衣生成网络损失函数包括变量损失函数和感知损失函数，使得试衣生成网络对第二图像进行图像分割，得到高分辨率试衣效果图，从而使得本申请能够在降低模型学习高分辨率图像的难度的同时，提升虚拟试衣图像的衣服纹理细节以及模特试穿的真实度。及模特试穿的真实度。及模特试穿的真实度。

【技术实现步骤摘要】
虚拟试衣模型的训练方法及相关装置


[0001]本申请实施例涉及图像处理
，特别是涉及一种虚拟试衣模型的训练方法及相关装置。

技术介绍

[0002]虚拟试衣是实现用户不用脱去身上衣服，实现变装查看效果的一种技术应用。购物者只需上传自己的照片，并且选择自己想要试穿的衣服，通过虚拟试衣技术便能够得到效果图像。
[0003]现有的虚拟试衣技术通常采用生成式对抗网络生成逼真的图像，然而伴随着图像尺寸的提高，所需要的算力以及模型的学习成本也在几何倍的提升。因此，考虑到算法成本以及服务的实时性，现有的虚拟试衣算法都是基于低分辨率上的应用，其呈现出的衣服纹理细节以及模特试穿的真实度均有待提升。

技术实现思路

[0004]本申请实施例旨在提供一种虚拟试衣模型的训练方法及相关装置，以在降低模型学习高分辨率图像的难度的同时，提升虚拟试衣图像的衣服纹理细节以及模特试穿的真实度。
[0005]本申请实施例提供以下技术方案：
[0006]第一方面，本申请实施例提供一种虚拟试衣模型的训练方法，该虚拟试衣模型包括衣服扭曲网络和试衣生成网络，该方法包括：
[0007]获取图像数据集，其中，图像数据集包括衣服图像以及与衣服图像匹配的模特图像；
[0008]对每一衣服图像与模特图像进行数据预处理，以得到第一图像；
[0009]基于衣服扭曲网络，对第一图像进行特征提取和融合，以得到低分辨率光流图；
[0010]对低分辨率光流图进行采样操作，以得到高分辨率变形衣服；
[0011]对高分辨率变形衣服和人体保留区域图像进行融合，以得到第二图像；
[0012]构建衣服扭曲网络损失函数，对衣服扭曲网络进行训练，直至衣服扭曲网络损失函数收敛，以生成训练之后的衣服扭曲网络，其中，衣服扭曲网络损失函数包括衣服边缘损失函数和衣服变形感知损失函数；
[0013]基于试衣生成网络，对第二图像进行图像分割，以得到高分辨率试衣效果图；
[0014]构建试衣生成网络损失函数，对试衣生成网络进行训练，直至试衣生成网络损失函数收敛，以生成训练之后的试衣生成网络，其中，试衣生成网络损失函数包括变量损失函数和感知损失函数。
[0015]第二方面，本申请实施例提供一种虚拟试衣图像的预测方法，包括：
[0016]获取待预测的衣服图像和模特图像；
[0017]将待预测的衣服图像和模特图像输入虚拟试衣模型，得到待预测的衣服图像和模
特图像对应的高分辨率试衣效果图，其中，虚拟试衣模型是基于第一方面的虚拟试衣模型的训练方法进行训练得到的。
[0018]第三方面，本申请实施例提供一种电子设备，包括：
[0019]至少一个处理器，以及
[0020]与至少一个处理器通信连接的存储器，其中，
[0021]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面的虚拟试衣模型的训练方法或第二方面的虚拟试衣图像的预测方法。
[0022]第四方面，本申请实施例提供一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使电子设备执行第一方面的虚拟试衣模型的训练方法或第二方面的虚拟试衣图像的预测方法。
[0023]本申请实施例的有益效果：区别于现有技术的情况，本申请实施例提供一种虚拟试衣模型的训练方法，该虚拟试衣模型包括衣服扭曲网络和试衣生成网络，训练方法包括：获取图像数据集，其中，图像数据集包括衣服图像以及与衣服图像匹配的模特图像；对每一衣服图像与模特图像进行数据预处理，以得到第一图像；基于衣服扭曲网络，对第一图像进行特征提取和融合，以得到低分辨率光流图；对低分辨率光流图进行采样操作，以得到高分辨率变形衣服；对高分辨率变形衣服和人体保留区域图像进行融合，以得到第二图像；构建衣服扭曲网络损失函数，对衣服扭曲网络进行训练，直至衣服扭曲网络损失函数收敛，以生成训练之后的衣服扭曲网络，其中，衣服扭曲网络损失函数包括衣服边缘损失函数和衣服变形感知损失函数；基于试衣生成网络，对第二图像进行图像分割，以得到高分辨率试衣效果图；构建试衣生成网络损失函数，对试衣生成网络进行训练，直至试衣生成网络损失函数收敛，以生成训练之后的试衣生成网络，其中，试衣生成网络损失函数包括变量损失函数和感知损失函数。
[0024]一方面通过基于衣服扭曲网络，对第一图像进行特征提取和融合，以得到低分辨率光流图，对低分辨率光流图进行采样操作，以得到高分辨率变形衣服，本申请能够更好地提取并融合衣服图像以及模特图像的不同尺寸的空间特征，从而实现低分辨率光流信息指导高分辨率衣服变形。
[0025]另一方面通过基于衣服扭曲网络损失函数对衣服扭曲网络进行训练，其中，该衣服扭曲网络损失函数包括衣服边缘损失函数和衣服变形感知损失函数，以及基于试衣生成网络损失函数对试衣生成网络进行训练，得到高分辨率试衣效果图，其中，该试衣生成网络损失函数包括变量损失函数和感知损失函数，从而使得本申请能够在降低模型学习高分辨率图像的难度的同时，提升虚拟试衣图像的衣服纹理细节以及模特试穿的真实度。
附图说明
[0026]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0027]图1是本申请实施例提供的一种应用环境的示意图；
[0028]图2是本申请实施例提供的一种电子设备的结构示意图；
[0029]图3是本申请实施例提供的一种虚拟试衣模型的训练方法的流程示意图；
[0030]图4是图3中的步骤S302的细化流程示意图：
[0031]图5是图3中的步骤S303的细化流程示意图：
[0032]图6是图3中的步骤S304的细化流程示意图：
[0033]图7是本申请实施例提供的一种获得高分辨率变形衣服的示意图：
[0034]图8是图3中的步骤S305的细化流程示意图：
[0035]图9是图3中的步骤S306的细化流程示意图：
[0036]图10是图3中的步骤S308的细化流程示意图：
[0037]图11是本申请实施例提供的一种获得高分辨率试衣效果图的示意图：
[0038]图12是本申请实施例提供的一种虚拟试衣图像的预测方法的流程示意图。
具体实施方式
[0039]下面结合具体实施例对本申请进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本申请，但不以任何形式限制本申请。应当指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进。这些都属于本申请的保护范围。
[0040]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟试衣模型的训练方法，其特征在于，所述虚拟试衣模型包括衣服扭曲网络和试衣生成网络，所述方法包括：获取图像数据集，其中，所述图像数据集包括衣服图像以及与所述衣服图像匹配的模特图像；对每一所述衣服图像与所述模特图像进行数据预处理，以得到第一图像；基于所述衣服扭曲网络，对所述第一图像进行特征提取和融合，以得到低分辨率光流图；对所述低分辨率光流图进行采样操作，以得到高分辨率变形衣服；对所述高分辨率变形衣服和人体保留区域图像进行融合，以得到第二图像；构建衣服扭曲网络损失函数，对所述衣服扭曲网络进行训练，直至所述衣服扭曲网络损失函数收敛，以生成训练之后的衣服扭曲网络，其中，所述衣服扭曲网络损失函数包括衣服边缘损失函数和衣服变形感知损失函数；基于所述试衣生成网络，对所述第二图像进行图像分割，以得到高分辨率试衣效果图；构建试衣生成网络损失函数，对所述试衣生成网络进行训练，直至所述试衣生成网络损失函数收敛，以生成训练之后的试衣生成网络，其中，所述试衣生成网络损失函数包括变量损失函数和感知损失函数。2.根据权利要求1所述的方法，其特征在于，所述对每一所述衣服图像与所述模特图像进行数据预处理，以得到第一图像，包括：对每一所述衣服图像进行外轮廓提取,得到每一所述衣服图像对应的边缘图像；对每一所述衣服图像进行背景扣除,得到每一所述衣服图像对应的高分辨率衣服图像；通过图片尺寸缩放函数对每一所述高分辨率衣服图像进行尺寸缩放，得到每一所述高分辨率衣服图像对应的低分辨率衣服图像；通过人体姿态评估算法对每一所述模特图像进行检测，得到每一所述模特图像对应的人体关键点区域图；通过人体解析算法对每一所述模特图像进行提取，得到每一所述模特图像对应的人体解析图；通过拼接函数对所述边缘图像、所述低分辨率衣服图像、所述人体关键点区域图和所述人体解析图进行拼接，得到所述第一图像。3.根据权利要求2所述的方法，其特征在于，所述衣服扭曲网络包括编码模块和解码模块，其中，所述编码模块包括卷积层、激活函数层和批归一化层，所述解码模块包括转置卷积层、激活函数层和批归一化层；所述基于所述衣服扭曲网络，对所述第一图像进行特征提取和融合，以得到低分辨率光流图，包括：基于所述编码模块对所述第一图像进行特征提取和融合，得到三个不同尺寸的特征图；基于所述解码模块对所述编码模块输出的三个不同尺寸的特征图进行解码，得到所述低分辨率光流图。4.根据权利要求3所述的方法，其特征在于，所述对所述低分辨率光流图进行采样操
作，以得到高分辨率变形衣服，包括：通过数组采样操作函数对所述低分辨率光流图进行上采样，得到高分辨率光流图；根据高分辨率光流图的二维特征坐标信息，通过双线性插值函数对所述高分辨率衣服进行扭曲变形，得到所述高分辨率变形衣服。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：基于所述图像分割网络对每一所述模特图像进行背景扣除,得到每一所述模特图像对应的白底模特图像；对所述人体解析图与所述白底模特图像进行矩阵相乘，得到所述人体保留区域图像；所述对所述高分辨率变形衣服和人体保留区域图像进行融合，以得到第二图像，包括：对所述高分辨率变形衣服和所述人体保留区域图像进行矩阵相加，得到第二图像。6.根据权利要求1所述的方法，其特征在于,所述构建衣服扭曲网络损失函数，对所述衣服扭曲网络进行训练，直至所述衣服扭曲网络损失函数收敛，以生成训练之后的衣服扭曲网络，包括：保存每次训练的衣服扭曲网络损失函数值；当迭代次数大于第一预设次数时，对当前训练得到的衣服扭曲网络损失函数值与已保存的衣服扭曲网络损失函数值进行升序排列；若所述当前训练得到的衣服扭曲网络损失函数值大于第一预设序列值，则所述衣服扭曲网络损失函数收敛。7.根据权利要求1所述的方法，其特征在于,所述构建试衣生成网络损失函数，对所述试衣生成网络进行训练，直至所述试衣生成网络损失函数收敛，以生成训练之后的试衣生成网络，包括：保存每次训练的试衣生成网络损失函数值；当迭代次数大于第二预设次数时，对当前训练得到的试衣生成网络损失函数值与已保存的试衣生成网络损失函数值进行升序排列；若所述当前训练得到的试衣生成网络损失函数值大于第二预设序列值，则所述试衣生成网络损失函数收敛。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述衣服扭曲网络包括：其中，表示第x+1层的第i个特征图像，BN表示批归一化操作，表示Relu激活函数，表示第x层的第i个特征图像,表示第x+1层的标准卷积核，表示偏置项。9.根据权利要求1
‑
...

【专利技术属性】
技术研发人员：敖阳，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：