训练动态试衣模型的方法、生成试衣视频的方法及相关装置制造方法及图纸

本申请涉及视频处理技术领域，涉及一种训练动态试衣模型的方法、生成试衣视频的方法及相关装置。训练动态试衣模型的方法包括，获取训练集，将模特的身体躯干图像、人体关键点图像、衣服图像和光流图集输入衣服扭曲网络，得到当前帧真实试衣图像的光流图，并根据当前帧真实试衣图像的光流图对衣服图像进行扭曲变形，得到预测变形衣服图像，将预测变形衣服图像、身体躯干图像、人体关键点图像输入试衣生成网络，得到当前帧的预测试衣效果图。利用损失函数对衣服扭曲网络和试衣生成网络进行迭代训练，直到动态试衣模型收敛，得到动态试衣模型。通过实施上述方法可以提高动态试衣效果的真实感，生成稳定流畅的试衣视频。生成稳定流畅的试衣视频。生成稳定流畅的试衣视频。

【技术实现步骤摘要】
训练动态试衣模型的方法、生成试衣视频的方法及相关装置


[0001]本申请涉及视频处理
，公开了一种训练动态试衣模型的方法、生成试衣视频的方法及相关装置。

技术介绍

[0002]随着现代科技的不断进步，网购规模不断增加，用户可以通过手机在网络购物平台上购买衣物，但是，由于用户获取的待售衣物的信息一般是二维展示图片，用户无法知道这些衣物穿戴在自己身上的效果，因而可能会导致买到不适合自己的衣物，购物体验较差。
[0003]随着生成式对抗网络的不断发展，虚拟试衣已经能生成非常逼真的试衣图像。动态虚拟试衣是在生成试衣图像的基础上进一步生成试衣视频，给用户提供更加逼真流畅的动态试衣体验，然而，目前现有的动态试衣技术展现出来的试衣效果视频帧之间的连续性不佳，可能出现卡顿抖动等现象。

技术实现思路

[0004]本申请实施例提供一种动态试衣模型的训练方法、生成视频的方法和相关装置，通过利用光流图集的所有光流特征信息指导生成当前帧真实试衣图像的光流图，能提高试衣视频帧之间的连续性，减少试衣视频的卡顿抖动现象。
[0005]第一方面，本申请实施例提供一种动态试衣模型的训练方法，该动态试衣模型包括衣服扭曲网络和试衣生成网络，该方法包括：
[0006]获取训练集，其中，所述训练集包括多个训练数据，所述训练数据包括衣服图像和真实试衣视频，所述真实试衣视频包括多帧真实试衣图像，所述真实试衣图像中模特穿着所述衣服图像对应的衣服；
[0007]将所述模特的身体躯干图、人体关键点图像、所述衣服图像和光流图集输入所述衣服扭曲网络，得到当前帧真实试衣图像的光流图，其中，所述当前帧是指动态试衣模型当前正在处理的帧，所述光流图集包括第一帧真实试衣图像的光流图至当前帧的前一帧真实试衣图像的光流图；
[0008]根据所述当前帧真实试衣图像的光流图对所述衣服图像进行扭曲变形，得到预测变形衣服图像；
[0009]将所述身体躯干图、人体关键点图像、所述预测变形衣服图像输入所述试衣生成网络，得到当前帧的预测试衣效果图；
[0010]采用损失函数对所述衣服扭曲网络和所述试衣生成网络进行迭代训练，直到所述动态试衣模型收敛，得到所述动态试衣模型。
[0011]在一些实施例中，所述衣服扭曲网络包括第一编码模块、第二编码模块、第一解码模块和记忆模块，所述记忆模块存储有所述光流图集；所述将所述模特的身体躯干图、人体关键点图像、所述衣服图像和光流图集输入所述衣服扭曲网络，得到当前帧真实试衣图像的光流图，包括：
[0012]将当前帧的前一帧真实试衣图像的人体解析图和人体关键点图输入所述第一编码模块进行编码，得到第一特征图；
[0013]将当前帧真实试衣图像的身体躯干图、人体关键点图和所述衣服图像输入所述第二编码模块进行编码，得到第二特征图；
[0014]融合所述第一特征图和所述第二特征图，得到多个不同尺寸的第三特征图；
[0015]融合所述多个不同尺寸的第三特征图以及第一帧真实试衣图像至当前帧的前一帧真实试衣图像的光流图，获得第四特征图；
[0016]将所述第四特征图输入所述第一解码模块，获得所述当前帧真实试衣图像的光流图。
[0017]在一些实施例中，所述第一解码模块输出的当前帧真实试衣图像的光流图为低分辨率光流图，所述方法还包括：
[0018]对所述低分辨率光流图进行上采样操作，得到高分辨率的当前帧真实试衣图像的光流图。
[0019]在一些实施例中，所述试衣生成网络包括第三编码模块、第四编码模块和第二解码模块；所述将所述模特的身体躯干图、人体关键点图像、所述预测变形衣服图像输入所述试衣生成网络，得到当前帧真实试衣图像的的预测试衣效果图，包括：
[0020]将当前帧的前一帧真实试衣图像的预测试衣效果图和人体关键点图输入第三编码模块进行编码，得到第五特征图；
[0021]将当前帧真实试衣图像的人体保留区域图、人体关键点图和预测变形衣服图像输入第四编码模块进行编码，得到第六特征图；
[0022]融合所述第五特征图与第六特征图得到第七特征图；
[0023]将所述第七特征图输入第二解码模块进行解码，得到当前帧真实试衣图像的的预测试衣效果图。
[0024]在一些实施例中，所述采用损失函数为：
[0025]Loss1＝L
warp
+λ1L
gen
；
[0026]其中，
[0027]所述Loss1为所述损失函数，所述L
warp
为衣服扭曲变量损失，所述L
gen
为试衣生成变量损失，所述L
con
为试衣生成边缘损失，所述为试衣感知损失，所述λ1和λ2为超参数。
[0028]在一些实施例中，所述衣服扭曲变量损失为：
[0029][0030]所述edge
t
是当前帧t真实衣服边缘图像，所述是当前帧t预测变形衣服边缘图像，所述代表当前帧t真实变形衣服图像，所述代表当前帧t预测变形衣服图像，VGG
i
和N
i
分别代表是VGG19网络第i层中的特征图和特征元素数,M表示VGG19网络的层数；
[0031]在一些实施例中，所述试衣生成边缘损失为：
[0032][0033]所述感知损失为：
[0034][0035]所述当前帧t真实试衣效果图，所述当前帧t预测试衣效果图，VGG
i
和N
i
分别代表是VGG19网络第i层中的特征图和特征元素数,M表示VGG19网络的层数，其中，所述λ3为超参数。
[0036]第二方面，本申请提供一种生成试衣视频的方法，该方法包括：
[0037]获取待试衣服图像和用户视频，所述用户视频包括多帧用户图像；
[0038]将所述用户的身体躯干图像、用户的人体关键点图像、所述待试衣服图像和用户的光流图集输入动态试衣模型的衣服扭曲网络，得到用户的当前帧真实试衣图像的光流图，所述用户的光流图集包括所述用户视频中第一帧用户图像的光流图至当前帧的前一帧用户图像的光流图，所述动态试衣模型还包括试衣生成网络；
[0039]根据所述当前帧真实试衣图像的光流图对所述待试衣服图像进行扭曲变形，得到变形待试衣服图像；
[0040]将所述用户的身体躯干图像、用户的人体关键点图像、所述变形待试衣服图像输入所述试衣生成网络，得到用户的当前帧的预测试衣效果图；
[0041]将用户的每一帧用户图像进行如上相同处理，逐帧生成试衣视频。
[0042]其中，所述动态试衣模型采用如上第一方面中任意一项所述的训练动态试衣模型的方法训练得到。
[0043]第三方面，本申请还提供了一种计算机设备，包括：
[0044]至少一个处理器，以及
[0045]与至少一个处理器通信连接的存储器，其中，
[0046]存储器存储有可被至少一个处理器执行的指令，指令被至少一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练动态试衣模型的方法，其特征在于，所述动态试衣模型包括衣服扭曲网络和试衣生成网络，所述方法包括：获取训练集，其中，所述训练集包括多个训练数据，所述训练数据包括衣服图像和真实试衣视频，所述真实试衣视频包括多帧真实试衣图像，所述真实试衣图像中模特穿着所述衣服图像对应的衣服；将所述模特的身体躯干图、人体关键点图像、所述衣服图像和光流图集输入所述衣服扭曲网络，得到当前帧真实试衣图像的光流图，其中，所述当前帧是指所述动态试衣模型当前正在处理的帧，所述光流图集包括第一帧真实试衣图像的光流图至当前帧的前一帧真实试衣图像的光流图；根据所述当前帧真实试衣图像的光流图对所述衣服图像进行扭曲变形，得到当前帧的预测变形衣服图像；将所述身体躯干图、所述人体关键点图像、所述预测变形衣服图像输入所述试衣生成网络，得到当前帧的预测试衣效果图；基于所述预测变形衣服图像、所述预测试衣效果图和所述真实试衣图像利用损失函数计算损失，并根据所述损失对所述衣服扭曲网络和所述试衣生成网络进行迭代训练，直到所述动态试衣模型收敛，得到所述动态试衣模型。2.根据权利要求1所述的方法，其特征在于，所述衣服扭曲网络包括第一编码模块、第二编码模块、第一解码模块和记忆模块，所述记忆模块存储有所述光流图集；所述将所述模特的身体躯干图、人体关键点图像、所述衣服图像和光流图集输入所述衣服扭曲网络，得到当前帧真实试衣图像的光流图，包括：将当前帧的前一帧真实试衣图像的人体解析图和人体关键点图输入所述第一编码模块进行编码，得到第一特征图；将当前帧真实试衣图像的身体躯干图、人体关键点图和所述衣服图像输入所述第二编码模块进行编码，得到第二特征图；融合所述第一特征图和所述第二特征图，得到多个不同尺寸的第三特征图；融合所述多个不同尺寸的第三特征图以及第一帧真实试衣图像至所述当前帧的前一帧真实试衣图像所对应的光流图，获得第四特征图；将所述第四特征图输入所述第一解码模块，获得所述当前帧真实试衣图像的光流图。3.根据权利要求2所述的方法，其特征在于，所述第一解码模块输出的当前帧真实试衣图像的光流图为低分辨率光流图，所述方法还包括：对所述低分辨率光流图进行上采样操作，得到高分辨率的当前帧真实试衣图像的光流图。4.根据权利要求1
‑
3任意一项所述方法，其特征在于，所述试衣生成网络包括第三编码模块、第四编码模块和第二解码模块；所述将所述模特的身体躯干图、人体关键点图像、所述预测变形衣服图像输入所述试衣生成网络，得到当前帧真实试衣图像的预测试衣效果图，包括：将当前帧的前一帧真实试衣图像的预测试衣效果图和人体关键点图输入第三编码模块进行编码，得到第五特征图；将当前帧真实试衣图像的身体躯干图、人体关键点图和预测变形衣服图像输入第四编
码模块进行编码，得到第六特征图；融合所述第五特征图与所述第六特征图得到第七特征图；将所述第七特征图输入第二解码模块进行解码，得到当前帧真实试衣图像的预测试衣效果图。5.根据权利要求1所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：敖阳，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：