一种基于局部外观流的虚拟试衣方法技术

本发明专利技术提供了一种基于局部外观流的虚拟试衣方法，属于虚拟现实与仿真技术领域

【技术实现步骤摘要】
一种基于局部外观流的虚拟试衣方法


[0001]本专利技术涉及虚拟现实与仿真
，尤其涉及一种基于局部外观流的虚拟试衣方法
。

技术介绍

[0002]虚拟试衣技术分为二维和三维两种形式，其中二维虚拟试衣是通过对用户和目标服装图像进行处理合成试衣图像的过程
。
与三维虚拟试衣相比，二维虚拟试衣具备部署简便
、
易于推广等优势，这使得二维虚拟试衣技术在实际应用中更具可行性，容易被大众所接受
。
因此，二维虚拟试衣技术在服装领域的应用前景广阔
。
目前的基于图像的虚拟试衣方法可以通过是否依赖解析器信息可以分为基于解析器和无解析器两类
。
[0003]基于解析器的虚拟试衣技术利用人体解析信息来实现试衣效果
。
它通过提取人体图像的关键点
、
和姿势等特征，将提取的服装特征与解析得到的人体特征进行匹配和合成，生成最终的试衣图像
。
然而，当人体解析图质量低或存在误差时，例如
CP
‑
VTON
和
ClothFlow
等，其试穿结果会显得不自然
。
[0004]为了解决这个问题，基于无解析器的虚拟试衣
PF
‑
AFN
中引入了教师模块，该网络在经过预处理的图像上能够生成真实的服装翘曲图像
。
学生模块与教师模块具有相同的架构，但没有使用解析器和姿态估计技术，直接模仿教师模块的试衣能力
。
然而，由于教师模块仍然基于解析器，因此生成的图像会出现较大的伪影，进而影响到学生模块的试衣结果
。
[0005]如何解决上述技术问题为本专利技术面临的课题
。

技术实现思路

[0006]本专利技术的目的在于提供一种基于局部外观流的虚拟试衣方法，在不需要人体解析的情况下，通过提取局部外观流信息，对服装进行局部翘曲变形，对生成对抗网络的训练进行优化和改进，有效保持服装上的纹理特征和变形后的衣服细节，缓解服装纹理失真问题，减少教师模块中生成图像的伪影，提高生成结果的质量和真实度，优化学生模块的算法和训练过程，通过引入知识蒸馏使其能够更好地模仿教师模块的试衣能力，从而提升试穿结果的理想程度，即使在挑战性姿势的情况下，如交叉手臂
、
手臂遮挡身体，也能够处理较大的错位和变形，有助于用户感受高质量的虚拟试衣效果
。
[0007]为了实现上述专利技术目的，本专利技术采用技术方案具体为：一种基于局部外观流的虚拟试衣方法，包括以下步骤：
[0008]S1
：数据处理模块，将人体图像
、
穿着的原服装图像和选择的目标服装进行处理，分别获得人体语义分割图
、
人体关键点
、
遮盖服装区域的人体图像掩膜和服装解析结果；
[0009]S2
：教师模块，该模块包含三个子模块，分别是多尺度特征提取模块
、
翘曲模块和生成模块；
[0010]首先通过卷积编码器提取服装和人体图像的金字塔深度特征表示，将完整的服装分为三部分，并分别估计局部流来翘曲不同的部分，引入全局服装解析，将局部翘曲组合成
完整的翘曲服装，最后基于改进的
Res
‑
Unet
网络生成试穿图像即指导知识；此外，将经过翘曲的原服装图像作为知识蒸馏送入学生模块中进行约束，实现更好的翘曲服装；
[0011]S3
：学生模块，该模块与教师模块结构相似，但是输入只有指导知识和服装图像，在知识蒸馏的指导下，经过翘曲模块对服装进行变形，最终与指导知识一起馈送到生成模块中实现虚拟试穿
。
[0012]所述步骤
S1
的具体内容为：首先，选择人体图像和目标服装；然后，将人体图像
I
进行处理，分别获得人体语义分割图
I
dp
、
人体关键点
I
p
、
遮盖服装区域的人体图像掩膜
M
P
并将其组合成
p
*
，穿着的原服装图像
C
和选择的目标服装
G
获得服装解析结果
C
s
和
G
s
。
[0013]所述步骤
S2
的具体步骤如下：教师模块包含三个子模块，分别是多尺度特征提取模块
、
翘曲模块和生成模块
。
[0014]S2.1:
首先，将卷积编码器
E
c
和
E
p
来提取两个分支的金字塔深度特征表示，分别用表示服装图像，表示人体图像；
[0015]S2.2:
将完整的服装分为三个局部部分即左
/
右袖和躯干区域，并分别估计三个局部流来翘曲不同的部分，由于同一部分内变形的多样性较小，局部流能够准确处理翘曲并生成语义正确的扭曲结果
。
[0016]此外，设计了一个全局的服装解析，将局部翘曲组合成完整的翘曲服装
G
warp
，这种改进的方法能够提供更逼真的变形效果
。
[0017]具体地，渐进式外观流估计由
N
个流网络
FN
组成用于估计
N
个多尺度局部流，首先最高级金字塔层级上提取
g
N
和
p
N
，馈送道流网络
FN
‑1层级中进行逐像素匹配估计初始局部流然后将和
N
‑1尺度上的特征输入到
FN
‑2，即下一个层级中细化获取流继续上述步骤将和
N
‑2尺度上的特征输入到
FN
‑3获取细化流，直到最终输出通过
N
个
FN
网络逐渐细化估计的外观流，以捕捉服装图像和人物图像之间的长距离对应关系
。
[0018]具体地，
FN
网络中包含粗
/
细流估计模块，粗流估计模块，首先复制服装特征
{g
i
}
为利用来自上一层流网络的局部流
{f
in
}
将生成三个局部翘曲特征并集成：
[0019][0020]其中，
corr
代表
FlowNet2
中的相关运算，然后分别送入三个卷积层以估计相应的局部流
{f'}
，最后与
{f
in
}
相加生成细化的局部流
{f
out
}
，细流估计模块具有相同结构只是输出
{f
out
}
变成输入
{f
in...

【技术保护点】

【技术特征摘要】
1.
一种基于局部外观流的虚拟试衣方法，其特征在于，包括以下步骤：
S1、
数据处理模块中，依据
DensePose
方法，将人体图像
I、
穿着的原服装图像
C
和选择的目标服装
G
进行处理，分别获得人体语义分割图
I
dp
、
人体关键点
I
p
、
遮盖服装区域的人体图像掩膜
M
P
和服装解析结果
C
s
和
G
s
；
S2、
教师模块中包含多尺度特征提取模块
、
翘曲模块和生成模块；
S2.1、
多尺度特征提取模块，提取多尺度的人体特征和服装特征
S2.2、
翘曲模块，将完整的服装图像
G
分成三个部分，左
/
右袖和躯干区域并对每个部分预测局部流动根据局部外观流信息，分别对原服装图像和目标服装图像进行局部翘曲将局部翘曲的部分重新组装起来，形成完整的翘曲服装图像
G
warp
，将服装图像
C
进行翘曲变形为
C
warp
；
S2.3、
生成模块，将变形的衣服
G
warp
、
人体姿势估计和遮盖服装区域的人体图像连接起来作为输入，送到基于改进的
Res
‑
Unet
生成模块中，保留服装细节并生成试穿图像，将其作为指导知识
S3、
学生模块中包含与教师模块相同的三个子模块，由于输入不同，学生模块的输入指导知识和服装图像
C
，将它们送入多尺度特征提取模块中和翘曲模块中，将进行翘曲变形获得
C
*warp
，在翘曲过程中由教师模块对服装
C
的翘曲结果
C
warp
作为知识蒸馏对获得的
C
*warp
进行约束，指导学生模块中人物编码器的学习，获得翘曲结果；将
C
*warp
和送到生成模块中实现虚拟换装，并且使用真实图像
I
进行约束，获得与原图像的试穿效果
。2.
根据权利要求1所述的一种基于局部外观流的虚拟试衣方法，其特征在于，所述步骤
S1
中，选择人体图像和目标服装，将人体图像
I、
穿着的原服装图像
C
和选择的目标服装
G
进行处理，分别获得人体语义分割图
I
dp
、
人体关键点
I
p
、
遮盖服装区域的人体图像掩膜
M
P
和服装解析结果
C
s
和
G
s
。3.
根据权利要求1所述的一种基于局部外观流的虚拟试衣方法，其特征在于，所述步骤
S2.2
中，渐进式外观流估计由
N
个流网络
FN
组成，用于估计
N
个多尺度局部流，包括以下步骤：
S2.21、
从最高级金字塔层级上提取
g
N
和
p
N
，馈送道流网络
FN
‑1层级中进行逐像素匹配估计初始局部流然后将和
N
‑1尺度上的特征输入到
FN
‑2，即在下一个层级中细化获取流继续上述步骤将和
N
‑2尺度上的特征输入到
FN
‑3获取细化流，直到输出通过
N
个
FN
网络细化估计的外观流，捕捉服装图像和人物图像之间的长距离对应关系，
FN
网络中包含粗
/
细流估计模块，粗流估计模块先复制服装特征
{g
i<...

【专利技术属性】
技术研发人员：徐蕾，高瞻，朱恒，张祺，朱琳，
申请(专利权)人：南通大学，
类型：发明
国别省市：