一种语义对齐的图像虚拟试衣方法技术

本发明专利技术公开了一种语义对齐的图像虚拟试衣方法，可以实现基于给定服饰的高质量虚拟试衣。所述的图像虚拟试衣方法为四阶段的模型：首先对人体图像和人体语义图进行预处理以去除手臂、服装信息；其次通过人体语义合成模块预测目标人体语义图；然后使用服装对齐模块对齐服装和人体；最后使用试衣合成模块得到最终的试衣图像。在服装对齐模块中，提出了区域限制策略限制服装变形的范围，减少服装过度扭曲的情况。在试衣合成模块中，使用了空间自适应归一化层替代普通的归一化层以固定人体语义图信息。所提出的虚拟试衣方法可以生成更加符合目人体布局的虚拟试衣图像，有助于提升真实场景下的虚拟试衣效果。场景下的虚拟试衣效果。场景下的虚拟试衣效果。

【技术实现步骤摘要】
一种语义对齐的图像虚拟试衣方法


[0001]本专利技术属于图像虚拟试衣领域，具体涉及一种语义对齐的图像虚拟试衣方法。

技术介绍

[0002]基于图像的虚拟试衣技术旨在将特定的服装图像转移到目标人物图像上，并生成照片级真实性的图像或视频。其与基于图形的虚拟试衣方法的最大不同之处在于无需对服装和人物进行三维重建，而是依靠模型对图片的语义理解合成图像。给定一张目标服装图像和人物图像，模型的输出图像应当满足以下要求：(1)目标服装应穿着在人物的目标位置；(2)人物的姿态和特征应当被保留；(3)目标服装的纹理和细节应当被保留；(4)人物目标着装区域以外的服饰应当被完好保留。
[0003]当前最流行的图像虚拟试衣方法主要基于服装变形法，一般包含两个主要阶段：(1)服装对齐：将服装变形以对齐人体；(2)试衣合成：将变形后的服装与人体融合以生成试衣服装。常见的用于服装变形的几何方法有薄板样条插值法、光流法、三维辅助法等。同时，一些方法选择预测人体语义图以更好地指导试衣合成。服装变形法的优势在于可以提前对齐服装和人体，以在试衣合成阶段提供更多服装纹理先验。但是现有的服装对齐方法只提供了粗略的对齐效果，例如无法处理自遮挡情况，这会造成服装和目标着装区域的不对齐现象。此外，在试衣合成阶段，基于语义指导的方法倾向于将人体语义图直接输入模块，这往往会丢失语义信息，从而加剧服装与目标着装区域不对齐的现象。

技术实现思路

[0004]为解决上述问题，本专利技术公开了一种语义对齐的图像虚拟试衣方法，可以生成更加符合人体布局的虚拟试衣图像。首先对人体图像和人体语义图进行预处理以去除手臂、服装信息；其次通过人体语义合成模块预测目标人体语义图；然后使用服装对齐模块对齐服装和人体；最后使用试衣合成模块得到最终的试衣图像。在服装对齐模块中，提出了区域限制策略限制服装变形的范围，减少服装过度扭曲的情况。在试衣合成模块中，使用了空间自适应归一化层替代普通的归一化层以固定人体语义图信息。
[0005]为达到上述目的，本专利技术的技术方案如下：
[0006]一种语义对齐的图像虚拟试衣方法，给定一张人物图像I∈R3×
H
×
W
和一张目标服装图像c∈R3×
H
×
W
，模型将输出穿着目标服装c∈R3×
H
×
W
的人物图像同时保留姿态和人体特征，其过程包含以下步骤：
[0007](1)数据预处理：该部分旨在抹去人物图像I中的任何目标着装区域的服装信息，从而得到衣服与人物无关表达——人物图像I
a
和人体语义图S
a
，两者皆去除了衣服和手臂信息。
[0008](2)人体语义合成模块：输入为去除了手臂、服装信息的人体语义图S
a
和姿态图P和服装掩码c
m
，模型将生成穿着目标服装的目标人体语义图
[0009](3)服装对齐模块：该模块通过非刚性的TPS变换将服装图像c扭曲以对齐目标人
体的着装区域，并通过区域限制策略策略避免了变形后的服装T
θ
(c)与目标人体语义图不对齐的问题，同时亦避免了服装的过度扭曲。
[0010](4)试衣合成模块：该模块接收人物图像I、姿态P和对齐服装T
θ
(c)作为输入，并使用目标人体语义图作为生成器的的条件归一化信息以生成目标图像
[0011]所述步骤(1)中，数据预处理的流程为：给定人体图像I，使用预训练的人体姿态提取器和人体解析提取器分别提取到的人体姿态图P∈R
18HW
和人体语义图S∈L
HW
(L为语义图标签的总数)。首先将人体语义图S的服装部分S
c
置为0，然后使用姿态图P提供的坐标为中心作柱状掩码以遮蔽S的手臂部分。对于人体图像I，使用语义图S遮蔽服装部分，然后同样使用姿态图P提供的坐标为中心作柱状掩码以扩大掩码范围，使得掩码彻底覆盖人体的上半身。经过以上数据预处理，得到了衣服与人物无关表达S
a
和I
a
，它们彻底移除了服装信息，同时最大程度保留了非目标着装区域的信息。
[0012]所述步骤(2)中，人体语义合成采用U
‑
Net作为生成器。生成器G
S
接收人体语义图S
a
、姿态图P和服装掩码c
m
作为输入，预测目标人体语义图采用了多尺度判别器结构。使用两个判别器D
S1
和D
S2
在原尺寸和下采样两倍尺寸下对人体语义图进行判别，以增大判别器的感受野。具体方式是，将得到的和输入S
a
⊕
P
⊕
c
m
进行通道组合作为判别器的输入，两个判别器分别接收原尺寸的输入和经过两倍下采样的输入，并分别经过Sigmoid层输出置信度，然后取平均值作为判别器的最终输出。
[0013]所述步骤(3)中，服装对齐模块扭曲服装c以对齐目标服装I
c
，使得试衣模块能轻松地融合服装与人体图像。服装对齐模块的学习目标是一组TPS参数，并使用该参数对服装c进行TPS变换得到对齐服装c
w
。使用两个由卷积神经网络组成的编码器E1和E2分别对上个阶段生成的人体语义图和服装c进行编码，生成两个特征向量得到的特征将经过L2归一化，空间展平，并组织成矩阵然后将两者调整形状进行矩阵相乘得到和c之间的关联矩阵Corr：
[0014][0015]Corr矩阵包含了f
E1
和f
E2
每对像素之间的相似性。随后使用一个回归器R对Corr进行下采样得到对应的TPS参数θ∈R
50
。对服装c进行TPS变换可以得到变形的服装T
θ
(c)。
[0016]所述步骤(3)中，采用区域限制策略控制服装的变形范围。具体的做法是从人体语义图中提取目标服装掩码M
c
＝S
c
，然后和变形后的服装T
θ
(c)作点乘，得到本模块的最终输出，即对齐服装c
w
：
[0017]c
w
＝T
θ
(c)
⊙
M
c
[0018]所述步骤(3)中，目标损失为对齐服装c
w
和目标服装I
c
之间的L1+感知损失。同时，为了使模块关注服装的整体形状，而不是仅仅变形目标着装区域的部分像素，引入了形状损失。具体做法为，使用和服装变形同样的一套TPS参数变形店内服装掩码c
m
，得到与T
θ
(c)形状相同的服装掩码T
θ
(c
m
)，然后计算它和目标服装掩码M
c
之间的L1损失。可以使用以下公式表示：
[0019][0020]因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义对齐的图像虚拟试衣方法，其特征在于，包括如下步骤：(1)数据预处理：该部分旨在抹去人物图像I中的任何目标着装区域的服装信息，从而得到衣服与人物无关表达——人物图像I
a
和人体语义图S
a
，两者皆去除了衣服和手臂信息；(2)人体语义合成模块：输入为去除了手臂、服装信息的人体语义图S
a
和姿态图P和服装掩码c
m
，模型将生成穿着目标服装的目标人体语义图(3)服装对齐模块：该模块通过非刚性的TPS变换将服装图像c扭曲以对齐目标人体的着装区域，并通过区域限制策略避免了变形后的服装T
θ
(c)与目标人体语义图不对齐的问题，同时亦避免了服装的过度扭曲；(4)试衣合成模块：该模块接收人物图像I、姿态P和对齐服装T
θ
(c)作为输入，并使用目标人体语义图作为生成器的的条件归一化信息以生成目标图像2.如权利要求1所述的语义对齐的图像虚拟试衣方法，其特征在于，步骤(1)中，给定人体图像I，使用预训练的人体姿态提取器和人体解析提取器分别提取到的人体姿态图P∈R
18
×
H
×
W
和人体语义图S∈L
H
×
W
，L为语义图标签的总数；人体语义图S的服装部分S
c
置为0，然后使用姿态图P提供的坐标为中心作柱状掩码以遮蔽S的手臂部分；对于人体图像I，使用语义图S遮蔽服装部分，然后同样使用姿态图P提供的坐标为中心作柱状掩码以扩大掩码范围，使得掩码彻底覆盖人体的上半身。3.如权利要求1所述的语义对齐的图像虚拟试衣方法，其特征在于，步骤(2)中，人体语义合成采用U
‑
Net作为生成器，生成器G
S
接收人体语义图S
a
、姿态图P和服装掩码c
m
作为输入，预测目标人体语义图采用多尺度判别器结构；使用两个判别器D
S1
和D
S2
在原尺寸和下采样两倍尺寸下对人体语义图进行判别，增大判别器的感受野；具体方式是，将得到的和输入进行通道组合作为判别器的输入，两个判别器分别接收原尺寸的输入和经过两倍下采样的输入，并分别经过Sigmoid层输出置信度，然后取平均值作为判别器的最终输出。4.如权利要求1所述的语义对齐的图像虚拟试衣方法，其特征在于，步骤(3)中，服装对齐模块学习目标一组TPS参数，并使用该参数对服装c进行TPS变换得到对齐服装c
w
...

【专利技术属性】
技术研发人员：莫凌飞，陈盛乐，
申请(专利权)人：东南大学，
类型：发明
国别省市：