任意人体姿态下的虚拟试衣方法技术

本发明专利技术公开一种任意人体姿态下的虚拟试衣方法，基于任意人体姿态下的虚拟试衣网络实现，该任意人体姿态下的虚拟试衣网络包括姿态可感知的布局生成模块、循环双级变换模块、多路融合模块；利用姿态可感知的布局生成模块预测目标语义分割图，然后通过循环双级变换模块实现服装的非刚性形变和人体图像的新视角合成，最后利用多路融合模块生成高保真的试衣图像。本发明专利技术提高了任意人体姿态下的虚拟试衣技术的试衣效果。术的试衣效果。术的试衣效果。

【技术实现步骤摘要】
任意人体姿态下的虚拟试衣方法


[0001]本专利技术涉及虚拟试衣
，特别是涉及一种基于图像的任意人体姿态下的虚拟试衣方法。

技术介绍

[0002]给定服饰图像、人体图像和姿态信息，任意人体姿态下的虚拟试衣技术可以生成任意人体姿态下的服装试穿图像，是计算机视觉领域中研究和应用价值较高的一个方向。
[0003]任意人体姿态下的虚拟试衣技术可以分为两类，一类是传统方法，另一类是基于深度学习的方法。传统的虚拟试衣方法通常采用两种方法，分别是对人体形变然后与服装进行合成和对服装进行形变然后与人进行合成。虽然传统虚拟试衣算法取得了一定的效果，但是存在着较多的限制，如需要固定人体或固定服饰、难以应对较大的形变等。
[0004]二维服装图像的非刚性形变存在许多的挑战，如迁移复杂的服饰、如何适应复杂的人体姿势等问题，传统的基于图像的虚拟试衣方法难以提供真实的试衣效果。任意人体姿态下的虚拟试衣技术中的关键是估计服装形变中的形变参数和图像合成，而深度学习技术在参数估计和图像合成中表现出了强大的性能，能够更好的解决这两个问题，实现任意姿态下的高保本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.任意人体姿态下的虚拟试衣方法，其特征在于，由任意人体姿态下的虚拟试衣网络实现，该任意人体姿态下的虚拟试衣网络包括姿态可感知的布局生成模块、循环双级变换模块、多路融合模块；虚拟试衣的处理步骤如下：所述姿态可感知的布局生成模块对输入的人体图像处理，获得参考语义分割图S
a
，基于参考语义分割图S
a
掩模人体图像的服装区域，获取服装不可知的人体图像I
a
；基于服装不可知的人体图像I
a
、给定的目标服装图像C
t
及给定的目标姿态图P，预测目标语义分割图所述循环双级变换模块提取目标姿态图P与目标语义分割图的多尺度语义特征作为参考深层特征以及提取目标服装图像C
t
、输入服装不可知的人体图像I
a
的多尺度语义特征作为目标深层特征，估计薄板样条插值参数θ，获取粗糙的变换流O1；构建参考深层特征和目标深层特征之间的全局与局部关系，通过迭代估计精细化的变换流O
M
；以网格采样实现目标服装图像C
t
的非刚性形变和任意姿态下的服装不可知的人体图像I
a
的新视角合成，获得目标服装形变图像C
w
以及目标姿态下的人体图像I
w
；所述多路融合模块的内容编码器以目标姿态下的人体图像I
w
，目标服装形变图像C
w
，目标语义分割图和目标姿态图P作为输入，提取多尺度特征作为内容特征纹理编码器通过可学习的编码器以及VGG网络分别提取目标服装图像C
t
的对应的纹理特征F
tN
，V
tN
并经平均池化操作后得到纹理编码F
tc
；多个级联的迁移单元以内容特征纹理编码F
tc
以及服装掩模版C
m
为输入，且通过区域归一化动态地增强内容特征服装区域的纹理进行迁移处理后输出风格特征F
style
，解码器融合内容特征及风格特征F
style
，实现服装图像和人体图像的纹理融合，生成试衣图像I
r
。2.根据权利要求1所述任意人体姿态下的虚拟试衣方法，其特征在于，所述姿态可感知的布局生成模块的处理步骤如下：由预训练的人体语义分割网络处理人体图像，获取人体图像的参考语义分割图S
a
，根据参考语义分割图S
a
掩模人体图像的服装区域，获取服装不可知的人体图像I
a
；并联服装不可知的人体图像I
a
、目标姿态图P和目标服装图像C
t
作为输入，送入语义布局生成器预测目标语义布局语义布局其中，g
s
(g)表示语义布局生成器。3.根据权利要求2所述任意人体姿态下的虚拟试衣方法，其特征在于，所述循环双级变换模块两个并列的特征提取网络、一个空间变换单元、多个级联的双级变换单元，每个双级变换单元由全局变换层和局部变换层顺序连接组成；两个并列的特征提取网络各自用于提取目标姿态图P、目标语义分割图的多尺度特征以及目标服装图像C
t
、服装不可知的人体图像I
a
的多尺度语义特征；空间变换单元的输入为两个提取网络提取的多尺度语义特征，多个级联的空间变换单元的输入为两个提取网络提取的多尺度语义特征以及空间变换单元输出的粗糙变换流；处理步骤如下：S11.结构一致但权重不共享的两个特征提取网络分别提取目标服装图像C
t
、服装不可
知的人体图像I
a
作为目标深层特征，以及提取目标姿态图P与目标语义分割图的多尺度特征作为参考深层特征：其中，{F1，F2，...，F
N
}和{Q1，Q2，...，Q
N
}分别表示提取到的人体目标形状的目标参考特征以及目标服装图像C
t
或服装不可知的人体图像I
a
的目标深层特征，f1(g)和f2(g)表示特征提取器；S12.空间变换单元计算参考深层特征F
N
和目标深层特征Q
N
的相关性，并展开操作至一维，得到相关特征F
p
：F
P
＝Flat(corr(F
N
，Q
N
))其中，corr(g)表示计算特征图之间的相关性，对两个特征做矩阵相乘，Flat(g)表示展开操作，F
p
表示获取到的相关特征；S13.空间变换单元利用其多层感知机以相关特征F
p
作为输入，预测薄板样条插值函数的参数θ，并基于参数0通过薄板样条插值函数获取粗糙变换流O1：其中MLP(g)表示多层感知机，TPS(g)表示薄板样条插值函数；S14.双级变换单元利用粗糙变换流O1对步骤S11获取的深层特征进行网格采样操作，获取对齐特征取对齐特征其中表示网格采样操作；S15.全局变换层利用其全局交叉注意力机制将目标形状的特征展开成一维，提供查询向量，对齐特征提供键值对，通过计算全局交叉注意力构建参考深层特征和目标深层特征之间的全局特征F
g
：其中LayerNorm(g)表示层归一化操作，F
M
表示对齐特征归一化后的特征，F
attn
表示经过注意力机制变换后的特征，Flat(g)表示展开操作，q
g
，k
g
，v
g
分别表示查询向量、键和值，FC(g)表示全连接层，d
k
代表维度大小，Softmax(g)代表归一化指数函数，Conv(g)表示卷积操作；F
g
表示全局特征；S16.局部变换层对全局变换层的输出处理，使用局部交叉注意力机制构建参考深层特
征和目标深层特征之间的局部特征F
l<...

【专利技术属性】
技术研发人员：陈瑞，魏豪，牟洋，
申请(专利权)人：天津大学，
类型：发明
国别省市：