一种基于多特征融合的单张图像三维服装重建方法技术

本发明专利技术公开了一种基于多特征融合的单张图像三维服装重建方法，本发明专利技术从单张图像中多方面提取特征，并对这些特征进行融合，实现了输入单张正视角彩色图像即可进行服装建模，针对几种典型的服装模板，设计其特有的特征线，基于特征线的变形将服装模板变化成各类不同拓扑结构的服装，利用深度学习方法，设计了服装参数回归网络，并结合几种现有的特征提取网络提出一种新的服装网络结构，专门用于端到端重建三维服装。重建三维服装。重建三维服装。

【技术实现步骤摘要】
一种基于多特征融合的单张图像三维服装重建方法


[0001]本专利技术涉及服装建模领域，特别是一种基于多特征融合的单张图像三维服装重建方法。

技术介绍

[0002]目前在三维服装重建的专利上，有刘骊等申请的(1)一种基于款式描述符的三维服装建模方法(申请号：CN201510223375.9)，王平申请的(2)基于双视点三维重建技术以实现网店服装试穿的装置(申请号：CN201820002012.1)以及刘烨斌等申请的(3)基于服装建模与仿真的视频人体三维重建方法及装置(申请号：CN201910507845.2)。但这些专利涉及到的三维服装重建技术都需要更多更复杂的辅助设备和数据。
[0003]基于深度学习的方法的最新进展已经实现了单视图穿戴体重建，相关论文有：(1)Tang S,Tan F,ChengK,Li Z,Zhu S,Tan P.A neural network for detailed human depth estimation from a single image[J].In:Proceedings of the IEEE International Conference on ComputerVision(2019).和(2)AlldieckT,Pons
‑
Moll G,Theobalt C,Magnor M.Tex2shape:Detailed full human body geometry from a single image[J].In:IEEE International Conference on Computer Vision(ICCV).IEEE(oct2019).但是这些方法都需要手工进行繁琐的后处理，从重构结果中提取服装表面。然而，重建后的服装缺乏真实感。
[0004](3)Lahner Z,Cremers D,TungT.Deepwrinkles:Accurate and realistic clothing modeling[J].In:Proceedings of the European Conference on Computer Vision(ECCV)(2018).提出了一种方法，根据给定的姿势，在粗糙的衣服网格上合成合适且精细的衣服皱纹。(4)Jin N,Zhu Y,Geng Z,Fedkiw R.A pixel
‑
based framework for data
‑
driven clothing[J].arXiv preprint arXiv:1812.01677(2018).在uv空间中编码详细的几何变形。然而，该方法仅限于固定的拓扑结构，不能很好地扩展到复杂拓扑结构的变形。(5)Danerek R,Dibra E,Oztireli C,Ziegler R,Gross M.Deepgarment:3d garment shape estimation from a single image[J].In:Computer Graphics Forum(2017).建议使用基于物理的模拟作为监督，训练服装形状估计的网络。然而，其结果的质量受到合成数据的限制，因此不能达到很高的真实感。
[0005]目前在服装建模工作中效果较好的，(6)Bhatnagar B.L,Tiwari G,Theobalt C,Pons
‑
Moll G.Multi
‑
garment net:Learning to dress 3d people from images[J].In:IEEE International Conference on Computer Vision(ICCV).IEEE(oct 2019).使用3D扫描数据从图像中学习每个类别的服装重建。但这种方法通常需要8帧作为输入，且由于MGN依赖于预先训练的参数化模型，它无法处理超出范围的变形，特别是依赖于身体姿态的衣服褶皱。在此基础上，(7)H Zhu,Cao Y,H Jin,et al.Deep Fashion3D:A Dataset and Benchmark for 3D Garment Reconstruction from Single Images[J].2020.扩充并建立了一个包含2000多件服装，10种类型，并具有更丰富注释的DeppFashion 3D数据集，同时结
合了参数化建模和隐函数表示，在保留原有服装表面轮廓的同时重建表面细节。(8)Tiwari G,Bhatnagar B L,TungT,et al.SIZER:A Dataset and Model for Parsing 3D Clothing and Learning Size Sensitive 3D Clothing[C].European Conference on Computer Vision(ECCV2020).引入SizerNet来预测基于人体形状和服装尺寸参数的三维服装，并引入ParserNet来从输入的网格中一次性推断带有个人细节的服装网格和服装下的形状。(9)Corona E,Pumarola A,G Aleny
à
,et al.SMPLicit:Topology
‑
aware Generative Model for Clothed People[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR2021).引入了一种新的生成模型SMPLicit来联合表示身体姿态，形状和服装几何。但这些方法均存在同一局限性，即没有结合服装的特异性进行个性化定制。

技术实现思路

[0006]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0007]通过对比分析，上述和三维服装重建技术中存在以下问题：
[0008]1.输入端的复杂性：现有技术中大多都是通过辅助设备以及多视图、视频等作为输入，限制了重建方法的输入源；
[0009]2.服装拓扑结构的多样性：由于人体体型、姿态和服装种类的多样性，导致以三维服装重建为代表的非刚性物体建模变得极具挑战性；
[0010]3.效率低下：传统服装重建需要操作者具备专业能力以及非端到端，在操作过程中需要手工介入；
[0011]4.精度低：传统服装变形中存在精确度不高，重建的服装网格过于模板化鉴现有的三维服装建模方法中存在的问题，提出了本专利技术。
[0012]因此，本专利技术所要解决的问题在于如何提供一种基于多特征融合的单张图像三维服装重建方法。
[0013]为解决上述技术问题，本专利技术提供如下技术方案：一种基于多特征融合的单张图像三维服装重建方法，其包括，建立二维图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的单张图像三维服装重建方法，其特征在于：包括，建立二维图像到三维网格之间的关系；提取RGB图像中人体轮廓和服装语义分割特征；将提取的特征进行融合后输入网络，在网络中输出参数的预测结果；将预测得到的参数进行模板网格变形，使人体形状、姿态和服装尺寸趋向目标网格；结合变形后的服装网格和人体网格，输出结果。2.如权利要求1所述的基于多特征融合的单张图像三维服装重建方法，其特征在于：将人体M
b
(
·
)和服装M
g
(
·
)网格模型进行参数化表示，使用包括SMPL模型参数，服装轮廓参数α，以及服装模板的特征线参数L来表示三维人体网格和三维服装网格，SMPL模型参数包括形状参数β和姿态参数θ，其中服装轮廓参数α∈R
64
，形状参数β∈R
10
，姿态参数θ∈R
72
。3.如权利要求1或2所述的基于多特征融合的单张图像三维服装重建方法，其特征在于：人体网格模型M
b
(
·
)通过如下公式表示，M
b
(β,θ)＝W(T
b
(β,θ),J(θ),θ,W
b
)服装网格模型M
g
(
·
)通过如下公式表示，M
g
(β,θ,α,L)＝W(T
g
(β,θ,α,L),J(θ),θ,W
g
(α,β))人体模板变形后网格T
b
通过如下公式表示，T
b
(β,θ)＝T
′
b
+B
s
(β)+B
p
(θ)其中，W(
·
)表示标准蒙皮操作，从点云变成网格，J表示人体骨骼点，W
b
表示人体网格顶点蒙皮权重，W
g
表示服装网格顶点权重，T
g
表示服装模板变形后网格，T
′
g
表示服装模板基础网格，B
s
(
·
)表示人体网格形状变形，B
p
(
·
)表示人体网格姿态变形。4.如权利要求3所述的基于多特征融合的单张图像三维服装重建方法，其特征在于：输入一张二维穿衣人体的RGB图像，通过目标检测、轮廓提取和语义分割子网络模型提取图像中人体轮廓和服装语义分割特征。5.如权利要求4所述的基于多特征融合的单张图像三维服装重建方法，其特征在于：特征提取模块的整体损失通过如下公式表示，L1＝a
·
L
seg
+b
·
L
edge
其中L1表示特征提取模块的整体损失，L
seg
表示语义分割损失，L
edge
表示轮廓预测损失，a和b表示损失权重。6.如权利要求5所述的基...

【专利技术属性】
技术研发人员：陈丽芳，苏将沪，谢振平，刘渊，陆菁，张晓婷，
申请(专利权)人：江南大学，
类型：发明
国别省市：