一种基于自定义扩散模型的三维虚拟试穿方法和系统技术方案

技术编号:41511544 阅读:21 留言:0更新日期:2024-05-30 14:50
本发明专利技术涉及深度学习和计算机视觉技术领域,公开了一种基于自定义扩散模型的三维虚拟试穿方法和系统,包括:构建扩散模型,对扩散模型进行预训练,获得预训练扩散模型,将多概念的LoRA和Densepose ControlNet引入到预训练扩散模型,获得自定义扩散模型;使用自定义扩散模型生成RGB模板,根据RGB模板获取掩膜模板和法线模板;使用第一MLP网络参数化基于DMTet的几何表示,训练第一MLP网络并更新参数直至收敛,获得优化几何表示;使用第二MLP网络参数化优化几何表示对应的纹理,训练第二MLP网络并更新参数直至收敛,获得优化纹理表示;结合优化几何表示和所述优化纹理表示,获得试穿结果的人体,完成试穿。本发明专利技术能够简化试穿处理步骤和提高生成试穿视图的质量。

【技术实现步骤摘要】

本专利技术涉及深度学习和计算机视觉,特别是涉及一种基于自定义扩散模型的三维虚拟试穿方法和系统


技术介绍

1、虚拟试穿旨在根据用户输入的数字衣服和数字人,输出该数字人穿上该数字衣服的视图。现有绝大多数虚拟试穿方法实现了二维层面的虚拟试穿。总体而言这些方法采用了衣服变形-试穿生成的两阶段框架,首先采取了tps或者基于流的网络完成衣服变形,然后采取诸如gan(生成对抗网络)或者扩散模型合成最终的生成结果。三维虚拟试穿方法将二维虚拟试穿拓展到了更高的维度,能够立体三维虚拟试穿结果,即生成立体的穿着相应数字衣物的数字人。传统三维虚拟试穿方法使用了三维扫描或者衣物物理建模的方式,构建立体试穿结果。基于深度学习的三维虚拟试穿方法利用了可微渲染器,使smpl(参数化人体模板)穿上衣服。尽管在三维虚拟试穿方面生成方面取得了显著进展,但存在输入数据要求繁多导致处理过程复杂、生成的三维模型过饱和或者含有过多杂质导致最终生成的视图质量不高。

2、现有技术公开一种虚拟试穿、试戴系统及电子设备,包括虚拟试穿试戴模块、虚拟场景演示模块、搭配模块;所述搭配模块用于匹配待试物本文档来自技高网...

【技术保护点】

1.一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,包括:

2.根据权利要求1所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤S2具体包括:

3.根据权利要求2所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤S3具体包括:

4.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤S3.2中训练的目标函数由下式确定:

5.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤S3.4中分数蒸馏采样损失由下式确定:

6.根据权利要求3所述的一种基...

【技术特征摘要】

1.一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,包括:

2.根据权利要求1所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s2具体包括:

3.根据权利要求2所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3具体包括:

4.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3.2中训练的目标函数由下式确定:

5.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3.4中分数蒸馏采样损失由下式确定:

6.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,...

【专利技术属性】
技术研发人员:梁小丹谢震宇高雨飞马泽华
申请(专利权)人:中山大学·深圳
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1