【技术实现步骤摘要】
本专利技术涉及虚拟试穿图，尤其是一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法及生成系统。
技术介绍
1、计算机技术的发展和计算机视觉原理的广泛应用，使得利用计算机图像处理技术生成虚拟试穿图的研究越来越热门，虚拟服装试穿旨在根据一个人的图像和服装的图像,来可视化服装在该人身上的效果，对提高电商平台的用户消费体验，减少商家的模特图费用都有着重要意义。
2、目前生成虚拟试穿图的生成虚拟试穿图的挑战主要分布在两个方面——将衣服按照目标的姿态形变和保留原衣服上的细节。目前常用的虚拟试穿图生成技术中一部分技术会由于生成模型的随机性，导致原衣服的细节变化或者缺失，另一部分技术简单的将衣服形变，缺失了褶皱等效果，使姿态体现不出来，没有真实感，还有一部分技术需要人工大量筛选，并用photoshop等技术调整，成本较大。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法及生成系统，通过基于扩散模型生成褶皱，基于deformable a...
【技术保护点】
1.一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，包括如下步骤：
2.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤2中，褶皱衣服生成模型基于stablediffusion的inpainting扩散模型，具体包括如下步骤：
3.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤2中，形变衣服生成模型基于deformable attention的端到端模型，具体包括如下步骤：
4.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特...
【技术特征摘要】
1.一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，包括如下步骤：
2.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤2中，褶皱衣服生成模型基于stablediffusion的inpainting扩散模型，具体包括如下步骤：
3.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤2中，形变衣服生成模型基于deformable attention的端到端模型，具体包括如下步骤：
4.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤3中，根据重叠蒙版将两张图片的对应位置像素的值进行叠加，将两张图片的对应像素的rgb亮度值分别做以下操作：
5.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤4中，将待叠图的蒙版图以及底图的蒙版图做按位与操作，获得两张图片的重叠蒙版图；将待叠图的边缘部分以微小的比例放大，得到边缘蒙版图，最终叠加图中由三部分组成，重叠蒙版图覆盖的部分将底图和待叠图对应位置像素的值进行叠加，边缘蒙版图覆盖的部分像素为底图的对应位置像素，剩余其他部分为待叠图的对应位置像素。
6.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤5中，通过canny边缘检测方法提取叠加效果图的边缘，将该边缘输入controlnet来控制stablediffusion的生成过程；将叠加效果图输入stable-diffusion模型，将边缘部分的蒙版作为inpainting model的蒙版，去除叠加效果图边缘的瑕疵，并美化模特。
7.如权利要求1所述的通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，步骤6中，利用sam得到的语义蒙版将人物从叠加图的背景中裁剪出来，切换背景，调整人物的比例或位置，生成最后的虚拟模特图。
8.一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成系统，其特征在于，包括：数据预处理模块、褶皱衣服生成模块、形变衣服生成模块、语义分割模块、图片叠加模块和细节优化模块；将需要生成虚拟试穿图的衣服和模特输入数据预处理模块，得到两个生成模型需要的姿势骨架图、模特蒙版图模型输入；将对应的数据分别输入褶皱衣服生成模块和形变衣服...
【专利技术属性】
技术研发人员：高桓，段旭祥，胡惠康，吴冶，
申请(专利权)人：南京英麒智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。