一种基于扩散模型的轻量虚拟试穿方法、系统及介质技术方案

本发明专利技术提供一种基于扩散模型的轻量虚拟试穿方法、系统及介质，该方法包括：创建一个轻量级掩码提取器，对模特图像和服装图像上的衣服提取精确的掩码；对服装掩码和服装图像分别进行形状调整；将模特图像和服装图像分别编码到潜在空间，并且使用DDIM反转技术，分别获得T+1个备用的噪声潜在特征；在扩散模型的扩散去噪过程的前期步骤中取一时间步t<subgt;1</subgt;，将备用服装图像的潜在信息注入到模特图像的重建过程中；在后期步骤中取一时间步t<subgt;1</subgt;，通过潜在信息替换技术恢复背景；进行逐步去噪，直至去噪完全，最后将无噪声的潜在特征解码到像素空间，得到生成的换装图像结果。本发明专利技术无需对扩散模型进行训练，就能生成高质量的试穿图像，提升用户体验。

【技术实现步骤摘要】

本专利技术涉及图像处理，尤其是涉及一种基于扩散模型的轻量虚拟试穿方法。

技术介绍

1、虚拟试穿技术的主要任务是通过计算机模拟，将用户选择的服装以自然的方式穿戴在用户提供的照片上。传统方法通常依赖于复杂的深度学习模型，如生成对抗网络(gan)，这些模型需要在大规模数据集上进行长时间训练，以实现服装与人体图像的精确融合。这些方法尽管有效，但它们对计算资源和时间的需求非常高，难以在资源受限的环境中应用。

2、近年来，扩散模型作为一种新兴的生成模型，因其在图像生成任务中的出色表现而受到关注。然而，扩散模型同样面临训练复杂、数据需求大以及计算成本高的问题，这使得它们在实际应用中存在一定的局限性。

3、总之，目前常见的虚拟试穿方法还是采用复杂的gan或扩散模型，这些方法虽然能够生成高质量的图像，但往往需要大量的计算资源和繁重的训练过程。此外，这些方法通常要求用户提供多种类型的输入数据，如人体姿态图、分割图和衣物掩码等，而这对于非专业用户来说非常不友好，增加了用户的使用门槛。有鉴于此，亟待寻找一种能够高效实现虚拟试穿的方法。</p>
...

【技术保护点】

1.一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述轻量级掩码提取器具体结构包括3个卷积层+Relu激活函数、CLIP文本编码器、2个全连接层+激活函数、1×1卷积层、Sigmoid函数以及上采样模块，所述掩码提取过程具体为：通过3个卷积层+Relu激活函数对模特图像或服装图像进行浅层图像特征的提取，使用CLIP文本编码器和2个全连接层，中间带有Relu激活函数的结构，将文本提示词P转化为文本嵌入，然后将提取到的浅层图像特征和文本嵌入通过矩阵乘法和1×1卷积层进行特征融合，使用Sigm...

【技术特征摘要】

1.一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述轻量级掩码提取器具体结构包括3个卷积层+relu激活函数、clip文本编码器、2个全连接层+激活函数、1×1卷积层、sigmoid函数以及上采样模块，所述掩码提取过程具体为：通过3个卷积层+relu激活函数对模特图像或服装图像进行浅层图像特征的提取，使用clip文本编码器和2个全连接层，中间带有relu激活函数的结构，将文本提示词p转化为文本嵌入，然后将提取到的浅层图像特征和文本嵌入通过矩阵乘法和1×1卷积层进行特征融合，使用sigmoid函数进行激活后，对其进行插值上采样到所需分辨率，即得到对应的掩码信息。

3.根据权利要求1所述的一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述步骤s1中还包括对轻量级掩码提取器进行训练得到最终的轻量级掩码提取器，并在推理过程中采用聚类方式对模特图像的掩码进一步划分为上半身掩码和下半身掩码。

4.根据权利要求1所述的一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述步骤s2中服装掩码的形状调整操作具体如下：分别计算能够定位到的模特掩码的最小矩形和服装掩码的最小矩形使用图像插值将中的内容插值到的大小，进行服装掩码和模特掩码大小和位置的对齐，进而得到调整形状后的服装掩码，所述服装图像执行相同的形状调整操作得到调整后的服装图像。

5.根据权利要求1所述的一种基于扩散模型的轻量虚拟试穿方法，其特征在于：所述步骤s4具体包括：

<...

【专利技术属性】
技术研发人员：纪荣嵘，詹翁怡，林明宝，
申请(专利权)人：厦门大学，
类型：发明
国别省市：