基于草图和文本的服装图像生成方法及系统技术方案

本发明专利技术公开了一种基于草图和文本的服装图像生成方法及系统。利用一种草图先验嵌入模块将输入草图处理，提取关键信息并确保轮廓一致性，从而增强图像的细节表现。然后，结合一种跨空间注意力机制，通过处理文本信息来解决文本信息丢失问题，确保图像的风格一致性和整体连贯性。此外，为了减少网络的复杂度并保持图像质量，提出了一种网络简化方案。实验结果表明，所提出的方法在生成高保真度服装图像方面表现优异，优于现有的多模态生成方法。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，尤其涉及一种基于草图和文本的服装图像生成方法及系统。

技术介绍

1、近年来，随着人工智能(ai)技术的发展，尤其是在深度学习领域的突破，计算机视觉和多模态生成技术得到了广泛应用。生成对抗网络(gans)、扩散模型(diffusionmodels,dms)等生成模型在文本生成图像、多模态图像生成等任务中展现了巨大的潜力，特别是在时尚设计和虚拟试衣等应用中取得了显著进展。文本到图像的生成技术，作为一种跨模态转换任务，已成为计算机视觉和多媒体领域的热门研究方向。

2、在传统的时尚设计中，设计师通常依赖手绘草图、面料样本和手工调整来完成设计。然而，随着深度生成模型的发展，ai技术逐渐改变了这一传统过程，设计师可以通过文本描述或草图来自动生成服装图像，这大大提高了设计效率和精度。在此背景下，文本生成图像方法尤其受到关注，旨在根据文本描述自动生成与其内容相符的图像。

3、现有的基于文本生成图像的技术，尤其是在时尚设计中，主要面临以下几个挑战：首先，如何在图像生成过程中保持草图的轮廓精度和细节，以避免生成的图像出现形本文档来自技高网...

【技术保护点】

1.基于草图和文本的服装图像生成方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于草图和文本的服装图像生成方法，其特征在于：步骤2中通过草图先验嵌入模块对输入的草图进行特征提取，具体过程为：基于输入的草图Sinput，首先通过初步特征提取模块捕捉基本的边缘特征，所述初步特征提取模块包括：第一卷积层提取边缘特征，并通过批量归一化和ReLU激活函数进行处理，得到初步特征图S1；随后，第二卷积层进一步精炼特征，得到精炼后的特征图S2；为了去除冗余信息，接着通过全局特征加权模块对S2进行全局池化，得到全局特征向量Sgap：

3.如权利要求2所述的基于草图和文本的...

【技术特征摘要】

1.基于草图和文本的服装图像生成方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于草图和文本的服装图像生成方法，其特征在于：步骤2中通过草图先验嵌入模块对输入的草图进行特征提取，具体过程为：基于输入的草图sinput，首先通过初步特征提取模块捕捉基本的边缘特征，所述初步特征提取模块包括：第一卷积层提取边缘特征，并通过批量归一化和relu激活函数进行处理，得到初步特征图s1；随后，第二卷积层进一步精炼特征，得到精炼后的特征图s2；为了去除冗余信息，接着通过全局特征加权模块对s2进行全局池化，得到全局特征向量sgap：

3.如权利要求2所述的基于草图和文本的服装图像生成方法，其特征在于：全局特征向量sgap的计算方式如下：

4.如权利要求2所述的基于草图和文本的服装图像生成方法，其特征在于：加权特征图sg的计算方式如下：<...

【专利技术属性】
技术研发人员：方菲，姜恒，闫嘉雯，肖春霞，何儒汉，陈佳，熊明福，彭涛，胡新荣，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：