【技术实现步骤摘要】
本专利技术属于计算机视觉和服装设计相结合的，具体涉及一种服装二次设计系统及方法。
技术介绍
1、对于成品服装的二次设计是服装设计中的一种常见设计形式，可以在吸收现成服装设计的成功元素的基础上，进行风格、花型、面料的独特性创新，是一种相对高效且稳定的服装设计形式。然而传统的服装设计和生产流程通常依赖于设计师的经验和手工操作。虽然拥有服装原型作为基础，设计师仍然需要大量的时间和精力来进行市场调研、设计构思、样板制作等工作，导致时间成本高、二次设计周期长、无法准确预测市场趋势等问题。
2、由于人工智能能够处理和分析大数据、提供个性化定制建议、优化设计流程，开发一种人工智能辅助的服装二次设计方法和系统，已成为进一步提升创意水平、提高效率、降低成本、更好地满足市场需求的重要途径。现有人工智能介入的服装生成方法往往基于gan模型，例如专利文献cn116740207a公开的一种基于对抗网络的服装个性化生成方法，但是gan模型有明显缺点：无法直接生成高分辨率图像、生成效果不稳定，且对条件输入敏感性低，即使建立关键词库进行训练，关键词引导下的生成结果与目标效果的偏离程度也较高。另外，关键词库是一种弱联系的信息结构，无法在设计创作时提供足够的建议。
3、扩散模型则是一种通过神经网络对噪声图像进行去噪而生成目标图像的框架，它基于数亿的图文信息对进行底层架构的训练，最新的基础框架稳定扩散模型，具有稳定生成1k、2k高分辨率、高质量图像的能力，已经可以满足服装设计对于生成图像质量的要求。
4、稳定扩散模型在生成图像时依
5、综上所述，目前人工智能辅助下的服装二次设计方法主要面临以下技术问题：1.原始扩散模型生成服装往往带有人像，无法满足服装设计需求；2.提示词撰写的学习成本及质量要求较高；3.进行二次创作的专业知识及流行趋势学习收集成本较高；4.提示词对生成过程影响较大以至于无法保留原始信息。
技术实现思路
1、鉴于上述，本专利技术的目的是提供一种服装二次设计系统及方法，提升服装二次设计的质量、效率和多样性。
2、为实现上述专利技术目的，本专利技术实施例提供的一种服装二次设计系统，包括：
3、接收模块，其用于接收上传的服装样衣图像；
4、设计模块，其包括图像转义子模块、对话子模块、细节编辑子模块，图像转义子模块用于将服装样衣图像转换为文本描述，对话子模块用于利用大语言模型根据文本描述进行多轮对话生成文本提示词，细节编辑子模块用于对服装样衣图像进行掩码处理得到掩码样衣图像；
5、生成模块，其包括图文适配器和扩散模型，图文适配器用于基于服装样衣图像和文本提示词提取图文特征，扩散模型用于基于掩码样衣图像经过加噪过程生成噪声编码，基于噪声编码和作为引导条件的图文特征经过去噪过程生成新服装图像。
6、优选地，所述图像转义子模块采用blip模型将服装样衣图像转换为文本描述。
7、优选地，所述对话子模块采用具有对话功能的大语言模型根据文本描述进行多轮对话生成文本提示词，具体包括：
8、大语言模型进行多轮对话，每轮对话中，基于提问范式将文本描述与服装行业知识图谱中的实体及其属性进行匹配，得到匹配结果，其中匹配结果包括从文本描述提取的描述特征和从服装行业知识图谱中提取的实体及其属性特征，依据描述特征与实体及其属性特征之间的关联性强度、基于实体及其属性特征计算的流行趋势、以及基于实体及其属性特征计算的专家评分筛选二次设计建议文本；
9、将多轮对话生成的二次设计建议文本基于服装行业知识图谱进行归纳生成文本提示词。
10、优选地，所述基于实体及其属性特征计算的流行趋势为实体及其属性特征在最近一段时间的使用频率；
11、所述基于实体及其属性特征计算的专家评分为多位设计师对实体及其属性特征评分的平均值。
12、优选地，所述细节编辑子模块提供涂抹功能，基于涂抹功能实现对服装样衣图像的涂抹处理生成控制图像修改范围的图像掩码 mask，被涂抹处理的部分将被保留，则得到的掩码样衣图像 i m表示为：
13、；
14、其中， i表示原始的服装样衣图像，符号表示像素点乘，符号表示无信息图像。
15、优选地，所述图文适配器包括图像编码器、线性映射层、图像注意力层、文本编码器、文本注意力层、以及线性加权层，基于服装样衣图像和文本提示词提取图文特征的过程为：
16、服装样衣图像依次经过图像编码器、线性映射层以及图像注意力层进行图像编码、线性映射以及图像注意力提取后得到图像特征，文本提示词依次经过文本编码器、以及文本注意力层进行文本编码和文本注意力提取后得到文本特征，图像特征和文本特征经过线性加权层进行线性加权后得到图文特征。
17、优选地，所述扩散模型包括vae编码器，输入的掩码样衣图像经过vae编码器编码到潜在空间得到潜在编码，并在潜在空间通过加噪算法对潜在编码进行多步加噪得到噪声编码；
18、所述扩散模型还包括unet去噪模型和vae解码器，在每个时间步，unet去噪模型中，基于输入的去噪编码和作为引导条件的图文特征通过unet生成去噪噪声，并基于去噪噪声通过去噪算法对输入的去噪编码处理后得到下一时间步的去噪编码并输出，其中加噪过程生成的噪声编码作为第一时间步的去噪编码输入至unet去噪模型，最后一时间步unet去噪模型输出的去噪编码经过vae解码器解码后作为新服装图像。
19、优选地，所述unet去噪模型中的unet通过lora模型进行参数配置，具体包括：预先训练多个服装属性的lora模型，并为每个服装属性的lora模型配置属性文本描述，在参数配置时，依据文本提示词与属性文本描述进行相似度匹配，筛选相似度最高的属性文本描述对应的lora模型为unet进行参数配置。
20、优选地，所述服装属性包括款式、风格、花型、面料。
21、为实现上述专利技术目的，本专利技术实施例还提供了一种服装二次设计方法，所述方法使用上述服装二次设计系统，包括以下步骤：
22、利用接收模块上传服装样衣图像；
23、利用设计模块基于服装样衣图像进行多轮对话生成文本提示词和通过对服装样衣图像掩码处理生成掩码样衣图像；
24、利用生成本文档来自技高网...
【技术保护点】
1.一种服装二次设计系统，其特征在于，包括：
2.根据权利要求1所述的服装二次设计系统，其特征在于，所述图像转义子模块采用BLIP模型将服装样衣图像转换为文本描述。
3.根据权利要求1所述的服装二次设计系统，其特征在于，所述对话子模块采用具有对话功能的大语言模型根据文本描述进行多轮对话生成文本提示词，具体包括：
4.根据权利要求3所述的服装二次设计系统，其特征在于，所述基于实体及其属性特征计算的流行趋势为实体及其属性特征在最近一段时间的使用频率；
5.根据权利要求1所述的服装二次设计系统，其特征在于，所述细节编辑子模块提供涂抹功能，基于涂抹功能实现对服装样衣图像的涂抹处理生成控制图像修改范围的图像掩码Mask，被涂抹处理的部分将被保留，则得到的掩码样衣图像IM表示为：
6.根据权利要求1所述的服装二次设计系统，其特征在于，所述图文适配器包括图像编码器、线性映射层、图像注意力层、文本编码器、文本注意力层、以及线性加权层，基于服装样衣图像和文本提示词提取图文特征的过程为：
7.根据权利要求1所述的服装二次设计系统
8.根据权利要求7所述的服装二次设计系统，其特征在于，所述UNET去噪模型中的UNET通过LORA模型进行参数配置，具体包括：预先训练多个服装属性的LORA模型，并为每个服装属性的LORA模型配置属性文本描述，在参数配置时，依据文本提示词与属性文本描述进行相似度匹配，筛选相似度最高的属性文本描述对应的LORA模型为UNET进行参数配置。
9.根据权利要求8所述的服装二次设计系统，其特征在于，所述服装属性包括款式、风格、花型、面料。
10.一种服装二次设计方法，其特征在于，所述方法使用权利要求1-9任一项所述的服装二次设计系统，包括以下步骤：
...【技术特征摘要】
1.一种服装二次设计系统，其特征在于，包括：
2.根据权利要求1所述的服装二次设计系统，其特征在于，所述图像转义子模块采用blip模型将服装样衣图像转换为文本描述。
3.根据权利要求1所述的服装二次设计系统，其特征在于，所述对话子模块采用具有对话功能的大语言模型根据文本描述进行多轮对话生成文本提示词，具体包括：
4.根据权利要求3所述的服装二次设计系统，其特征在于，所述基于实体及其属性特征计算的流行趋势为实体及其属性特征在最近一段时间的使用频率；
5.根据权利要求1所述的服装二次设计系统，其特征在于，所述细节编辑子模块提供涂抹功能，基于涂抹功能实现对服装样衣图像的涂抹处理生成控制图像修改范围的图像掩码mask，被涂抹处理的部分将被保留，则得到的掩码样衣图像im表示为：
6.根据权利要求1所述的服装二次设计系统，其特征在于，所述图文适配器包括图像编码器、线性映射层、图像注意力层、文本编码器、文本注意力层...
【专利技术属性】
技术研发人员：汤程杰，汤永川，何永兴，林城誉，张欣隆，吴寿叶，孙凌云，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。