【技术实现步骤摘要】
本专利技术涉及多媒体与计算机视觉，特别是涉及一种多模态数据驱动的生成式时尚兼容服装设计方法及系统。
技术介绍
1、纺织服装是时尚的主要表达形式，研究纺织服装时尚与设计的关系，对时尚的走向和设计的趋势都有着深远影响。传统的服装设计模式需要设计师首先分析参考服装的风格特点，随后进行时尚潮流趋势的调研分析，最后完成服装的风格与款式设计。整个过程往往需要耗费几个月甚至几年的时间才能完成，这一模式已逐渐成为制约服装设计发展的瓶颈。随着个性需求的爆炸增长，大众化的服饰已经无法满足人们的需求，人们开始有着自己的设计理念与表达主张，希望通过自己的作品展示他们的风格。从当今的环境下可以看出个性化设计已经成了一种趋势。并且，时尚是个性化与大众审美的共同表达，设计师与用户往往希望设计出即满足个人喜好同时符合大众潮流的衣服。然而，现有的服装设计方法集中于研究单一类型服装手稿或成衣的风格转换，无法明确设计服装的颜色、纹理、图案、线条等样式，设计效果一般，功能单一，用户交互体验差，且无法获悉设计的作品是否符合大众审美，具有巨大的应用限制。
技术实现思路
1、针对现有服装设计研究功能单一，效果不佳和交互体验差问题，提出了一种多模态数据驱动的生成式时尚兼容服装设计方法及系统，具有良好的应用前景。本专利技术的目的是提供一种多模态数据驱动的生成式时尚兼容服装设计方法及系统，可实现多种类型服装的手稿风格设计，属性参数化设计及时尚性评估辅助设计，并为设计师与用户提供语音交互设计方式，以满足个性化需求，为用户提供便捷的多功
2、本专利技术的技术方案为：
3、多模态数据驱动的生成式时尚兼容服装设计方法，包括以下步骤：
4、步骤1：构建语音智能识别模块，将用户输入的音频数据进行文本识别分析来获取用户设计需求；
5、步骤2：构建服装手稿智能渲染模块，根据用户设计需求，基于生成对抗思想对服装手稿区域进行目标风格高质量渲染；
6、步骤3：构建服装属性交互式设计模块，基于多尺度的编码器-解码器架构分层控制服装各种属性样式的生成，并通过施加正则化约束进行显式参数化，实现个性化服装属性的交互设计；
7、步骤4：构建服装美学评分模块，基于交叉注意网络与全局注意力网络为用户提供可解释的服装兼容性评估以辅助协同时装设计，获得最终的属性兼容信息矩阵及兼容分数。
8、进一步的，
9、步骤1中语音智能识别模块的构建过程为：
10、步骤11：采集用户音频数据，将音频数据经过信号高频分量补偿后获取音频帧，每一音频帧数据加窗后经过离散傅立叶变换得到频谱图；
11、步骤12：将频谱图的特征经过mel滤波器得到音频特征log fbank特征；
12、步骤13：使用transformer编码器对音频特征log fbank进行特征编码，输出特征向量；
13、步骤14：将特征向量输入transformer解码器获取语音识别文本；
14、步骤15：构建与训练基于统计的n-gram语言模型，引入上下文信息，以更好地捕捉句子结构和语言相关性；
15、步骤16：将transformer模型的输出与基于n-gram的语言模型结合，输出最终识别的文本序列。
16、进一步的，
17、步骤13中音频特征的编码过程为：
18、步骤131：添加位置编码考虑词的顺序，即使用一组特定的函数来生成位置编码，位置编码与嵌入的词相关联，以表示它们在序列中的位置；
19、步骤132：通过自注意力机制将输入序列中的不同位置之间建立关联，即通过计算每个位置与序列中其他位置的关联程度，然后将这些关联程度用于加权平均以获得每个位置的上下文表示；
20、步骤133：建立多个并行的自注意力头；每个头都学习不同的关系，然后这些头的输出被连接在一起以形成最终的注意力表示；
21、步骤134：添加残差连接，用于训练深层网络；此外，进行层归一化用于规范每个子层的输出；
22、步骤135：构建一个全连接的前馈网络，经过激活函数输出输入音频特征序列的隐藏表示；
23、步骤14中语音识别文本的解码过程为：
24、步骤141：构建自注意力机制，用于考虑解码器内部的位置关系以及关注编码器产生的隐藏表示；
25、步骤142：建立多头自注意力机制，用于提高建模能力，这些头的输出会连接在一起以形成最终的注意力表示；
26、步骤143：将注意力表示输入至全连接层中进行特征映到词汇表的分布；
27、步骤144：通过softmax函数将输出嵌入转化为一个概率分布，然后可以从该分布中采样出下一个输出词；
28、步骤145：通过迭代生成输出序列的每个标记，直到生成一个特殊的结束标记或达到最大长度；
29、步骤15中基于统计的n-gram语言模型的构建与训练过程为：
30、训练一个基于统计的n-gram语言模型，用于估算句子或文本序列的概率；根据先前n-1个词的上下文来预测下一个词的概率；
31、步骤16中出最终识别文本序列的过程为：
32、步骤161：使用transformer模型生成候选文本序列；
33、步骤162：使用基于n-gram的语言模型计算每个候选文本序列的概率；这通常涉及到计算每个词的条件概率，根据其前面的n-1个词；
34、步骤163：将transformer模型和n-gram语言模型的概率相乘，以得到最终的候选文本序列概率；
35、步骤164：选择具有最高综合概率的文本序列作为最终的识别结果。
36、进一步的，步骤2中服装手稿智能渲染模块的构建过程为：
37、步骤21：采集服装手稿图与多种风格图，制备手稿数据集与风格数据集，对数据集进行预处理，划分训练集与测试集；
38、步骤22：基于生成对抗思想构建风格自学习模型mask-gan，用于提取待渲染的手稿区域掩码；
39、步骤23：构建基于cyclegan模型改进的风格渲染模型s-cyclegan，用于目标手稿区域进行风格渲染；
40、步骤24：分别使用手稿数据集与风格数据集训练语义提取模型mask-gan，利用adam优化器对模型进行参数优化，训练得到手稿区域掩码提取模型；
41、步骤25：使用训练得到的手稿区域掩码提取模型分别对手稿数据集进行目标区域掩码提取，形成与原数据集配对的目标区域掩码数据集；
42、步骤26：输入手稿数据集与风格数据集训练风格渲染模型s-cyclegan，利用adam优化器对模型进行参数优化，训练得到最佳风格渲染效果的模型；
43、步骤27：根据用户需求获得目标风格，使用训练得到的最佳风格迁移效果的模型将用户提供的手稿渲染为本文档来自技高网...
【技术保护点】
1.多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，
3.根据权利要求2所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，
4.根据权利要求1所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，步骤2中服装手稿智能渲染模块的构建过程为：
5.根据权利要求4所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，步骤22中构建风格自学习模型MaskGan的具体方法为：
6.根据权利要求1所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，步骤3中服装属性交互式设计模块的构建过程为：
7.根据权利要求6所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，
8.根据权利要求1所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，步骤4中服装美学评分模块的构建过程为：
9.根据权利要求8所述的多模态数据驱动的生成式时尚兼容服装设计方法，
10.一种多模态数据驱动的生成式时尚兼容服装设计系统，其特征在于，包括以下模块，以实现如权利要求1-9中任一所述的多模态数据驱动的生成式时尚兼容服装设计方法：
...【技术特征摘要】
1.多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，
3.根据权利要求2所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，
4.根据权利要求1所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，步骤2中服装手稿智能渲染模块的构建过程为：
5.根据权利要求4所述的多模态数据驱动的生成式时尚兼容服装设计方法，其特征在于，步骤22中构建风格自学习模型maskgan的具体方法为：
6.根据权利要求1所述的多模...
【专利技术属性】
技术研发人员：张洁，孙可芯，张朋，占家美，魏濛，汪可欣，
申请(专利权)人：东华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。