基于图像和文本多模态数据的产品外观风格评价方法和系统技术方案

本发明专利技术提供了一种基于图像和文本多模态数据的产品外观风格评价方法和系统，包括：图像美学风格模型，为多层卷积神经网络模型，彩色图像为输入、多维图像风格分类为输出；图像美学风格预测算法，进行预训练和迁移学习，预测产品图像的风格类型；语义情感分析模块，使用图像美学风格预测算法中的风格标签处理用户线上评论，计算用户反馈的产品风格倾向；多模态融合评价模块，融合图像美学风格预测算法输出的产品风格预测和语义情感分析输出的产品风格反馈，提供外观风格方面的产品评价结果。本方法融合了产品图像信息与用户反馈文本信息，基于数据建模与分析实现外观风格方面的产品评价，相比于传统的专家评定法具有更加客观、科学、准确的优点。

【技术实现步骤摘要】
基于图像和文本多模态数据的产品外观风格评价方法和系统
本专利技术涉及多模态数据
，具体地，涉及一种基于图像和文本多模态数据的产品外观风格评价方法和系统。
技术介绍
随着近年来逐渐提升的消费者综合要求和越来越多的商品种类，产品外观对消费者的购买决策的影响也越来越大。对许多日常消费品如收音机、吹风机等，产品外观正逐步成为影响产品成功的决定性因素。产品外观的美学风格对产品的综合外观十分重要，并且与所吸引的用户类型息息相关。美学风格一般是由特定词汇语义描绘的抽象审美概念，有一定的主观性和模糊性，其审美概念与特定词汇所传递给用户的美学联想可能存在差异，在实际中，常同时使用若干种不同的美学风格，以多个风格词汇和对应的多维美学风格值对产品进行描述。产品设计师所要传递的美学风格一般由产品图像来体现，而用户所实际体验的风格在用户反馈评论中常常有体现，两者的差异反映了产品风格呈现的成功度，越是成功的外观设计，其所要传递的美学风格与用户实际反馈的风格越是接近。图像美学风格分析基于图像处理与分析，通过对图像和美学风格标签之间的映射关系进行建模，发掘图像所呈现美学风格的规律，可用于对产品图像的美学风格预测。美学风格具有较大的普适性，例如适用于风景、人物等图像的风格也可用于形容产品外观，因此基于已有的大型图像美学风格分类数据集学习的图像与美学风格映射关系，经过较小的调整即可适用于产品图像。AVA(ALarge-ScaleDatabaseforAestheticVisualAnalysis)是一个包含超过250000张有标签图像的图像美学数据集，共有14种美学风格标签。在特定的产品领域下创建一个较小的有标签产品图像数据集，则仅需收集部分产品图像进行风格标注，经过数据增强后以较少的成本完成创建。语义情感分析是近年来迅速发展的一种基于文本进行情感倾向分析的语义处理技术，能够通过对文本进行处理和分析，获得文本所体现的对一些特征的情感倾向。这些特征可以是具体事物如产品，也可以是抽象概念如某种美学风格。情感倾向一般是两极的，正面和负面倾向，情感倾向越偏向正面的，对应特征的体现程度越高。传统的外观风格评价方法主要是专家打分法，方法本身存在主观性很强的缺点，对于外观风格评价这样的抽象和模糊的任务缺点更为明显。专利文献CN106600385A(申请号：CN201611251457.5)公开了一种基于用户追踪的在线产品分析系统，包括用户评论数据模块、文本数据模块、图像数据模块、文件数据分析模块、图像数据分析模块、综合评价分析模块和用户交互模块，用户评论数据模块用于提取商品用户的评论数据，用户评论数据模块分别连接至文本数据模块和图像数据模块，文本数据模块连接至文件数据分析模块，文件数据分析模块连接至综合评价分析模块，图像数据模块连接至图像数据分析模块，图像数据分析模块连接至综合评价分析模块，综合评价分析模块连接至用户交互模块。而本专利技术基于模型和算法进行了训练，更为真实准确。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于图像和文本多模态数据的产品外观风格评价方法和系统。根据本专利技术提供的基于图像和文本多模态数据的产品外观风格评价方法，包括构建图像美学风格模型，使用图像美学风格预测算法，进行语义情感分析和多模态融合评价；所述图像美学风格模型为多层卷积神经网络模型，以彩色图像为输入，以多维的图像风格分类为输出；所述图像美学风格预测算法用于进行预训练和迁移学习，预测产品图像的风格类型；所述语义情感分析包括：使用图像美学风格预测算法中的风格标签处理用户线上评论，计算用户反馈的产品风格倾向；所述多模态融合评价包括：融合图像美学风格预测算法输出的产品风格预测和语义情感分析输出的产品风格反馈，提供外观风格方面的产品评价结果。优选的，所述图像美学风格模型包括依次连接的：-输入层，输入为被缩放为224*224大小的彩色图像，输入维度为b*224*224*3，其中b为批大小batch_size；-4个卷积层，卷积核大小为9*9，步长为1，卷积核数目为64，激活函数为ReLU函数；-批归一化层；-1个池化层，采用最大池化，池化大小2*2；-3个卷积层，卷积核大小为7*7，步长为1，卷积核数目为64，激活函数为ReLU函数；-1个池化层，采用最大池化，池化大小2*2；-3个卷积层，卷积核大小为5*5，步长为1，卷积核数目为128，激活函数为ReLU函数；-Dropout层，dropout概率为0.1；-批归一化层；-1个池化层，采用最大池化，池化大小2*2-3个卷积层，卷积核大小为3*3，步长为1，卷积核数目为128，激活函数为ReLU函数；-1个池化层，采用最大池化，池化大小2*2；-Flatten层，将b*14*14*128维的特征图展为一维b*14*14*128长度的向量；-全连接层，输出风格分类结果，标签数为14，分别对应14种风格标签，激活函数为Softmax。优选的，所述图像美学风格模型的损失函数为最小化交叉熵损失函数，使用Adam优化器进行权重更新，学习率设为0.0001。优选的，所述图像美学风格预测算法采用迁移学习策略，首先在大型图像美学风格分类数据集AVA上使用数据集的14种风格标签进行预训练，随后在特定产品领域下14种风格标签标注的小型产品图像风格数据集上进行微调，在无标签的测试集上进行测试；测试图像的图像美学风格模型预测输出为该图像的风格预测结果，为14维向量P＝(P1，P2…P14)，P满足：∑iPi＝1其中，Pi表示该图像属于第i种风格的概率。优选的，所述语义情感分析模块，使用图像美学风格预测算法中的14个风格标签处理线上用户评论，使用WordNet语义词典的同义查找方法lemma_names分别找到14个风格标签的同义词，将各个风格标签扩充为风格词集，包括以下步骤：步骤1：对第i个风格标签词，分别在WordNet中查找该词对应的语义集合Synsetsi；步骤2：对Synsetsi中的第j个语义synsetij，使用lemma_names方法找到其同义词集合lemij；步骤3：将第i个风格标签词对应的所有同义词集合lemij组成第i个风格词集Seti：Seti＝∪jlemij。优选的，所述语义情感分析包括：将风格标签扩充为风格词集后，从线上电商平台上收集预设产品的线上用户评论，对评论文本进行清洗和预处理，包括以下步骤：步骤1：文本收集，使用python库urllib进行自动收集线上用户评论；步骤2：文本清洗，包括筛除重复的语句，筛除不属于预设语言的语句，筛除只包含非文本内容的语句，剔除拼写错误的词；步骤3：文本预处理，包括将所有字符转为小写字母，剔除不符合规范的标点符号，剔除停用词，将所有动词转为现在时态。优选的，所述语义情感分析模块包括：对评论文本清洗本文档来自技高网...

【技术保护点】
1.一种基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，包括构建图像美学风格模型，使用图像美学风格预测算法，进行语义情感分析和多模态融合评价；/n所述图像美学风格模型为多层卷积神经网络模型，以彩色图像为输入，以多维的图像风格分类为输出；/n所述图像美学风格预测算法用于进行预训练和迁移学习，预测产品图像的风格类型；/n所述语义情感分析包括：使用图像美学风格预测算法中的风格标签处理用户线上评论，计算用户反馈的产品风格倾向；/n所述多模态融合评价包括：融合图像美学风格预测算法输出的产品风格预测和语义情感分析输出的产品风格反馈，提供外观风格方面的产品评价结果。/n

【技术特征摘要】
1.一种基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，包括构建图像美学风格模型，使用图像美学风格预测算法，进行语义情感分析和多模态融合评价；
所述图像美学风格模型为多层卷积神经网络模型，以彩色图像为输入，以多维的图像风格分类为输出；
所述图像美学风格预测算法用于进行预训练和迁移学习，预测产品图像的风格类型；
所述语义情感分析包括：使用图像美学风格预测算法中的风格标签处理用户线上评论，计算用户反馈的产品风格倾向；
所述多模态融合评价包括：融合图像美学风格预测算法输出的产品风格预测和语义情感分析输出的产品风格反馈，提供外观风格方面的产品评价结果。


2.根据权利要求1所述的基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，所述图像美学风格模型包括依次连接的：
-输入层，输入为被缩放为224*224大小的彩色图像，输入维度为b*224*224*3，其中b为批大小batch_size；
-4个卷积层，卷积核大小为9*9，步长为1，卷积核数目为64，激活函数为ReLU函数；
-批归一化层；
-1个池化层，采用最大池化，池化大小2*2；
-3个卷积层，卷积核大小为7*7，步长为1，卷积核数目为64，激活函数为ReLU函数；
-1个池化层，采用最大池化，池化大小2*2；
-3个卷积层，卷积核大小为5*5，步长为1，卷积核数目为128，激活函数为ReLU函数；
-Dropout层，dropout概率为0.1；
-批归一化层；
-1个池化层，采用最大池化，池化大小2*2
-3个卷积层，卷积核大小为3*3，步长为1，卷积核数目为128，激活函数为ReLU函数；
-1个池化层，采用最大池化，池化大小2*2；
-Flatten层，将b*14*14*128维的特征图展为一维b*14*14*128长度的向量；
-全连接层，输出风格分类结果，标签数为14，分别对应14种风格标签，激活函数为Softmax。


3.根据权利要求1所述的基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，所述图像美学风格模型的损失函数为最小化交叉熵损失函数，使用Adam优化器进行权重更新，学习率设为0.0001。


4.根据权利要求1所述的基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，所述图像美学风格预测算法采用迁移学习策略，首先在大型图像美学风格分类数据集AVA上使用数据集的14种风格标签进行预训练，随后在特定产品领域下14种风格标签标注的小型产品图像风格数据集上进行微调，在无标签的测试集上进行测试；
测试图像的图像美学风格模型预测输出为该图像的风格预测结果，为14维向量P＝(P1,P2…P14)，P满足：
∑iPi＝1
其中，Pi表示该图像属于第i种风格的概率。


5.根据权利要求1所述的基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，所述语义情感分析模块，使用图像美学风格预测算法中的14个风格标签处理线上用户评论，使用WordNet语义词典的同义查找方法lemma_names分别找到14个风格标签的同义词，将各个风格标签扩充为风格词集，包括以下步骤：
步骤1：对第i个风格标签词，分别在WordNet中查找该词对应的语义集合Synsetsi；
步骤2：对Synsetsi中的第j个语义synsetij，使用lemma_names方法找到其同义词集合lemij；
步骤3：将第i个风格标签词对应的所有同义词集合lemij组成第i个风格词集Seti：
Seti＝∪jlemij。


6.根据权利要求1所述的基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，所述语义情感分析包括：将...

【专利技术属性】
技术研发人员：朱思羽，戚进，胡洁，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31