一种多模态时尚兼容度预测与可视化诊断分析方法技术

本发明专利技术公开了一种多模态时尚兼容度预测与可视化诊断分析方法，方法包括：通过数据集中服装的细粒度类别信息划分服装单品的种类，并利用细粒度类别信息对缺失文本描述的服装进行文本补充；构建由兼容度预测的二元交叉熵损失函数，多模态注意力感知的交叉熵损失函数，卷积神经网络输出的

【技术实现步骤摘要】
一种多模态时尚兼容度预测与可视化诊断分析方法


[0001]本专利技术涉及时尚兼容度领域，尤其涉及一种多模态时尚兼容度预测与可视化诊断分析方法
。

技术介绍

[0002]随着电子商务的发展，线上购买时尚服装变得越来越流行，时尚兼容度的预测越来越受到研究者们的关注
。
时尚兼容度预测技术可以协助用户选择合理的时装搭配，这对于网购用户和时尚购物平台都有重大意义
。
时尚兼容度预测系统一般采用对时尚单品的拍摄到的图像和相关的信息标注例如：名称
、
类别
、
属性等对所给出的服装搭配的合理性进行预测，判断当前搭配是否符合时尚搭配潮流
。
然而，从不同相机中获取的服装图片往往包含光照
、
分辨率变化等问题，对服装的信息标注也存在标准不统一
、
信息噪声等状况，这给时尚兼容度预测带来巨大的挑战
。
如何解决这些问题，完成准确的时尚兼容度预测，一直是研究者们的研究重点
。
[0003]为了完成准确的时尚兼容度预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态时尚兼容度预测与可视化诊断分析方法，其特征在于，所述方法包括：通过数据集中服装的细粒度类别信息划分服装单品的种类，并利用细粒度类别信息对缺失文本描述的服装进行文本补充；构建由兼容度预测的二元交叉熵损失函数，多模态注意力感知的交叉熵损失函数，卷积神经网络输出的
L2
损失函数组成的总损失函数；对总损失函数进行迭代训练，进而获取不兼容诊断的可视化分析结果
。2.
根据权利要求1所述的一种多模态时尚兼容度预测与可视化诊断分析方法，其特征在于，所述多模态注意力感知的交叉熵损失函数为：
L
s
＝
y
c
·
log
σ
(S
c
)+(1
‑
y
c
)
·
log(1
‑
σ
(S
c
))
其中，
S
c
表示视觉特征与文本语义特征在多模态注意力感知计算得出的相关程度，
y
c
表示视觉特征与文本语义特征的实际相关性
。3.
根据权利要求2所述的一种多模态时尚兼容度预测与可视化诊断分析方法，其特征在于，所述总损失函数为：
L
total
＝
L
c
+
λ1L
s
+
λ2L
std
+
λ3L
vse
+
λ4L
spa
其中，
λ1、
λ2、
λ3、
λ4为权重系数，
L
c
为二元交叉熵损失函数，
L
std
为卷积神经网络输出的
L2
损失函数，
L
vse
为视觉语义嵌入的损失函数，
L
spa
为嵌入层权重参数的
L1
损失函数
。4.
根据权利要求1所述的一种多模态时尚兼容度预测与可视化诊断分析方法，其特征在于，所述获取不兼容诊断的可视化分析结果为：单品
i
在单个注意力头
H
m
中的
k
通道视觉键值向量表示为：其中，
Flatten(...)
表示将矩阵展平为向量的操作，表示用于投影视觉特征的参数矩阵；该单品在单...

【专利技术属性】
技术研发人员：苏育挺，屈楷华，井佩光，
申请(专利权)人：天津大学，
类型：发明
国别省市：