基于强化学习的个性化服装推荐方法与系统技术方案

本发明专利技术公开了一种基于强化学习的个性化服装推荐方法。包括：收集服装数据集；学习服装单品的视觉和类别特征，计算任意两个同种类别服装单品间的相似度或不同类别服装单品间的兼容度，得到服装集合兼容性；学习用户对服装的历史偏好；根据服装集合兼容性和用户偏好，生成初始个性化服装推荐列表，以用户与推荐列表的实时交互为奖励学习用户的当前偏好，更新推荐列表。本发明专利技术还公开了基于强化学习的个性化服装推荐系统。本发明专利技术通过基于用户的历史交互记录学习其历史服装偏好，可为用户提供个性化服装推荐，还利用强化学习从用户与推荐列表的动态交互中学习用户的当前偏好，并基于此向其推荐相似的同类别服装商品或兼容的不同类别服装商品。别服装商品。别服装商品。

【技术实现步骤摘要】
基于强化学习的个性化服装推荐方法与系统


[0001]本专利技术涉及计算机视觉、服装推荐领域，具体涉及一种基于强化学习的个性化服装推荐方法与系统。

技术介绍

[0002]随着互联网技术的高速发展，我国电商产业已经走向成熟，特别是服装类商品琳琅满目，风格多样，并且人们生活质量水平逐渐提高，对穿着的时尚搭配要求也越来越高，因此大多数人在服装购买与搭配上时常产生困扰，针对服装搭配问题的推荐系统让用户既能节省信息搜索的时间也能更容易更精准地找到满意的服装商品，引起了学术界和工业界的广泛关注。
[0003]个性化服装推荐是一种根据特定用户的穿衣风格与偏好推荐个性化时尚服装搭配的技术应用。现有的服装搭配推荐方法主要分为两大类：基于协同过滤方法的服装推荐技术和基于专家知识和服装特征的服装推荐技术。基于协同过滤的方法旨在向同一用户推荐与其之前喜欢的服装具有相似属性的服装商品或给用户推荐与其具有相似偏好的用户喜欢的服装商品，这种方法需要维护一个商品相似度矩阵或用户兴趣相似度矩阵，随着服装商品和用户数量增多，相似度矩阵的运算时间复杂度和空间复杂度的增长和商品本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的个性化服装推荐方法，其特征在于，所述方法包括：收集服装数据集，包括服装单品数据、服装集合数据和用户与服装单品的历史交互数据；使用预训练的Resnet50网络提取所述服装单品图像视觉特征，并利用注意力机制学习服装集合中任意两个服装间在多个视觉属性子空间中的兼容关系，得到服装单品的视觉兼容表征向量，合并所述服装单品的视觉兼容表征向量，再融合服装单品的类别特征，计算任意两个同种类别服装单品之间的相似度和不同类别服装单品的兼容度；计算所述所有任意两个服装单品的平均兼容度，作为该服装集合的兼容性得分；根据所述用户对服装单品的历史交互数据，赋予用户不同交互方式的服装单品以不同权重，并将所述权重作为系数，对服装集合中所述服装单品的视觉兼容表征向量求和，作为用户对该服装集合的偏好分数；构建正负训练样本数据，由所述服装集合兼容性得分与所述用户的偏好分数，计算个性化服装集合搭配得分，并以此训练神经网络模型参数，将模型输出的个性化服装集合搭配得分最高的K个服装集合依次生成个性化服装推荐列表呈现给用户；使用强化学习方法，以用户与推荐列表的实时交互为奖励学习用户的当前偏好，更新推荐列表。2.如权利要求1所述的基于强化学习的个性化服装推荐方法，其特征在于，所述收集服装数据集，包括服装单品数据、服装集合数据和用户与服装单品的历史交互数据，具体为：从服装购物网站收集服装数据集，其中服装单品数据A，包含服装编号、服装类别和服装图像，运用中心等比例切割和等比例缩放的方式将图像处理成统一尺寸；服装集合数据B，代表购物网站上专家搭配好的一套服装，包含服装集合中每个单品的编号及图像；用户与服装单品的历史交互数据C，每项数据包含用户编号、服装单品编号及交互方式。3.如权利要求1所述的基于强化学习的个性化服装推荐方法，其特征在于，所述使用预训练的Resnet50网络提取所述服装单品图像视觉特征，并利用注意力机制学习服装集合中任意两个服装间在多个视觉属性子空间中的兼容关系，得到服装单品的视觉兼容表征向量，合并所述服装单品的视觉兼容表征向量，再融合服装单品的类别特征，计算任意两个同种类别服装单品之间的相似度和不同类别服装单品的兼容度，具体为：使用预训练的Resnet50网络提取服装单品图像视觉特征作为服装视觉表征向量x
i
，并利用注意力机制学习服装集合中任意两个服装间在视觉属性子空间中的兼容关系：利用注意力机制学习服装集合中任意两个服装间在视觉属性子空间中的兼容关系：分别是第i件服装、第j件服装在视觉子空间e中的表征向量，分别表示在视觉子空间e中注意力机制Q、K矩阵的权重，d
e
表示服装在视觉子空间e中的特征维度，表示第i件服装与第j件服装在视觉子空间e中的关联分数，是第i件服装与第j件服装在视觉子空间e中关联的注意力权重；
基于注意力权重在子空间中聚合相关节点信息，得到第i件服装在视觉子空间e中更新后的表征向量：合并不同子空间上的表征向量，得到服装的视觉兼容表征向量：计算任意两个服装单品视觉兼容表征向量的余弦距离：提取服装单品的类别特征，再结合二者的类别特征，若属于同一类别，则将二者之间的余弦距离线性变换为其相似度s
i,j
＝
‑
l
i,j
/2+1，若属于不同类别，则将余弦距离线性变换为其兼容度c
i,j
＝
‑
l
i,j
/2+1。4.如权利要求1所述的基于强化学习的个性化服装推荐方法，其特征在于，所述计算所述所有任意两个服装单品的平均兼容度，作为该服装集合的兼容性得分，具体为：基于所收集的服装集合数据，对含有N件服装单品的服装集合O，分别计算任意两个服装单品之间的平均兼容度作为该服装集合的兼容性得分，即时尚搭配分数：5.如权利要求1所述的基于强化学习的个性化服装推荐方法，其特征在于，所述根据所述用户对服装单品的历史交互数据，赋予用户不同交互方式的服装单品以不同权重，并将所述权重作为系数，对服装集合中所述服装单品的视觉兼容表征向量求和，作为用户对该服装集合的偏好分数，具体为：根据所收集到的用户对服装单品的历史交互数据，对用户U不同交互方式的服装单品i赋予不同权重a
ui
；对含有N个服装单品的服装集合O，以上述用户U对各个服装单品的喜好权重向量A
ui
为系数，对N个服装单品的视觉兼容表征向量R
i
求和，作为用户U对该服装集合的偏好分数：6.如权利要求4或5所述的基于强化学习的个性化服装推荐方法，其特征在于，所述构建正负训练样本数据，由所述服装集合兼容性得分与所述用户的偏好分数，计算个性化服装集合搭配得分，并以此训练神经网络模型参数，将模型输出的个性化服装集合搭配得分最高的K个服装集合依次生成个性化服装推荐列表呈现给用户，具体为：构建正负训练样本数据，将服装集合数据B作为正训练样本ε
+
，服装单品数据A中随机抽取若干单品作为负训练样本ε
‑
，由所述服装集合兼容性得分c
o
与用户的偏好分数s
uo
，计算对于用户U的个性化服装集合搭配得分：其中，γ的取值范围为[0,1]，表示服装搭配兼容性和用户偏好在计算个性化服装搭配
得分时所占的比重；用贝叶斯个性化排序算法BPR根据个性化服装集合搭配得分构造神经网络模型的损失函数：其中，分别为正、负样本中服装集合的个性化搭配得分，σ是sigmoid激活函数；采用随机梯度下降算法训练神经网络模型参数，选择个性化服装集合搭配得分最高的K个服装集合依次生成初始个性化服装推荐列表呈现给用户。7.如权利要求1所述的基于强化学习的个性化服装推荐方法，其特征在于，所述使用强化学习方法，以用户与推荐列表的实时交互为奖励学习用户的当前偏好，更新推荐列表，具体为：采用基于策略梯度的强化学习模型REINFORCE，针对用户个性化偏好生成的服装推荐列表φ
t
，用状态q
t
记录用户在时间点t的交互行为，所述用户交互行为包含用户对服装推荐列表中的服装集合进行点击、收藏、购买等行为，分别映射为不同的奖励ω
t
；用户在与推荐列表交互时，与推荐列表中的某项服装集合进行交互得到奖励ω
t

【专利技术属性】
技术研发人员：苏卓，陈伊琳，周凡，
申请(专利权)人：中山大学，
类型：发明
国别省市：