一种基于细粒度特征的商品图像描述方法技术

本发明专利技术提供一种基于细粒度特征的商品图像描述方法。该方法包括：构建商品实体属性特征库；采用预训练模型CLIP的视觉提取器对图像数据进行特征提取，以得到商品图像特征矩阵；查询候选实体属性特征矩阵；将商品图像特征矩阵与候选实体属性特征矩阵进行融合，以获取基于细粒度表示的商品图像特征；对文本数据进行字典编码；采用预训练模型CLIP的文本提取器对可处理的文本特征矩阵进行特征提取，以得到商品图像文本特征矩阵；将商品图像文本特征矩阵和基于细粒度表示的商品图像特征同时输入到训练好的语言模型GPT‑2中，生成对应的预测句子；计算该预测句子与对应的图像之间的相似度，选出相似度值最高的句子作为生成电商商品图像最优的描述。本发明专利技术方法采用图像特征编码和特征知识库检索相结合，极大地提升了获取商品特征的能力，使得最终生成的描述与真实语句更加贴切。

【技术实现步骤摘要】

本专利技术涉及图像描述的，具体而言，涉及一种基于细粒度特征的商品图像描述方法。

技术介绍

1、随着互联网的快速普及和国内物流体系的不断完善与进步，电子商务已成为现代商业领域的重要组成部分。越来越多的消费者选择在线购物，在线上进行商品购物时，他们需要通过商品文案来了解商品的功能和特征。因此，高质量的商品营销文案对于提升用户购物体验和商家产品推广效率至关重要。然而电商领域的商品种类繁多，以服装为例，其风格、款式、颜色、面料等商品特征多种多样，专业人员需要及时地抓取这些特征、明确商品卖点、编写一段准确的且具有创意性的商品文案，这都需要专业人员具备一定的文案编辑经验，且在大规模生产中，人类的创造力和审美疲劳等因素也会一定程度上影响文案的质量，想要持续产出高质量的文案需要投入大量的人力，且所需的时间成本相对较大。

2、因此，为了在极大程度上提高商品营销的效率，将图像描述的多模态技术应用于电商领域十分有必要。目前的图像描述生成模型存在着不足，这些方法主要针对自然图像设计，并且生成的描述可能过于模板化和缺乏多样性，难以突出图像中的关键细节和要点。例如现有的图本文档来自技高网...

【技术保护点】

1.一种基于细粒度特征的商品图像描述方法，其特征在于，包括：

2.根据权利要求1所述的基于细粒度特征的商品图像描述方法，其特征在于，所述使用KNN算法和MMR算法将所述相似度δn中的前k个相似度值对应的所述特征知识库中的商品实体属性特征矩阵筛选出来，将筛选出来的商品实体属性特征矩阵选定为候选实体属性特征矩阵{Z0…Zk}，对所述候选实体属性特征矩阵进行优化查询，具体包括：

3.根据权利要求1所述的基于细粒度特征的商品图像描述方法，其特征在于，通过由多个MLP构成的空间映射网络对所述商品图像特征矩阵If与所述候选实体属性特征矩阵{Z0…Zk}进行同空间的模态映射。<...

【技术特征摘要】

1.一种基于细粒度特征的商品图像描述方法，其特征在于，包括：

2.根据权利要求1所述的基于细粒度特征的商品图像描述方法，其特征在于，所述使用knn算法和mmr算法将所述相似度δn中的前k个相似度值对应的所述特征知识库中的商品实体属性特征矩阵筛选出来，将筛选出来的商品实体属性特征矩阵选定为候选实体属性特征矩阵{z0…zk}，对所述候选实体属性特征矩阵进行优化查询，具体...

【专利技术属性】
技术研发人员：王佳英，郝帅领，单菁，宋晓旭，李俞呈，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：