商品理解方法、装置及设备制造方法及图纸

本申请实施例提供一种商品理解方法、装置及设备，该方法包括：电子设备确定目标商品的文本信息以及目标商品的图像信息；之后将文本信息、图像信息以及标签信息输入至预训练模型中，得到目标匹配分数；该预训练模型基于样本商品的文本信息、样本商品的图像信息以及用户行为信息训练得到；根据目标匹配分数，确定标签信息与目标商品是否匹配。这样，通过商品的文本信息、图像信息以及用户行为信息进行多模态训练，得到预训练模型，使得预训练模型的理解效果更好，能够提高商品标签识别以及商品属性预测等商品理解任务的准确度，提高商品理解的性能。的性能。的性能。

【技术实现步骤摘要】
商品理解方法、装置及设备


[0001]本申请涉及计算机
，尤其涉及一种商品理解方法、装置及设备。

技术介绍

[0002]随着互联网技术的不断发展，线上购物逐渐融入用户的生活。商品理解可以是指以商品为中心的一系列任务，例如商品分类、相似商品匹配以及商品属性值预测等。优秀的商品理解能力将会提高用户的体验，且有利于下游的搜索和推荐系统。
[0003]在相关技术中，商品理解通常是采用较为简单的传统算法实现，例如文本匹配等，商品理解的性能不高，准确性较低。

技术实现思路

[0004]本申请的多个方面提供一种商品理解方法、装置及设备，用以提高商品理解的性能和准确性。
[0005]第一方面，本申请实施例提供一种商品理解方法，包括：
[0006]确定目标商品的文本信息以及目标商品的图像信息；
[0007]将所述文本信息、所述图像信息以及标签信息输入至预训练模型中，得到目标匹配分数；所述预训练模型基于样本商品的文本信息、样本商品的图像信息以及用户行为信息训练得到；
[0008]根据所述目标匹配分数，确定所述标签信息与所述目标商品是否匹配。
[0009]在一种可能的实施方式中，所述根据所述目标匹配分数，确定所述标签信息与所述目标商品是否匹配，包括：
[0010]在所述目标匹配分数大于或者等于第一预设阈值的情况下，确定所述标签信息与所述目标商品匹配；
[0011]在所述目标匹配分数小于第一预设阈值的情况下，确定所述标签信息与所述目标商品不匹配。第二方面，本申请实施例提供一种商品理解方法，包括：
[0012]将样本商品的文本信息以及样本商品的图像信息输入至初始模型中，通过所述初始模型执行预设复原任务，得到中间模型；
[0013]基于用户行为信息，构造样本数据；
[0014]根据所述样本数据对所述中间模型进行训练，得到预训练模型；所述预训练模型用于执行商品理解任务。
[0015]在一种可能的实施方式中，所述将样本商品的文本信息以及商品数据的图像信息输入至初始模型中，通过所述初始模型执行预设复原任务，得到中间模型，包括：
[0016]根据所述样本商品的文本信息，获取所述文本信息对应的词向量；
[0017]根据所述样本商品的图像信息以及预设卷积网络，获取所述图像信息对应的图像块；
[0018]根据所述词向量以及所述图像块，通过所述初始模型执行文本遮盖复原任务和图
像遮盖复原任务，得到所述中间模型。
[0019]在一种可能的实施方式中，所述根据所述样本商品的图像信息以及预设卷积网络，获取所述图像信息对应的图像块，包括：
[0020]将所述图像信息对应的商品图像输入至所述预设卷积网络中，通过所述预设卷积网络对所述商品图像进行分割、编码，得到所述图像信息对应的图像块。
[0021]在一种可能的实施方式中，所述样本数据包括正样本数据和负样本数据；所述基于用户行为信息，构造样本数据，包括：
[0022]基于所述用户行为信息，将预设行为对应的、具备匹配关系的第一搜索词和第一商品作为正样本数据；
[0023]针对每个所述正样本数据，将所述第一商品替换为相同类目的第二商品和/或将所述第一搜索词改写为第二搜索词，得到负样本数据；
[0024]将所述正样本数据与所述负样本数据进行混合，得到所述样本数据。
[0025]在一种可能的实施方式中，每个所述样本数据中包括搜索词以及所述搜索词对应的样本商品；所述根据所述样本数据对所述中间模型进行训练，得到预训练模型，包括：
[0026]将所述样本数据输入至所述中间模型中，得到所述样本数据对应的匹配分数；所述匹配分数用于表征所述样本数据中的搜索词与所述样本商品的匹配程度；
[0027]基于所述匹配分数，确定损失函数以及损失值；
[0028]根据所述损失函数以及损失值进行参数调整，并对参数调整后的中间模型进行迭代训练。
[0029]在一种可能的实施方式中，所述将所述样本数据输入至所述中间模型中，得到所述样本数据对应的匹配分数，包括：
[0030]将所述样本数据输入至中间模型中，得到所述样本数据对应的商品表征向量；
[0031]基于所述商品表征向量，确定所述样本数据对应的匹配分数。
[0032]在一种可能的实施方式中，所述将所述样本数据输入至所述中间模型中，得到所述样本数据对应的匹配分数，包括：
[0033]针对每个样本数据，将所述样本数据中的搜索词以及样本商品的文本信息、图像信息输入至中间模型中，得到第一商品表征向量以及第一匹配分数；
[0034]将所述样本数据中的搜索词以及样本商品的文本信息输入至中间模型中，得到第二商品表征向量以及第二匹配分数；
[0035]将所述样本数据中的搜索词以及样本商品的图像信息输入至所述中间模型中，得到第三商品表征向量以及第三匹配分数。
[0036]在一种可能的实施方式中，所述基于所述匹配分数，确定损失函数，包括：
[0037]根据所述第二匹配分数、所述第三匹配分数以及真实分数，确定强势模态和弱势模态；
[0038]基于所述强势模态和所述弱势模态在商品表征以及匹配分数上的差异，确定所述强势模态对于所述弱势模态在所述商品表征上的第一损失函数，并且确定所述强势模态对于所述弱势模态在匹配分数上的第二损失函数。
[0039]第三方面，本申请实施例提供一种商品理解装置，包括：
[0040]第一确定模块，用于确定目标商品的文本信息以及目标商品的图像信息；
[0041]输入模块，用于将所述文本信息、所述图像信息以及标签信息输入至预训练模型中，得到目标匹配分数；所述预训练模型基于样本商品的文本信息、样本商品的图像信息以及用户行为信息训练得到；
[0042]第二确定模块，用于根据所述目标匹配分数，确定所述标签信息与所述目标商品是否匹配。
[0043]在一种可能的实施方式中，所述第二确定模块，具体用于：
[0044]在所述目标匹配分数大于或者等于第一预设阈值的情况下，确定所述标签信息与所述目标商品匹配；
[0045]在所述目标匹配分数小于第一预设阈值的情况下，确定所述标签信息与所述目标商品不匹配。
[0046]第四方面，本申请实施例提供一种商品理解装置，包括：
[0047]输入模块，用于将样本商品的文本信息以及样本商品的图像信息输入至初始模型中，通过所述初始模型执行预设复原任务，得到中间模型；
[0048]构造模块，用于基于用户行为信息，构造样本数据；
[0049]训练模块，用于根据所述样本数据对所述中间模型进行训练，得到预训练模型；所述预训练模型用于执行商品理解任务。
[0050]在一种可能的实施方式中，所述输入模块，具体用于：
[0051]根据所述样本商品的文本信息，获取所述文本信息对应的词向量；
[0052]根据所述样本商品的图像信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品理解方法，其特征在于，包括：确定目标商品的文本信息以及目标商品的图像信息；将所述文本信息、所述图像信息以及标签信息输入至预训练模型中，得到目标匹配分数；所述预训练模型基于样本商品的文本信息、样本商品的图像信息以及用户行为信息训练得到；根据所述目标匹配分数，确定所述标签信息与所述目标商品是否匹配。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标匹配分数，确定所述标签信息与所述目标商品是否匹配，包括：在所述目标匹配分数大于或者等于第一预设阈值的情况下，确定所述标签信息与所述目标商品匹配；在所述目标匹配分数小于第一预设阈值的情况下，确定所述标签信息与所述目标商品不匹配。3.一种商品理解方法，其特征在于，包括：将样本商品的文本信息以及样本商品的图像信息输入至初始模型中，通过所述初始模型执行预设复原任务，得到中间模型；基于用户行为信息，构造样本数据；根据所述样本数据对所述中间模型进行训练，得到预训练模型；所述预训练模型用于执行商品理解任务。4.根据权利要求3所述的方法，其特征在于，所述将样本商品的文本信息以及商品数据的图像信息输入至初始模型中，通过所述初始模型执行预设复原任务，得到中间模型，包括：根据所述样本商品的文本信息，获取所述文本信息对应的词向量；根据所述样本商品的图像信息以及预设卷积网络，获取所述图像信息对应的图像块；根据所述词向量以及所述图像块，通过所述初始模型执行文本遮盖复原任务和图像遮盖复原任务，得到所述中间模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述样本商品的图像信息以及预设卷积网络，获取所述图像信息对应的图像块，包括：将所述图像信息对应的商品图像输入至所述预设卷积网络中，通过所述预设卷积网络对所述商品图像进行分割、编码，得到所述图像信息对应的图像块。6.根据权利要求3所述的方法，其特征在于，所述样本数据包括正样本数据和负样本数据；所述基于用户行为信息，构造样本数据，包括：基于所述用户行为信息，将预设行为对应的、具备匹配关系的第一搜索词和第一商品作为正样本数据；针对每个所述正样本数据，将所述第一商品替换为相同类目的第二商品和/或将所述第一搜索词改写为第二搜索词，得到负样本数据；将所述正样本数据与所述负样本数据进行混合，得到所述样本数据。7.根据权利要求3所述的方法，其特征在于，每个所述样本数据中包括搜索词以及所述搜索词对应的样本商品；所述根据所述样本数据对所述中间模型进行训练，得到预训练模型，包括：将所述样本数据输入至所述中间模型中，得到所述样本数据对...

【专利技术属性】
技术研发人员：刘石磊，李林，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：