【技术实现步骤摘要】
模型训练方法、物品识别方法及装置、电子设备、介质
[0001]本公开实施例涉及计算机
，具体而言，涉及一种模型训练方法、物品识别方法、模型训练装置、物品识别装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]随着智能系统的发展，可以通过智能系统对输入的物品进行自动识别和搜索相似物品。
[0003]相关技术中，可以通过图片以及文本等多种数据类型确定物品的多模态特征，并根据多模态特征进行识别。上述方式中，由于物品的文本通常缺乏语法结构，且图片信息通常包含其他杂讯，在模型训练过程中可能会存在一定的干扰，导致得到的模型的准确性较低，可靠性较差。
[0004]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种物品识别方法、物品识别装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的物品表征的准确性较低的问题。...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取样本物品的样本文本信息以及样本图像信息；基于所述样本文本信息以及样本图像信息对识别模型中的自监督模型进行预训练，获取先验结果；通过所述识别模型中的嵌入模型，结合所述先验结果以及样本文本信息获取参考多模态表征向量；基于所述参考多模态表征向量确定目标损失函数，并基于所述目标损失函数对所述识别模型的模型参数进行调整，以训练识别模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述基于所述样本文本信息以及样本图像信息对识别模型中的自监督模型进行预训练，获取先验结果，包括：对所述样本物品的图像特征向量以及文本特征向量进行聚类确定聚类簇，并确定聚类簇中目标单词的先验注意力。3.根据权利要求2所述的模型训练方法，其特征在于，所述确定聚类簇中目标单词的先验注意力，包括：根据目标单词在聚类簇中的出现频率，以及，聚类簇的总数量与包含所述目标单词的聚类簇的数量对应的逆向簇频率，确定所述先验注意力。4.根据权利要求1所述的模型训练方法，其特征在于，所述结合所述先验结果以及样本文本信息获取参考多模态表征向量，包括：获取样本文本信息的隐藏状态矩阵，并对隐藏状态矩阵进行变换获取注意力向量；基于先验注意力对所述注意力向量进行正则化，并根据注意力正则化项与隐藏状态矩阵获取参考多模态表征向量。5.根据权利要求4所述的模型训练方法，其特征在于，所述基于先验注意力对所述注意力向量进行正则化，包括：确定注意力向量的每个权重值在所述注意力向量中排名第一的概率；获取先验注意力的每个权重值在所述先验注意力中排名第一的概率；通过所述注意力向量和所述先验注意力的排名第一的概率的交叉熵，对所述注意力向量进行正则化以获取注意力正则化项。6.根据权利要求4所述的模型训练方法，其特征在于，所述根据注意力正则化项与隐藏状态矩阵获取参考多模态表征向量，包括：将所述注意力正则化项和隐藏状态矩阵进行乘法操作，获取所述样本文本信息的参考多模态表征向量。7.根据权利要求1所述的模型...
【专利技术属性】
技术研发人员：蒋艺荃，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。