一种细粒度智能商品识别方法技术

本申请提供一种细粒度智能商品识别方法

【技术实现步骤摘要】
一种细粒度智能商品识别方法、装置、设备及介质


[0001]本申请涉及目标识别
，提供一种细粒度智能商品识别方法
、
装置
、
设备及介质
。

技术介绍

[0002]随着科学技术的发展，为了向消费者提供更加智能便捷的购物体验，通过扫码识别商品和自动结算的智能购物车应运而生
。
然而，当前的商品识别技术面临着以下几个问题，第一，传统的图像识别方法主要关注物体的整体外观特征，对于细粒度商品的细节差异识别能力有限；第二，由于购物车环境中，不同类别的商品可能在数量上存在不平衡，某些商品的样本数量远多于其他商品，因此，容易导致图像识别模型在训练过程中对于数量较少的商品类别表现不佳；第三，由于购物车环境中，商品可能受到光线
、
角度与遮挡等因素的影响，而传统的图像识别方法对于光照变化与视角变化等情况的适应性有限，因此，使得商品的识别结果不稳定，进而，影响商品识别准确性
。
第四，由于购物车为实时购物环境，商品识别需要在短时间内完成，以确保购物者能够及时得到准确的识别结果，而复杂的图像识别算法计算复杂度较高，因此，无法满足购物车对实时性的要求
。
[0003]因此，如何提高购物车环境中的商品识别准确性成了目前亟待解决的问题
。

技术实现思路

[0004]本申请提供一种细粒度智能商品识别方法
、
装置
、
设备及介质，用于解决购物车环境中的商品识别准确性较低的问题
>。
[0005]一方面，提供一种细粒度智能商品识别方法，所述方法包括：确定目标购物车内商品重量的变化值是否大于预设重量值；若确定目标购物车内商品重量的变化值大于预设重量值，则对所述目标购物车内的新增商品进行拍摄，获得目标新增商品图像；将所述目标新增商品图像输入至训练好的细粒度商品识别模型中进行特征识别，输出目标新增商品特征；其中，所述训练好的细粒度商品识别模型的中间层包括有多个阶段，且每个阶段分别对不同视角的新增商品图像进行特征提取，不同阶段对应不同的辅助损失函数，输出层采用
Transformer
结构与
cross attention
方式来对所述中间层提取的不同特征进行交叉特征融合；根据所述目标新增商品特征，从本地索引库中匹配出目标商品名称
。
[0006]可选的，所述若确定目标购物车内商品重量的变化值大于预设重量值，则对所述目标购物车内的新增商品进行拍摄，获得目标新增商品图像的步骤，包括：若确定目标购物车内商品重量的变化值大于预设重量值，则对所述目标购物车内的新增商品进行拍摄，获得初始商品图像；对所述初始新增商品图像进行帧差法分割，获得商品分割图像；对所述初始新增商品图像进行主体识别，获得目标新增商品图像
。
[0007]可选的，在根据所述目标新增商品特征，从本地索引库中匹配出目标商品名称之后，所述方法还包括：确定所述目标商品名称与获得的扫码商品名称是否一致；若确定所述目标商品名称与所述获得的扫码商品名称不一致，则向用户发送相应的提示信息
。
[0008]可选的，在将所述目标新增商品图像输入至训练好的细粒度商品识别模型中进行特征识别，输出目标新增商品特征之前，所述方法还包括：根据预设的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果；根据所述模型预测结果，获得多个交叉熵损失函数值；根据所述多个交叉熵损失函数值，对所述初始细粒度商品识别模型中的不同阶段的学习权重进行更新，获得训练好的细粒度商品识别模型
。
[0009]可选的，在根据预设的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果之前，所述方法还包括：根据多个公开数据集与超市实际购物车场景数据集，构建初始商品数据集；对所述初始商品数据集进行数据清洗，获得清洗后的商品数据集；对所述清洗后的商品数据集进行多级细粒度分类，获得所述预设的细粒度商品数据集
。
[0010]可选的，所述对所述清洗后的商品数据集进行多级细粒度分类，获得所述预设的细粒度商品数据集的步骤，包括：根据商品类别
、
商品品牌和商品包装，对所述清洗后的商品数据集进行多级细粒度分类，获得所述预设的细粒度商品数据集
。
[0011]可选的，在根据预设的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果之前，所述方法还包括：针对色彩
、
色调与亮度，对所述预设的细粒度商品数据集中的多张商品图像，进行不同角度的旋转
、
翻转和随机的处理，获得数据扩充后的细粒度商品数据集；则，所述根据预设的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果的步骤，包括：根据所述数据扩充后的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果
。
[0012]一方面，提供一种细粒度智能商品识别装置，所述装置包括：重量确定单元，用于确定目标购物车内商品重量的变化值是否大于预设重量值；图像获得单元，用于若确定目标购物车内商品重量的变化值大于预设重量值，则对所述购物车内的新增商品进行拍摄，获得目标新增商品图像；特征输出单元，用于将所述目标新增商品图像输入至训练好的细粒度商品识别模型中进行特征识别，输出目标新增商品特征；其中，所述训练好的细粒度商品识别模型的中间层包括有多个阶段，且每个阶段分别对不同视角的新增商品图像进行特征提取，不同阶段对应不同的辅助损失函数，输出层采用
Transformer
结构与
cross attention
方式来对所述中间层提取的不同特征进行交叉特征融合；
名称输出单元，用于根据所述目标新增商品特征，从本地索引库中匹配出目标商品名称
。
[0013]一方面，提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法
。
[0014]一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法
。
[0015]在本申请实施例中，当需要对购物车内的商品进行识别时，首先，可以确定目标购物车内商品重量的变化值是否大于预设重量值；然后，若确定目标购物车内商品重量的变化值大于预设重量值，则可以对购物车内的新增商品进行拍摄，获得目标新增商品图像；接下来，可以将目标新增商品图像输入至训练好的细粒度商品识别模型中进行特征识别，输出目标新增商品特征；最后，根据目标新增商品特征，便可以从本地索引库中匹配出目标商品名称
。
其中，训练好的细粒度商品识别模型的中间层包括有多个阶段，且每个阶段分别对不同视角的新增商品图像进行特征提取，输出层采用
Transformer
结构与
cross atte本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种细粒度智能商品识别方法，其特征在于，所述方法包括：确定目标购物车内商品重量的变化值是否大于预设重量值；若确定目标购物车内商品重量的变化值大于预设重量值，则对所述目标购物车内的新增商品进行拍摄，获得目标新增商品图像；将所述目标新增商品图像输入至训练好的细粒度商品识别模型中进行特征识别，输出目标新增商品特征；其中，所述训练好的细粒度商品识别模型的中间层包括有多个阶段，且每个阶段分别对不同视角的新增商品图像进行特征提取，不同阶段对应不同的辅助损失函数，输出层采用
Transformer
结构与
cross attention
方式来对所述中间层提取的不同特征进行交叉特征融合；根据所述目标新增商品特征，从本地索引库中匹配出目标商品名称
。2.
如权利要求1所述的方法，其特征在于，所述若确定目标购物车内商品重量的变化值大于预设重量值，则对所述目标购物车内的新增商品进行拍摄，获得目标新增商品图像的步骤，包括：若确定目标购物车内商品重量的变化值大于预设重量值，则对所述目标购物车内的新增商品进行拍摄，获得初始商品图像；对所述初始新增商品图像进行帧差法分割，获得商品分割图像；对所述初始新增商品图像进行主体识别，获得目标新增商品图像
。3.
如权利要求1所述的方法，其特征在于，在根据所述目标新增商品特征，从本地索引库中匹配出目标商品名称之后，所述方法还包括：确定所述目标商品名称与获得的扫码商品名称是否一致；若确定所述目标商品名称与所述获得的扫码商品名称不一致，则向用户发送相应的提示信息
。4.
如权利要求1所述的方法，其特征在于，在将所述目标新增商品图像输入至训练好的细粒度商品识别模型中进行特征识别，输出目标新增商品特征之前，所述方法还包括：根据预设的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果；根据所述模型预测结果，获得多个交叉熵损失函数值；根据所述多个交叉熵损失函数值，对所述初始细粒度商品识别模型中的不同阶段的学习权重进行更新，获得训练好的细粒度商品识别模型
。5.
如权利要求4所述的方法，其特征在于，在根据预设的细粒度商品数据集，对初始细粒度商品识别模型进行训练，获得模型预测结果之前，所述方法还包括：根据多个公开数据集与超市实际购物车场景数据集，构建初始商品数据集；对所述初始商品数据集进行数据清洗，获得清洗后的商品数...

【专利技术属性】
技术研发人员：孙晓刚，周强，
申请(专利权)人：成都阿加犀智能科技有限公司，
类型：发明
国别省市：