商品上新方法、商品识别方法、装置、系统及电子设备制造方法及图纸

本发明专利技术实施例涉及一种商品上新方法、商品识别方法、装置、系统及电子设备，通过获取新商品视频数据和新商品基准图像；基于训练好的商品检测模型提取所述新商品视频数据中多帧图像的新商品区域，获得新商品子图；基于新商品子图和原有商品数据集对当前商品特征检索模型进行训练，获得训练好的商品特征检索模型；基于所述训练好的商品特征检索模型提取所述新商品基准图像和原有商品基准图像的商品特征，以更新所述预设特征检索库；实现了通过采集少量的新商品视频数据就可以对已经局部最优的当前商品特征检索模型进行快速训练，提高了上新效率，同时通过商品检测模型和商品特征检索模型的结合提高了商品识别的准确率和稳定性。定性。定性。

【技术实现步骤摘要】
商品上新方法、商品识别方法、装置、系统及电子设备


[0001]本专利技术涉及图像处理
，尤其涉及一种商品上新方法、商品识别方法、装置、系统及电子设备。

技术介绍

[0002]随着人工智能的蓬勃发展，越来越多的行业开启人工智能+(Artificial Intelligence Plus，简称AI+)的新模式。其中，AI+的新零售代表之一是动态视觉货柜。
[0003]动态视觉柜相比于传统的智能货柜，解放了货柜本身，增大了货柜内部的空间利用率，但随之而来的是如何有效避免外来物品的干扰，保障稳定的商品识别准确率，并在短时间内实现新品上架成为了迫切解决的难题。
[0004]现有技术中，主要采用端到端的目标检测模型去进行商品上新和商品上新，其上新方式是通过人工采集大量新品样本作为支持集，加入到之前的商品集中重新训练目标检测模型，上新周期较长，且识别准确率不稳定。

技术实现思路

[0005]本专利技术的实施例提供了一种商品上新方法、商品识别方法、装置、系统及电子设备，以解决商品上新周期长，且识别准确率不稳定的技术问题。
[0006]第一方面，本专利技术的实施例提供了一种商品上新方法，包括：获取新商品视频数据，并获取新商品基准图像；基于训练好的商品检测模型提取所述新商品视频数据中多帧图像的新商品区域，获得新商品子图；基于新商品子图和原有商品数据集对当前商品特征检索模型进行训练，获得训练好的商品特征检索模型，其中，商品特征检索模型用于对商品子图进行特征提取，并将提取到商品特征与预设特征检索库中的各商品特征进行匹配以识别出商品；基于所述训练好的商品特征检索模型提取所述新商品基准图像和原有商品基准图像的商品特征，以更新所述预设特征检索库。
[0007]作为本专利技术的一实施例，所述商品检测模型为yoloX模型，所述yoloX模型的骨干网络为DarkNet53，所述DarkNet53的最后一层的全连接层冻结。
[0008]作为本专利技术的一实施例，所述商品特征检索模型为PaddleClas模型，所述PaddleClas模型的骨干网络为PP_LCNet，所述PaddleClas模型的网络层包括线性层和特征金字塔层。
[0009]作为本专利技术的一实施例，所述基于新商品子图和原有商品数据集对当前商品特征检索模型进行训练之前，还包括：基于原有商品数据集和开源数据集对待训练的商品特征检索模型进行迭代训练，直至目标损失函数满足预设收敛条件，获得所述当前商品特征检索模型；其中，所述目标损失函数根据人脸识别损失函数和三元损失函数确定。
[0010]作为本专利技术的一实施例，所述获取新商品视频数据，包括：获取预设场景下的新商品视频数据；其中，所述预设场景包括以下至少一种：新商品水平面旋转且上下移动、新商品倾斜旋转且上下移动以及新商品在低于预设光线强度下的以高于预设速度进行移动。
[0011]作为本专利技术的一实施例，所述获取新商品基准图像，包括：获取新商品预设角度或预设侧面的图像；其中，所述预设角度和预设侧面根据新商品的外观类型确定。
[0012]作为本专利技术的一实施例，所述方法还包括：获取非商品特征，并将所述非商品特征添加到所述预设特征检索库中。
[0013]第二方面，本专利技术实施例提供一种商品识别方法，包括：获取交易视频数据；基于训练好的商品检测模型提取所述交易视频数据中关键帧图像的待识别商品区域，获得待识别商品子图；将所述待识别商品子图输入到训练好的商品特征检索模型中，对所述待识别商品子图进行特征提取，并将提取到的待识别商品特征与预设特征检索库中的各商品特征进行匹配，识别出商品并确定对应的商品标签；根据所述商品标签确定商品费用。
[0014]作为本专利技术的一实施例，所述预设特征检索库包括各商品特征和非商品特征；所述将提取到的待识别商品特征与预设特征检索库中的各商品特征进行匹配，包括：将提取到的待识别商品特征与预设特征检索库中的商品特征和非商品特征进行匹配。
[0015]第三方面，本专利技术实施例提供一种商品上新装置，包括：第一商品数据模块，用于获取新商品视频数据，并获取新商品基准图像；第一商品检测模块，用于基于训练好的商品检测模型提取所述新商品视频数据中多帧图像的新商品区域，获得新商品子图；第一商品特征检索模块，用于基于新商品子图和原有商品数据集图对当前商品特征检索模型进行训练，获得训练好的商品特征检索模型，其中，商品特征检索模型用于对商品子图进行特征提取，并将提取到商品特征与预设特征检索库中的各商品特征进行匹配以识别出商品；特征检索更新模块，用于基于所述训练好的商品特征检索模型提取所述新商品基准图像和原有商品基准图像的商品特征，以更新所述预设特征检索库。
[0016]第四方面，本专利技术实施例提供一种商品识别装置，包括：第二商品数据模块，用于获取交易视频数据；第二商品检测模块，用于基于训练好的商品检测模型提取所述交易视频数据中关键帧图像的待识别商品区域，获得待识别商品子图；第二商品特征检索模块，用于将所述待识别商品子图输入到训练好的商品特征检索模型中，对所述待识别商品子图进行特征提取，并将提取到的待识别商品特征与预设特征检索库中的各商品特征进行匹配，识别出商品并确定对应的商品标签；商品费用确定模块，用于根据所述商品标签确定商品费用。
[0017]第五方面，本专利技术实施例提供一种商品识别与上新系统，包括：商品数据模块，用于获取新商品视频数据，并获取新商品基准图像；商品检测模块，用于基于训练好的商品检测模型提取所述新商品视频数据中多帧图像的新商品区域，获得新商品子图；商品特征检索模块，用于基于新商品子图和原有商品数据集图对当前商品特征检索模型进行训练，获得训练好的商品特征检索模型；特征检索更新模块，用于基于所述训练好的商品特征检索模型提取所述新商品基准图像和原有商品基准图像的商品特征，以更新预设特征检索库；所述商品数据模块，还用于获取交易视频数据；所述商品检测模块，还用于基于训练好的商品检测模型提取所述交易视频数据中关键帧图像的待识别商品区域，获得待识别商品子图；所述商品特征检索模块，还用于将所述待识别商品子图输入到训练好的商品特征检索模型中，对所述待识别商品子图进行特征提取，并将提取到的待识别商品特征与预设特征检索库中的各商品特征进行匹配，识别出商品并确定对应的商品标签；商品费用确定模块，用于根据所述商品标签确定商品费用
[0018]第六方面，本专利技术实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的商品上新方法或者第二方面任一项所述的商品识别方法的步骤。
[0019]第七方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的商品上新方法或者第二方面任一项所述的商品识别方法的步骤。
[0020]本专利技术的实施例提供的商品上新方法、商品识别方法、装置、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品上新方法，其特征在于，包括：获取新商品视频数据，并获取新商品基准图像；基于训练好的商品检测模型提取所述新商品视频数据中多帧图像的新商品区域，获得新商品子图；基于新商品子图和原有商品数据集对当前商品特征检索模型进行训练，获得训练好的商品特征检索模型，其中，商品特征检索模型用于对商品子图进行特征提取，并将提取到商品特征与预设特征检索库中的各商品特征进行匹配以识别出商品；基于所述训练好的商品特征检索模型提取所述新商品基准图像和原有商品基准图像的商品特征，以更新所述预设特征检索库。2.根据权利要求1所述的方法，其特征在于，所述商品检测模型为yoloX模型，所述yoloX模型的骨干网络为DarkNet53，所述DarkNet53的最后一层的全连接层冻结。3.根据权利要求1所述的方法，其特征在于，所述商品特征检索模型为PaddleClas模型，所述PaddleClas模型的骨干网络为PP_LCNet，所述PaddleClas模型的网络层包括线性层和特征金字塔层。4.根据权利要求3所述的方法，其特征在于，所述基于新商品子图和原有商品数据集对当前商品特征检索模型进行训练之前，还包括：基于原有商品数据集和开源数据集对待训练的商品特征检索模型进行迭代训练，直至目标损失函数满足预设收敛条件，获得所述当前商品特征检索模型；其中，所述目标损失函数根据人脸识别损失函数和三元损失函数确定。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述获取新商品视频数据，包括：获取预设场景下的新商品视频数据；其中，所述预设场景包括以下至少一种：新商品水平面旋转且上下移动、新商品倾斜旋转且上下移动以及新商品在低于预设光线强度下以高于预设速度进行移动。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述获取新商品基准图像，包括：获取新商品预设角度或预设侧面的图像；其中，所述预设角度和预设侧面根据新商品的外观类型确定。7.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：获取非商品特征，并将所述非商品特征添加到所述预设特征检索库中。8.一种商品识别方法，其特征在于，包括：获取交易视频数据；基于训练好的商品检测模型提取所述交易视频数据中关键帧图像的待识别商品区域，获得待识别商品子图；将所述待识别商品子图输入到训练好的商品特征检索模型中，对所述待识别商品子图进行特征提取，并将提取到的待识别商品特征与预设特征检索库中的各商品特征进行匹配，识别出商品并确定对应的商品标签；根据所述商品标签确定商品费用。9.根据权利要求8所述的方法，其特征在于，所述预设特征检索库包括各商品特征和非商品特征；所述将提取到的待识别商品特征与预设特征检索库中的各商品特征进行匹配，包括：
将提取到的待识别商品特征与预设特征检索库中的商品特征和非商品特征进行匹配。10.一种商...

【专利技术属性】
技术研发人员：周文，王远峰，殷本俊，武峰，温超和，
申请(专利权)人：北京中能达科技股份有限公司，
类型：发明
国别省市：