一种使用图像标签辅助识别商品的方法及其系统技术方案

本发明专利技术涉及一种使用图像标签辅助识别商品的方法及其方法。该方法包括S1)上架阶段：通过智能货柜的后台管理系统设置SKU与标签的关联，并将其关联关系应用到各智能货柜中；S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。本发明专利技术的技术方案中深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种SKU进行图像采集和标注训练的工作，节省了采购SKU的成本和人工标注成本。

A method and system of using image label to help identify goods

【技术实现步骤摘要】
一种使用图像标签辅助识别商品的方法及其系统
本专利技术涉及智能货柜
，尤其涉及一种使用图像标签辅助识别商品的方法及其系统。
技术介绍
随着人力成本的不断提高及物联网智能技术的发展，越来越多的传统商店迅速削减店面人员，并且有越来越多的无人商店和智能货柜诞生。为了实现无人购物的体验，目前智能货柜通常会借助图像识别算法，特别是深度学习算法，去识别货柜中售卖的商品。深度学习算法从开发到应用的过程包括采集数据，标注以及算法训练，整个过程耗时较长，这个缺点在新品上架的时候凸显。
技术实现思路
本专利技术所要解决的技术问题是提供一种使用图像标签辅助识别商品的方法及其系统，通过给售卖商品加上图像标签，然后在系统中关联标签和实际售卖的商品，以图像算法负责识别标签，做标签到实际售卖商品的转换，从而省去了上新的过程。为解决上述技术问题，本专利技术的技术方案是：首先，本专利技术提供一种使用图像标签辅助识别商品的方法，包括以下步骤：S1)上架阶段：通过智能货柜的后台管理系统设置SKU(StockKeepingUnit，库存量单位)与标签的关联，并将其关联关系应用到各智能货柜中；S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。上述技术方案中，步骤S1)中所述的各智能货柜分别设有唯一的编号。上述技术方案中，步骤S2)具体步骤如下：S21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；S22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签；S23)所述业务服务端根据识别出的标签，查询标签与SKU的关联关系，生成订单消息,将该标签转换成SKU。上述技术方案中，所述算法模型分类为深度学习模型分类。其次，本专利技术提供一种使用图像标签辅助识别商品的系统，其包括：若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；所述服务器内置有图像识别算法模块及业务处理模块；所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；所述业务处理模块用于将顾客所选商品的标签转换为SKU，并生成购物订单信息；所述结算终端根据所述购物订单信息进行结算。上述技术方案中，所述服务器设有后台管理系统，用于设置SKU与标签的关联，并提供业务处理模块调用。本专利技术的有益效果：1)本专利技术的技术方案可以应用于水果等非标准包装的商品中，极大地提高了智能货柜的可售卖商品数量；2)本专利技术的技术方案中，深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种SKU进行图像采集和标注训练的工作，节省了采购SKU的成本和人工标注成本；3)该方案对SKU变动不敏感，弥补了深度学习模型迁移学习能力较弱的弊端，可以加速商品上新的速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种使用图像标签辅助识别商品的方法上架阶段标签和SKU及智能货柜对应示意图。图2为本专利技术一种使用图像标签辅助识别商品的方法的购物阶段图像信息到SKU的转换过程示意图。图3为本专利技术一种使用图像标签辅助识别商品的方法完整的购物过程示意图。具体实施方式以下结合本专利技术的附图来进一步介绍本专利技术的技术方案：首先，本专利技术提供一种使用图像标签辅助识别商品的方法，包括以下步骤：S1)上架阶段：通过智能货柜的后台管理系统设置SKU(StockKeepingUnit，库存量单位)与标签的关联，并将其关联关系应用到各智能货柜中；S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。上述技术方案中，步骤S1)中所述的各智能货柜分别设有唯一的编号。上述技术方案中，步骤S2)具体步骤如下：S21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；S22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签，并根据所识别的标签生成订单信息，将订单信息传递给业务服务端；S23)所述业务服务端根据订单产生时智能货柜的编号，找到该标签与SKU的关联关系，将该标签转换成SKU。上述技术方案中，所述算法模型分类为深度学习模型分类。其次，本专利技术提供一种使用图像标签辅助识别商品的系统，其包括：若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；所述服务器内置有图像识别算法模块及业务处理模块；所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；所述业务处理模块用于将顾客所选商品的标签转换为SKU，并生成购物订单信息；所述结算终端根据所述购物订单信息进行结算。上述技术方案中，所述服务器设有后台管理系统，用于设置SKU与标签的关联，并提供业务处理模块调用。具体的，步骤S1如图1所示，通过智能货柜(Fridge)的后台管理系统设置SKU与标签(Tag)的关联，该关联关系置于数据库中，应用于分散在各处的智能货柜中，所述各智能货柜分别设有唯一的识别编号。如图2所示，该SKU和标签之间的关联关系，可以经由算法模块和业务模块进行转换。当顾客进行商品选购时，设置在智能货柜上的图像采集装置会采集顾客打开智能货柜门前后的商品图像信息(Image)，并将该图像信息传递给算法服务端。算法服务端根据深度学习模型(DeepLearningModel)分类识别并对比所采集的图像信息，确定顾客所选购的商品，识别其上标签，并将标签信息传递至业务服务端。所述业务服务端根据标签信息及订单产生时智能货柜的编号，找到该标签与SKU的关联关系，将该标签转换成SKU，并根据所识别出的SKU产生购物订单，用于结算系统进行结本文档来自技高网...

【技术保护点】
1.一种使用图像标签辅助识别商品的方法，其特征在于，包括以下步骤：/nS1)上架阶段：通过智能货柜的后台管理系统设置SKU与标签的关联，并将其关联关系应用到各智能货柜中；/nS2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；/nS3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。/n

【技术特征摘要】
1.一种使用图像标签辅助识别商品的方法，其特征在于，包括以下步骤：
S1)上架阶段：通过智能货柜的后台管理系统设置SKU与标签的关联，并将其关联关系应用到各智能货柜中；
S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；
S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。


2.根据权利要求1所述的一种使用图像标签辅助识别商品的方法，其特征在于：
步骤S1)中所述的各智能货柜分别设有唯一的编号。


3.根据权利要求2所述的一种使用图像标签辅助识别商品的方法，其特征在于：
步骤S2)具体步骤如下：
S21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；
S22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签；
S23...

【专利技术属性】
技术研发人员：张发恩，陈炫光，
申请(专利权)人：创新奇智成都科技有限公司，
类型：发明
国别省市：四川;51