无人货柜上新后的取出商品识别方法和装置制造方法及图纸

本说明书提供一种无人货柜上新后的取出商品识别方法，包括：获取无人货柜的交易前图像、以及交易后图像；将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，得到交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域；检测模型采用小样本学习算法；将交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域分别输入分类模型，得到交易前图像中每个商品的类别、以及交易后图像中每个商品的类别；分类模型采用所有商品的样本图片进行训练；基于交易前图像中每个商品的类别、和交易后图像中每个商品的类别，确定取出商品的类别和数量。出商品的类别和数量。出商品的类别和数量。

【技术实现步骤摘要】
无人货柜上新后的取出商品识别方法和装置


[0001]本说明书一个或多个实施例涉及数据处理领域，尤其涉及一种无人货柜上新后的取出商品识别方法和装置。

技术介绍

[0002]无人货柜采用开门取货、自动结算的方式进行商品售卖，顾客好像是从自己家里的冰箱取走商品一样。方便快捷和良好的用户体验，使得无人货柜越来越受市场认可，以极快的节奏在各大中城市中铺开。
[0003]无人货柜的一个关键技术点在于如何准确判断顾客拿走了哪些商品。其中，基于视觉的无人货柜通常采用基于监督学习的检测模型和分类模型，来根据交易前图像和交易后图像来识别出取出商品(即被拿走的商品)的类别和数量。检测模型用来分离出交易前图像和交易后图像中的每个商品，检测模型的训练需要巨量的样本图片和长时间的训练过程，才能达到符合无人货柜需求的准确程度。
[0004]无人货柜的商品需要根据市场需求不断的增加新类别或进行新旧类别的替换。每次上新前，都要对每种新商品采集大量的样本图片，并且采用新商品样本图片和原有商品的样本图片重新训练检测模型。大量样本图片的采集要耗费很多人力工作，检测模型的重新训练需要很长的时间和大量的计算资源，限制了无人货柜响应市场需求的能力。

技术实现思路

[0005]有鉴于此，本说明书提供一种无人货柜上新后的取出商品识别方法，包括：
[0006]获取无人货柜的交易前图像、以及交易后图像；
[0007]将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，得到交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域；所述检测模型采用小样本学习算法；所述新商品支持集包括每种新商品的至少一张样本图片；
[0008]将交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域分别输入分类模型，得到交易前图像中每个商品的类别、以及交易后图像中每个商品的类别；所述分类模型采用所有商品的样本图片进行训练；
[0009]基于交易前图像中每个商品的类别、和交易后图像中每个商品的类别，确定取出商品的类别和数量。
[0010]本说明书还提供了一种无人货柜上新后的取出商品识别装置，包括：
[0011]图像获取单元，用于获取无人货柜的交易前图像、以及交易后图像；
[0012]图像检测单元，用于将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，得到交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域；所述检测模型采用小样本学习算法；所述新商品支持集包括每种新商品的至少一张样本图片；
[0013]商品分类单元，用于将交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域分别输入分类模型，得到交易前图像中每个商品的类别、以及交易后图像中每个商品的类别；所述分类模型采用所有商品的样本图片进行训练；
[0014]商品统计单元，用于基于交易前图像中每个商品的类别、和交易后图像中每个商品的类别，确定取出商品的类别和数量。
[0015]本说明书提供的一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述无人货柜上新后的取出商品识别方法所述的方法。
[0016]本说明书提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述无人货柜上新后的取出商品识别方法所述的方法。
[0017]由以上技术方案可见，本说明书的实施例中，以小样本学习算法构建检测模型，并且将新商品支持集作为检测模型的输入来辅助进行货柜内商品的检测，在上新后不仅不需要重新训练检测模型，只需要短时间的调整性训练或者无需训练即可将检测模型用于检测新商品，并且对新商品支持集的使用能够极大的增加对新商品检测的准确度，大大减少了对新商品样本采集的工作量，加快了无人货柜的上新速度。
附图说明
[0018]图1是本说明书实施例提供的一种无人货柜上新后的取出商品识别方法的流程图；
[0019]图2是本说明书应用示例一中无人货柜商品上新工作的流程示意图；
[0020]图3是本说明书应用示例二中无人货柜商品上新工作的流程示意图；
[0021]图4是本说明书应用示例三中无人货柜商品上新工作的流程示意图；
[0022]图5是运行本说明书实施例的设备的结构示意图；
[0023]图6是本说明书实施例提供的一种无人货柜上新后的取出商品识别装置的结构示意图。
具体实施方式
[0024]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0025]需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0026]本说明书实施例中，无人货柜采用视觉识别技术，采用在交易前采集的货柜内所
有商品的图像(称为交易前图像)、和在交易后采集的货柜内所有商品的图像(称为交易后图像)，通过比对判断出货柜内缺少的商品数量及所属类别，即可得知顾客取走的商品(称为取出商品)是哪些，以便正确计价收费，完成交易。
[0027]本说明书实施例中采用检测模型和分类模型来识别货柜内的商品。具体而言，检测模型的输入包括货柜内所有商品的图像，输出包括货柜内所有商品的图像中每个商品的检测区域。检测模型可以采用各种图像目标检测算法，不做限定。根据所采用的图像目标检测算法，检测区域可以是包含商品(目标)的矩形框，也可以是商品的像素区域，同样不做限定。分类模型的输入包括货柜内所有商品的图像中每个商品的检测区域，输出包括每个检测区域中商品的所属类别。分类模型可以采用各种分类算法，不做限定。
[0028]检测模型通常需要采用海量的样本数据进行长时间的训练，才能达到符合无人货柜应用所要求的准确度，在无人货柜增加新类别的商品(即上新)时如果重新训练检测模型，采集大量的新商品样本数据和长时间训练都会影响上新的速度。而分类模型的训练则采用相对少量的样本数据进行短时间的训练即可，在上新时增加少量新商品样本后重新训练，不会对上新的速度造成大的影响。
[0029]因此，本说明书实施例中采用小样本学习算法来构建检测模型，所采用的小样本学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人货柜上新后的取出商品识别方法，包括：获取无人货柜的交易前图像、以及交易后图像；将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，得到交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域；所述检测模型采用小样本学习算法；所述新商品支持集包括每种新商品的至少一张样本图片；将交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域分别输入分类模型，得到交易前图像中每个商品的类别、以及交易后图像中每个商品的类别；所述分类模型采用所有商品的样本图片进行训练；基于交易前图像中每个商品的类别、和交易后图像中每个商品的类别，确定取出商品的类别和数量。2.根据权利要求1所述的方法，所述方法还包括：采用以下方式中的一个到两个得到某种新商品的样本图片：获取新商品在无人货柜外的图片；获取新商品在无人货柜内的图片。3.根据权利要求1所述的方法，所述检测模型采用基于迁移学习的检测算法；所述检测模型为：采用目标域数据集对上新前检测模型进行迁移学习的调整性训练后、增加新商品支持集作为输入得到的上新后检测模型；所述目标域数据集包括每种新商品的若干张样本图片；所述将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，包括：将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入上新后检测模型。4.根据权利要求1所述的方法，所述检测模型采用基于元学习的检测算法；所述检测模型采用用于商品检测的元学习任务完成训练；所述将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，包括：将新商品支持集加入在线支持集，使在线支持集中包括无人货柜中每种商品的至少一张样本图片；将无人货柜的交易前图像和在线支持集、以及交易后图像和在线支持集分别输入检测模型。5.根据权利要求1所述的方法，所述检测模型采用基于对比学习的检测算法；所述检测模型为：采用目标域数据集对上新前检测模型进行对比学习的调整性训练后得到的上新后检测模型；所述目标域数据集包括每种新商品的若干张样本图片；所述将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，包括：将新商品支持集加入在线支持集，使在线支持集中包括无人货柜中每种商品的至少一张样本图片；将无人货柜的交易前图像和在线支持集、以及交易后图像和在线支持集分别输入上新后检测模型。6.根据权利要求5所述的方法，所述检测模型包括目标检测子模型和目标匹配子模型；目标检测子模型的输入包括无人货柜的交易前图像及在线支持集、或交易后图像及在线支持集，输出包括交易前图像中每个商品的检测区域、或交易后图像中每个商品的检测区域；目标匹配子模型的输入包括交易前图像中每个商品的检测区域及在线支持集、或交易后图
像中每个商品的检测区域及在线支持集，当交易前或交易后图像检测区域的商品匹配于在线支持集中的商品时，输出匹配的交易前商品的检测区域或交易后商品的检测区域。7.根据权利要求1所述的方法，所述新商品包括k个类别，每个类别的样本图片数量不超过10张；k为不超过50的自然数。8.根据权利要求1所述的方法，所述新商品支持集中包括每种新商品的3到5张样本图片。9.一种无人货柜上新后的取出商品识别装置，包括：图像获取单元，用于获取无人货柜的交易前图像、以及交易后图像；图像检测单元，用于将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，得到交易前...

【专利技术属性】
技术研发人员：查俊莉，赵雄心，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：