智能货柜的商品识别方法和系统及购物订单的生成方法技术方案

本发明专利技术涉及智能货柜的商品识别方法和系统及购物订单的生成方法，属于智能货柜技术领域。其中，所述商品识别方法包括：基于图像识别用户拿取或放回商品的动作；获取来自重量传感器的商品重量变化及位置；匹配用户拿取或放回商品的动作和商品重量变化的位置；以及在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。本发明专利技术提高了对用户拿取或放回商品识别的准确率，并通过对用户购物行为的识别，提高了购物订单生成的准确率。

【技术实现步骤摘要】
智能货柜的商品识别方法和系统及购物订单的生成方法
本专利技术涉及一种智能货柜，特别地涉及一种智能货柜的商品识别方法和系统及购物订单的生成方法。
技术介绍
智能货柜提供了新型的商品零售模式，给人们带来了一种新型的购物方式，受到越来越多的欢迎，因而智能货柜的应用也越来越广泛。相比较于传统的购物柜来说，智能货柜具备各种传感器，可以给为用户提供完全不同于以往的购物体验。现有的智能货柜大部分采用RFID系统，即为每个柜内商品配备RFID标签，采用RFID技术识别柜内商品。但是这种RFID货柜会由于RFID标签的问题而出现商品识别不准确的问题，因而容易出现购物订单错误的情况。
技术实现思路
针对现有技术中存在的技术问题，本专利技术提出了一种智能货柜的商品识别方法和系统及购物订单的生成方法，用于提高商品识别的准确率，从而提高购物订单生成的准确率。为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了一种智能货柜的商品识别方法，其中，包括：基于图像识别用户拿取或放回商品的动作；获取来自重量传感器的商品重量变化及位置；匹配用户拿取或放回商品的动作和商品重量变化的位置；以及在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。优选地，在所述的商品识别方法中，进一步地，基于图像识别用户的手掌来获得用户拿取或放回商品的动作。优选地，在所述的商品识别方法中，基于图像识别用户的手掌的步骤进一步包括：采集从智能货柜的柜门打开到关闭之间的视频；从智能货柜的柜门打开到关闭之间的视频中截取商品重量变化时刻之前的多个图像；和从所述多个图像中识别用户的手掌。优选地，在所述的商品识别方法中，在多个图像中识别用户手掌的同时，识别手掌在货柜中的位置。优选地，在所述的商品识别方法中，匹配用户拿取或放回商品的动作和商品重量变化的位置时，匹配用户手掌的位置与商品重量变化的位置。优选地，在所述的商品识别方法中，在截取商品重量变化时刻之前的多个图像时，按照预定的时间间隔截取多个图像。优选地，在所述的商品识别方法中，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，从而得到商品清单A的步骤进一步包括：根据商品重量变化的位置，查询商品分布数据，获取商品标识及其重量信息；根据商品的重量变化和获取到的商品重量信息，获得商品的数量；以及根据商品标识及商品数量得到商品清单A。优选地，在所述的商品识别方法中，进一步包括：基于图像识别用户拿取或放回的商品，获得商品清单B。优选地，在所述的商品识别方法中，进一步包括：基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认识别到用户拿取或放回的商品。优选地，在所述的商品识别方法中，基于图像识别用户拿取或放回的商品，获得商品清单B的步骤进一步包括：采集智能货柜的柜门打开和关闭时刻的商品图像，获取商品位置的差异；根据所述商品位置差异查询商品分布数据；以及根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。为解决上述技术问题，根据本专利技术的另一个方面，本专利技术提供了一种智能货柜商品识别系统，其中，包括：图像探测器，其经配置用于获取用户拿取或放回商品的动作的图像；多个重量传感器，其经配置用于获取商品的重量变化及位置；以及处理器，其经配置用于基于所述图像探测器获取的图像识别用户拿取或放回商品的动作；匹配用户拿取或放回商品的动作和商品重量变化的位置；在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。优选地，所述处理器包括：图像识别模块，用于基于所述图像探测器采集到的图像识别用户拿取或放回商品的动作；匹配模块，用于匹配用户拿取或放回商品的动作和智能货柜中发生商品重量变化的位置；以及计算模块，用于在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置得到用户拿取或放回商品，从而得到商品清单A。优选地，所述图像识别模块基于图像识别用户的手掌来获得用户拿取或放回商品的动作；所述图像识别模块基于图像识别手掌在货柜中的位置；所述匹配模块匹配用户手掌的位置和智能货柜中发生商品重量变化的位置。优选地，所述图像探测器采集从智能货柜的柜门打开到关闭之间的视频；对应地，所述图像识别模块从智能货柜的柜门打开到关闭之间的视频中截取重量传感器感测到商品重量变化时刻之前的多个图像；在多个图像中识别用户的手掌和手掌在货柜中的位置重量传感器。优选地，所述处理器进一步包括：商品识别模块，用于基于所述图像探测器采集的图像识别用户拿取或放回的商品，获得商品清单B。优选地，所述处理器进一步包括：验证模块，用于基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认识别到用户拿取或放回的商品。优选地，所述商品识别模块包括：图像获取单元，用于从所述图像探测器获取智能货柜的柜门打开和关闭时刻的货架图像；图像对比单元，用于对比柜门打开时刻的货架图像和柜门关闭时刻的货架图像，获取商品位置的差异；以及查询单元，根据所述商品位置的差异查询商品分布数据，根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。为解决上述技术问题，根据本专利技术的另一个方面，本专利技术提供了一种智能货柜购物订单的生成方法，其中，包括：获取柜门解锁的信息；基于前述方法识别到用户拿取或放回的商品；识别用户拿取商品或放回商品的行为；在识别到用户拿取商品时，将拿取的商品加入到购物清单中；在识别到用户放回商品时，将放回的商品从购物清单中删除；以及在获取到柜门锁闭的信息时，根据购物清单中的商品生成购物订单。优选地，所述识别用户拿取商品或放回商品的行为具体包括：判断所述商品重量变化，在所述商品重量变化为重量增加时，识别为用户放回商品；在在所述商品重量变化为重量减少时，识别为用户拿取商品。重量传感器本专利技术通过重量传感器和图像识别的配合，提高了对用户拿取或放回商品的识别准确率，并通过对用户购物行为的识别，提高了购物订单生成的准确率。附图说明下面，将结合附图对本专利技术的优选实施方式进行进一步详细的说明，其中：图1是根据本专利技术一个实施例的智能货柜的商品识别方法的流程图；图2是根据本专利技术另一个实施例的智能货柜的商品识别方法的流程图；图3是根据本专利技术另一个实施例中的采用图像识别商品的流程图；图4是根据本专利技术一个实施例的智能货柜的商品识别系统的原理图；图5是根据本专利技术一个实施例的商品识别系统中处理器的原理图；图6是根据本专利技术另一个实施例的商品识别系统中处理器的原理图；图7是根据本专利技术另一个实施例的处理器中的商品识别模块的原理图；以及图8是根据本专利技术另一个实施例的智能货柜与远端服务器相连接的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在本文档来自技高网...

【技术保护点】
1.一种智能货柜的商品识别方法，其中，包括：基于图像识别用户拿取或放回商品的动作；获取来自重量传感器的商品重量变化及位置；匹配用户拿取或放回商品的动作和商品重量变化的位置；以及在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。

【技术特征摘要】
1.一种智能货柜的商品识别方法，其中，包括：基于图像识别用户拿取或放回商品的动作；获取来自重量传感器的商品重量变化及位置；匹配用户拿取或放回商品的动作和商品重量变化的位置；以及在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。2.根据权利要求1所述的商品识别方法，其中，进一步地，基于图像识别用户的手掌来获得用户拿取或放回商品的动作。3.根据权利要求2所述的商品识别方法，其中，基于图像识别用户的手掌的步骤进一步包括：采集从智能货柜的柜门打开到关闭之间的视频；从智能货柜的柜门打开到关闭之间的视频中截取商品重量变化时刻之前的多个图像；和从所述多个图像中识别用户的手掌。4.根据权利要求3所述的商品识别方法，其中，在多个图像中识别用户手掌的同时，识别手掌在货柜中的位置。5.根据权利要求4所述的商品识别方法，其中，匹配用户拿取或放回商品的动作和商品重量变化的位置时，匹配用户手掌的位置与商品重量变化的位置。6.根据权利要求3所述的商品识别方法，其中，在截取商品重量变化时刻之前的多个图像时，按照预定的时间间隔截取多个图像。7.根据权利要求1所述的商品识别方法，其中，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A的步骤进一步包括：根据商品重量变化的位置，查询商品分布数据，获取商品标识及其重量信息；根据商品的重量变化和获取到的商品重量信息，获得商品的数量；以及根据商品标识及商品数量得到商品清单A。8.根据权利要求1所述的商品识别方法，其中，进一步包括：基于图像识别用户拿取或放回的商品，获得商品清单B。9.根据权利要求8所述的商品识别方法，其中，进一步包括：基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认商品清单A为用户拿取或放回的商品。10.根据权利要求8所述的商品识别方法，其中，基于图像识别用户拿取或放回的商品，获得商品清单B的步骤进一步包括：采集智能货柜的柜门打开和关闭时刻的商品图像，获取商品位置的差异；根据所述商品位置差异查询商品分布数据；以及根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。11.一种智能货柜商品识别系统，其中，包括：图像探测器，其经配置用于获取用户拿取或放回商品的动作的图像；多个重量传感器，其经配置用于获取商品的重量变化及位置；以及处理器，其经配置用于基于所述图像探测器获取的图...

【专利技术属性】
技术研发人员：付娜，任国栋，吴永强，
申请(专利权)人：虫极科技北京有限公司，
类型：发明
国别省市：北京,11