智能货柜消费行为识别方法、装置、存储介质和电子设备制造方法及图纸

本公开涉及一种智能货柜消费行为识别方法、装置、存储介质和电子设备，属于智能货柜领域，能够检测智能货柜实际使用中的消费欺骗或误操作等异常消费行为。该方法包括：获取智能货柜的商品的重量变化信息和图像变化信息；基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为。

Intelligent Container Consumption Behavior Recognition Method, Device, Storage Media and Electronic Equipment

The present disclosure relates to a method, device, storage medium and electronic equipment for identifying the consumption behavior of intelligent containers, belonging to the field of intelligent containers, capable of detecting abnormal consumption behaviors such as consumption deception or misoperation in the actual use of intelligent containers. The method includes acquiring the weight change information and image change information of the intelligent container, and identifying the consumption behavior of the intelligent container based on the fusion analysis of the weight change information and the image change information.

【技术实现步骤摘要】
智能货柜消费行为识别方法、装置、存储介质和电子设备
本公开涉及智能货柜领域，具体地，涉及一种智能货柜消费行为识别方法和装置。
技术介绍
目前，在判断智能货柜的消费行为时，要么使用重力称检测重量变化来估算被取走的商品，要么使用视觉识别技术通过图像识别来检测被取走的商品的种类和数目。然而，这两种方案都不能解决实际使用中的消费欺骗或误操作等问题，例如，用假商品(例如模型)替换真商品、把饮料喝完后的空瓶放回去、用同等重量的物品替换商品、把商品倒换位置、将商品遮挡放置(后续可从被遮挡位置抽取商品)、把商品弄倒了等。
技术实现思路
本公开的目的是提供一种智能货柜消费行为识别方法、装置、存储介质和电子设备，其能够检测智能货柜实际使用中的消费欺骗或误操作等异常消费行为。根据本公开的第一实施例，提供一种智能货柜消费行为识别方法，该方法包括：获取智能货柜的商品的重量变化信息和图像变化信息；基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品有变化而所述内置图像变化信息表明所述智能货柜内的商品没有变化的情况下，识别所述智能货柜内的商品的消费行为为异常消费。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品没有变化而所述内置图像变化信息表明所述智能货柜内的商品有变化的情况下，识别所述智能货柜内的商品的消费行为为异常消费。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息和基于设置在所述智能货柜外部的摄像头拍摄的图像得到的外置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品没有变化且所述内置图像变化信息也表明所述智能货柜内的商品没有变化的情况下，基于所述外置图像变化信息来识别所述智能货柜内的商品的消费行为为异常消费还是正常消费。可选地，所述图像变化信息还包括基于设置在所述智能货柜外部的摄像头拍摄的图像得到的外置图像变化信息，所述方法还包括：基于所述外置图像变化信息来进一步区分所述异常消费的种类，其中，所述异常消费的种类包括破坏性异常消费和无意性异常消费。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品有变化且所述内置图像变化信息也表明所述智能货柜内的商品有变化的情况下，若基于所述重量变化信息获得的商品消费行为和基于所述内置图像变化信息获得的商品消费行为一致，则识别所述智能货柜内的商品的消费行为为正常消费；若基于所述重量变化信息获得的商品消费行为和基于所述内置图像变化信息获得的商品消费行为不一致，则识别所述智能货柜内的商品的消费行为为异常消费。根据本公开的第二实施例，提供一种智能货柜消费行为识别装置，该装置包括：获取模块，用于获取智能货柜的商品的重量变化信息和图像变化信息；识别模块，用于基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述识别模块还用于在所述重量变化信息表明所述智能货柜内的商品有变化而所述内置图像变化信息表明所述智能货柜内的商品没有变化的情况下，识别所述智能货柜内的商品的消费行为为异常消费。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述识别模块还用于在所述重量变化信息表明所述智能货柜内的商品没有变化而所述内置图像变化信息表明所述智能货柜内的商品有变化的情况下，识别所述智能货柜内的商品的消费行为为异常消费。可选地，所述图像变化信息还包括基于设置在所述智能货柜外部的摄像头拍摄的图像得到的外置图像变化信息，所述识别模块还用于基于所述外置图像变化信息来进一步区分所述异常消费的种类，其中，所述异常消费的种类包括破坏性异常消费和无意性异常消费。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息和基于设置在所述智能货柜外部的摄像头拍摄的图像得到的外置图像变化信息，所述识别模块还用于在所述重量变化信息表明所述智能货柜内的商品没有变化且所述内置图像变化信息也表明所述智能货柜内的商品没有变化的情况下，基于所述外置图像变化信息来识别所述智能货柜内的商品的消费行为为异常消费还是正常消费。可选地，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述识别模块还用于在所述重量变化信息表明所述智能货柜内的商品有变化且所述内置图像变化信息也表明所述智能货柜内的商品有变化的情况下：若基于所述重量变化信息获得的商品消费行为和基于所述内置图像变化信息获得的商品消费行为一致，则识别所述智能货柜内的商品的消费行为为正常消费；若基于所述重量变化信息获得的商品消费行为和基于所述内置图像变化信息获得的商品消费行为不一致，则识别所述智能货柜内的商品的消费行为为异常消费。可选地，所述装置位于云端或终端。根据本公开的第三实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开第一实施例所述方法的步骤。根据本公开的第四实施例，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现根据本公开第一实施例所述方法的步骤。通过利用上述技术方案，由于通过重量变化信息可以获知例如智能货柜的哪层货架上的哪个或哪些商品被取走，通过图像变化信息也可以获知例如智能货柜的哪层货架上的哪个或哪些商品被取走，因此，通过对重量变化信息和图像变化信息的融合分析，就能够识别智能货柜内的商品的消费行为，例如商品是被正常取走了还是被假模型替换了等等，进而能够检测智能货柜实际使用中的消费欺骗或误操作等异常消费行为。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据本公开一种实施例的智能货柜消费行为识别方法的流程图。图2是根据本公开一种实施例的智能货柜消费行为识别装置的示意框图。图3是根据一示例性实施例示出的一种电子设备的框图。图4是根据一示例性实施例示出的一种电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不本文档来自技高网...

【技术保护点】
1.一种智能货柜消费行为识别方法，其特征在于，该方法包括：获取智能货柜的商品的重量变化信息和图像变化信息；基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为。

【技术特征摘要】
1.一种智能货柜消费行为识别方法，其特征在于，该方法包括：获取智能货柜的商品的重量变化信息和图像变化信息；基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为。2.根据权利要求1所述的方法，其特征在于，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品有变化而所述内置图像变化信息表明所述智能货柜内的商品没有变化的情况下，识别所述智能货柜内的商品的消费行为为异常消费。3.根据权利要求1所述的方法，其特征在于，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品没有变化而所述内置图像变化信息表明所述智能货柜内的商品有变化的情况下，识别所述智能货柜内的商品的消费行为为异常消费。4.根据权利要求3所述的方法，其特征在于，所述图像变化信息还包括基于设置在所述智能货柜外部的摄像头拍摄的图像得到的外置图像变化信息，所述方法还包括：基于所述外置图像变化信息来进一步区分所述异常消费的种类，其中，所述异常消费的种类包括破坏性异常消费和无意性异常消费。5.根据权利要求1所述的方法，其特征在于，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息和基于设置在所述智能货柜外部的摄像头拍摄的图像得到的外置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品没有变化且所述内置图像变化信息也表明所述智能货柜内的商品没有变化的情况下，基于所述外置图像变化信息来识别所述智能货柜内的商品的消费行为为异常消费还是正常消费。6.根据权利要求1所述的方法，其特征在于，所述图像变化信息包括基于设置在所述智能货柜内部的摄像头拍摄的图像得到的内置图像变化信息，所述基于对所述重量变化信息和所述图像变化信息的融合分析，来识别所述智能货柜的商品的消费行为，包括：在所述重量变化信息表明所述智能货柜内的商品有变化且所述内置图像变化信息也表明所述智能货柜内的商品有变化的情况下，若基于所述重量变化信息获得的商品消费行为和基于所述内置图像变化信息获得的商品消费行为一致，则识别所述智能货柜内的商品的消费行为为正常消费；若基于所述重量变化信息获得的商品消费行为和基于所述内置图像变化信息获得的商品消费行为不一致，则识别所述智能货柜内的商品的消费行为为异常消费。7.一种智能货柜消费行为识别装置，其特征在于...

【专利技术属性】
技术研发人员：廉士国，南一冰，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44