一种智能售货柜商品监测方法、装置及系统制造方法及图纸

本发明专利技术涉及智能售卖领域，特别是涉及一种智能售货柜商品监测方法、装置及系统。所述方法包括以下步骤：获取智能售货柜内商品的重力变化数据及重力变化前后商品的图像数据；根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合；根据所述图像数据确定重力变化前后所述商品的类别与数量差异；根据所述假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况。本发明专利技术融合了重力与图像分析，克服了现有算法不能同时分辨重量相近和外观相似的商品的缺陷，提高了智能售货柜对商品识别的准确率的同时，更丰富了智能售货柜适用的商品种类，能满足不同人群的需要。

An Intelligent Monitoring Method, Device and System for Container Commodities

【技术实现步骤摘要】
一种智能售货柜商品监测方法、装置及系统
本专利技术涉及智能售卖领域，特别是涉及一种智能售货柜商品监测方法、装置及系统。
技术介绍
近年来，智能售货柜的出现极大地方便了顾客。无需售卖人员的直接参与，顾客选择需要的商品，通过投币或者扫描二维码等方式付款后，智能售货柜自动向顾客提供对应的商品。智能售货柜需要监控商品的售卖情况，以便于商家及时补充相应的商品。现有智能售货柜商品监控的方法通常有两种，一种是采用重力传感器监测商品重力的变化，从而推算出商品品种与数量的变化，另一种是视觉传感器(摄像头)采集智能售货柜内商品的图像，通过图像前后对比，分析得出商品数量与品种的变化。但是，采用重力传感器的智能售货柜，对商品的重量有很高的要求，要求不同品种的商品的重量需要有显著的差距，如不能支持都是500ml的两种饮料。采用视觉传感器(摄像头)的智能售货柜，要求商品外观有显著区别，如不能支持都是白盖子的饮料；同时要求商品不能相互遮挡，如不能支持倾斜摆放的软包装商品。可见，现有的智能售货柜监测方法制约了所售卖商品的多样化，不能满足人们的需要。
技术实现思路
基于此，有必要针对上述的问题，提供一种智能售货柜内商品的监测方法、装置及系统。本专利技术是这样实现的，一种智能售货柜内商品的监测方法，所述方法包括以下步骤：获取智能售货柜内商品的重力变化数据及重力变化前后商品的图像数据；根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合；根据所述图像数据确定重力变化前后所述商品的类别与数量差异；根据所述假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况。在另一个实施例中，本专利技术还提供了一种智能售货柜内商品的监测装置，所述装置包括：数据获取模块，用于获取智能售货柜内商品的重力变化数据及重力变化前后商品的图像数据；重力分析模块，用于根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合；图像分析模块，用于根据所述图像数据确定重力变化前后所述商品的类别与数量差异；综合分析模块，用于根据所述假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况。在本专利技术另一个实施例中，本专利技术还提供了一种智能售货柜内商品的监测系统，所述系统包括：智能售货柜本体，用于存储及售卖商品；图像采集装置，设置于所述智能售货柜本体内，位于商品存储区的顶部，用于采集商品的图像数据；重力检测装置，设置于所述智能售货柜本体内，位于商品存储区的底部，用于采集商品的重力数据；以及如上一个实施例所述的装置，设置于所述智能售货柜本体内，与所述图像采集装置和重力检测装置相连，用于智能售货柜的商品变化监测。本专利技术涉及智能售卖领域，特别是涉及一种智能售货柜商品监测方法、装置及系统。本专利技术通过获取智能售货柜内商品的重力变化数据以及图像数据，由所述重力变化数据确定商品品种及数量变化的可能情况，由所述图像数据确定商品类别及数量变化的情况，通过二者的综合分析确定售货柜内商品的实际变化情况。本专利技术融合了重力与图像分析，克服了现有算法不能同时分辨重量相近和外观相似的商品的缺陷，提高了智能售货柜对商品识别的准确率的同时，更丰富了智能售货柜适用的商品种类，能满足不同人群的需要。附图说明图1为步骤S102的具体流程图；图2为图1中步骤S302的具体流程图；图3为图2中步骤S401的具体流程图；图4为步骤S103的具体流程图；图5为图4中步骤S603的具体流程图；图6为一个实施例中提供的一种智能售货柜内商品的监测装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。在一个实施例中，提出了一种智能售货柜内商品的监测方法，具体可以包括以下步骤：步骤S101，获取智能售货柜内商品的重力变化数据及重力变化前后商品的图像数据；步骤S102，根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合；步骤S103，根据所述图像数据确定重力变化前后所述商品的类别与数量差异；步骤S104，根据所述假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况。在本专利技术步骤S101中，所述重力变化数据可以是商品重力变化的结果，如重力增加或者减小的某个值，也可以是重力变化的过程量，例如仅记录重力增加或者减少前后的值；应当理解，所述重力变化数据可以是一个变化数据，也可能包括多个变化数据。所述重力变化前后的图像数据可以是与所述重力变化过程每一个变化点前后对应的图像，也可以是整个重力变化过程前后的图像，可能理解，所述图像至少为两张。在本专利技术步骤S102中，由于智能售货柜售卖的商品品种是确定的，因此可以根据重力变化数据对商品品种与数量的变化情况做出假设，由于假设是依据重力变化与商品品种及数量得出的，实际的变化情况总是包含于假设变化情况集合中，问题转化为如何从众多假设中确定出实际变化情况。需要理解的是，假设变化情况集合提供的假设都是可能发生的，但是由于某些商品的重力相近或者相等，通过重力分析的方法并不能将重力相近或者相等的商品区分开来。在本专利技术步骤S103中，根据所述图像数据确定重力变化前后商品类别与数量的差异，在本专利技术中，引入了商品分类，充分考虑了图像识别的特点在于无法分辨重叠的商品、可见区域小的商品以及外观相似的商品的特点，并且，在本专利技术中，图像数据的主要作用在于验证假设变化情况，与现有单纯图像识别不能等同。例如，发生拿取动作之前，检测出有A，B，C三个商品，则对应输出{box_A,p_A}，{box_B,p_B}，{box_C,p_C}，此处的box_*表示该商品的位置信息，p_*表示为商品的种类信息；用户将商品C取走，检测前后的输出图像差异则为{box_C,p_C}。当然，这仅仅是一个具体的记录方式，实际可以采用多种记录这种变化信息的方式，本专利技术对此不用限制。在本专利技术步骤S104中，由假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况，实际是利用图像数据确定出的商品的类别与数量差异对假设变化情况进行验证，根据验证结果确定实际变化情况。本专利技术实施例提供了一种智能售货柜商品监测方法，通过获取智能售货柜内商品的重力变化数据以及图像数据，由所述重力变化数据确定商品品种及数量变化的可能情况，由所述图像数据确定商品类别及数量变化的情况，通过二者的综合分析确定售货柜内商品的实际变化情况。本专利技术融合了重力与图像分析，克服了现有算法不能同时分辨重量相近和外观相似的商品的缺陷，提高了智能售货柜对商品识别的准确率的同时，更丰富了智能售货柜适用的商品种类，能满足不同人群的需要。在一个实施例中，步骤S101具体可以包括以下步骤：步骤S201，当检测到第一触发事件时，采集所述智能售货柜内商品的第一图像数据；步骤S202，采集所述智能售货柜内商品的重力变化数据；步骤S203，当检测到第二触发事件时，采本文档来自技高网...

【技术保护点】
1.一种智能售货柜内商品的监测方法，其特征在于，所述方法包括以下步骤：获取智能售货柜内商品的重力变化数据及重力变化前后商品的图像数据；根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合；根据所述图像数据确定重力变化前后所述商品的类别与数量差异；根据所述假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况。

【技术特征摘要】
1.一种智能售货柜内商品的监测方法，其特征在于，所述方法包括以下步骤：获取智能售货柜内商品的重力变化数据及重力变化前后商品的图像数据；根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合；根据所述图像数据确定重力变化前后所述商品的类别与数量差异；根据所述假设变化情况集合及商品的类别与数量差异确定商品的实际变化情况。2.根据权利要求1所述的一种智能售货柜内商品的监测方法，其特征在于，所述获取智能售货柜的重力变化数据及重力变化前后商品的图像数据，包括以下步骤：当检测到第一触发事件时，采集所述智能售货柜内商品的第一图像数据；采集所述智能售货柜内商品的重力变化数据；当检测到第二触发事件时，采集所述智能售货柜内商品的第二图像数据。3.根据权利要求1所述的一种智能售货柜内商品的监测方法，其特征在于，所述根据所述重力变化数据确定所述商品的品种与数量的假设变化情况集合，包括以下步骤：按时间顺序对所述重力变化数据进行稳态分割，得到若干个稳态；计算相邻两个稳态的差值，并求解满足所述差值的所述商品的品种与数量的解集，所述解集与所述差值一一对应；由所有所述解集得到整个重力变化过程所述商品的品种与数量的假设变化情况集合。4.根据权利要求3所述的一种智能售货柜内商品的监测方法，其特征在于，所述计算相邻两个稳态的差值，并求解满足所述差值的所述商品的品种与数量的解集，包括以下步骤：计算相邻两个所述稳态的差值，根据所述差值确定每种商品的最大可能数量，从而得到商品品种与数量的可能解集；计算所述可能解集内每一组解的总质量的期望与方差，根据所述期望与方差确定所述商品的品种与数量的解集。5.根据权利要求4所述的一种智能售货柜内商品的监测方法，其特征在于，所述计算相邻两个所述稳态的差值，根据所述差值确定每种商品的最大可能数量，从而得到商品品种与数量的可能解集，具体包括：根据所述图像数据确定可能的商品品种得到商品品种集；计算相邻两个所述稳态的差值，根据所述差值确定所述商品品种集中每种商品的最大可能数量，从...

【专利技术属性】
技术研发人员：王森，
申请(专利权)人：上海小萌科技有限公司，
类型：发明
国别省市：上海,31