一种基于图像识别的自动售货机掉货检测的方法技术

本发明专利技术公开了一种基于图像识别的自动售货机掉货检测的方法，其包括：在自动售货机柜体顶部相对取货仓处安装摄像装置，该摄像装置与自动售货机的本地控制系统相连接，且摄像装置的镜头正对取货仓底部的矩形区域；在自动售货机的本地控制系统中设有图像识别模块，且该图像识识模块中预设有两幅标准图像：第一标准图像为取货仓门关闭，取货仓中没有商品时取货仓底部的图像；第二标准图像为取货仓仓门被推开，两块防盗挡板被展开时的图像；在出货前、后摄像装置在一预设时间内对自动售货机顶部至取货仓底部的通道进行图像抓拍；如果抓拍的图像与第一标准图像或第二标准图像相同，则出货失败；如果与第一标准图像不相同，则出货成功。

An automatic vending machine detection method based on image recognition

The invention discloses a method, a vending machine off goods detection based on image recognition which includes: vending machine cabinet top pickup camera installation at the relative positions of the camera device, and automatic vending machine control system is connected with the local, regional and rectangular camera lens is on the bottom of a pickup position; the image recognition module in the vending machine of the local control system, and the image knowledge module design two images: the first standard for image pickup door closed, pick up the warehouse goods warehouse is not pick up the image; second standard image pickup warehouse door was open, two pieces of anti-theft image the baffle is unfolded; the image capture device in a preset on the top of the vending to pick up at the bottom of the channel warehouse time before shipment, after the camera to capture the map; if As the same as the first standard image or the second standard image, the shipment failed; if the first standard image is not the same, the shipment is successful.

【技术实现步骤摘要】
一种基于图像识别的自动售货机掉货检测的方法
本专利技术涉及一种自动售货机，特别是一种基于图像识别的自动售货机掉货检测的方法。
技术介绍
自动售货机购物已成为新零售的一种发展趋势。当前，自动售货机的货柜大都使用弹簧螺旋出货方式或者皮带传输出货方式，通过上述两种方式将货物推出，经自由落体掉入售货机货柜底部的取货仓中。消费者再推开取货仓门取走货物。无论弹簧螺旋出货方式或者皮带传输出货方式，都存在卡货、挂货导致所售商品不能成功落入取货仓的事件，导致顾客花了钱拿不到货物的情况发生。此外，如果顾客不小心选择的货道是空货道，没有货物，也会造成顾客花了钱拿不到货物的情况。为了检测货物是否成功掉落，通常在自动售货机下部的取货仓两端安装红外发射接收传感器阵列组成的红外掉货检测装置，每当自动售货机售货，货物被推出时刻，自动售货机控制系统启动该红外掉货检测装置工作，当货物落下时，经过该红外掉货检测装置由红外线编织构成的网络平面时，红外接收传感器被货物遮挡，则表明有货物成功落入到取货仓中，控制系统停止执行继续推送货物的动作，以免下一个货物被相继推出。掉货检测的结果，作为商品是否成功交易的依据。如果检测到货物成功掉落，则顾客购买成功，购买行为结束。如果在给定的时间内检测不到货物掉下，则表明或者有卡货、或者有挂货、或者顾客不小心选择了原本没有货物的空货道执行买卖动作，当发生这种事件时，对于使用现金购买的顾客，售货机可以自动采用直接退现金的方式，或者再提供顾客选择其他货道购物的方式。对于采用支付宝支付、微信支付等电子支付方式的购买，该购买失败事件会实时经过通信被汇报到相关网络支付系统进行退款。红外掉货检测装置A在取货仓中有两种安装方式：第一种方式是安装在取货仓两侧较高的位置(如图1)，其目的旨在发现货物掉落过程中穿过检测平面的事件(经过事件)；第二种方式是安装在取货仓两侧较低的位置(如图2)，其目的旨在货物掉落到取货仓底部后是否确实已经到了取货仓底部的事件(存在事件)。第一种方式有两个缺点：缺点1是，红外掉货检测装置的实时性必须足够强，因为货物掉落，穿过该红外线检测平面的时间很短，所以，如果实时性不强就有可能检测不到“经过事件”；缺点2是，红外发射接收阵列的传感器必须足够多，使得两者之间构成真正密致的检测平面，如果检测平面不够密致，则当掉落物品的体积很小，或者掉落物体以不利于检测的姿态(因为所谓检测平面，只不过是多条检测线构成的，检测线之间是有距离的，如窄长的物体，如果正好以窄面穿过两条相继的检测线之间，就无法检测到)穿过红外线检测平面时，同样也可能检测不到“经过事件”。第二种方式的缺点是：同样由于商品体积问题，或者形状问题，可能漏检。首先，红外发射接收阵列在取货仓中位置不能安装的太低，否则没有物体也会误报为有物体存在，导致红外传感器无法工作(因为红外发射管发出的波束有一个角度，比如15°，其发射线构成的阵列并不是一个理想的平面)。因此，红外传感器的发射线构成的检测平面与取货仓底部存在固有高度死区。一旦掉落的物体体积足够小，或者掉落物体以不利于检测的形状落于取货仓中(如口香糖平躺于取货仓中)，则同样无法感知该类物体已成功落于取货仓中的“存在事件”。此外，对于安装位置低的红外掉货检测装置，因为无法检测取货仓仓门是否被完全推开，而存在如下致命隐患：对于一些恶意购买的顾客，采用下述方法可以骗过系统，达到不花钱即可购物的目的：执行购买前，顾客首先尽量将取货仓往里推，使得与取货舱门相连的两块防盗挡板机构伸展到掉货检测不能检测到的高度位置，然后保持这个位置，此时选定货道并完成支付，自动售货机将相关货道推出一个货物，此时掉货检测系统工作，检查是否有货物落下，货物被推出掉落时，会落在事先被推开的与仓门相连的两块防盗挡板构成的平面上(即被仓门挡板挡住)而不会继续掉到取货仓中，此时掉货检测装置会一直检测不到货物落下，经过一定延时后，如果仍然检测不到货物落下或货物存在的事件，自动售货机控制系统会因此误认为掉货失败，从而启动退款行为，把刚刚收到的现金以找零的方式退给顾客，或者如果顾客之前采用电子支付，则会把相关金额原路退回(如退到顾客支付宝账户中)，当购物金额被退回之后，顾客才把取货仓门放下，之前掉落在两块与取货仓门相连的防盗挡板上的货物也随即掉入取货仓中，顾客再推开仓门后即可取货，从而达到不花钱可得到售货机内商品的目的。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种能确保准确感知售卖动作是否成功，并有效防止顾客恶意购买行为的基于图像识别的自动售货机掉货检测方法。为解决上述技术问题，本专利技术采用的技术方案是：一种基于图像识别的自动售货机掉货检测的方法，其包括下列步骤：在自动售货机柜体顶部相对取货仓处安装摄像装置，该摄像装置与自动售货机的本地控制系统相连接，且摄像装置的镜头正对取货仓底部的一矩形区域；在自动售货机的本地控制系统中设有图像识别模块，且该图像识别模块中预设有两幅标准图像：第一标准图像为当自动售货机的取货仓门关闭，取货仓中没有商品时，取货仓底部的图像；第二标准图像为当自动售货机的取货仓仓门被推开，与取货仓仓门联动的两块防盗挡板被展开时的参考图像；顾客在自动售货机上选定指定货道的指定货物，并在顾客完成购买支付之前，本地控制系统控制摄像装置动作，拍取一幅初始图像，并将该初始图像与所述两幅标准图像比较：如果初始图像与第一标准图像相同，则提示顾客完成支付动作，否则提示顾客先取走取货仓中的物品并关闭取货仓仓门再实施购买；当顾客完成支付后，本地控制系统控制指定货道电机转动，把指定货物送出货道，在本地控制系统控制指定货道电机转动的同时，本地控制系统控制摄像装置在一预设时间内对自动售货机顶部至取货仓底部的通道进行图像抓拍，并将抓拍的图像传送至本地控制系统的图像识别模块进行识别分析；如果在预设时间内抓拍的图像与第一标准图像或第二标准图像相同，则货物没有掉落，出货失败，本地控制系统控制系统退款或提示顾客选择另外的货道继续购物；如果在预设时间内抓拍的图像与第一标准图像或第二标准图像不相同，则货物有掉落，出货成功。上述方案中，所述预设时间为大于所述自动售货机最高层货架上的货物自由落体掉到取货仓所需时间的一时间值。上述方案中，所述抓拍的图像为预设时间到达时，取货仓底部图像。上述方案中，所述抓拍的图像也可包括货物被推出货道开始掉落图像、货物脱离货道往取货仓掉落途中图像、货物脱离货道往取货仓掉落途中取货仓门状态图像、预设时间到达时取货仓底部图像，所述图像识别模块进行图像识别的方法是：在预设时间到达时取货仓底部图像与第一标准图像或第二标准图像比较基础上，提取货物被推出货道开始掉落图像、货物脱离货道往取货仓掉落途中图像中货物的边界并比较边界面积，如果边界面积是减小的，则表明货物掉落成功，否则货物掉落不成功。上述方案的进一步优化为，所述自动售货机具有多台，各自动售货机的本地控制系统和摄像装置分别通过网络连接至云端服务系统，且所述云端服务系统内设有一图像识别模块，且该图像识识模块中预设有两幅标准图像：第一标准图像为当自动售货机的取货仓门关闭，取货仓中没有商品时，取货仓底部的图像；第二标准图像为当自动售货机的取货仓仓门被推开，与取货仓仓门联动的两块防盗挡板被展本文档来自技高网...

【技术保护点】
一种基于图像识别的自动售货机掉货检测的方法，其特征在于包括下列步骤：在自动售货机柜体顶部相对取货仓处安装摄像装置，该摄像装置与自动售货机的本地控制系统相连接，且摄像装置的镜头正对取货仓底部的矩形区域；在自动售货机的本地控制系统中设有图像识别模块，且该图像识识模块中预设有两幅标准图像：第一标准图像为当自动售货机的取货仓门关闭，取货仓中没有商品时，取货仓底部的图像；第二标准图像为当自动售货机的取货仓仓门被推开，与取货仓仓门联动的两块防盗挡板被展开时的参考图像；顾客在自动售货机上选定指定货道的指定货物，并在顾客完成购买支付之前，本地控制系统控制摄像装置动作，拍取一幅初始图像，并将该初始图像与所述两幅标准图像比较：如果初始图像与第一标准图像相同，则提示顾客完成支付动作，否则提示顾客先取走取货仓中的物品并关闭取货仓仓门再实施购买；当顾客完成支付后，本地控制系统控制指定货道电机转动，把指定货物送出货道，在本地控制系统控制指定货道电机转动的同时，本地控制系统控制摄像装置在一预设时间内对自动售货机顶部至取货仓底部的通道进行图像抓拍，并将抓拍的图像传送至本地控制系统的图像识别模块进行识别分析；如果在预设时间内抓拍的图像与第一标准图像或第二标准图像相同，则货物没有掉落，出货失败，本地控制系统控制系统退款或提示顾客选择另外的货道继续购物；如果在预设时间内抓拍的图像与第一标准图像或第二标准图像不相同，则货物有掉落，出货成功。...

【技术特征摘要】
1.一种基于图像识别的自动售货机掉货检测的方法，其特征在于包括下列步骤：在自动售货机柜体顶部相对取货仓处安装摄像装置，该摄像装置与自动售货机的本地控制系统相连接，且摄像装置的镜头正对取货仓底部的矩形区域；在自动售货机的本地控制系统中设有图像识别模块，且该图像识识模块中预设有两幅标准图像：第一标准图像为当自动售货机的取货仓门关闭，取货仓中没有商品时，取货仓底部的图像；第二标准图像为当自动售货机的取货仓仓门被推开，与取货仓仓门联动的两块防盗挡板被展开时的参考图像；顾客在自动售货机上选定指定货道的指定货物，并在顾客完成购买支付之前，本地控制系统控制摄像装置动作，拍取一幅初始图像，并将该初始图像与所述两幅标准图像比较：如果初始图像与第一标准图像相同，则提示顾客完成支付动作，否则提示顾客先取走取货仓中的物品并关闭取货仓仓门再实施购买；当顾客完成支付后，本地控制系统控制指定货道电机转动，把指定货物送出货道，在本地控制系统控制指定货道电机转动的同时，本地控制系统控制摄像装置在一预设时间内对自动售货机顶部至取货仓底部的通道进行图像抓拍，并将抓拍的图像传送至本地控制系统的图像识别模块进行识别分析；如果在预设时间内抓拍的图像与第一标准图像或第二标准图像相同，则货物没有掉落，出货失败，本地控制系统控制系统退款或提示顾客选择另外的货道继续购物；如果在预设时间内抓拍的图像与第一标准图像或第二标准图像不相同，则货物有掉落，出货成功。2.根据权利要求1所述的一种基于图像识别的自动售货机掉货检测的方法，其特征在于，所述预设时间为大于所述自动售货机最高层货架上的货物自由落体掉到取货仓所需时间的一时间值。3.根据权利要求1或2所述的一种基于图像识别的自动售货机掉货检测的方法，其特征在于，所述抓拍的图像为预设时间到达时，取货仓底部图像。4.根据权利要求1或2所述的一种基于图像识别的自动售货机掉货检测的方法，其特征在于，所述抓拍的图像包括货物被推出货道开始掉落图像、货物脱离货道往取货仓掉落途中图像、货物脱离货道往取货仓掉落途中取货仓门状态图像、预设时间到达时取货仓底部图像，所述图像识别模块进行图像识别的方法是：在预设时间到达时取货仓底部图像与第一标准图像或第二标准图像比较基础上，提取货物被推出货道开始掉落图像、货物脱离货道往取货仓掉落途中图像中货物的边界并比较边界面积，如果边界面积是减小的，则表明货物掉落成功，否则货物掉落不成功。5.根据权利要求1或2所述的一种基于图像识别的自动售货机掉货检测的方法，其特征在于，所述自动售货机具有多台，各自动售货机的本地控制系统和摄像装置分别通过网络连接至云端服务系统，且所述云端服务系统内设有一图像识别模块，且该图像识识模块中预设有两幅标准图像：第一标准图像为当自动售货机的取货仓门关闭，取货仓中没有商品时，取货仓底部的图像；第二标准图像为当自动售货机的取货仓仓门被推开，与取货仓仓门联动的两块防盗挡板被展开时的参考图像；所述云端服务系统通过本地控制系统或直接控制自动售货机的摄像装置顾客在自动售货机上选定指定货道的指定货物，并在顾客完成购买支付之前，所述云端服务系统控制摄像装置动作，拍取一幅初始图像，并将该初始图像传送至云端服务系统，云端服务系统将初始图像与所述两幅标准图像比较：如果初始图像与第一标准图像相同，则提示顾客完成支付动作，否则提示顾客先取走取货仓中的物品并关闭取货仓仓门再实施购买；当顾客完成支付后，所述云端服务系统通过本地控制系统控制指定货道电机转动，把指定货物送出货道，在本地控制系统控制指定货道电机转动的同时，所述云端服务系统或本地控制系统控制摄像装置在一预设时间内对自动售货机顶部...

【专利技术属性】
技术研发人员：贺建飚，金瓯，李玺，高建良，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43