一种基于动态视觉识别的AI智能售货柜制造技术

本发明专利技术公开一种基于动态视觉识别的AI智能售货柜，售货柜与云服务器通信连接，售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头，与摄像头连接的控制模块和无线传输模块；云服务器包括动态视觉识别算法处理模块和存储空间；摄像头将物品离开柜体的整个过程拍摄成视频，通过无线传输模块上传到云服务器中，由动态视觉识别算法进行视频处理计算识别，识别后的结果通过网络发送给用户支付终端进行扣费。本发明专利技术能够减少售货柜硬件部件数量简化硬件的装配，售货柜内实现多商品的叠加摆放，降低整机成本，提升售货柜的空间利用率，实现无人零售，极大的降低零售人工成本和场租成本。

An AI Intelligent Vending Container Based on Dynamic Vision Recognition

【技术实现步骤摘要】
一种基于动态视觉识别的AI智能售货柜
本专利技术涉及智能售货柜
，具体涉及一种基于动态视觉识别的AI智能售货柜。
技术介绍
目前，智能售货柜主要有两种识别方式，一种是基于传统的RFID技术，另一种是基于视觉识别技术。传统的RFID技术的缺点是设备和运营成本高，且RFID技术受液体和金属的影响大，有无法逾越的技术瓶颈。视觉识别技术又包括静态识别和动态识别，静态识别通过拍照来对比识别商品，动态识别通过视频来对比识别商品。其中，静态识别需要在售货柜内每层货架旁都安装1-2个摄像头，并且其摄像头需要距离下层隔板有较高高度，否则难以拍到全貌，因此，静态识别的空间利用率低。另外，静态识别的售货柜对商品的摆放位置要求较高，商品不能叠放，且难以识别具有相同外观的商品等。而动态识别技术没有这些限制，商品可随意放置、叠放，可识别具有相同外观的商品，且动态识别只需1-2个摄像头，对摄像头的安装高度也没有限定，能节省售货柜空间，提高空间利用率。因此，动态视觉识别技术在智能售货柜上具有很好的应用前景。现有技术中，利用动态识别技术进行物品识别的如：公开号CN106196811A的中国专利“具有动态识别功能的制冷设备”(2016年12月7日公开)利用RFID天线以及物品上的电子标签，通过动态识别技术动态的清点统计制冷设备内物品的存取。公开号CN109114877A的中国专利“一种基于冰箱动态识别的食品管理系统”(2019年1月1日公开)通过红外感应方式对人存放和取出食材动作进行拍照来进行图像识别，具体是通过动作采集装置采集存放或者取出食材的动作，触发图像采集装置进行动态拍照，将照片信息传递给智能控制系统，智能控制系统中的云数据库进行图像识别，将物品信息存入数据库并通过显示装置显示食品信息。
技术实现思路
本专利技术的目的是针对现有技术存在的问题，提供一种基于动态视觉识别的AI智能售货柜，实现多商品的叠加摆放，提升售货柜的空间利用率，降低整机成本和人工成本。为实现上述目的，本专利技术采用的技术方案是：一种基于动态视觉识别的AI智能售货柜，所述售货柜与云服务器通信连接，所述售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头和智能锁，与所述摄像头、智能锁连接的控制模块和无线传输模块；所述云服务器包括动态视觉识别算法处理模块和存储空间；所述摄像头将物品离开柜体的整个过程拍摄成视频，通过所述无线传输模块上传至云服务器，由所述云服务器中的动态视觉识别算法处理模块进行视频识别判断，识别后的结果通过网络发送给用户支付终端进行扣费，识别后的视频存放在存储空间中。优选地，所述柜体上设置有面向用户的二维码和刷卡机，用于通过手机支付终端扫描二维码来开锁开门，或者通过NFC、IC支付卡刷卡的方式来感应开锁开门。所述刷卡机与控制模块连接。优选地，所述柜体上方设有灯箱罩，所述摄像头设置在灯箱罩上。所述摄像头设置在柜体外的灯箱罩上，有利于完整的拍摄柜门打开、取出物品、柜门关闭的整个过程，并将拍摄的整个过程的视频上传到云服务器中进行动态识别。另外，设置在灯箱罩上的摄像头还具有防盗警示功能。一方面，通过外置的摄像头对怀有不轨心思的人员起到警示威慑作用，另一方面，在可疑人员对售货柜进行了可疑操作时，能拍摄到可疑的操作过程及可疑人员的影像，便于后续的追查问责。优选地，所述摄像头包括第一摄像头和第二摄像头，其中，所述第一摄像头设置在灯箱罩前表面的左下角位置，所述第二摄像头设置在灯箱罩前表面靠近柜体一侧的中心位置。进一步地，第一摄像头作为主摄像头录制视频，并将录制的视频上传至云服务器中，进行动态识别；第二摄像头作为副摄像头录制视频，并将录制的视频保存在本地存储器中。在对主摄像头录制的视频进行动态识别后，如果判断识别结果为异常，则调用本地存储的副摄像头录制的视频进行确认，从而更准确的识别用户的购物过程。进一步地，所述无线传输模块为4G通信模块。所述售货柜的柜体顶部设置4G天线，以增强无线网络的信号强度。优选地，所述柜体内设有至少两个灯条，用于为所述柜体内的物品提供照明。所述两个灯条分别设置在柜体两侧的侧壁上。优选地，所述搁架放置在搁架支撑条上，所述搁架支撑条设置在柜体两侧的侧壁上。所述柜体两侧的侧壁上设有至少一组搁架支撑条用于放置搁架。进一步地，所述柜体两侧的侧壁上设有多组均匀间隔开的搁架支撑条用于放置搁架，在放置物品时，可根据物品数量、物品高度选择将搁架放置在某个搁架支撑条上，且不同高度的物品可随意放置，多个物品可任意叠放。在理想情况下，可仅用一个搁架来放置物品，所有需放置的物品以堆叠方式放置在柜体内。优选地，所述柜体正面设有玻璃门，所述玻璃门通过铰接件安装在柜体上。设置玻璃门能够让用户直观地观察到柜体内摆放的物品，吸引用户的注意，提高用户的购买欲望。进一步地，所述柜体底部设有底角。所述底角设有至少两个。进一步地，所述柜体下部设有下前罩。进一步地，所述柜体上设有语音播放装置，所述语音播放装置与控制模块连接。所述语音播放装置包括扬声器，在玻璃门打开时，控制模块控制其播放购物欢迎语，在摄像头录制视频结束时，播放购物结束语，以及在玻璃门异常超过一定时间时，播放提醒语音。一种基于动态视觉识别的AI智能售货柜的应用方法，采用所述的AI智能售货柜实现，包括：S1，控制模块接收开门指令，控制AI智能售货柜的门打开，同时播放购物欢迎语；S2，控制模块判断门是否拉开，如果门拉开，则控制摄像头开始录制视频；S3，控制模块接收到门已关闭的指令，控制摄像头停止录制视频，同时播放购物结束语；S4，控制模块通过无线传输模块上传摄像头录制的视频至云服务器，同时将摄像头录制的视频保存在本地；S5，云服务器中的动态视觉识别算法处理模块识别摄像头录制的视频，通过网络将识别结果返回至手机支付终端，动态视觉识别算法采用FasterRCNN目标检测算法来对视频中的每一帧进行目标检测，若某一帧中出现商品，该算法可以用检测框对其进行定位检测，然后提取出检测框中的商品特征，从而识别出该商品的种类，由于每一帧中商品的呈现形式不同，所以识别的商品类别会出现不一致，因此基于每段视频中所有帧的检测结果，设定一个概率阈值，过滤掉置信度不高的视频帧结果，在剩余结果中统计出概率最高的检测结果，并把该结果作为最后的商品的识别结果；S6，判断识别结果是否异常，若动态视觉识别算法处理模块无法在视频中检测出照片，即超过1/3面积为黑影，判定为摄像头被遮挡，则本次识别结果为异常，需要调用本地存储的视频进行确认，如果确认异常，即按照异常扣款；S7，如果确认本次识别结果正常，则判断摄像头录制的视频是否为购物过程，如果是，则发送扣款请求给用户，如果动态视觉识别算法处理模块无法在视频中检测出商品，即最后检测结果如果为空，则判断非购物过程。一种基于动态视觉识别的AI智能售货柜的上货方法，采用所述的AI智能售货柜实现，包括：S1，控制模块接收开门指令，控制AI智能售货柜的门打开，同时播放欢迎语；S2，控制模块判断门是否在第一预定时间内拉开；S3，如果门在第一预定时间内拉开，则监测门拉开的时间是否超过第二预定时间，转S5；S4，如果门在第一预定时间内未拉开，则控制模块控制门关闭；S5，如果门拉开的时间超过第二预定时间，则播放提醒语音；S6，如果在本文档来自技高网...

【技术保护点】
1.一种基于动态视觉识别的AI智能售货柜，其特征在于，所述售货柜与云服务器通信连接，所述售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头和智能锁，与所述摄像头和智能锁连接的控制模块和无线传输模块；所述云服务器包括动态视觉识别算法处理模块和存储空间；所述摄像头将物品离开柜体的整个过程拍摄成视频，通过所述无线传输模块上传至云服务器，由所述云服务器中的动态视觉识别算法处理模块进行视频识别判断，识别后的结果通过网络发送给用户支付终端进行扣费，识别后的视频存放在存储空间中。

【技术特征摘要】
1.一种基于动态视觉识别的AI智能售货柜，其特征在于，所述售货柜与云服务器通信连接，所述售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头和智能锁，与所述摄像头和智能锁连接的控制模块和无线传输模块；所述云服务器包括动态视觉识别算法处理模块和存储空间；所述摄像头将物品离开柜体的整个过程拍摄成视频，通过所述无线传输模块上传至云服务器，由所述云服务器中的动态视觉识别算法处理模块进行视频识别判断，识别后的结果通过网络发送给用户支付终端进行扣费，识别后的视频存放在存储空间中。2.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体上设置有面向用户的二维码和刷卡机，用于通过手机支付终端扫描二维码来开锁开门，或者通过NFC、IC支付卡刷卡的方式来感应开锁开门。3.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体上方设有灯箱罩，所述摄像头设置在灯箱罩上。4.根据权利要求3所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述摄像头包括第一摄像头和第二摄像头，其中，所述第一摄像头设置在灯箱罩前表面的左下角位置，所述第二摄像头设置在灯箱罩前表面靠近柜体一侧的中心位置。5.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体内设有至少两个灯条，用于为所述柜体内的物品提供照明。6.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述搁架放置在搁架支撑条上，所述搁架支撑条设置在柜体两侧的侧壁上。7.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体正面设有玻璃门，所述玻璃门通过铰接件安装在柜体上。8.一种基于动态视觉识别的AI智能售货柜的应用方法，采用如权利要求1至7中任一项所述的AI智能售货柜实现，其特征在于，包括：S1，控制模块接收开门指令，控制AI智能售货柜的门打开，同时播放购物欢迎语；S2，控制模块判断...

【专利技术属性】
技术研发人员：黄凯，邱常伟，田维国，叶玉彪，李永宗，
申请(专利权)人：武汉市哈哈便利科技有限公司，
类型：发明
国别省市：湖北,42