动态商品识别方法、无人售货柜及其售货方法技术

本发明专利技术专利属于图像识别检测技术领域，特指一种动态商品识别方法、无人售货柜及其售货方法；所述动态商品识别方法包括S1：采集用户购物视频；S2：通过上述的动态商品识别方法检测用户购物视频，并在各个视频帧中标记出手拿检测框；根据手拿检测框所绑定的商品检测框来确定单个视频帧中正在拿取的手拿商品信息h_info；所述手拿商品信息h_info包括商品的标签与手拿检测框的坐标；S3：遍历用户购物视频中的各个视频帧，根据手拿检测框的运动趋势来将手拿商品信息h_info添加至购物车列表中或从购物车列表中删除；S4：遍历完成后结算购物车列表。本发明专利技术专利通过计算商品检测框与手部检测框在连续两个视频帧中的变化角度以及两者距离情况，来将商品检测框与手部检测框绑定成手拿检测框，并通过手拿检测框进行商品取放判定。定。定。

【技术实现步骤摘要】
动态商品识别方法、无人售货柜及其售货方法


[0001]本专利技术专利属于图像识别检测
，特指一种动态商品识别方法、无人售货柜及其售货方法。

技术介绍

[0002]目前常见的无人售货柜有RFID智能柜、静态图像柜、重力柜以及动态图像重力结合柜。以上无人售货柜各有优缺点，RFID智能柜依赖于粘贴RFIP无线标签，其人力成本及标签成本很高；静态图像柜需要在每个货架安装摄像头，硬件成本高，且对货品摆放有一定的要求，空间利用率低；重力柜需要在每个货架安装重力感应装置，设备成本高，且没法解决重量相近情况的商品判断，运输过程也容易导致设备出现误差。
[0003]现存在一种动态图像识别与重力识别相结合的售货柜，其通过两种识别方式的相结合增加存在着重力柜的缺点，并且目前的动态商品识别方法基于图像目标检测技术，多使用DeepSort算法(含卡尔曼滤波器和匈牙利算法)等商品ID跟踪方案，由于目标检测中商品检测框存在误识别、漏识别，商品拿取过程变化角度大，ID跟踪方案对于商品跟踪实际效果不理想，常常出现同一个商品出现复数个ID，同一个ID出现在同类商品上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态商品识别方法，包括以下步骤通过图像分类识别模型检测用户购物视频中的各个视频帧，并以商品检测框与手部检测框分别标记视频帧中的每一个商品图像与手部图像，并赋予每一个商品检测框对应的商品标签；其特征在于：分别计算每一个商品检测框与手部检测框在连续两个视频帧中的变化角度；若某个商品检测框和手部检测框变化角度相差小于一定阈值，且在第二个视频帧中，该商品检测框与手部检测框相距小于一定阈值，则绑定该商品检测框与手部检测框为手拿检测框；并在后续检测过程中，根据手拿检测框的移动来判断视频中与所述手拿检测框绑定的商品是取出还是放回。2.根据权利要求1所述的一种动态商品识别方法，其特征在于：在连续的两个视频帧中，分别检测手部检测框与每一个商品检测框的坐标，并进行商品检测框和手部检测框绑定的识别；绑定的商品检测框/手部检测框在前一个视频帧中的坐标为(x1,y1)，在后一个视频帧中的坐标为(x2，y2)，变化角度＝arctan(x2
‑
x1/y2
‑
y1)。3.根据权利要求2所述的一种动态商品识别方法，其特征在于：在连续的两个视频帧中，检测商品检测框/手部检测框的坐标变化并获得移动距离；若移动距离小于设定阈值时，则进行变化角度的计算，若移动距离大于设定阈值时，则跳过变化角度的计算。4.根据权利要求1所述的一种动态商品识别方法，其特征在于：所述手拿检测框以手拿检测框中手部检测框所处的位置为判断点来进行商品的取放判断。5.一种无人售货柜的售货方法，其特征在于：包括S1：采集用户购物视频；S2：通过如权利要求1
‑
4中任意一项所述的动态商品识别方法检测用户购物视频，并在各个视频帧中标记出手拿检测框；根据手拿检测框所绑定的商品检测框来确定单个视频帧中正在拿取的手拿商品信息h_info；所述手拿商品信息h_info包括商品的标签与手拿检测框的坐标；S3：遍历用户购物视频中的各个视频帧，根据手拿检测...

【专利技术属性】
技术研发人员：卢毅，林枫栩，林晨宽，
申请(专利权)人：浙江星星冷链集成股份有限公司，
类型：发明
国别省市：