一种基于动态视觉的自动售货识别方法技术

本发明专利技术涉及自动售货技术领域，尤其涉及一种基于动态视觉的自动售货识别方法，包括以下步骤：A、对购物过程进行拍摄并生成购物视频数据；B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；C、识别、提取目标区域并对非目标区域进行分割；D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；E、将采样的关键帧输入至商品识别模型中进行比对处理；F、通过结合行为算法对购物行为进行识别并得出最终购物结果；本发明专利技术不仅能够快速、精准地实现自动售货识别，而且对商品摆放位置没有限制要求，便于商品的摆放及能够提升售货柜的整体空间利用率，能够很好地适用于无人自动售货柜。货柜。货柜。

【技术实现步骤摘要】
一种基于动态视觉的自动售货识别方法

：
[0001]本专利技术涉及自动售货
，尤其涉及一种基于动态视觉的自动售货识别方法。

技术介绍
：
[0002]随着技术的发展，近年来零售业蓬勃发展，市面上出现了一些无人自动售货柜，能够实现无人自动售货。
[0003]现有的无人自动售货柜大多基于静态识别的方式实现自动售货识别，如现有技术中申请号为CN201910708702.8的中国专利技术专利，其公开了一种基于图像采集装置的自动售货机，其在用户开启柜门时通过摄像头获取原始图片，在用户关闭柜门时通过摄像头获取当前图片，通过对比原始图片与当前图片，获取所售商品种类及各个所售商品种类分别所对应的商品数量；其不仅需要在售货柜内的每层售货架都安装设置1
‑
2个摄像头，而且为了能够拍到售货架上商品的全貌，摄像头安装距离摆放的商品具有一定的高度要求，即相邻两层的售货架之间需要较大的间隔空间，从而导致整体空间利用率低，摆放较少的商品；另外，对商品的摆放位置要求较高，商品需要摆放整齐且不能叠放，不仅摆放较为麻烦，而且只能摆放较少的商品。
...

【技术保护点】

【技术特征摘要】
1.一种基于动态视觉的自动售货识别方法，其特征在于，包括以下步骤：A、对购物过程进行拍摄并生成购物视频数据；B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；C、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；E、将采样的关键帧输入至商品识别模型中进行比对处理，得出关键帧中所包含的商品种类及各个商品种类分别所对应的商品数量；F、通过结合行为算法对购物行为进行识别并得出最终购物结果，所述最终购物结果包括所售商品种类及各个所售商品种类分别所对应的商品数量。2.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤A具体包括以下步骤：A1、当接收到开始拍摄信号时，对拍摄区的光线强度进行检测，将拍摄区的光线强度调节至预设光线强度大小，启动摄像头并开始对购物过程进行拍摄；A2、当接收到停止拍摄信号时，关闭摄像头、停止拍摄并生成购物视频数据；所述步骤D中的关键帧采样具体包括以下步骤：D1、将各个视频帧中所包含的商品特征数量进行比较；D2、将包含较多商品特征数量的视频帧作为关键帧。3.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤E中的比对处理具体包括以下步骤：E1、分别以至少两个角度进行深度特征提取；E2、将各个角度提取的深度特征进行特征融合；E3、根据特征融合结果进行特征比对并得出分类结果；E4、得出商品数量结果；所述步骤E3前预先进行：E31、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；所述步骤E3在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；所述步骤E4具体包括以下步骤：E41、通过特征识别结果来获得商品数量结果N1；E42、通过结合分类结果进行回归计算并得出商品数量结果N2；E43、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入。4.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤F中的行为算法具体包括以下步骤：F1、对商品进行识别并得出商品所处位置；F2、将商品当前所处位置与前一时间节点的商品所处位置进行比较；当商品当前所处位置相较于前一时间节点的商品所处位置靠近货物摆放区域，则判断商品为放回行为；当
商品当前所处位置相较于前一时间节点的商品所处位置远离货物摆放区域，则判断商品为拿出行为。5.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于：所述步骤A前预先进行：G、构建并导入商品识别模型；所述步骤G具体包括以下步骤：G1、构建商品训练数据集并进行第一阶段训练，得到商品识别基础模型；G2、构建视频训练数据集并将视频训练数据集输入到商品识别基础模型中进行第二阶段训练，得到商品识别可部署模型。6.根据权利要求5所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤G1中的构建商品训练数据集具体包括以下步骤：G11、设定商品分类并对每类商品拍摄多角度模板图像；G12、分别对各张模板图像进行裁剪处理，并获得训练图像集一；G13、分别对训练图像集一中的各张图像进行亮度调整处理，并获得训练图像集二；G14、分别对训练图像集二中的各张图像进行旋转操作处理，并获得训练图像集三；分别对训练图像集二中的各张图像进行透视变换处理，并...

【专利技术属性】
技术研发人员：曾小平，刘恋，陈权威，
申请(专利权)人：广东佩服科技有限公司，
类型：发明
国别省市：