一种光学标识视觉识别方法及基于该方法的无人售货柜技术

本发明专利技术公开一种光学标识视觉识别方法及基于该方法的无人售货柜，该识别方法包括以下步骤：初始化卷积神经网络、将商品样本置于货架上的网格硬板内、获取训练样本、训练卷积神经网络和验证神经网络的精度，并将训练好的神经网络用于识别商品；本发明专利技术的无人售货柜包括柜体和柜门，所述柜体内设有多层货架，每层所述货架上均设有网格硬板，所述网格硬板上涂覆有光学标识；所述柜体顶部设有显示屏，用于显示所述柜体内部商品的图片及售价信息；所述柜门上设有电磁锁和二维码标识，用户通过移动智能终端扫描所述二维码打开柜门进行购物。本发明专利技术通过在货架上设置网格硬板，并结合计算机视觉识别技术进行图像识别，大大提高了视觉识别的精度和速度。

An optical identification visual recognition method and an unattended cabinet based on the method

The invention discloses an optical identification method and an Unmanned Container Based on the method. The identification method comprises the following steps: initializing convolution neural network, placing commodity samples in a grid hard plate on a shelf, obtaining training samples, training convolution neural network and verifying the accuracy of the neural network, and training. A good neural network is used for identifying commodities; an unmanned container of the present invention comprises a container body and a container door. The container body is provided with a multi-layer shelf, each shelf is provided with a grid hard plate coated with optical marks; and the top of the container is provided with a display screen for displaying pictures of commodities inside the container body. The cabinet door is equipped with an electromagnetic lock and a two-dimensional code identification, and the user opens the cabinet door for shopping by scanning the two-dimensional code through a mobile intelligent terminal. The invention greatly improves the accuracy and speed of vision recognition by setting grid hard plates on the shelves and combining with computer vision recognition technology for image recognition.

【技术实现步骤摘要】
一种光学标识视觉识别方法及基于该方法的无人售货柜
本专利技术属于计算机视觉识别
，具体是一种光学标识视觉识别方法及基于该方法的无人售货柜。
技术介绍
目前的计算机视觉识别方法主要分为监督学习方法和非监督学习方法两大类，监督学习方法可以使得计算机视觉识别的准确率更高，其中以RCNN和YOLO最为显著；传统的非监督学习方法主要是DPM(Deformablepartsmodels)，其在VOC-2007数据集上验证的map(meanAveragePrecision)能达到43％；RCNN使用区域建议(具体用的是选择搜索来得到有可能得到是物体的若干图像局部区域，然后把这些区域分别输入到RCNN中，得到区域的特征，再在特征上加上分类器，判断特征对应的区域是属于具体某类object还是背景)，RCNN在VOC-2007数据集上验证的map为58％左右。RCNN虽然识别精度较高，但还存在重复计算的问题(建议的区域有几千个，多数都是互相重叠，重叠部分会被多次重复提取特征)，于是Fast-RCNN诞生了，其与RCNN最大的区别就是Fast-RCNN将建议的区域映射到RCNN的最后一层卷积层的特征图上，这样，一张图片只需提取一次特征，大大提高了速度，Fast-RCNN在VOC-2007上的map提升到了68％。RCNN的精度已经很高了，但是速度还不行，YOLO提供了另一种更为直接的思路，直接在输出层回归边界框的位置和边界框所属的类别，整张图作为网络的输入，图片分割得到很多正方形网格，把目标检测的问题转化为一个回归问题，提升了检测速度。申请号为201710798823.7的一篇专利技术专利公开了一种使用OpenCL加速的YOLO目标检测方法，通过在获取的训练样本图片上划分网格来提升卷积神经网络的视觉识别速度；这种方法虽然可以提升检测速度，但因为划分的网格是非监督的，通常不能准确覆盖样本，从而导致准确率较低。目前亟需一种同时具备RCNN的检测识别精度和YOLO系列的检测识别速度的方法来提升计算机视觉识别技术的综合能力。
技术实现思路
本专利技术的目的是针对现有技术存在的问题，提供一种能同时提高计算机视觉识别的精度和速度的光学标识视觉识别方法及基于该方法的无人售货柜。为实现上述目的，本专利技术采用的技术方案是：一种光学标识视觉识别方法，包括以下步骤：步骤A，初始化卷积神经网络；步骤B，在货架上设置网格硬板，并将商品样本置于所述网格硬板的网格内；步骤C，获取训练样本；步骤D，训练卷积神经网络；步骤E，将训练后的卷积神经网络在VOC数据集上进行验证，并判断当前卷积神经网络在所述VOC数据集上的map是否高于68％，若是，则进入下一步，若否，则重复步骤C至步骤E；步骤F，用训练好的卷积神经网络对货架上的网格硬板和所述网格硬板内的商品进行识别。具体地，步骤B中，所述网格硬板上涂覆有光学标识，每个所述商品样本占用一个或者多个网格，较大的商品样本占用多个网格，较小的商品样本占用一个网格，通过在货架上设置网格硬板，将商品放置在所述网格硬板的网格内，可以使网格准确覆盖商品，从而提升了检测的精度。具体地，步骤C中，获取训练样本的方法为通过图像采集设备采集网格硬板上的光学标识和所述网格硬板内商品样本的图像数据。具体地，步骤D中，通过计算机图形处理器GPU对采集到的训练样本图像数据进行处理。具体地，步骤E中，所述VOC数据集为VOC-2007数据集，将所述VOC-2007数据集中的数据输入卷积神经网络进行验证。一种基于光学标识视觉识别方法的无人售货柜，包括柜体和柜门，所述柜体内设有多层用于摆放商品的货架，每层所述货架上均设有网格硬板；所述柜体顶部设有显示屏，用于显示所述柜体内部商品的图片及售价信息；所述柜体底部设有控温装置；所述柜门上设有电磁锁和二维码标识，用户通过移动智能终端扫描所述二维码打开柜门进行购物。具体地，所述柜体内部每层货架上方均设有图像采集设备，用于采集所述网格硬板上的光学标识以及所述网格硬板内商品的图像信息，所述图像采集设备可以为摄像头。具体地，所述柜体内部每层货架上方均设有紫外灯，用于对柜体内部进行消毒灭菌，从而保证柜体内部环境清洁，避免滋生细菌影响商品质量。优选地，所述每层货架上均设有多个限位结构，所述限位结构用于防止商品放歪，对商品的位置进行限制，使得商品的识别率进一步提升；所述限位结构可以为限位栏杆、限位槽等。具体地，所述柜体顶部还设有人像采集装置，用于采集使用所述无人售货柜的用户的人脸图像数据和无人售货柜周围的环境数据，通过采集用户的人脸图像数据和周围环境数据，可以防止一些人恶意损坏/盗窃无人售货柜；具体地，所述控温装置包括温度传感器、控制器、加热器和制冷器，用于维持柜体内部温度在0至10摄氏度之间；所述温度传感器、加热器、制冷器分别与所述控制器电连接；所述温度传感器用于检测柜体内部温度，所述控制器根据检测到的温度数据控制所述加热器/制冷器工作，从而维持柜体内部的温度。与现有技术相比，本专利技术的有益效果是：(1)本专利技术通过在货架上设置网格硬板，在网格硬板上涂覆光学标识，并将商品置于所述网格硬板内，再利用计算机视觉识别技术对所述网格硬板上的光学标识以及网格硬板内的商品进行图像识别，通过同时识别网格硬板上的光学标识和网格硬板内的商品图像，从而提升了计算机视觉识别的精度和速度。(2)本专利技术通过在货架上设置多个限位结构，用于防止商品放歪，对商品的位置进行限制，使得商品的识别精度进一步提升。附图说明图1为实施例1一种光学标识视觉识别方法的流程图；图2为实施例2一种无人售货柜开门后的整体结构示意图；图3为实施例2一种无人售货柜关门后的整体结构示意图；图4为实施例2一种无人售货柜内货架的结构示意图；图5为实施例2无人售货柜的购物流程图；图6为实施例3一种无人售货柜的整体结构示意图；图中：1、柜体；2、柜门；3、货架；4、显示屏；5、控温装置；6、散热口；7、人像采集装置；8、限位结构；9、电磁锁；10、二维码；11、网格硬板；12、声光报警器。具体实施方式下面将结合本专利技术中的附图，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本专利技术保护的范围。实施例1如图1所示，本实施例提供了一种光学标识视觉识别方法，具体包括以下步骤：步骤A，初始化卷积神经网络；步骤B，在货架3上设置网格硬板11，并将商品样本置于所述网格硬板11的网格内；步骤C，获取训练样本；步骤D，训练卷积神经网络；步骤E，将训练后的卷积神经网络在VOC数据集上进行验证，并判断当前卷积神经网络在所述VOC数据集上的map是否高于68％，若是，则进入下一步，若否，则重复步骤C至步骤E；步骤F，用训练好的卷积神经网络对货架3上的网格硬板11和所述网格硬板11内的商品进行识别。具体地，步骤B中，所述网格硬板11上涂覆有光学标识，每个所述商品样本占用一个或者多个网格，较大的商品样本占用多个网格，较小的商品样本占用一个网格，通过人工在货架3上设置网格，将商品样本放置在所述网格内，可以使网格准确覆盖商品，从而提升了检测的精度；进一步地，所述网本文档来自技高网...

【技术保护点】
1.一种光学标识视觉识别方法，其特征在于，包括以下步骤：步骤A，初始化卷积神经网络；步骤B，在货架上设置网格硬板，并将商品样本置于所述网格硬板的网格内；步骤C，获取训练样本；步骤D，训练卷积神经网络；步骤E，将训练后的卷积神经网络在VOC数据集上进行验证，并判断当前卷积神经网络在所述VOC数据集上的map是否高于68％，若是，则进入下一步，若否，则重复步骤C至步骤E；步骤F，用训练好的卷积神经网络对货架上的网格硬板和所述网格硬板内的商品进行识别。

【技术特征摘要】
1.一种光学标识视觉识别方法，其特征在于，包括以下步骤：步骤A，初始化卷积神经网络；步骤B，在货架上设置网格硬板，并将商品样本置于所述网格硬板的网格内；步骤C，获取训练样本；步骤D，训练卷积神经网络；步骤E，将训练后的卷积神经网络在VOC数据集上进行验证，并判断当前卷积神经网络在所述VOC数据集上的map是否高于68％，若是，则进入下一步，若否，则重复步骤C至步骤E；步骤F，用训练好的卷积神经网络对货架上的网格硬板和所述网格硬板内的商品进行识别。2.根据权利要求1所述的一种光学标识视觉识别方法，其特征在于，步骤B中，所述网格硬板上涂覆有光学标识，每个所述商品样本占用一个或者多个网格。3.根据权利要求1所述的一种光学标识视觉识别方法，其特征在于，步骤C中，获取训练样本的方法为通过图像采集设备采集网格硬板上的光学标识和所述网格硬板内商品样本的图像数据。4.根据权利要求1所述的一种光学标识视觉识别方法，其特征在于，步骤E中，所述VOC数据集为VOC-2007数据集，将所述VOC-2007数据集中的数据输入卷积神经网络进行验证。5.一种基于光学标识视觉识别方法的无人售货柜，其特征在于，包括柜体和柜门，所述柜体内设有多层用于...

【专利技术属性】
技术研发人员：刘钰涛，方无迪，蔡丁丁，唐开，张运辉，
申请(专利权)人：武汉市哈哈便利科技有限公司，
类型：发明
国别省市：湖北,42