一种基于可见光与红外图像融合的商品识别技术制造技术

本发明专利技术公开一种基于可见光与红外图像融合的商品识别技术，包括训练过程和识别过程；所述训练的过程为：采集一定数量的可见光图像和红外图像；对所述可见光图像与红外图像进行标注；对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；将训练好的模型导入后台服务器待用；所述识别的过程为：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。本发明专利技术巧妙的结合了见光图像和红外图像作为识别依据，很好地增加了识别的准确率。

A Commodity Recognition Technology Based on Visible and Infrared Image Fusion

The invention discloses a commodity recognition technology based on fusion of visible and infrared images, including training process and recognition process; the training process is: acquiring a certain number of visible and infrared images; labeling the visible and infrared images; and training the labeled images into the training machine. The training is to use Yolov2 algorithm to train the model in the framework of deep learning; to import the trained model into the background server for use; and to identify the process as follows: the visible camera and the infrared camera send the image to the cloud according to a certain frame rate In the server, the trained model is used to identify the types and quantities of goods in the image. The invention ingeniously combines the visible image and the infrared image as the recognition basis, and improves the recognition accuracy.

【技术实现步骤摘要】
一种基于可见光与红外图像融合的商品识别技术
本专利技术涉及到基于深度学习的商品识别方法，具体涉及到智能售货柜方面的商品识别方法。
技术介绍
自动售货柜是零售业一个不可分割的部分，随着消费模式和销售环境的变化，而且随着人工费用不断的上升，对新的商品流通渠道的需求越来越强烈，进入21世纪时，全自动售货柜也将进一步向节省资源和能源以及高功能化的方向发展。目前的自动售货柜采用投币式或者无线支付方式，用户支付完成后，商品会从自动售货柜的出货口掉落。例如中国(CN201721215948.4)公开了一种基于物联网通信的自动售货架，包括售货架主体，售货架主体的上端设置有若干均匀分布的自动售货柜，售货架主体的一端安装有控制柜，自动售货柜的出口处安装有柜门，柜门的顶部通过铰链与自动售货柜活动连接，柜门的底部通过电子锁与自动售货柜固定连接，柜门上安装有商品介绍牌，商品介绍牌上设置有售货柜编号和货物基本信息；控制柜的内部安装有POS机、自动投币机和单片微处理器，控制柜的表面设置有触控屏、投币口和刷卡口。该装置可实现无人自动售货，使用方便，降低了人工成本；且该自动售货架可对大部分商品进行自动售卖，突破了传统自动售货机的局限，进一步推进了无人化超市的进程，但装置结构较复杂，成本较高；现有智能售货柜有的通过借助RFID、电子标签等技术以达到识别商品的目的，例如中国专利(CN201721327672.9)公开了一种自动售货机，用于出售粘贴有RFID标签的商品，其特征在于，包括箱体、设置在箱体上的机顶盒和与机顶盒电连接的电插锁，该自动售货机还包括与箱体连接可通过电插锁开启和/或关闭的开关门，该开关门上设置有可扫码开门的标识；机顶盒包括主控制器、RFID多通道读头和路由器，主控制器分别与电插锁、RFID多通道读头电连接，主控制器通过路由器与后台云服务器电连接；箱体内设置有RFID三维天线货架，RFID三维天线货架与RFID多通道读头电连接。本技术先扫码开门再关门结算，改善了消费者的购物体验；但是FRID会增加运行成本且有容易毁坏的问题。在现有技术中，红外图像一般较暗，信噪比低，无彩色信息，缺少层次感，但却常有比较明显的目标信息，可见光图像光谱信息丰富，动态范围大，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此可以将红外图像与可见光图像进行融合，该种技术可以应用在自动售货柜上，不仅成本低，而且识别商品的精度高。
技术实现思路
本专利技术的目的是针对现有技术存在的问题，提供一种基于可见光与红外图像融合的商品识别技术，所述一种基于可见光和红外图像融合的商品识别技术是将可见光图像与红外图像巧妙的结合，增加了商品识别的准确率。为实现上述目的，本专利技术采用的技术方案是：一种基于可见光与红外图像融合的商品识别技术，包括训练过程和识别过程；所述训练的过程为：步骤一：采集一定数量的可见光图像和红外图像；步骤二：对所述可见光图像与红外图像进行标注；步骤三：对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；步骤四：将训练好的模型导入后台服务器待用；所述识别的过程为：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。进一步地，所述步骤一中采集可见光与红外图像是通过安装在智能售货柜的每层顶部的可见光摄像头和红外摄像头实现的。进一步地，所述步骤二中通过制作样本标注软件实现对可见光图像及红外图像的标注，所述制作样本标注软件的实现功能是：为采集的图片命名、图片中商品的种类和数量以及图片中每个商品的坐标信息等生成，标注后的图片通过人工二次审核，保证图片标注的质量。进一步地，所述步骤三中可见光图像与红外图像融合的具体方法是：将可见光图像和红外图像经过一段相同的网络结构得到相应的可见光图像特征和红外图像特征，将所述可见光图像特征和红外图像特征分别送入可见光网络和红外网络中，分别经过卷积、全池化的过程，再对所述可见光图像网络输出使用可见光图像的损失函数h1为：其中ai表示可见光图像网络的实际输出值，yi表示可见光图像网络的期望值，n表示可见光图像样本组数；所述红外图像网络输出使用红外图像的损失函数h2为：其中aj表示红外图像网络的实际输出值，yj表示红外图像网络的期望值，n表示红外图像样本组数；融合得到最终的总损失函数H＝α*h1+(1-α)*h2，其中α表示可见光图像信息的权重；其中α/(1-α)的值在2-4之间效果较好；根据所述的总损失函数对数据进行训练；模型训练的方法为：在深度学习框架上使用Yolov2算法来进行模型训练的；所述Yolov2是监督式学习，将标注好的可见光图像和红外图像(包括商品种类和位置等信息)送入预先写好的网络结构中进行训练；预训练模型则是采用ImageNet上训练好的模型；具体的所述深度学习框架可以使用包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon，等等；本专利技术采用的是mini-batch梯度下降法，Batchsize是64，初始学习率是0.001，权重衰减为0.0005，动量为0.9。训练时候用到的数据扩充方法有水平翻转，图片的宽度和高度按照一个比例进行水平偏移和竖直偏移，以及图像按照一定的角度随机转动。本专利技术是将检测和分类整合在一个网络结构，所述检测是通过卷积和anchorboxes来预测边界框，从而达到检测商品数量的目的；所述分类部分则对Googlenet的网络结构进行改进，主要包括卷积层和池化层，网络结构的总层数为16。根据该条件和网络结构进行训练，最终的输出是可见光图像和红外图像上商品的分类、预选框以及所对应的置信度，在进行所述目标检测和所述分类时，可见光图像和红外图像会出现同一目标可能有多个窗口的状况，此时根据置信度对其采用非极大值抑制(NMS)来删除冗余的窗口得到最优框，即商品的种类和数量。进一步地，根据所述的一种基于可见光与红外图像融合的商品识别技术所对应的装置，在智能售货柜的每一层的顶部都安装可见光摄像头和红外摄像头，且为了捕获更多的视野，将可见光摄像头和红外摄像头分布在每层智能售货柜的正中间，所述可见光摄像头与红外摄像头分别与智能柜顶端的处理器相连接，处理器通过网络将拍摄的可见光图像与红外图像发送至后台服务器，后台服务器在进行一系列的处理。进一步地，所述可见光摄像头与所述红外摄像头左右侧放置，由于货柜在水平方向更长，为了捕获更多的视野，可见光摄像头与红外摄像头只能左右侧放置，不可前后侧放置。与现有技术相比，本专利技术的有益效果是：(1)通过可见光摄像头和红外摄像头同时拍摄图片进行融合，提高了识别商品的准确率；在一定程度上避免了在强烈太阳光照时，可见光图像严重白化甚至曝光情况，同时弥补红外图像信噪比低，无彩色信息，缺少层次感；(2)在对商品进行识别时，将可见光图像和红外图像的融合放在同一个网络结构中，更加提高了识别商品的准确率，同时使得识别的过程速度更快；(3)该智能自动售货柜设备简单，智能化程度高。附图说明图1为本专利技术的智能售货柜的模块单元；图2为本专利技术的网本文档来自技高网...

【技术保护点】
1.一种基于可见光与红外图像融合的商品识别技术，其特征在于，包括训练过程和识别过程；具体步骤为：步骤一：采集一定数量的可见光图像和红外图像；步骤二：对所述可见光图像与红外图像进行标注；步骤三：对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；步骤四：将训练好的模型导入后台服务器待用；步骤五：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。

【技术特征摘要】
1.一种基于可见光与红外图像融合的商品识别技术，其特征在于，包括训练过程和识别过程；具体步骤为：步骤一：采集一定数量的可见光图像和红外图像；步骤二：对所述可见光图像与红外图像进行标注；步骤三：对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；步骤四：将训练好的模型导入后台服务器待用；步骤五：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。2.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤一中采集可见光与红外图像是通过安装在智能售货柜的每层顶部的可见光摄像头和红外摄像头实现的。3.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤二中通过制作样本标注软件实现对可见光图像及红外图像的标注。4.根据权利要求3所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述制作样本标注软件标注的信息包括商品种类、数量及位置信息。5.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤三中可见光图像与红外图像融合的具体方法是：将可见光图像和红外图像经过一段相同的网络结构得到相应的可见光图像特征和红外图像特征，将所述可见光图像特征和红外图像特征分别送入可见光网络和红外网络中，分别经过卷积、全池化的过程，再对所述可见光...

【专利技术属性】
技术研发人员：唐开，方无迪，蔡丁丁，刘钰涛，张运辉，
申请(专利权)人：武汉市哈哈便利科技有限公司，
类型：发明
国别省市：湖北,42