基于深度学习的超市商品识别方法技术

本发明专利技术提出了一种基于深度学习的超市商品目标识别方法，解决现有技术在真实超市场景中识别率低的问题。其实现方案是：1)制作超市货架商品训练集；2)构建商品检测网络并在制作的训练集上进行训练；3)将货架图片输入到训练好的网络模型中得到图片中所有的商品目标区域；4)将网络模型中最后一层卷积层的输出作为商品目标的特征；5)对商品特征进行编码得到商品描述子；6)计算商品描述子与已有模型库中商品模型描述子的相似度；7)将最相似的商品模型作为识别结果。本发明专利技术能够准确检测货架图片中商品目标区域，并且能够正确识别出商品目标，可用于超市货架商品管理。

Supermarket product recognition method based on deep learning

The invention proposes a supermarket commodity target recognition method based on in-depth learning, which solves the problem of low recognition rate of existing technology in real supermarket scenes. Its realization scheme is: 1) making supermarket shelf commodity training set; 2) building commodity detection network and training on the training set; 3) inputting the shelf picture into the trained network model to get all commodity target areas in the picture; 4) taking the output of the last convolution layer in the network model as the special commodity target. Characterization; 5) Coding the commodity characteristics to get the commodity descriptor; 6) Computing the similarity between the commodity descriptor and the commodity model descriptor in the existing model base; 7) Taking the most similar commodity model as the recognition result. The invention can accurately detect the commodity target area in the shelf picture, and can correctly identify the commodity target, and can be used for supermarket shelf commodity management.

【技术实现步骤摘要】
基于深度学习的超市商品识别方法
本专利技术属于图像处理
，特别涉及一种货架商品目标识别方法，可应用于超市货架商品管理。
技术介绍
在超市中，商家以及消费者需要实时地获得货架上的商品相关信息。目前这些商品的相关信息都是通过人工获得，但是超市的商品数目巨大，人工获得商品信息的方式成本高并且效率低，因此基于视觉的商品识别方法具有重要的研究意义和商业价值。超市商品识别的核心是目标检测和识别，ShaoqingRen等人在其发表的论文“FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks”(IEEETransactionsonPatternAnalysis&MachineIntelligence,2015,39(6):1137-1149)中提出了一种基于深度学习的目标检测和识别方法。该方法首先通过区域生成网络得到图像中的目标候选区域；然后利用卷积神经网络提取候选区域的特征向量，对得到的特征向量进行感兴趣区域ROI池化，将池化后的特征与全连接层相连，通过分类器对目标进行识别；最后再利用边界框回归对目标区域的位置进行精修。该方法能够自适应地得到目标的高级语义特征，准确检测出目标区域位置，识别精度高。但是该方法仍不能应用于超市货架商品识别，其原因是：1、该方法对候选区域的特征向量进行感兴趣区域ROI池化时会导致较多目标的信息损失，当货架商品尺寸较小时，识别精度就会降低；2、该方法是基于统计的识别方法，超市时常会有新的商品出现，旧的商品淘汰，因此需要不断地重新训练分类器，不能满足现实场景的需求。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于深度学习的超市商品识别方法，以提高超市商品目标的检测精度和识别效果，满足实际场景应用的需求。本专利技术的技术方案是：采集超市货架商品图片，对每一张图片标注商品区域并且对商品进行分类，将其制作成训练数据集；构建网络模型在数据集上进行训练，通过学习得到商品目标区域的回归函数和分类器；依靠训练好的模型获取得到图片中包含的商品区域以及类别，选取模型卷积层的输出作为目标商品的特征表示并对其进行量化，在相同类别的物体模型库中进行匹配实现货架商品目标识别。其实现步骤包括如下：(1)制作训练样本集：(1a)在各大超市通过移动设备采集3000张包含不同商品的货架图片；(1b)手工标注货架图片中所有商品目标窗口以及类别，商品目标区域用窗口左上角顶点和右下角顶点的两个坐标表示，即(x1,y1,x2,y2)，根据形状和用途对商品目标分类；(1c)随机打乱货架图片顺序，从中选取2500张图片作为训练样本集，500张图片作为测试样本集；(2)网络模型训练：(2a)构建商品检测网络模型，将训练样本集图片作为该网络的输入样本，将商品目标区域坐标以及商品的类别作为输出样本；(2b)利用反向传播BP算法交替优化(2a)模型中的区域生成网络以及分类网络，更新网络参数，得到训练好的区域生成网络和分类网络；(3)提取商品目标区域及特征：(3a)将货架图片输入到(2b)训练好的区域生成网络中，得到商品目标区域坐标(x1,y1,x2,y2)，并通过(2b)训练好的分类网络确定商品类别；(3b)将输入图片在商品检测网络模型的第十三个卷积层输出作为整个货架图片的特征表示；(3c)根据(3a)得到的目标区域坐标，在(3b)特征图上截取区域，作为商品目标的特征表示；(4)采用高斯混合模型对(3c)商品目标的特征构建码本，用期望最大化EM算法对高斯混合模型的参数进行估计，得到目标商品的FisherVector描述子；(5)匹配识别商品目标：(5a)假设物体模型库中有N个描述子，计算(4)中得到的目标商品FisherVector描述子与相同类别商品模型库中的所有描述子的余弦距离：其中Li表示目标商品的FisherVector描述子与商品模型库第i个FisherVector描述子的余弦距离，是目标商品的FisherVector描述子，是商品模型库中的FisherVector描述子，||x||是的模，||y||是的模，“·”表示向量的内积。(5b)将(5a)计算的余弦距离值从大到小排序，选取与商品目标余弦距离最大的商品模型作为识别结果。本专利技术与现有技术相比，具有以下优点：1.本专利技术将深度学习与基于匹配的识别方法结合，当有新的商品出现，旧的商品淘汰时，不需要重新训练网络模型，只需要更新标准商品模型库，能够满足现实场景的需求。2.本专利技术将卷积神经网络最后一层的输出作为商品目标特征，在商品目标匹配时，采用FisherVector聚合方法对商品目标的特征向量进行编码，与现有技术相比，本专利技术利用高斯混合模型构建视觉字典，不仅统计了视觉词典出现的频率，还统计了视觉词典与局部特征的差异，提高了匹配的准确度，进而提高目标商品识别准确率。附图说明图1为本专利技术的实现流程图；具体实施方式参图1，对本专利技术的实现步骤做进一步的详细描述。步骤1.商品目标区域检测。1.1)在各大超市通过移动设备采集3000张包含不同商品的货架图片；1.2)通过手工标注货架图片中所有商品目标窗口以及类别，即将商品目标区域用窗口左上角顶点和右下角顶点的两个坐标表示为(x1,y1,x2,y2)，再根据商品形状和用途进行目标分类，本实例将商品分为31类：杂物工具、瓶装清洁用品、瓶装饮料、瓶装调料、瓶装酒、瓶装洗护用品、瓶装零食、袋装调料、袋装零食、袋装食材、袋装纸巾、袋装清洁用品、袋装日用品、罐装罐头，罐装饮料、罐装奶粉、罐装酒、盒装零食、盒装玩具、盒装饮品、盒装日用品、盒装洗护用品、盒装食材、杯子、碗、包、箱子、盆子、桶、杯装物品、油；1.3)将货架图片按照“000001.jpg”格式命名，3000张货架图片的名字即为{000001.jpg，000002.jpg，…00i.jpg…，003000.jpg},其中00i.jpg是第i张货架图片的名字，1≤i≤3000，从这3000中货架图片中随机选取2500张图片作为训练样本集，500张图片作为测试样本集。1.4)构建商品检测网络模型：设商品检测网络共有23层，其自下而上为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个上采样层→区域生成网络分类回归层→感兴趣区域ROI池化层→第一个全连接层→第二个全连接层→分类回归层；1.5利用反向传播BP算法交替优化商品检测模型中的区域生成网络以及分类网络，更新商品检测模型参数，得到训练好的区域生成网络和分类网络，步骤如下：(1.5a)用商品检测网络模型初始化区域生成网络，将货架图片作为网络的输入，将标注的商品目标坐标作为网络的输出，训练区域生成网络，更新商品检测网络模型；(1.5b)用(1.5a)更新的商品检测网络模型初始化分类网络，利用训练的区域生成网络得到货架图片中的商品目标区域，将得到的商品目标区域以及货架图片作为分类网络的输入，将标注的商品类别作为网络的输出，训练分类网络，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的超市商品识别方法，包括如下步骤：(1)制作训练样本集：(1a)在各大超市通过移动设备采集3000张包含不同商品的货架图片；(1b)手工标注货架图片中所有商品目标窗口以及类别，商品目标区域用窗口左上角顶点和右下角顶点的两个坐标表示，即(x1,y1,x2,y2)，根据形状和用途对商品目标分类；(1c)随机打乱货架图片顺序，从中选取2500张图片作为训练样本集，500张图片作为测试样本集；(2)网络模型训练：(2a)构建商品检测网络模型，将训练样本集图片作为网络的输入样本，将商品目标区域坐标以及商品的类别作为输出样本；(2b)利用反向传播BP算法交替优化(2a)模型中的区域生成网络以及分类网络，更新网络参数，得到训练好的区域生成网络和分类网络；(3)提取商品目标区域及特征：(3a)将货架图片输入到(2b)训练好的区域生成网络中，得到商品目标区域坐标(x1,y1,x2,y2)，并通过(2b)训练好的分类网络确定商品类别；(3b)将输入图片在商品检测网络模型的第十三个卷积层输出作为整个货架图片的特征表示；(3c)根据(3a)得到的目标区域坐标，在(3b)特征图上截取

【技术特征摘要】
1.一种基于深度学习的超市商品识别方法，包括如下步骤：(1)制作训练样本集：(1a)在各大超市通过移动设备采集3000张包含不同商品的货架图片；(1b)手工标注货架图片中所有商品目标窗口以及类别，商品目标区域用窗口左上角顶点和右下角顶点的两个坐标表示，即(x1,y1,x2,y2)，根据形状和用途对商品目标分类；(1c)随机打乱货架图片顺序，从中选取2500张图片作为训练样本集，500张图片作为测试样本集；(2)网络模型训练：(2a)构建商品检测网络模型，将训练样本集图片作为网络的输入样本，将商品目标区域坐标以及商品的类别作为输出样本；(2b)利用反向传播BP算法交替优化(2a)模型中的区域生成网络以及分类网络，更新网络参数，得到训练好的区域生成网络和分类网络；(3)提取商品目标区域及特征：(3a)将货架图片输入到(2b)训练好的区域生成网络中，得到商品目标区域坐标(x1,y1,x2,y2)，并通过(2b)训练好的分类网络确定商品类别；(3b)将输入图片在商品检测网络模型的第十三个卷积层输出作为整个货架图片的特征表示；(3c)根据(3a)得到的目标区域坐标，在(3b)特征图上截取区域，作为商品目标的特征表示；(4)采用高斯混合模型对(3c)商品目标的特征构建码本，用期望最大化EM算法对高斯混合模型的参数进行估计，得到目标商品的FisherVector描述子；(5)匹配识别商品目标：(5a)假设物体模型库中有N个描述子，计算(4)中得到的目标商品FisherVector描述子与相同类别商品模型库中的所有描述子的余弦距离：其中Li表示目标商品的FisherVector描述子与商品模型库第i个FisherVector描述子的余弦距离，是目标商品的FisherVector描述子，是商品模型库中的FisherVector描述子，||x||是的模，||y||是的模，“·”表示向量的内积。(5b)将(5a)计算的余弦距离值从大到小排序，选取与商品目标余弦距离最大的商品模型作为识别结果。2.根据权利要求1所述的方法，其中步骤(2a)中的商品检测网络模型，其结构自下而上为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个上采样层→区域生成网络分类回归层→感兴趣区域ROI池化层→第一个全连接层→第二个全连接层→分类回归层。3.根据权利要求1所述的方法，其中步骤(2b)中利用反向传播BP算法交...

【专利技术属性】
技术研发人员：董伟生，蒋剑锋，石光明，袁鹏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61