一种超市商品识别方法技术

本发明专利技术公开了一种超市商品识别方法，特别是提取图像特征以识别超市商品的方法，属于计算机视觉的技术领域。本发明专利技术对预处理后的超市货架图像进行货架切分，对货架切分图像进行窗口滑动操作形成待识别区域，将待识别区域图像特征描述子与商品样本图像特征描述子进行快速特征匹配，匹配成功后再对待识别区域图像和商品样本图像进行区域色调值比对验证，最终完成识别任务。对复杂场景下的各种干扰，有很好的抑制作用，同时计算量小且可靠性高，有效避免了待识别商品检测中其它商品的干扰问题和单幅图像中特征提取的计算量大问题。

Commodity identification method for supermarket

The invention discloses a method for identifying supermarket goods, in particular to a method for extracting image features to identify supermarket goods, which belongs to the technical field of computer vision. The invention of the preprocessed image segmentation of the supermarket shelves shelves, shelves of image segmentation window sliding operation form to identify areas for regional image feature recognition and image feature descriptor descriptor samples fast feature matching, matching after successfully treated image recognition and commodity sample images of regional color value verification the final completion of the recognition task. To all kinds of interference in complex scenes, have a good inhibitory effect, while a small amount of calculation and high reliability, effectively avoids the computation problem of feature extraction and image interference of other commodities to be identified in the commodity inspection.

【技术实现步骤摘要】

本专利技术公开了一种超市商品识别方法，特别是对超市货架图像进行水平切分并利用窗口滑动得到待识别区域，利用快速特征匹配和区域色调值比对实现识别商品的方法，属于计算机视觉的

技术介绍
超市是与人们生活密切相关的场所。商品是超市的核心，商品的状态直接反映了超市的运营情况。因此能及时获取各种商品的当前状态，将有助于了解超市的销售情况。而超市已有的信息获取方式大多是基于静态的商品种类、数量的存储查询软件，并需要大量人员来提供辅助信息。这种方式存在劳动力需求大、信息更新不及时等缺点。超市商品识别是通过对超市货架实时拍摄图像来分析各种商品的当前状态。超市商品识别技术主要是涉及图像采集、图像预处理、商品图像分割、特征提取、特征匹配、区域色调值判别等步骤。目前超市商品识别的方法主要有两种：基于商品颜色、形状、位置特征的方法和基于SIFT、SURF的方法。基于商品颜色、形状、位置特征的方法，是指通过提取商品图像的颜色、形状、位置特征，采取SVM分类器对目标识别区域进行判断，然后来实现商品识别。(1.孙海峡，超市货架商品分割与识别方法研究[D]，南京理工大学，2014)该类方法对模板库建立要求较高，需收集不同姿态，不同光照的各类商品图像，其对颜色等差别不明显的商品图像识别率不高。基于SIFT、SURF的方法，是指利用商品图像特征，在对超市货架图像进行分割后，对分割后的图像和模板图像进行特征提取，然后进行特征匹配以进行商品识别。(1.M.Marder,S.Harary,A.Ribak,etal.,Usingimageanalyticstomonitorretailstoreshelves,IBMJournalofResearch&Development,2015)该类方法对图像分割过程要求高，识别效果主要依赖于图像分割的情况，由于超市货架商品摆放较为密集，很难分割出所需要的商品图像，并且计算量大，耗时长。由于商品包装较为相近，仅依赖特征进行识别，识别率不高。Sobel算子是一阶导数的边缘检测算子，通过3×3模板作为核与图像中每个像素点做卷积和运算，然后选取合适的阈值以提取边缘。SURF，英文全称为SpeededUpRobustFeatures，直译为“加速健壮特征”，具有很好的稳定性和实时性。
技术实现思路
本专利技术所要解决的技术问题是针对上述
技术介绍
的不足，提供了一种超市商品识别方法。本专利技术为实现上述专利技术目的采用如下技术方案：1、一种超市商品识别方法，其特征在于：包括如下步骤：步骤1，对超市货架图像进行预处理得到待处理区域的规范化图像；步骤2，利用SURF特征提取步骤1中所述规范化图像特征描述子；步骤3，对步骤1中所述规范化图像进行边缘检测，二值化处理和霍夫变换，生成货架切分图像；步骤4，对步骤3中所述货架切分图像进行窗口滑动形成待识别区域，利用SURF特征提取对待识别区域特征描述子，对待识别区域特征描述子和商品样本图像库中特征描述子匹配，对待识别区域和商品样本图像提取区域色调值进行比对，识别商品。进一步的，所述步骤3具体如下：步骤3-1，对规范化图像，选取Sobel算子进行边缘检测，得到边缘检测图像；步骤3-2，对步骤3-1所得边缘检测图像选取一个阈值，进行阈值分割，得到二值化图像；步骤3-3，对步骤3-2所得二值化图像进行霍夫变换检测直线，并建立一张同二值化图像同规格同大小的空图像，将检测到的直线存入所建立的空图像中；步骤3-4，对步骤3-3所得图像中线段集合自上而下扫描，在规范化图像中绘制所需兴趣区域，得到货架切分图像。进一步的，步骤3-4中，当扫描到第一个线段时，判断当前线段是否超过规范化图像宽度的2/3，超过则记录线段；继续向下扫描线段，在当前线段超过规范化图像宽度的2/3，且当前线段在垂直方向上同上一条线段的间隔大于规范化图像高度的1/10时，记录当前线段，并在规范化图像中绘制以上一个线段为顶，当前线段为底的兴趣区域，生成货架切分图像，当上一次所扫描到的线段同当前扫描到的线段大于规范化图像宽度的2/3且小于规范化图像高度的1/10时，记录线段，将当前所扫描的线段作为兴趣区域的顶，继续扫描操作；当图像中货架倾斜角度大于10度时，进行旋转校正，并将其保存，生成货架切分图像，同时更新当前线段为顶，继续扫描操作，直至图像扫描结束；进一步的，所述步骤4具体如下：步骤4-1，对步骤3所得到的货架切分图像进行预处理，得到规范化的货架切分图像；步骤4-2，对步骤4-1所得规范化的货架切分图像，通过从左向右依次滑动窗口得到待识别区域图像；步骤4-3，对步骤4-2所得待识别区域图像，根据待识别区域坐标，得到特征描述子集合，提取商品样本图像特征描述子，对待识别区域图像特征描述子和商品样本图像特征描述子匹配；步骤4-4，对待识别区域图像，与商品样本图像进行区域色调值比对验证，得到识别结果。进一步的，步骤4-3、4-4按如下方法完成货架识别：计算匹配成功的特征描述子的数目，选取合适的阈值，当数目大于阈值时则是同种商品，并且对区域内每个像素点进行色调值的直方图统计，得到直方图的峰值即为区域的色调值，计算商品样本图像中上下两个区域的区域色调值，分别对每个区域进行阈值设置，并计算待识别区域中同商品样本图像相同区域的区域色调值，当其值在所设置的阈值范围内，完成识别操作，向右继续滑动窗口，继续识别，直至滑动结束。6、根据权利要求1和4所述的超市商品识别方法，其特征在于：所述图像进行预处理具体如下：将输入彩色图像缩放，将图像长宽等比例缩放为原图像的1/16，得到待处理区域的规范化图像。本专利技术采用上述技术方案，具有以下有益效果：对复杂场景下的各种干扰，有很好的抑制作用，同时计算量小且可靠性高，有效避免了待识别商品检测中其它商品的干扰问题和单幅图像中特征提取的计算量大问题。附图说明图1是本专利技术基于商品图像的特征提取与匹配的快速超市商品识别方法的流程图。图2(a)、图2(b)是图像缩放、灰度化示意图。图3(a)、图3(b)、图3(c)是货架图像边缘检测和二值化、霍夫变换、分割区域结果示意图。图4是商品识别的示意图。具体实施方式下面结合附图对专利技术的技术方案进行详细说明：本专利技术对预处理后的超市货架图像进行货架切分，对货架切分图像进行窗口滑动操作形成待识别区域，将待识别区域图像特征描述子与商品样本图像特征描述子进行快速特征匹配，匹配成功后再对待识别区域图像和商品样本图像进行区域色调值比对验证，最终完成识别任务，流程如图1所示。步骤1，对超市货架拍摄图像进行预处理得到规范化图像，图像预处理包括：图像灰度化和图像缩放；(1)图像输入一般为RGB格式图像。(2)按公式GrayValue＝(306×R+601×G+117×B)＞＞10计算各像素的灰度值；(3)如图2(a)所示的超市货架图像，将原始图像按照等比例缩放至待处理图像尺寸，实际计算时，待处理图像尺寸为864×1152；步骤2，利用SURF特征提取，提取规范化图像特征描述子；步骤3，对规范化图像进行二值化处理，边缘检测和霍夫变换，生成货架切分图像；步骤3-1，对规范化图像，求取图像垂直方向的梯度图像做为垂直边缘，垂直边缘时对图像进行垂直方向Sobel算子滤波求取得到的梯度图像本文档来自技高网...

【技术保护点】
一种超市商品识别方法，其特征在于：包括如下步骤：步骤1，对超市货架图像进行预处理得到待处理区域的规范化图像；步骤2，利用SURF特征提取步骤1中所述规范化图像特征描述子；步骤3，对步骤1中所述规范化图像进行边缘检测，二值化处理和霍夫变换，生成货架切分图像；步骤4，对步骤3中所述货架切分图像进行窗口滑动形成待识别区域，利用SURF特征提取对待识别区域特征描述子，对待识别区域特征描述子和商品样本图像库中的特征描述子匹配，并对待识别区域和商品样本图像区域色调值进行比对，识别商品。

【技术特征摘要】
1.一种超市商品识别方法，其特征在于：包括如下步骤：步骤1，对超市货架图像进行预处理得到待处理区域的规范化图像；步骤2，利用SURF特征提取步骤1中所述规范化图像特征描述子；步骤3，对步骤1中所述规范化图像进行边缘检测，二值化处理和霍夫变换，生成货架切分图像；步骤4，对步骤3中所述货架切分图像进行窗口滑动形成待识别区域，利用SURF特征提取对待识别区域特征描述子，对待识别区域特征描述子和商品样本图像库中的特征描述子匹配，并对待识别区域和商品样本图像区域色调值进行比对，识别商品。2.根据权利要求1所述的超市商品识别方法，其特征在于：所述步骤3具体如下：步骤3-1，对规范化图像，选取Sobel算子进行边缘检测，得到边缘检测图像；步骤3-2，对步骤3-1所得边缘检测图像选取一个阈值，进行阈值分割，得到二值化图像；步骤3-3，对步骤3-2所得二值化图像进行霍夫变换检测直线，并建立一张同二值化图像同规格同大小的空图像，将检测到的直线存入所建立的空图像中；步骤3-4，对步骤3-3所得图像中线段集合自上而下扫描，在规范化图像中绘制所需兴趣区域，得到货架切分图像。3.根据权利要求2所述的超市商品识别方法，其特征在于：步骤3-4中，当扫描到第一个线段时，判断当前线段是否超过规范化图像宽度的2/3，超过则记录线段；继续向下扫描线段，在当前线段超过规范化图像宽度的2/3，且当前线段在垂直方向上同上一条线段的间隔大于规范化图像高度的1/10时，记录当前线段，并在规范化图像中绘制以上一个线段为顶，当前线段为底的兴趣区域，生成货架切分图像，当上一次所扫描到的线段同当前扫描到的线段大于规...

【专利技术属性】
技术研发人员：孙涵，杨岳航，郭阳阳，刘宁钟，黄元元，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32