一种基于机器视觉的货架商品规格识别方法技术

本发明专利技术公开了一种基于机器视觉的货架商品规格识别方法，涉及图像处理技术领域。本发明专利技术包括如下步骤：S1、获取待识别的图像；S2、应用深度学习目标检测算法，训练商品检测模型，检测货架线上的目标商品；S3、应用深度学习图像分割算法，训练货架层分割模型，对图片中的货架进行分割；S4、应用图像处理技术，对货架线和检测到的商品进行透视转换和倾斜矫正；S5、获取货架层数信息、货架高度信息；S6、综合S5获取到的非图像特征信息，运用机器学习分类模型对商品规格进行分类；S7、择优选择模型应用模型对商品进行规格识别。本发明专利技术显著提升了商品规格分类的识别准确率，同样适用于同种商品不同规格的识别。同规格的识别。同规格的识别。

【技术实现步骤摘要】
一种基于机器视觉的货架商品规格识别方法


[0001]本专利技术属于图像处理
，特别是涉及一种基于机器视觉的货架商品规格识别方法。

技术介绍

[0002]快消领域，为了更好的制定市场投放策略，需要经常对线下渠道的商店进行核查，核查各种规格的商品在货架上的占有率。传统的人工巡店方式，耗费大量人力，且信息更新不及时，不能满足企业对精准、及时的数据需求。因此利用机器视觉对货架商品进行精准的统计成了企业的迫切需求。图片的获取，一般是手机拍摄而得。
[0003]现有基于机器视觉进行商品规格识别的方法主要有两种：
[0004]1:通过文字识别技术，识别图像中商品规格相关文字，判断商品规格；
[0005]2:通过图像识别技术，通过检测图像中的商品，提取商品局部信息，再应用图像分类技术，判断商品规格。
[0006]由于物体间遮挡、拍摄距离远等原因，导致难以获取清晰的图片，通过识别商品规格相关文字的方法，难以应用。由于拍摄得到的货架存在严重倾斜，货架种类繁多、货架层数多、存在多种商品同种商品存在多种规格，图像识别方法在商品检测和分类应用中不尽如人意。因此，针对以上问题，提供一种基于机器视觉的货架商品规格识别方法具有重要意义。

技术实现思路

[0007]本专利技术提供了一种基于机器视觉的货架商品规格识别方法，解决了以上问题。
[0008]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0009]本专利技术的一种基于机器视觉的货架商品规格识别方法，包括如下步骤：
[0010]S1、获取待识别的图像；
[0011]S2、应用深度学习目标检测算法，训练商品检测模型，检测货架线上的目标商品；
[0012]S3、应用深度学习图像分割算法，训练货架层分割模型，对图片中的货架进行分割；
[0013]S4、应用图像处理技术，对货架线和检测到的商品进行透视转换和倾斜矫正；
[0014]S5、获取货架层数信息、货架高度信息，计算货架层号与货架高度的对应表，获取每一个检测到的商品所属的货架层；
[0015]S6、综合S5获取到的非图像特征信息，运用机器学习分类模型对商品规格进行分类；
[0016]S7、择优选择模型应用模型对商品进行规格识别。
[0017]进一步地，所述S2目标检测模型步骤，分为以下几个步骤：
[0018]S21、收集不同角度，光照的货架商品图片；
[0019]S22、对部分商品图片进行人工标注，训练一个较弱的商品模型M0；
[0020]S23、使用M0对全量数据进行预标注，人工调整；
[0021]S24、使用全量数据训练商品检测模型M1。
[0022]进一步地，所述S3货架层分割模型，可分为以下几个步骤：
[0023]S31、收集不同角度，光照的货架商品图片；
[0024]S32、对部分商品图片进行人工标注训练一个较弱的货架层模型M2；
[0025]S33、使用M2对全量数据进行预标注，人工调整；
[0026]S34、使用全量数据训练货架分割模型M3。
[0027]进一步地，所述S6商品分类模型，可分为以下几个步骤：
[0028]S61、对原始数据进行特征工程，得到分类模型训练所需的原始数据集；
[0029]S62、对数据集应用smote进行数据增强；
[0030]S63、划分数据集为训练集、测试集；
[0031]S64、应用xgboost分类模型进行模型训练；
[0032]S65、应用测试集对模型进行评价。
[0033]进一步地，该方法依赖于三大模块：商品检测模块、货架层分割模块、分类模块；
[0034]所述商品检测模块选用retinaNet目标检测模型；
[0035]所述货架层分割模块选用mask-RCNN分割模型；
[0036]所述分类模块选用xgboost模型。
[0037]本专利技术相对于现有技术包括有以下有益效果：
[0038]本专利技术的一种基于机器视觉的货架商品规格识别方法应用非图像特征，显著提升了商品规格分类的识别准确率，同样适用于同种商品不同规格的识别。
[0039]当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
[0040]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本专利技术的一种基于机器视觉的货架商品规格识别方法的整体步骤图；
[0042]图2为图1中S2步骤的详细步骤图；
[0043]图3为图1的S3步骤的详细步骤图；
[0044]图4为图1的S6步骤的详细步骤图。
具体实施方式
[0045]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0046]请参阅图1-4所示，本专利技术的一种基于机器视觉的货架商品规格识别方法，包括如下步骤：
[0047]S1、获取待识别的图像；
[0048]S2、应用深度学习目标检测算法，训练商品检测模型，检测货架线上的目标商品；
[0049]S3、应用深度学习图像分割算法，训练货架层分割模型，对图片中的货架进行分割；
[0050]S4、应用图像处理技术，对货架线和检测到的商品进行透视转换和倾斜矫正；
[0051]S5、获取货架层数信息、货架高度信息，计算货架层号与货架高度的对应表，获取每一个检测到的商品所属的货架层；
[0052]S6、综合S5获取到的非图像特征信息，运用机器学习分类模型对商品规格进行分类；
[0053]S7、择优选择模型应用模型对商品进行规格识别。
[0054]本方法主要依赖于两三大模块：商品检测模块、货架层分割模块、分类模块；
[0055]其中，商品检测模块：选用retinaNet目标检测模型；
[0056]此模型可以兼顾检测精度和检测速度。RetinaNet使用了Focal Loss能够很好的平衡前景和背景目标，可以使检测器更加集中于难区分的目标，从而提升检测精度；同时又由于它本身的单阶段设计框架，使其能够达到一个较高的FPS(在Nvidia Tesla V100上可达15FPS)。
[0057]获得一个基于RetinaNet的商品检测模型具体步骤如下：
[0058]S21、收集不同角度，光照的货架商品图片；
[0059]S22、对部分商品图片进行人工标注，训练一个较弱的商品检测模型M0；...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的货架商品规格识别方法，其特征在于，包括如下步骤：S1、获取待识别的图像；S2、应用深度学习目标检测算法，训练商品检测模型，检测货架线上的目标商品；S3、应用深度学习图像分割算法，训练货架层分割模型，对图片中的货架进行分割；S4、应用图像处理技术，对货架线和检测到的商品进行透视转换和倾斜矫正；S5、获取货架层数信息、货架高度信息，计算货架层号与货架高度的对应表，获取每一个检测到的商品所属的货架层；S6、综合S5获取到的非图像特征信息，运用机器学习分类模型对商品规格进行分类；S7、择优选择模型应用模型对商品进行规格识别。2.根据权利要求1所述的一种基于机器视觉的货架商品规格识别方法，其特征在于，所述S2目标检测模型步骤，分为以下几个步骤：S21、收集不同角度，光照的货架商品图片；S22、对部分商品图片进行人工标注，训练一个较弱的商品模型M0；S23、使用M0对全量数据进行预标注，人工调整；S24、使用全量数据训练商品检测模型M1。3.根据权利要求1所述的一种基于机器视觉的货架商...

【专利技术属性】
技术研发人员：孟越，李一帆，
申请(专利权)人：上海品览数据科技有限公司，
类型：发明
国别省市：