一种货架商品的识别方法及系统技术方案

本发明专利技术公开了一种货架商品的识别方法及系统，涉及图像识别技术领域。货架商品的识别方法包括：采集货架图像，对待测货架进行定位并对待测货架的区域进行框定；通过全局检测对框定的区域进行粗检测，将商品按行分类，并根据分类结果对图像进行分割获得待检测商品图像；对待检测商品图像进行文字识别初步确定商品类别；对待测商品图像进行图像特征比对与颜色比对；通过信息融合，得到最终的商品类别；根据模板类别信息与待检测类别信息对商品类别进行判断，输出商品识别结果。本申请不仅解决了人工管理货架上的商品效率低容易出错的问题，还克服了现有货架商品识别方法中单一方法对图像识别误差率高的缺陷。对图像识别误差率高的缺陷。对图像识别误差率高的缺陷。

【技术实现步骤摘要】
一种货架商品的识别方法及系统


[0001]本专利技术涉及图像识别
，尤其涉及一种货架商品的识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]货架陈列是商场超市主要的商品展示方式，合理的商品摆放可以吸引顾客，方便购物，提高商店业绩。同时，还可根据每天货架上相应商品的存余、数量变化等获知该商品的供需程度，从而实现智能进货管理。
[0004]目前，货架商品审计即货架摆放与检查工作主要由人工完成。理货员一方面需要确定商品数量，另一方面需要对商品逐个扫码并摆放。由于商品种类繁多，同时货架的排列十分紧密，很容易出现商品错摆、漏摆。除此之外，随着时间推移，货架中商品逐渐售出，需要及时补货，人工不能顾及方方面面，并且人为巡检速度慢，精度低，既耗时费力，又难以准确找到问题。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术的目的是提供一种货架商品的识别方法及系统，基于图像分析技术实时对货架上的商品按照预先设计的摆放情况进行识别和分析，具备实时、灵活、便捷、资源占用率低、可扩展性强等特点。
[0006]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0007]本专利技术第一方面提供了一种货架商品的识别方法，包括以下步骤：
[0008]采集货架图像，对待测货架进行定位并对待测货架的区域进行框定；
[0009]通过全局检测对框定的区域进行粗检测，获取所需商品的信息；r/>[0010]根据所需商品的信息将商品按行分类，并根据分类结果对图像进行分割获得待检测商品图像；
[0011]对待检测商品图像进行文字识别初步确定商品类别；
[0012]对待测商品图像进行图像特征比对与颜色比对；
[0013]将文字识别结果和图像特征比对与颜色比对信息进行信息融合，得到最终的商品类别；
[0014]根据模板类别信息与待检测类别信息对商品类别进行判断，输出商品识别结果。
[0015]进一步的，通过回形码定位和透视变换处理对待测货架进行定位并对待测货架的区域进行框定。
[0016]进一步的，通过全局检测对框定的区域进行粗检测，获取所需商品的信息的具体步骤包括：
[0017]使用YOLOv5网络对图片进行全局粗检测，获得粗检测结果；
[0018]根据回形码位置、商品中心平均高度、货架行数信息对粗检测结果进行滤除和补
全得到所需商品在图片中的位置信息及大小信息。
[0019]进一步的，对待检测商品图像进行文字识别初步确定商品类别的具体步骤为：
[0020]通过预先训练好的模型对分割出的待检测商品图像进行文字提取；
[0021]根据提取出的文字信息与关键词库进行查询从而确定商品类别。
[0022]进一步的，对待测商品图像进行图像特征比对的具体步骤为：
[0023]对待检测商品图像进行图案特征提取；
[0024]将提取的特征进行重复特征滤除处理获得比对信息。
[0025]进一步的，对待测商品图像进行颜色比对的具体步骤为：
[0026]利用HSV颜色空间对光照不敏感的特性，将原本RGB颜色空间转换及压缩至HSV颜色空间作为色彩特征，对比色彩特征与主要颜色的一致性，并输出比对信息。
[0027]进一步的，将文字识别结果和图像特征比对与颜色比对结果进行信息融合，得到最终的商品类别的具体步骤为：
[0028]以文字识别结果为主，当特征相似时附加图案特征与颜色比对信息得出最终结果。
[0029]本专利技术第二方面提供了一种货架商品的识别系统，包括：
[0030]定位模块，被配置为采集货架图像，对待测货架进行定位并对待测货架的区域进行框定；
[0031]检测模块，被配置为通过全局检测对框定的区域进行粗检测，获取所需商品的信息；根据所需商品的信息将商品按行分类，并根据分类结果对图像进行分割获得待检测商品图像；
[0032]识别模块，被配置为对待检测商品图像进行文字识别初步确定商品类别；对待测商品图像进行图像特征比对与颜色比对；将文字识别结果和图像特征比对与颜色比对结果进行信息融合，得到最终的商品类别，根据模板类别信息与待检测类别信息对商品类别进行判断，输出商品识别结果。
[0033]本专利技术第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的货架商品的识别方法中的步骤。
[0034]本专利技术第四方面提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的货架商品的识别方法中的步骤。
[0035]以上一个或多个技术方案存在以下有益效果：
[0036]本专利技术公开了一种货架商品的识别方法，基于图像分析技术实时对货架上的商品按照预先设计的摆放情况进行识别和分析，不仅解决了人工管理货架上的商品效率低容易出错的问题，还对文字识别结果附加图像特征和颜色信息的比对进行识别结果进一步的确认，克服了现有货架商品识别方法中单一方法对图像识别误差率高的缺陷。
[0037]本专利技术可以针对获得的商品类别识别结果针对模板类别信息与待检测类别信息，以摆放正确、摆反、缺货、多摆为最终类别进行进一步判定，以每行错误数最少结果为最终结果输出，大大减轻现有人工理货的任务，并为管理人员进行销售记录分析提供数据支持。本专利技术仅靠普通摄像头便能完成图像采集过程，具备实时、灵活、便捷、资源占用率低、易实现、可扩展性强等特点。
[0038]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0039]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0040]图1为本专利技术实施例一中货架商品的识别方法的流程图；
[0041]图2为本专利技术实施例一中回形码的样例图；
[0042]图3为本专利技术实施例一中识别判断过程示意图；
[0043]图4为本专利技术实施例一中图像特征比对与颜色比对判断过程示意图；
[0044]图5为本专利技术实施例一中ini描述文件示意图。
具体实施方式
[0045]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0046]实施例一：
[0047]本专利技术实施例一提供了一种货架商品的识别方法，以饮料类商品为例，如图1所示，包括以下步骤：
[0048]图像预处理：
[0049]S1：采集货架图像，通过回形码定位和透视变换处理对待测货架进行定位并对待测货架的区域进行框定。
[0050]S1.1：回形码检测针对待检测货本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货架商品的识别方法，其特征在于，包括以下步骤：采集货架图像，对待测货架进行定位并对待测货架的区域进行框定；通过全局检测对框定的区域进行粗检测，获取所需商品的信息；根据所需商品的信息将商品按行分类，并根据分类结果对图像进行分割获得待检测商品图像；对待检测商品图像进行文字识别初步确定商品类别；对待测商品图像进行图像特征比对与颜色比对；将文字识别结果和图像特征比对与颜色比对信息进行信息融合，得到最终的商品类别；根据模板类别信息与待检测类别信息对商品类别进行判断，输出商品识别结果。2.如权利要求1所述的货架商品的识别方法，其特征在于，通过回形码定位和透视变换处理对待测货架进行定位并对待测货架的区域进行框定。3.如权利要求1所述的货架商品的识别方法，其特征在于，通过全局检测对框定的区域进行粗检测，获取所需商品的信息的具体步骤包括：使用YOLOv5网络对图片进行全局粗检测，获得粗检测结果；根据回形码位置、商品中心平均高度、货架行数信息对粗检测结果进行滤除和补全得到所需商品在图片中的位置信息及大小信息。4.如权利要求1所述的货架商品的识别方法，其特征在于，对待检测商品图像进行文字识别初步确定商品类别的具体步骤为：通过预先训练好的模型对分割出的待检测商品图像进行文字提取；根据提取出的文字信息与关键词库进行查询从而确定商品类别。5.如权利要求1所述的货架商品的识别方法，其特征在于，对待测商品图像进行图像特征比对的具体步骤为：对待检测商品图像进行图案特征提取；将提取的特征进行重复特征滤除处理获得比对信息。6.如权利要求1所述的货架商品的识别方法，其特征在于...

【专利技术属性】
技术研发人员：李晓磊，杨海波，张伟，宋然，褚石磊，谢世宽，
申请(专利权)人：山东大学，
类型：发明
国别省市：