一种基于图像识别的货架陈列评分方法技术

本发明专利技术提出一种基于图像识别的货架陈列检测方法及系统，所述方法包括：基于预先设置的货架陈列方案，构建至少一个模板图像；针对每一张所述模板图像，构建第一特征矩阵；响应于用户的操作请求，采集目标货架图像；基于所述目标货架图像，构建原始特征矩阵；以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；确定所述第二特征矩阵与所述第一特征矩阵的相似度；基于所述相似度，判断目标货架中物品陈列是否符合所述货架陈列方案

【技术实现步骤摘要】
一种基于图像识别的货架陈列评分方法


[0001]本专利技术涉及计算机领域，具体涉及一种基于图像识别的货架陈列检测方法及系统
。

技术介绍

[0002]当前企业检查货架陈列时需要人工现场检查或通过照片人工核对货架陈列是否符合陈列要求，如：商品摆放次序，是否连续摆放，是否中间有空位等等
。
由于人工检查陈列情况，一方面需要耗费大量人力，另一方面由于计算规则复杂，人工检查时容易出错
。
为解决该问题，专利
CN108549870A
提出一种对物品陈列进行鉴别的方法及装置，该方法通过在货架上按照标准样式摆放物品，构建出模板图像，再通过图像识别技术对采集图像和模板图像中相同位置处的物品进行一致性比对
。
但是，该方案的模板图像构建过于繁琐，每更新一次摆放规则就需要对作为模板的货架重新摆放一次，若在摆放规则更新频繁或者货架很多的场景下，这样的方式工作量太大，且后续一致性比对计算过程比较复杂，难以部署在实际场景中
。

技术实现思路

[0003]专利技术目的：本专利技术旨在提出一种基于图像识别的货架陈列检测方法及系统，能够基于图像识别技术实现货架陈列的自动化检测
。
[0004]
技术实现思路
：为实现上述目的，本专利技术提出以下技术方案：第一方面，提供了一种基于图像识别的货架陈列检测方法，包括：基于预先设置的货架陈列方案，构建至少一个模板图像；针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；响应于用户的操作请求，采集目标货架图像；基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；确定所述第二特征矩阵与所述第一特征矩阵的相似度；基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案
。
[0005]作为第一方面所述方法的一种可选实施方式，基于所述目标货架图像构建所述原始特征矩阵，具体包括：对所述目标货架图像中的物品进行目标检测，将每个检测框的中心点坐标作为相应物品的二维位置坐标；
若相邻的两个物品的纵坐标之差小于预设的第一阈值，则将所述两个物品作为同一行，若相邻的两个物品的横坐标之差小于预设的第二阈值，则将所述两个物品作为同一列；至此，得到所述原始特征矩阵中各元素与所述目标货架中的物品位置的对应关系；对所述每个检测框中的物品进行特征提取，将提取出的特征作为所述原始特征矩阵中相应位置的元素的值；将所述原始特征矩阵中未赋值的元素设置为0，得到所述原始特征矩阵
。
[0006]进一步的，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，具体包括：遍历所述原始特征矩阵中的元素，将每一个元素的值与所述货架陈列方案所规定的物品特征进行比对，若所述元素的值对应的物品特征与所述货架陈列方案所规定的物品特征一致，则将相应元素的值设置为1；若不一致，则将相应元素的值设置为
0。
[0007]作为第一方面所述方法的一种可选实施方式，所述第一特征矩阵为单特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：将所述第二特征矩阵进行切片，得到与所述第一特征矩阵的行和列一致的第一子矩阵；针对每一个所述第一矩阵，确定所述第一子矩阵与所述第一特征矩阵之间的子相似度；将所述第一子矩阵与所述第一特征矩阵的子相似度的最大值作为所述第二特征矩阵与所述第一特征矩阵之间的相似度
。
[0008]进一步的，所述第一子矩阵与所述第一特征矩阵之间的子相似度采用以下计算方式得到：
[0009]其中，表示第一特征矩阵，表示由所述第二特征矩阵切片得到的第个第一子矩阵，表示第一特征矩阵与第一子矩阵之间的相似度
。
[0010]作为第一方面所述方法的一种可选实施方式，所述第一特征矩阵为组合特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：将所述第一特征矩阵分解为相同大小的单特征矩阵；将所述第二特征矩阵进行切片，得到与所述单特征矩阵的行和列一致的第二子矩阵；针对每一个所述第二子矩阵，计算该第二子矩阵与各个单特征矩阵之间的子相似度；若该第二子矩阵与各个单特征矩阵之间的子相似度均大于预设的第三阈值，则取该第二子矩阵与各个单特征矩阵之间的子相似度的平均值，作为该第二子矩阵与所述第一特征矩阵的相似度；否则，将该第二子矩阵与所述第一特征矩阵的相似度设置为0；选取所述第二子矩阵与所述第一特征矩阵的相似度的最大值，作为所述第二特征矩阵与所述第一特征矩阵之间的相似度
。
[0011]作为第一方面所述方法的一种可选实施方式，基于所述第二特征矩阵与所述第一
特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案，具体包括：针对每一个所述第一特征矩阵，设置权重系数；将所述第二特征矩阵与所述第一特征矩阵的相似度与所述权重系数进行加权求和，得到所述目标货架中物品陈列情况与所述货架陈列方案之间的匹配度；若所述匹配度大于预设的第四阈值，则确定所述目标货架中物品陈列符合所述货架陈列方案，否则，确定所述目标货架中物品陈列不符合所述货架陈列方案
。
[0012]进一步的，所述方法还包括：当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息
。
[0013]第二方面，提供了一种基于图像识别的货架陈列检测系统，包括：第一数据获取模块，配置为获取用户输入的货架陈列方案；第二数据获取模块，配置为响应于用户的操作请求，获取目标货架图像；第一生成模块，配置为基于所述货架陈列方案，构建至少一个模板图像；以及针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；第二生成模块，配置为基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；以及，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；第一计算模块，配置为确定所述第二特征矩阵与所述第一特征矩阵的相似度；第二计算模块，配置为基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案
。
[0014]作为第二方面所述系统的一种可选实施方式，所述系统还包括：告警模块，配置为当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息
。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像识别的货架陈列检测方法，其特征在于，包括：基于预先设置的货架陈列方案，构建至少一个模板图像；所述货架陈列方案是由预设的货架陈列规则构建得到的；针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；响应于用户的操作请求，采集目标货架图像；基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；确定所述第二特征矩阵与所述第一特征矩阵的相似度；基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案
。2.
如权利要求1所述的方法，其特征在于，基于所述目标货架图像构建所述原始特征矩阵，具体包括：对所述目标货架图像中的物品进行目标检测，将每个检测框的中心点坐标作为相应物品的二维位置坐标；若相邻的两个物品的纵坐标之差小于预设的第一阈值，则将所述两个物品作为同一行，若相邻的两个物品的横坐标之差小于预设的第二阈值，则将所述两个物品作为同一列；至此，得到所述原始特征矩阵中各元素与所述目标货架中的物品位置的对应关系；对所述每个检测框中的物品进行特征提取，将提取出的特征作为所述原始特征矩阵中相应位置的元素的值；将所述原始特征矩阵中未赋值的元素设置为0，得到所述原始特征矩阵
。3.
如权利要求2所述的方法，其特征在于，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，具体包括：遍历所述原始特征矩阵中的元素，将每一个元素的值与所述货架陈列方案所规定的物品特征进行比对，若所述元素的值对应的物品特征与所述货架陈列方案所规定的物品特征一致，则将相应元素的值设置为1；若不一致，则将相应元素的值设置为
0。4.
如权利要求1所述的方法，其特征在于，所述第一特征矩阵为单特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：将所述第二特征矩阵进行切片，得到与所述第一特征矩阵的行和列一致的第一子矩阵；针对每一个所述第一特征矩阵，确定所述第一子矩阵与所述第一特征矩阵之间的子相似度；将所述第一子矩阵与所述第一特征矩阵的子相似度的最大值作为所述第二特征矩阵与所述第一特征矩阵之间的相似度
。5.
如权利要求4所述的方法，其特征在于，所述第一子矩阵与所述第一特征矩阵之间的子相似度采用以下计算方式得到：
；其中，表示第一特征矩阵，表示由所述第二特征矩阵切片得到的第个第一子矩阵，表示第一特征矩阵与第一子矩阵之间的相似度...

【专利技术属性】
技术研发人员：孙富贵，张俊，刘国俭，李晓宇，刘昭，
申请(专利权)人：南京掌控网络科技有限公司，
类型：发明
国别省市：