一种商品种类、数量及纯净度检测的方法及其冰柜技术

本发明专利技术专利属于商品冰柜展示技术领域，特指一种商品种类、数量及纯净度检测的方法及其冷柜，包括步骤(1)采集冰柜中存放商品的实时图像I

【技术实现步骤摘要】
一种商品种类、数量及纯净度检测的方法及其冰柜
本专利属于商品冰柜展示
，特指一种商品种类、数量及纯净度检测的方法及其冷柜。
技术介绍
品牌商会免费赠予冰柜给商场、超市，并要求商场、超市中冰柜必须出售或展示品牌商的商品。但在实际使用中，品牌商赠予的冰柜中常常出现非品牌商商品的情况，严重损害了这些品牌商的利益。与此同时，由于商场、超市过多，加上人员耗费等问题，品牌商难以做到实时现场监管来确保冰柜中商品的纯净度。其中，纯净度是指冰柜中品牌商商品占冰柜中所有商品的比例。中国专利技术专利202010180622.2公开了一种基于图像识别技术获取冰箱纯净度的方法，包括以下步骤：(1)在基于清楚冰箱属性信息的前提下，采集对应冰箱的图像信息，将图像信息输入资产管理系统中；(2)资产管理系统根据所收集的商品图片对所采集的图像进行训练，识别出图片中的商品，之后辨别出位于冰箱内部的商品；(3)从区分的商品中获取商品的宽度信息，并进一步获得所识别的所有商品的总长度，将所获得的所有商品的总长度与冰箱可摆放商品的总长度的比值作为冰箱的纯净度。该对比文件存在以下缺陷，该对比文件是通过计算商品的总长度与冰箱可摆放商品的总长度的比值进行检测冰柜中的商品纯净度的；现有的冰柜包括立柜和横柜，立柜通常用于放置罐装饮品，这些饮品都具有固定的形状从而便于检测其长度数据；但是该对比文件不适用于横柜，其一在于在不做整理的情况下，横柜中的商品通常是无规则的摆放在横柜中的，而且横柜中会摆放一些无规则轮廓的产品，例如冰棍、冰冻速食一类产品，上述原因会影响商品长度的检测，从而影响纯净度的判断。现亟需一种可以在立柜、横柜中均可以应用的商品种类、数量及纯净度检测的方法。
技术实现思路
本专利技术专利的目的是提供一种结构简单，通过识别冰柜中商品的面积来计算纯净度的方法。本专利技术专利的目的是这样实现的：一种商品种类、数量及纯净度检测的方法，包括步骤(1)采集冰柜中存放商品的实时图像Isrc；步骤(2)通过训练好的实例分割模型对实时图像Isrc进行处理，其具体内容为：(2-1)对实时图像Isrc进行像素级分割，得到彩色掩膜图像Imap；(2-2)将彩色掩膜图像Imap转换为灰度图Igray；(2-3)对灰度图Igray进行灰度阈值分割，区分指定商品区域、非指定商品区域以及冰柜区域的灰度值，得到处理后图像Itemp；(2-4)计算得到处理后图像Itemp中指定商品区域的面积a1和非指定商品区域的面积a2；(2-5)计算纯净度＝a2/(a1+a2)；(2-6)反馈指定商品种类、指定商品数量和冰柜的纯净度；当纯净度小于指定纯净度的时候，还包括步骤(3)依次在实时图像Isrc上标注指定商品区域和非指定商品区域，并输出标注后图像Idst至系统终端。进一步地，所述步骤(2-1)中彩色掩膜图像Imap内的冰柜颜色RGB值输出为(255,255,255)，非指定商品区域a2的颜色RGB值输出为(0,0,0)，指定商品区域的颜色的灰度值输出为0至255之间；所述步骤(2-3)中将处理后图像Itemp中灰度值位于0至255之间的区域输出为128。进一步地，所述步骤(3)包括(3-1)赋于处理后图像Itemp中非指定商品区域(指定商品区域)以及冰柜区域相同的灰度值b1，赋于指定商品区域(非指定商品区域)灰度值b2；(3-2)依次查找所有灰度值为b2区域的外轮廓；(3-3)遍历所述外轮廓，计算各外轮廓的最小外接矩形；(3-4)在图像Idst中各外轮廓上标注所述最小外接矩形；(3-5)输出标注后图像Idst至系统终端。进一步地，所述步骤(2)中所述实例分割模型通过深度学习算法训练得到，包括MASKR-CNN实例分割算法。进一步地，所述实例分割模型的训练方法为：①.在冰柜中置入若干数量及若干种类的商品，商品在冰柜中随机摆放角度、位置、堆叠状态、遮挡状态；②.采集冰柜中商品在不同摆放状态下的n张图像Is；③.在图像Is中扣取出不同指定商品的封闭多边形实例，并根据商品种类赋予标签：④.在图像Is中扣取出冰柜区域的封闭多边形实例，并赋予标签：冰柜；⑤.创建n张掩膜图，每张掩膜图与图像Is逐一对应；根据图像Is中各封闭多边形实例的所处位置，来在掩膜图中相应位置进行颜色填充，不同标签填充的颜色不同；⑥.结合处理后的掩膜图和Is，训练用于识别商品的实例分割模型。进一步地，所述步骤⑤中，在对掩膜图进行颜色填充后，在至少保留三种未使用的颜色。一种冰柜，采用上述的商品种类、数量及纯净度检测的方法，包括冰柜主体，用于放置商品，冰柜主体一侧设有用于展示商品的玻璃门；捕捉摄像头，用于采集冰柜中存放商品的实时图像Isrc；控制主板，用于通过上述方法处理捕捉到的图像，并在终端上输出商品种类、数量及纯净度的结果。所述冰柜为卧式冰柜；所述冰柜上还设有用于放置所述捕捉摄像头的置物架，所述捕捉摄像头于置物架上自向下设置。本专利技术专利相比现有技术突出且有益的技术效果是：本专利技术提供了一种基于图像处理的商品种类、数量以及纯净度检测方法及冰柜，该方法能够实时对图像中冰柜背景、指定商品进行像素级的分割和识别，通过计算指定商品在除去冰柜后所有商品中的占比，来得到商品的纯净度；其好处在于，相比现有的识别方式，其识别更为精确，且该识别方式适用于商品散乱放置的卧式冷柜以及立式冷柜，应用场景多样化。附图说明图1是本专利的结构示意图；图2是图1中A处放大图；图3是流程示意图。图中标号所表示的含义：1、冰柜主体；2、玻璃门；3、捕捉摄像头；4、控制主板；5、置物架具体实施方式下面结合具体实施例对本专利技术作进一步描述：一种商品种类、数量及纯净度检测的方法，步骤(1)采集冰柜中存放商品的实时图像Isrc；如图1至3所示，本实施例中，该方式应用于卧式冰柜；包括冰柜主体1，冰柜主体1中设有制冷设备，以及用于放置商品的置容腔，于置容腔上设有用于展示商品的玻璃门2，可透过该玻璃门2观察捕捉到位于冰柜内部的商品。玻璃门2表面设有防雾贴膜，能够防止冰柜在日常使用时玻璃门2发生起雾现象，进而影响摄像头图像采集的质量。冰柜上设有用于实时捕捉冰柜主体1中商品的图像，具体来说，所述冷柜主体上连接有置物架5，所述捕捉摄像头3设置在置物架5上，并于置物加上自向下设有，使得其摄像头对向冰柜上的玻璃门2，从而进行商品的摄像捕捉。在该置物架5上还设有控制主板4，用于处理捕捉到的图像，通过上述识别方法进行对商品种类、数量及纯净度的检测，并在终端上输出商品种类、数量及纯净度的检测结果；本实例中，该控制主板4为一安卓主板，其终端设备可以是显示屏或是手机，该置物架5还可以在使用的时候放置杂物，其可以增加储本文档来自技高网...

【技术保护点】
1.一种商品种类、数量及纯净度检测的方法，其特征在于：包括/n步骤(1)采集冰柜中存放商品的实时图像I

【技术特征摘要】
1.一种商品种类、数量及纯净度检测的方法，其特征在于：包括
步骤(1)采集冰柜中存放商品的实时图像Isrc；
步骤(2)通过训练好的实例分割模型对实时图像Isrc进行处理，其具体内容为：
(2-1)对实时图像Isrc进行像素级分割，得到彩色掩膜图像Imap；
(2-2)将彩色掩膜图像Imap转换为灰度图Igray；
(2-3)对灰度图Igray进行灰度阈值分割，区分指定商品区域、非指定商品区域以及冰柜区域的灰度值，得到处理后图像Itemp；
(2-4)计算得到处理后图像Itemp中指定商品区域的面积a1和非指定商品区域的面积a2；
(2-5)计算纯净度＝a2/(a1+a2)；
(2-6)反馈指定商品种类、指定商品数量和冰柜的纯净度；
当纯净度小于指定纯净度的时候，还包括
步骤(3)依次在实时图像Isrc上标注指定商品区域和非指定商品区域，并输出标注后图像Idst至系统终端。


2.根据权利要求1所述的一种商品种类、数量及纯净度检测的方法，其特征在于：
所述步骤(2-1)中彩色掩膜图像Imap内的冰柜颜色RGB值输出为(255,255,255)，非指定商品区域a2的颜色RGB值输出为(0,0,0)，指定商品区域的颜色的灰度值输出为0至255之间；
所述步骤(2-3)中将处理后图像Itemp中灰度值位于0至255之间的区域输出为128。


3.根据权利要求1所述的商品种类、数量及纯净度检测的方法，其特征在于：所述步骤(3)包括
(3-1)赋于处理后图像Itemp中非指定商品区域(指定商品区域)以及冰柜区域相同的灰度值b1，赋于指定商品区域(非指定商品区域)灰度值b2；
(3-2)依次查找所有灰度值为b2区域的外轮廓；
(3-3)遍历所述外轮廓，计算各外轮廓的最小外接矩形；
(3-4)在图像...

【专利技术属性】
技术研发人员：卢毅，林晨宽，徐鲁斌，
申请(专利权)人：浙江星星冷链集成股份有限公司，
类型：发明
国别省市：浙江;33