商品智能识别方法、装置、终端及存储介质制造方法及图纸

本申请公开了一种商品智能识别方法、装置、终端及存储介质，方法与图像获取系统相匹配，包括对所获取的多张商品原始图像进行图像过滤处理，得到多张第一处理图像；对第一处理图像逐一进行条形码图像分离处理，得到多张第二处理图像；对多张第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据商品条形码获得相对应的商品信息。本发明专利技术所提出的一种商品智能识别方法，利用图像视觉识别算法，配合商超场景中的硬件条件，实现了对商品条形码的高效、准确、智能识别，免除用户购买商品时的额外操作，降低操作错误率，显著地提高了用户体验。显著地提高了用户体验。显著地提高了用户体验。

【技术实现步骤摘要】
商品智能识别方法、装置、终端及存储介质


[0001]本申请涉及一种商品识别方案，具体而言，为一种基于图像视觉识别算法的商品智能识别方法、装置、终端及存储介质，属于人工智能图像识别


技术介绍

[0002]近年来，随着信息化技术的不断发展、各类智能化设备的普及，在商品识别这个细分领域、越来越多样的技术方案均得到了应用。
[0003]就商超场景而言，目前市面上常见的、利用购物车的商品识别方案有以下两种：其一，通过购物车上的扫码装置扫商品条形码。用户购买商品时先将商品扫码后再放入购物车，取出时先拿出再扫码。这种方案在实际应用中最为广泛、操作方式简单、成本低，且无需对超市内的现有商品进行任何改造。
[0004]但此方案将原本单一的购买或加购动作拆分成了两步：扫码和放入。这样一方面会增加客户购物时的额外动作及复杂度、影响购物体验；另一方面还会遇到用户购买商品时扫码后未将商品放入购物车或者将商品放入购物车后未扫码等情况，进而给商超造成损失。
[0005]其二，利用RFID标签电子标签实现商品识别。RFID电子标签是一种非接触式的自动识别技术，它通过射频信号来识别目标对象并获取相关数据，识别过程无需人工干预，作为条形码的无线版本，RFID电子标签技术具有条形码所不具备的防水、防磁、耐高温、使用寿命长、读取距离大、标签上数据可以加密、存储数据容量更大、存储信息更改自如等优点。此方案要求所有商品上都贴有RFID标签、购物车上安装有RFID读取器。当贴有RFID标签的商品被放置在购物车内时，商品就已被购物车记录下来、读取的商品信息在后台与数据库中的内容进行匹配，然后计算商品的价格，并且将商品价格展示在购物车的液晶触控屏上。当用户完成购物后只需拿出银行卡，在商超内指定地点轻轻一刷，就完成了结算环节，免去了收银人员逐件扫描商品条形码的麻烦。
[0006]此方案虽然能够大大节约排队结算支付的时间，但也存在着明显的不足：一方面，RFID电子标签在面对含水量较高的物品、金属物品或是在很高/很低的温度环境下，使用效果都难以保证；又一方面，为了实现商品信息的智能识别，需要在每件商品上增加一个对应的RFID电子标签，当方案被应用在大型的商超中时，给所有商品增加RFID电子标签会带来极大的工作量、增加硬件和人工成本；再一方面，对应地，为了实现RFID电子标签的读取识别，每台购物车内也需要集成有RFID读取器，这样一来无疑进一步增加了购物车的硬件成本。
[0007]综上所述，如何提出一种区别于上述现有技术的商品智能识别方案，高效、准确地完成对用户所购买商品的识别，免除用户购买商品时的额外操作，降低操作错误率，提高用户体验，也就成为了本领域内技术人员所共同关注的问题。

技术实现思路

[0008]鉴于现有技术存在上述缺陷，本专利技术的目的是提出一种基于图像视觉识别算法的商品智能识别方法、装置、终端及存储介质，具体如下：一种商品智能识别方法，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，方法包括如下步骤：对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。
[0009]优选地，所述的商品智能识别方法，还包括如下步骤：对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。
[0010]优选地，所述对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像，包括如下步骤：获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除；对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。
[0011]优选地，所述对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像，包括如下步骤：对所述第一处理图像逐一进行灰度处理，将所述第一处理图像转换为灰度图；对所述灰度图使用Scharr算子，得到所述灰度图在水平方向和垂直方向上的梯度值表示，将水平方向的梯度值减去垂直方向上的梯度值，得到高水平梯度和低垂直梯度的图像区域；执行高斯模糊并将所述图像区域转化为二值化的梯度图像，并使用卷积核Sobel大小为9x9的均值滤波作用于所述梯度图像；构建掩码并将其应用于所述梯度图像中，并对所述梯度图像进行多次膨胀及腐蚀操作直至所述梯度图像中的噪声低于预设标准；利用基于阈值的最大类间方差法对所述梯度图像进行分割，检测所分割出的最大轮廓，计算得到该轮廓的最小外界矩形并将其作为第二处理图像。
[0012]优选地，所述对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息，包括如下步骤：
若多张所述第二处理图像中没有任意一张清晰展示商品条形码，则从所述第二处理图像中提取出多张拆分图像，从中位将所述条形码图像再进行一步分割，将分割所得的图像进行组装拟合成为新的条形码图像；对所述新的条形码图像进行二值化处理，对经过二值化处理后的所述新的条形码按序进行确定ROI感兴趣区域、去噪、去条形码及优化，得到用户所购买商品对应的商品条形码；对所述商品条形码进行识别，若能够识别并校验通过，则认为所述商品条形码正确，否则认为所述商品条形码错误，跳转回到从所述第二处理图像中提取出多张拆分图像的操作，按序执行后续流程，直至所述商品条形码正确。
[0013]一种商品智能识别装置，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，包括：图像过滤模块，被配置为对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；条形码图像分离模块，被配置为对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；多图像条形码纠正拟合模块，被配置为对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。
[0014]优选地，所述的商品智能识别装置，还包括：用户购物动作识别模块，被配置为对所获取的多张商品原始图像进行背景减除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品智能识别方法，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，其特征在于，方法包括如下步骤：对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。2.根据权利要求1所述的商品智能识别方法，其特征在于，还包括如下步骤：对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。3.根据权利要求1所述的商品智能识别方法，其特征在于，所述对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像，包括如下步骤：获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除；对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。4.根据权利要求3所述的商品智能识别方法，其特征在于，所述对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像，包括如下步骤：对所述第一处理图像逐一进行灰度处理，将所述第一处理图像转换为灰度图；对所述灰度图使用Scharr算子，得到所述灰度图在水平方向和垂直方向上的梯度值表示，将水平方向的梯度值减去垂直方向上的梯度值，得到高水平梯度和低垂直梯度的图像区域；执行高斯模糊并将所述图像区域转化为二值化的梯度图像，并使用卷积核大小为9x9的均值滤波作用于所述梯度图像；构建掩码并将其应用于所述梯度图像中，并对所述梯度图像进行多次膨胀及腐蚀操作直至所述梯度图像中的噪声低于预设标准；利用基于阈值的最大类间方差法对所述梯度图像进行分割，检测所分割出的最大轮廓，计算得到该轮廓的最小外界矩形并将其作为第二处理图像。5.根据权利要求4所述的商品智能识别方法，其特征在于，所述对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息，包括如下步骤：若多张所述第二处理图像中没有...

【专利技术属性】
技术研发人员：李仓库，成坤，
申请(专利权)人：西安超嗨网络科技有限公司，
类型：发明
国别省市：