一种商品定位识别方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术公开了一种商品定位识别方法，通过获取输入的待识别图像；将待识别图像输入至预先训练的神经网络模型中，提取出待识别图像中商品对应的区域；预先训练的神经网络模型为Faster‑RCNN网络模型；截取商品对应的区域作为子图，输入至预先训练的图像分类神经网络模型；预先训练的图像分类神经网络模型为VGG‑Net网络模型；由图像分类神经网络模型计算出子图属于各个商品类别的概率，识别出待识别图像中商品的类别。本申请可以减少显存占用，约十倍提升检测的速度，同时还能够提升识别的准确率。此外，本申请还提供了一种具有上述技术效果的商品定位识别装置、设备以及计算机可读存储介质。

【技术实现步骤摘要】
一种商品定位识别方法、装置、设备以及存储介质
本专利技术涉及计算机视觉
，特别是涉及一种商品定位识别方法、装置、设备以及计算机可读存储介质。
技术介绍
使用深度学习和计算机视觉技术对商品进行识别是无人零售中的重要一环，是实现智能结算台的核心技术。目前主流的基于深度学习的目标检测算法包括Faster-RCNN、SSD、YOLO等。两步式算法Faster-RCNN具有精准的定位和识别效果，然而在类别数目较大的时候，该算法会占据大量的显存，识别速度成比例下降，识别准确率难以控制。一步式算法SSD和YOLO在识别速度上有明显提升，而定位不够精准，识别准确率也低于Faster-RCNN。鉴于此，提供一种减少显存占用，且同时提升检测速度以及识别准确率的商品定位识别方法是非常有必要的。
技术实现思路
本专利技术的目的是提供一种商品定位识别方法、装置、设备以及计算机可读存储介质，以解决现有商品定位识别技术中大量占用显存、识别速度较低、识别准确率难以控制的问题。为解决上述技术问题，本专利技术提供一种商品定位识别方法，包括：获取输入的待识别图像；将所述待识别图像输入至预先训练的神经网络模型中，提取出所述待识别图像中商品对应的区域；所述预先训练的神经网络模型为Faster-RCNN网络模型；截取所述商品对应的区域作为子图，输入至预先训练的图像分类神经网络模型；所述预先训练的图像分类神经网络模型为VGG-Net网络模型；由所述图像分类神经网络模型计算出所述子图属于各个商品类别的概率，识别出所述待识别图像中商品的类别。可选地，所述VGG-Net网络模型的训练过程包括：对经过标注商品的训练样本图像进行预处理，输入至所述VGG-Net网络模型，加入已知的类别标签，用交叉熵作为损失函数，用随机梯度下降的方式计算反向传播梯度，用梯度优化网络参数，直到损失趋近于0。可选地，所述预先训练的神经网络模型为采用inception-v2作为基础的Faster-RCNN网络模型，所述Faster-RCNN网络模型的训练过程包括：将训练样本图像输入到所述Faster-RCNN网络模型中，由RPN预测的边框与已知的标注边框产生边框Smooth函数损失，由RPN预测的类别与已知的标注类别产生类别交叉熵损失，在全连接层与精修后的边框与类别产生第二次损失，使用随机梯度下降的方式优化损失，在优化过程中，第二步的损失所产生的梯度会被阻断在RPN层之后，不断对RPN及RPN层之前的网络参数进行优化。可选地，采用tensorflow中冻结模型的模型为pb文件的方式来联合所述VGG-Net网络模型与所述Faster-RCNN网络模型。可选地，所述训练样本图像的生成过程包括：将人工进行商品mask区域标注的图像作为训练图像，输入至DeepLab网络进行训练；采用训练好的DeepLab网络对样本图像进行自动化标注，生成训练样本图像。本专利技术还提供了一种商品定位识别装置，包括：图像获取模块，用于获取输入的待识别图像；区域提取模块，用于将所述待识别图像输入至预先训练的神经网络模型中，提取出所述待识别图像中商品对应的区域；所述预先训练的神经网络模型为Faster-RCNN网络模型；输入模块，用于截取所述商品对应的区域作为子图，输入至预先训练的图像分类神经网络模型；所述预先训练的图像分类神经网络模型为VGG-Net网络模型；类别识别模块，用于由所述图像分类神经网络模型计算出所述子图属于各个商品类别的概率，识别出所述待识别图像中商品的类别。可选地，所述VGG-Net网络模型为：对经过标注商品的训练样本图像进行预处理，输入至所述VGG-Net网络模型，加入已知的类别标签，用交叉熵作为损失函数，用随机梯度下降的方式计算反向传播梯度，用梯度优化网络参数，直到损失趋近于0。可选地，所述预先训练的神经网络模型为采用inception-v2作为基础的Faster-RCNN网络模型，所述Faster-RCNN网络模型为：将训练样本图像输入到所述Faster-RCNN网络模型中，由RPN预测的边框与已知的标注边框产生边框Smooth函数损失，由RPN预测的类别与已知的标注类别产生类别交叉熵损失，在全连接层与精修后的边框与类别产生第二次损失，使用随机梯度下降的方式优化损失，在优化过程中，第二步的损失所产生的梯度会被阻断在RPN层之后，不断对RPN及RPN层之前的网络参数进行优化。本申请还提供了一种商品定位识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述任一种所述商品定位识别方法的步骤。本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述商品定位识别方法的步骤。本专利技术所提供的商品定位识别方法，通过获取输入的待识别图像；将待识别图像输入至预先训练的神经网络模型中，提取出待识别图像中商品对应的区域；预先训练的神经网络模型为Faster-RCNN网络模型；截取商品对应的区域作为子图，输入至预先训练的图像分类神经网络模型；预先训练的图像分类神经网络模型为VGG-Net网络模型；由图像分类神经网络模型计算出子图属于各个商品类别的概率，识别出待识别图像中商品的类别。本申请通过将VGG-Net分类网络与Faster-RCNN网络相结合，可以减少显存占用，约十倍提升检测的速度，同时还能够提升识别的准确率。此外，本申请还提供了一种具有上述技术效果的商品定位识别装置、设备以及计算机可读存储介质。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提供的商品定位识别方法的一种具体实施方式流程图；图2为本申请所提供的商品定位识别方法的另一种具体实施方式的流程图；图3为本专利技术实施例提供的商品定位识别装置的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的商品定位识别方法的一种具体实施方式流程图如图1所示，该方法包括：步骤S101：获取输入的待识别图像；步骤S102：将所述待识别图像输入至预先训练的神经网络模型中，提取出所述待识别图像中商品对应的区域；所述预先训练的神经网络模型为Faster-RCNN网络模型；预先训练的神经网络模型为采用inception-v2作为基础的Faster-RCNN网络模型，所述Faster-RCNN网络模型的训练过程包括：将训练样本图像输入到所述Faster-RCNN网络模型中，由RPN预测的边框与已知的标注边框产生边框Smooth函数损失，由RPN预测的类别与已知的标注类别产生类别交叉熵损失，在全连接层与精修后的边框与类别产生第二次损失，使用随机梯度下降的方式优化损失，在优化过程中，第二步的损失所产生的梯度本文档来自技高网...

【技术保护点】
1.一种商品定位识别方法，其特征在于，包括：获取输入的待识别图像；将所述待识别图像输入至预先训练的神经网络模型中，提取出所述待识别图像中商品对应的区域；所述预先训练的神经网络模型为Faster‑RCNN网络模型；截取所述商品对应的区域作为子图，输入至预先训练的图像分类神经网络模型；所述预先训练的图像分类神经网络模型为VGG‑Net网络模型；由所述图像分类神经网络模型计算出所述子图属于各个商品类别的概率，识别出所述待识别图像中商品的类别。

【技术特征摘要】
1.一种商品定位识别方法，其特征在于，包括：获取输入的待识别图像；将所述待识别图像输入至预先训练的神经网络模型中，提取出所述待识别图像中商品对应的区域；所述预先训练的神经网络模型为Faster-RCNN网络模型；截取所述商品对应的区域作为子图，输入至预先训练的图像分类神经网络模型；所述预先训练的图像分类神经网络模型为VGG-Net网络模型；由所述图像分类神经网络模型计算出所述子图属于各个商品类别的概率，识别出所述待识别图像中商品的类别。2.如权利要求1所述的商品定位识别方法，其特征在于，所述VGG-Net网络模型的训练过程包括：对经过标注商品的训练样本图像进行预处理，输入至所述VGG-Net网络模型，加入已知的类别标签，用交叉熵作为损失函数，用随机梯度下降的方式计算反向传播梯度，用梯度优化网络参数，直到损失趋近于0。3.如权利要求2所述的商品定位识别方法，其特征在于，所述预先训练的神经网络模型为采用inception-v2作为基础的Faster-RCNN网络模型，所述Faster-RCNN网络模型的训练过程包括：将训练样本图像输入到所述Faster-RCNN网络模型中，由RPN预测的边框与已知的标注边框产生边框Smooth函数损失，由RPN预测的类别与已知的标注类别产生类别交叉熵损失，在全连接层与精修后的边框与类别产生第二次损失，使用随机梯度下降的方式优化损失，在优化过程中，第二步的损失所产生的梯度会被阻断在RPN层之后，不断对RPN及RPN层之前的网络参数进行优化。4.如权利要求3所述的商品定位识别方法，其特征在于，采用tensorflow中冻结模型的模型为pb文件的方式来联合所述VGG-Net网络模型与所述Faster-RCNN网络模型。5.如权利要求2至4任一项所述的商品定位识别方法，其特征在于，所述训练样本图像的生成过程包括：将人工进行商品mask区域标注的图像作为训练图像，输入至DeepLab网络进行训练；采用训练好的DeepLab网络对样本图像进...

【专利技术属性】
技术研发人员：陈志明，梁瀚君，冯新宇，
申请(专利权)人：广州逗号智能零售有限公司，
类型：发明
国别省市：广东,44