一种无人零售购物台商品检测方法技术

本发明专利技术公开一种无人零售购物台商品检测方法，解决现有技术在真实的无人零售场景中自助结算商品检测率低的问题。本发明专利技术基于实例分割框架Mask RCNN进行改进，在提取商品特征的主干网络中加入SE模块强化提取商品重要特征，使用Balance‑FPN进行特征融合，输出强化语义信息特征图；筛选IoU均匀分布的正样本训练边界框回归，并增加IoU预测分支为边界框打分，将边界框IoU分数作为边界框排序的标准，用边界框IoU分数乘以分类分数作为非极大值抑制的衡量标准。针对购物台商品数据集摆放密集紧凑，互相遮挡，且朝向和视角随机多样的特点和难点，完成了对商品的检测任务，提升了商品检测的准确率。

【技术实现步骤摘要】
一种无人零售购物台商品检测方法
本专利技术属于图像处理领域，具体涉及一种无人零售购物台商品检测的方法，可应用于无人零售购物台商品自助结算。
技术介绍
近几年，无人超市快速兴起且发展迅速，像Amazongo、淘咖啡这样的自动化零售商店在国内外纷纷涌现，无人零售形式的快速发展已经成为无法忽视的现象，是一个有着巨大潜力的新型应用场景。人工智能算法在计算机视觉领域蓬勃发展，在设定的特定场景和任务中，通过算法处理信息可以达到非常高的认知水平。将人工智能技术应用于无人超市商品识别中，给人们的生活购物方式带来了巨大的改变。目前对于超市的商品识别，主要有单阶段和双阶段目标检测算法，单阶段目标检测算法对主干卷积网络提取的特征图直接进行目标定位和分类，双阶段目标检测算法先进行一次目标区域的筛选，再对目标进行定位和分类，这样的方法可以过滤掉大量的背景候选框，使得目标检测的精度更高。实例分割算法的目标是检测定位图像中的特定对象，并将对象分割出来，MaskRCNN是两阶段多任务网络模型的典型代表，同时进行图像分类，目标检测和图像分割，并且在三种任务中都达到了比较本文档来自技高网...

【技术保护点】
1.一种无人零售购物台商品检测方法，其特征在于，其基于实例分割网络模型maskrcnn，所述方法包括如下步骤：/n步骤1，制作购物台商品数据集：/n步骤1-1，根据顾客自助结算购物台商品摆放特点，设计商品摆放角度和朝向，并采用黑色背景降低光照对商品识别的影响，通过拍照设备制作收集4214张购物台商品数据集，包含80类不同的商品；/n步骤1-2，使用labelme软件，手动标注数据集，标注完成后，为每张图片生成一个json文件，记录标记的信息；/n步骤1-3，从购物台商品数据集中随机抽取3020张图片作为训练集，822张图片作为验证集，361张图片作为测试集，将划分好的数据集的json文件转换为...

【技术特征摘要】
1.一种无人零售购物台商品检测方法，其特征在于，其基于实例分割网络模型maskrcnn，所述方法包括如下步骤：
步骤1，制作购物台商品数据集：
步骤1-1，根据顾客自助结算购物台商品摆放特点，设计商品摆放角度和朝向，并采用黑色背景降低光照对商品识别的影响，通过拍照设备制作收集4214张购物台商品数据集，包含80类不同的商品；
步骤1-2，使用labelme软件，手动标注数据集，标注完成后，为每张图片生成一个json文件，记录标记的信息；
步骤1-3，从购物台商品数据集中随机抽取3020张图片作为训练集，822张图片作为验证集，361张图片作为测试集，将划分好的数据集的json文件转换为coco数据集格式；
步骤2，基于两阶段实例分割框架maskrcnn构建网络模型：
步骤2-1，主干网络提取原始图片的特征区域，生成共享特征图；
步骤2-2，候选区域生成网络RPN生成候选区域，对候选区域进行分类和边框回归修正；
步骤2-3，池化层从步骤2-2中生成的候选框中筛选出IoU均匀分布的正样本候选区域，为RPN候选区域和IoU正样本候选区域从共享特征图中提取对应的特征，并将特征维度转换为定值；
步骤2-4，将步骤2-3中转换后得到的特征图进行分类和生成掩膜，同时进行边框的第二次回归修正和IoU预测打分；
步骤3，训练购物台商品检测模型，将划分好的训练集对基于maskrcnn构建的网络模型进行训练，训练过程中结合验证集的精度和召回率指标，调整网络模型参数，最终停止训练网络模型，保存参数权重。

【专利技术属性】
技术研发人员：田智强，杨洋，李根，王丛，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61