一种用于无人售货柜的采用双目视觉技术的商品识别算法，包括：数据准备；构建训练模型，所述训练模型采用基于TensorFlow框架下的yolo v3模型；验证上述模型，判断训练结果是否达到预期；若未达到预期，则调整参数进行优化并重复执行训练过程进行重新训练；若达到预期，则布署训练好的yolo v3模型用于目标商品的识别；利用所述无人售货柜上的双目摄像头获取待识别的目标商品的图像，所述图像输入训练好的所述yolo v3模型，识别出目标商品。本发明专利技术通过双目摄像头进行图像采集，减少商品遮挡或透视的情况；通过yolo v3模型进行目标检测，减小了识别算法的难度与计算量；并且，通过增加不同的尺度进行目标检测，提高了识别精度，在小目标商品上取得了更好的识别效果。
【技术实现步骤摘要】
一种用于无人售货柜的采用双目视觉技术的商品识别算法
本专利技术涉及无人售货柜及图像识别
，具体涉及一种用于无人售货柜的采用双目视觉技术的商品识别算法。
技术介绍
目前许多智能售货或者自助结算系统都是简单的对单个商品进行识别，这一方法非常简单，但是同时也对用户带来许多不便之处，比如用户需要将商品一个一个的依次送入摄像头拍摄区域，需要等待的时间太长。而多商品识别将会极大地方便用户，用户不需要自己将商品依次送入固定区域去识别，只需要拿走商品，系统自动结算。然而，目前使用单摄像头(单目)对多商品进行拍照识别的方法通常都限定摆放商品的货柜不能太大，如果货柜太大，使用一个摄像头将会使得拍下来的图像产生畸变，比如透视等。而图像存在畸变，会对识别算法带来许多的不便，比如图像存在遮挡，或者存在透视的情况下，商品识别算法将很难对这些商品进行识别。申请号201710982296.5的中国专利公开了基于视觉图像识别的自助收银机的无人便利店运营系统，通过图像采集的方式获取商品的图像数据，然后与预存的商品图像数据集合进行比对,找到与该图像数据相匹配的商品,调取对应的商品信息,如单价等信息,实现商品计价；同时在商品陈列室的出入口设置地秤,采集顾客进出该商品陈列室前后的重量,来控制出口屏蔽门的启闭,实现防损防盗。该专利主要是指一种自助结算机的解决方案，客户选好商品后，将商品一一送到履带上，履带会将商品送入一个可以拍照的的模块，对商品进行拍照，并进行商品识别，然后再统计客户的所有的商品，再进行结算。该专利的不足之处是采用单个摄像机对商品进行拍照，商品识别精度不高。现有的无人售货柜大多都是较小的货柜，一个摄像头便可以拍摄到货柜中所有的商品，并且不容易产生透视畸变等情况，但是，当货柜较大的时候，一个摄像头将会使得拍摄下来的图像产生严重的畸变，这会给之后的商品识别带来极大的困难。为解决此问题，现有技术中大多采用视野更广的摄像头，可以一定程度解决货柜场景过大的问题，但是遮挡和透视等问题仍然无法解决。为了解决单目摄像头在拍摄大货柜内商品时容易造成图像畸变的问题，本专利技术提出了一种利用双目摄像头进行拍摄并联合识别商品的解决方案。
技术实现思路
为克服上述现有技术的不足，本专利技术提供一种用于无人售货柜的采用双目视觉技术的商品识别算法，通过双目摄像头进行图像采集，减少商品遮挡或透视的情况；通过yolov3模型进行目标检测，减小了识别算法的难度与计算量；并且，通过增加不同的尺度进行目标检测，提高了识别精度，在小目标商品上取得了更好的识别效果。本专利技术是通过以下技术方案予以实现的：一种用于无人售货柜的采用双目视觉技术的商品识别算法，包括以下步骤：步骤一、数据准备，利用无人售货柜上的双目摄像头人为制造拍摄大量的商品图片，对所述商品图片进行预处理，获取商品图片的训练集和验证集；步骤二、构建训练模型，所述训练模型采用基于TensorFlow框架下的yolov3模型，其中包括卷积，利用所述训练集进行训练，在训练过程中，通过Adam算法和SGD算法进行优化，并通过所述yolov3模型后面的5个不同尺度进行目标检测，利用非极大值抑制算法对目标检测结果进行筛选，得到最终输出结果；步骤三、利用所述验证集验证上述模型，判断训练结果是否达到预期；若未达到预期，则调整参数进行优化并重复执行训练过程进行重新训练，直至达到预期效果；若达到预期，则布署训练好的yolov3模型用于目标商品的识别；步骤四、利用所述无人售货柜上的双目摄像头获取待识别的目标商品的图像，所述图像输入训练好的所述yolov3模型，识别出目标商品。优选地，步骤二进一步包括：对所述yolov3模型进行训练的过程中，学习率的初始值设为0.001。优选地，步骤二进一步包括：对所述yolov3模型后面的5个不同尺度进行目标检测，输出结果为600个框。优选地，步骤二进一步包括：设定置信度，利用非极大值抑制算法进行筛选，得到置信度排序靠前的40个框。优选地，步骤二进一步包括：设定阈值0.7，所述模型输出超过阈值0.7的框。优选地，步骤一进一步包括：所述无人售货柜包括多层货架，每层货架上设置一个双目摄像头，所述双目摄像头设置在与上层货架相接触的顶部位置。优选地，步骤一进一步包括：所述无人售货柜包括多层货架，每层货架上设置有两个单目摄像头，所述两个单目摄像头设置在货架的同侧且位于与上层货架相接触的顶部位置。优选地，步骤一进一步包括：所述两个单目摄像头分别设置在货架同侧顶部的三等分点的位置。与现有技术相比，本专利技术的有益效果在于，1)在大型无人售货柜的每层货架上设置双目摄像头，通过双目摄像头拍摄商品图像进行商品的联合识别，扩大了可拍摄的视野，减少了商品遮挡或透视的情况，提高了货柜的利用率；2)对基于TensorFlow框架下的yolov3模型进行改进，增加目标检测的尺度，针对无人售货柜货架上小目标商品较多的情况，在5个不同的尺度上进行目标检测，改善了小目标商品的识别效果，提高了识别精度；3)利用yolov3模型进行目标检测，极大地减少了计算量和计算时间，适用于无人售货柜的使用场景，节约了用户购买商品时的结算时间，提升了用户的使用感受。附图说明图1为根据本专利技术实施例的改进的yolov3模型进行目标检测的结构示意图；图2为根据本专利技术实施例的双目摄像头的安装示意图；图3为根据本专利技术实施例的一种用于无人售货柜的采用双目视觉技术的商品识别算法的流程图。具体实施方式以下将结合附图对本专利技术各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本专利技术所保护的范围。如图所示，本专利技术提供一种用于无人售货柜的采用双目视觉技术的商品识别算法，包括以下步骤：步骤一、数据准备，利用无人售货柜上的双目摄像头人为制造拍摄大量的商品图片，对所述商品图片进行预处理，获取商品图片的训练集和验证集；步骤二、构建训练模型，所述训练模型采用基于TensorFlow框架下的yolov3模型，其中包括卷积，利用所述训练集进行训练，在训练过程中，通过Adam算法和SGD算法进行优化，并通过所述yolov3模型后面的5个不同尺度进行目标检测，利用非极大值抑制算法对目标检测结果进行筛选，得到最终输出结果；具体地，对所述yolov3模型后面的5个不同尺度进行目标检测，输出结果为600个框，将超过图像区域的框剔除，设定置信度，利用非极大值抑制算法进行筛选，得到置信度排序靠前的40个框；设定阈值0.7，所述模型最终输出超过阈值0.7的框。即，认为输出的阈值超过0.7的框足以识别出目标商品；步骤三、利用所述验证集验证上述模型，判断训练结果是否达到预期；若未达到预期，则调整参数进行优化并重复执行训练过程进行重新训练，直至达到预期效果；若达到预期，则布署训练好的yolov3模型用于目标商品的识别；具体地，对所述yolov3模型进行训练的过程中，学习率的初始值设为0.001；当训练结果未达到预期时，可调整学习率重新进行优化；训练结果的预期值可自行设置，例如，设定为识别精度达到99％以上，即认为达到了预期的训练结果；步骤四、利用所述无人售货柜上的本文档来自技高网...
【技术保护点】
1.一种用于无人售货柜的采用双目视觉技术的商品识别算法，其特征在于，包括以下步骤：步骤一、数据准备，利用无人售货柜上的双目摄像头人为制造拍摄大量的商品图片，对所述商品图片进行预处理，获取商品图片的训练集和验证集；步骤二、构建训练模型，所述训练模型采用基于TensorFlow框架下的yolo v3模型，其中包括卷积，利用所述训练集进行训练，在训练过程中，通过Adam算法和SGD算法进行优化，并通过所述yolo v3模型后面的5个不同尺度进行目标检测，利用非极大值抑制算法对目标检测结果进行筛选，得到最终输出结果；步骤三、利用所述验证集验证上述模型，判断训练结果是否达到预期；若未达到预期，则调整参数进行优化并重复执行训练过程进行重新训练，直至达到预期效果；若达到预期，则布署训练好的yolo v3模型用于目标商品的识别；步骤四、利用所述无人售货柜上的双目摄像头获取待识别的目标商品的图像，所述图像输入训练好的所述yolo v3模型，识别出目标商品。
【技术特征摘要】
1.一种用于无人售货柜的采用双目视觉技术的商品识别算法，其特征在于，包括以下步骤：步骤一、数据准备，利用无人售货柜上的双目摄像头人为制造拍摄大量的商品图片，对所述商品图片进行预处理，获取商品图片的训练集和验证集；步骤二、构建训练模型，所述训练模型采用基于TensorFlow框架下的yolov3模型，其中包括卷积，利用所述训练集进行训练，在训练过程中，通过Adam算法和SGD算法进行优化，并通过所述yolov3模型后面的5个不同尺度进行目标检测，利用非极大值抑制算法对目标检测结果进行筛选，得到最终输出结果；步骤三、利用所述验证集验证上述模型，判断训练结果是否达到预期；若未达到预期，则调整参数进行优化并重复执行训练过程进行重新训练，直至达到预期效果；若达到预期，则布署训练好的yolov3模型用于目标商品的识别；步骤四、利用所述无人售货柜上的双目摄像头获取待识别的目标商品的图像，所述图像输入训练好的所述yolov3模型，识别出目标商品。2.如权利要求1所述的一种用于无人售货柜的采用双目视觉技术的商品识别算法，其特征在于，步骤二进一步包括：对所述yolov3模型进行训练的过程中，学习率的初始值设为0.001。3.如权利要求1所述的一种用于无人售货柜的采用双...
【专利技术属性】
技术研发人员：张运辉，方无迪，唐开，蔡丁丁，刘钰涛，
申请(专利权)人：武汉市哈哈便利科技有限公司，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。