一种基于深度摄像头的商品检测方法技术

本发明专利技术公开了一种基于深度摄像头的商品检测方法，本发明专利技术包括以下步骤：1)利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像。2)将深度信息转为灰度图像，从而使得灰度信息可视化；3)对去除背景噪声后的灰度图像进行图像增强；4)图像分割，设置合适的阈值将灰度图像转为二值图像，背景为黑色，感兴趣的商品区域为白色。5)边缘检测，对感兴趣的商品区域进行轮廓检测，找到商品的边缘轮廓，根据轮廓生成所需的包围盒信息。本发明专利技术无需提前采集大量数据训练检测模型，通过利用深度信息，基于传统图像处理方法即可获得商品的检测结果，节约成本，提高效率。

A Method of Commodity Detection Based on Depth Camera

【技术实现步骤摘要】
一种基于深度摄像头的商品检测方法
本专利技术属于计算机视觉领域，特别地，本专利技术涉及一种基于深度摄像头的商品检测方法。
技术介绍
物体检测是计算机视觉中的经典问题，从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测的精度越来越高。传统的物体检测技术算法通常包含三个部分：检测窗口的选择，特征的设计，分类器的设计。检测窗口的选择需要遍历整张图片，提取所有可能的候选框，这个过程计算量极大且效率很低。特征设计上有多种提取特征的方式，但是单独一种特征并不能很好的完成检测任务，往往需要多种特征的组合表达来完成高精度的检测。特征组合的设计选取需要进行大量实验，耗费大量人力和时间。传统的分类器有支持向量机，决策树等，要根据设计的特征选取合适的分类器。随着深度学习的发展，基于深度神经网络的端到端的物体检测框架出现，使物体检测的精度有了很大提升。与传统的检测技术相比，基于深度神经网络的物体检测框架借助深度神经网络强大的特征表达能力，可以从图片中提取到更有利于物体检测的特征；在检测窗口的选择上不再采用穷举法的方式，而是采用某种方式“提取”出一些候选窗口，在获得对待检测目标可接受的召回率的前提下，将候选窗口的数量控制在几千个或者几百个，如FasterR-CNN，通过区域提取网络(RPN)，在卷积特征图上使用滑动窗口，预测出k个区域提案。现在使用最多的框架有FasterR-CNN，SSD，YOLO等，SSD框架速度快，但准确率不高，FasterR-CNN可以获得较高的准确率，但速度较慢，YOLO对于小物体的检测很不准确。基于深度神经网络的物体检测框架虽然解决了传统物体检测框架中存在的繁琐速度慢等问题，但是这些框架需要大量的已标注的训练数据才能达到较好的检测精度，采集和标注数据不但耗费大量人力和精力，而且十分昂贵。并且对于一些场景很难获取大量的图像数据。
技术实现思路
本专利技术的目的是在智能零售的结算场景中，无需提前采集大量数据训练检测模型，通过利用深度信息，基于传统图像处理方法即可获得商品的检测结果，节约成本，提高效率。该方法利用深度摄像头进行数据的采集，能够同时获取RGB图像与深度信息，利用传统的图像处理方法，阈值处理，图像增强滤波等对深度信息进行处理得到商品的包围盒信息。本专利技术提出的一种基于深度摄像头的商品检测方法，其检测的过程包括以下步骤：步骤1、商品图像获取；首先将商品有间隔的放置在结算台面上；然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像；步骤2、商品检测2-1.将深度信息转为灰度图像，从而使得灰度信息可视化；读取商品深度信息，利用直方图计算函数对商品深度信息的分布进行统计；商品深度信息的有效深度值范围为[α1,α2]，将其均匀分为k个区间，通过直方图计算函数得到信息中的深度值落在每个区间的数量，数量最多的第i个区间为背景；根据直方图计算函数统计的结果，设置全局阈值H1＝(α2-α1)/k*i，将深度信息转为灰度图像I1；2-2.对灰度图像I1进行图像增强，得到灰度图像I2；2-3.对灰度图像I2进行图像滤波，得到灰度图像I3；2-4.对灰度图像I3进行图像分割，得到二值图像I4；利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，2-5.对二值图像I4进行边缘检测，根据找到的边缘轮廓得到包围盒的左上角坐标(x，y)以及包围盒的长宽参数w、h；2-6.由于深度摄像头和RGB摄像头处于不同位置，有部分偏移，所以从深度信息上得到的包围盒不能直接作为RGB图像上的包围盒；根据双目摄像头自带的偏移量参数；计算深度摄像头和RGB摄像头之间包围盒的偏移量，将根据深度信息得到的包围盒转换到RGB图像上。本专利技术的特点及有益效果：本专利技术实现了一种基于深度摄像头的商品检测方法，对零售场景下的快速结算有较大意义。本专利技术中的方法利用传统图像处理方法对原始深度信息进行处理，无需大量已标注的训练数据，无需训练即可得到较好的商品检测结果。此技术可以在普通PC机或工作站等硬件系统上实现。附图说明图1为本专利技术方法总体流程图；图2为深度摄像头环境搭建示意图；图3为商品检测具体步骤流程图；图4为商品检测流程实例图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术提出的基于深度摄像头的商品检测方法，如图1所示，包括以下三个步骤：步骤1、商品图像获取。首先将商品有间隔的放置在结算台面上；然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，示意图如图2所示。最后保存深度摄像头获取的信息，含商品深度信息的文件以及其深度图像。步骤2、商品检测2-1.读取包含商品深度信息的文件，利用直方图计算函数对商品深度信息的分布进行统计。商品深度信息的文件中的有效深度值范围为[α1,α2]，将其均匀分为k个区间，通过直方图计算函数得到文件中的深度值落在每个区间的数量，数量最多的第i个区间为背景。根据直方图计算函数统计的结果，设置全局阈值H1＝(α2-α1)/k*i，将深度信息转为灰度图像I1。2-2.对灰度图像I1进行图像增强，得到灰度图像I2，与I1相比，I2中的商品边界更加明显，有利于进行分割，但同时增加了噪声。2-3.对灰度图像I2进行图像滤波，得到灰度图像I3。滤波方法根据灰度图像12中出现的噪声类型进行选择，例如出现椒盐噪声则选择中值滤波方法。2-4.对灰度图像I3进行图像分割，得到二值图像I4。利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，2-5.对二值图像I4进行边缘检测，根据找到的边缘轮廓得到包围盒的左上角坐标(x，y)以及包围盒的长宽参数w、h。2-6.由于深度摄像头和RGB摄像头处于不同位置，有部分偏移，所以从深度信息上得到的包围盒不能直接作为RGB图像上的包围盒。根据双目摄像头自带的偏移量参数。计算深度摄像头和RGB摄像头之间包围盒的偏移量，将根据深度信息得到的包围盒转换到RGB图像上。实现本实施例方法的硬件PC配置：CPU：Intel(R)Core(TM)i5-7200UCPU@2.50GHz内存：8G操作系统：Windows10。本文档来自技高网...

【技术保护点】
1.一种基于深度摄像头的商品检测方法，其特征在于包括以下步骤：步骤1、商品图像获取；首先将商品有间隔的放置在结算台面上；然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像；步骤2、商品检测2‑1.将深度信息转为灰度图像，从而使得灰度信息可视化；读取商品深度信息，利用直方图计算函数对商品深度信息的分布进行统计；商品深度信息的有效深度值范围为[α1，α2]，将其均匀分为k个区间，通过直方图计算函数得到信息中的深度值落在每个区间的数量，数量最多的第i个区间为背景；根据直方图计算函数统计的结果，设置全局阈值H1＝(α2‑α1)/k*i，将深度信息转为灰度图像I1；2‑2.对灰度图像I1进行图像增强，得到灰度图像I2；2‑3.对灰度图像I2进行图像滤波，得到灰度图像I3；2‑4.对灰度图像I3进行图像分割，得到二值图像I4；利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，...

【技术特征摘要】
1.一种基于深度摄像头的商品检测方法，其特征在于包括以下步骤：步骤1、商品图像获取；首先将商品有间隔的放置在结算台面上；然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像；步骤2、商品检测2-1.将深度信息转为灰度图像，从而使得灰度信息可视化；读取商品深度信息，利用直方图计算函数对商品深度信息的分布进行统计；商品深度信息的有效深度值范围为[α1，α2]，将其均匀分为k个区间，通过直方图计算函数得到信息中的深度值落在每个区间的数量，数量最多的第i个区间为背景；根据直方图计算函数统计的结果，设置全局阈值H1＝(α2-α1)/k*i，将深度信息转为灰...

【专利技术属性】
技术研发人员：颜成钢，陈靖文，刘武，刘鑫晨，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，北京京东尚科信息技术有限公司，
类型：发明
国别省市：浙江,33