一种托盘纸箱垛型实时检测方法技术

本发明专利技术涉及一种托盘纸箱垛型实时检测方法，其步骤：由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；提取边缘轮廓，并利用二值图像得到直线的边缘轮廓，提取边缘轮廓的所有坐标得到最上层纸箱的边缘点；把深度图像上面的边缘点的坐标映射到RGB图像上；对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息；根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。

【技术实现步骤摘要】
一种托盘纸箱垛型实时检测方法
本专利技术涉及一种物流领域垛型检测方法，特别是关于一种托盘纸箱垛型实时检测方法。
技术介绍
在工业4.0的大时代和互联网大时代下，越来越多的智能产品也在不断地增长，物流就越来越多的成为了人们生活的主题。京东、阿里巴巴以及亚马逊等一个一个的物流公司也逐渐的出现。但由于中国的国情和人口的因素，物流的压力越来越大。所以，无人仓库的概念也由此产生，通过人工智能和视觉相结合，最终实现即使仓库里没有工业，也能实现仓库的快速分拣和装运。目前，关于垛形的检测方法还不是非常成熟，大多都是人工拆垛，费时费力。而且和现在的快速物流联动性不强，因为垛形的样式实在太多，而且堆放方式非常灵活。机器视觉在识别剁形上往往存在一个很大的问题就是仓库为了节约空间，堆垛的箱子都是紧密摆放的，中间缝隙非常小，难以完成垛型的自动识别。
技术实现思路
针对上述问题，本专利技术的目的是提供一种托盘纸箱垛型实时检测方法，该方法用于实时测量堆垛箱的顶层分布，为机械手实现自动拆垛提供实时数据，进而实现由操作机械手的运动完成无人仓库的拆垛。为实现上述目的，本专利技术采取以下技术方案：一种托盘纸箱垛型实时检测方法，其特征在于包括以下步骤：1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点；4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型；6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。进一步，所述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化；以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前递进出来的灰度阈值则为最终用于提取箱子轮廓的灰度阈值。进一步，所述步骤4)中，具体映射过程如下：4.1)提取边缘轮廓：在二值图像上，通过阈值的变化，利用二值图像得到箱子的边缘轮廓，再将边缘轮廓的坐标一个一个的提取出来，得到最上层纸箱的边缘点；4.2)建立彩色空间坐标的映射集，大小是424*512个，把深度图像的每个点在RGB空间里面的对应位置信息都存在的彩色空间坐标映射集中；4.3)提取RGB轮廓中的感兴区域，首先由得到的边缘轮廓，通过得到由深度图像映射到RGB图像的轮廓线的内边缘像素点和外边缘像素点，采用内边像素点的坐标，对全图做轮廓内外点判断，提取在轮廓内的所有点坐标，再通过这些点坐标去RGB采集的原始数据中找到相应的彩色通道的坐标值，再对其进行复制，映射。进一步，所述步骤5)中，彩色图像分割步骤如下：5.1)对由坐标映射得到的只含有垛上纸箱的彩色图像进行预处理，使彩色图像灰度化，并且用平滑的方法去掉图像区域边上的毛刺部分；5.2)用Canny边缘检测提取纸箱边缘像素，并进行膨胀处理，将膨胀后的图像作为纸箱之间分割的依据来分割纸箱区域，之后再二值化纸箱区域；5.3)此时得到的纸箱区域为白色区域，方便提取纸箱轮廓，设置阈值去除轮廓干扰，并依次采用非极大值抑制方法和基于长宽比统计的方法，得到的边框通过计算中点即为纸箱的抓取点。本专利技术由于采取以上技术方案，其具有以下优点：1、本专利技术用于实时测量堆垛箱的顶层分布，获得各个箱子的顶部中心坐标(X，Y，Z)和箱子的方向角，为机械手实现自动拆垛提供实时数据。从而操作机械手的运动，去实现无人仓库的拆垛。2、本专利技术通过深度相机和彩色图像的识别，实现了对垛形的准确识别，把数据传输给机械手去拆垛和进行下一步工作，有效解决了现有技术中存在的拆垛问题。3、本专利技术采用深度图像和彩色图像相结合的方法完成垛型的识别，如果单独用彩色图像，因为仓库的环境比较复杂，会出现很多干扰，如果单独用深度图像，因为摆放紧密，便又无法准确的逐个把箱子分割开，所以本专利技术采用深度相机和彩色相机相结合实现了对垛形的准确识别，把数据传输给机械手去拆垛和进行下一步工作。附图说明图1是本专利技术的整体流程示意图；图2是本专利技术将深度轮廓点映射到RGB轮廓点的效果图；图3是本专利技术提获取的垛型最终效果图。具体实施方式由于深度图像和RGB图像像素和各方面应用不一样，所以采取分别的处理，因为kinect采集的图像存在一些噪声，所以首先对图像进行预处理，例如彩色图像高斯滤波后，提高对比度，并且因为深度图像中存在一些红外线得到的视野盲点，所以要在模糊后，并且二值化后进行一些开运算来去掉由于红外线引起的视野盲点，之后再进行闭运算把箱子间的缝隙填满，得到一个完整的垛型最外层轮廓。下面结合附图和实施例对本专利技术进行详细的描述。如图1所示，本专利技术提供一种托盘纸箱垛型实时检测方法，其包括以下步骤：1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；因为深度图像和RGB图像像素和各方面应用不一样，所以采取分别的处理，因为深度相机和彩色相机采集的图像存在一些噪声，所以首先对深度图像进行预处理，例如彩色图像高斯滤波后，提高对比度，并且因为深度图像中存在一些红外线得到的视野盲点，所以要在模糊后，并且二值化后进行一些开运算来去掉由于红外线引起的视野盲点，之后再进行闭运算把箱子间的缝隙填满，得到一个完整的垛型最外层轮廓。2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；因为在深度相机的深度图像中像素的灰度值就是深度相机与检测物体的距离，所以设置灰度阈值的作用是能只获得某一层纸箱的像素点，这样可以避免很多没有必要的干扰，并且可以准确的得到某一层箱子的轮廓。但为了得到最上面一层的纸箱，采用递进方式来找阈值。3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，这样就得到了所有的边缘坐标，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点。4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型。6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。上述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化。以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前本文档来自技高网...

【技术保护点】
一种托盘纸箱垛型实时检测方法，其特征在于包括以下步骤：1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点；4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型；6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。

【技术特征摘要】
1.一种托盘纸箱垛型实时检测方法，其特征在于包括以下步骤：1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点；4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型；6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。2.如权利要求1所述的一种托盘纸箱垛型实时检测方法，其特征在于：所述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化；以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前递进出来的灰度阈值则为最终用于提取箱子轮廓的灰度阈值。3.如权利要求1所述的一种...

【专利技术属性】
技术研发人员：李天剑，刘诗晗，金秋，黄民，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11