一种无监督3D纸箱检测方法及系统技术方案

本发明专利技术公开了一种无监督3D纸箱检测方法及系统，通过输入原始点云，对点云数据进行滤波处理；利用K

【技术实现步骤摘要】
一种无监督3D纸箱检测方法及系统


[0001]本专利技术涉及智能仓储物流
，尤其公开了一种无监督3D纸箱检测方法及系统。

技术介绍

[0002]为提高仓储空间的利用率、货物分拣效率、货车空间利用率和降低运营成本等问题，在仓储物流行业进行货品装车时都需要得知目标对象(物流纸箱)放置的空间位置，再进行抓取，然后搬运放在合适的位置，以达到在指定规格的容器(货车)内最大化地利用空间。
[0003]对于物体空间位置的检测是实现物流自动智能化搬运货品的关键，对于提高物流作业的效率具有重要意义。在过去研究中，物体空间位置检测研究主要侧重于二维图像中的检测。然而，当检测图片出现严重的遮挡与噪声时，常导致检测算法不精确等问题。近期出现的对于物体的三维检测算法技术能更好的获取物体的位置、尺寸、方向等一些空间结构信息。三维检测技术是指利用各种方法对被测物体进行全方位检测，得到整个被测物体的三维坐标。现有使用单目或双目视觉的方法来完成三维检测任务，但容易受物体遮挡、视点变化和尺度变化的影响，导致检测精度不佳及鲁棒性差等问题。
[0004]因此，现有使用单目或双目视觉的方法来完成三维检测任务，但容易受物体遮挡、视点变化和尺度变化的影响，导致检测精度不佳及鲁棒性差，是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供了一种无监督3D纸箱检测方法及系统，旨在解决现有使用单目或双目视觉的方法来完成三维检测任务，但容易受物体遮挡、视点变化和尺度变化的影响，导致检测精度不佳及鲁棒性差的技术问题。r/>[0006]本专利技术的一方面涉及一种无监督3D纸箱检测方法，包括以下步骤：
[0007]对点云的处理：输入原始点云，对点云数据进行滤波处理；利用K
‑
Means聚类筛选出纸箱点云；
[0008]对图像的处理：以纸箱单通道鸟瞰图作为Canny边缘检测算法的输入图，再进行轮廓检测和Canny边缘检测，得到目标纸箱位置区域。
[0009]进一步地，对点云的处理的步骤包括：
[0010]采集点云数据，将3D相机放置于拍摄区域正上方，调整相机角度使得地面在相机坐标系中与Z轴垂直，并对目标区域进行拍摄，得到背景图；
[0011]保存背景图数据后，以物流纸箱作为待测物，3D相机对目标区域进行拍摄；
[0012]通过3D相机拍摄得到背景点云数据集合和纸箱点云数据集合，根据拍摄得到的背景点云数据集合和纸箱点云数据集合，获取纸箱表面点云的Z轴数据集合和传送带点云的Z轴数据集合；
[0013]采用基于欧式距离的无监督学习聚类算法对获取的纸箱表面点云的Z轴数据集合
和传送带点云的Z轴数据集合进行聚类分析；聚类后分为黑色点云子集和蓝色点云子集两大类，依据点云数量大小判断，将蓝色点云子集设为纸箱表面区域，将黑色点云子集设为传送带区域；
[0014]将聚类后得到纸箱表面点云的Z轴数据集合和传送带点云的Z轴数据集合依据点云数量分别提取，进行点云分割得到纸箱表面点云。
[0015]进一步地，通过3D相机拍摄得到背景点云数据集合和纸箱点云数据集合，根据拍摄得到的背景点云数据集合和纸箱点云数据集合，获取纸箱表面点云的Z轴数据集合和传送带点云的Z轴数据集合的步骤中，假设纸箱表面点云的X轴数据集合为B
x
＝{X
b1
，X
b2
，...，X
bn
}、纸箱表面点云的Y轴数据集合为B
y
＝{Y
b1
，Y
b2
，...，Y
bn
}、传送带点云的X轴数据集合为G
x
＝{X
g1
，X
g2
，...，X
gn
}、传送带点云的Y轴数据集合为G
y
＝{Y
g1
，，Y
g
由于纸箱和传送带往往具有不同的高度差异，根据点云的Z轴数据特征，分为纸箱表面点云的Z轴数据集合B
z
＝{X
p
∈(X
B
∩X
G
)，Y
p
∈(Y
B
∩Y
G
)|Z
b1
，Z
b2
，...，Z
bn
}和传送带点云的Z轴数据集合为G
z
＝{X
p
∈(X
B
∩X
G
)，Y
p
∈(Y
B
∩Y
G
)|Z
g1
，Z
g2
，...，Z
gn
}。
[0016]进一步地，对图像的处理的步骤包括：
[0017]对三维点云进行预处理降维操作，分割得到的纸箱表面点云的Z轴数据集合根据深度信息转换为纸箱单通道鸟瞰图；
[0018]采用Canny边缘检测算法在纸箱单通道鸟瞰图上得到边缘信息；
[0019]在Canny边缘检测算法进行边缘检测处理后，依据得到的边缘信息，采用轮廓检测算法得到角点；
[0020]采用轮廓检测算法获取角点信息，再使用最小外接矩形拟合算法得到纸箱的长度和宽度，获得最小外接矩形。
[0021]进一步地，采用轮廓检测算法获取角点信息，再使用最小外接矩形拟合算法得到纸箱的长度和宽度，获得最小外接矩形的步骤包括：
[0022]按照直接计算方法计算某个轮廓区域的外接矩形，并记录外接矩形长度、宽度和面积，获取最小外接矩形RectMin，并得到其面积值赋给变量AreaMin，设置旋转角度α＝0
°
；
[0023]对轮廓区域进行旋转一个角度θ，求取旋转后的的最小外接矩形RectTmp，获得其面积值赋给变量AreaTmp；
[0024]设置旋转角α＝α+θ，比较AreaTmp和AreaMin的大小，将小面积值赋给AreaMin，并将此时的旋转角赋值给β＝α，矩形信息赋给RectMin＝RectTmp；
[0025]获取一个最小的外接矩形RectMin以及与矩形RectMi相对应的旋转角度α；
[0026]将计算出的矩形RectMin反旋转一个β角度，获得最小外接矩形。
[0027]本专利技术的另一方面涉及一种无监督3D纸箱检测系统，包括：
[0028]点云处理模块，用于对点云的处理：输入原始点云，对点云数据进行滤波处理；利用K
‑
Means聚类筛选出纸箱点云；
[0029]图像处理模块，用于对图像的处理：以纸箱单通道鸟瞰图作为Canny边缘检测算法的输入图，再进行轮廓检测和Canny边缘检测，得到目标纸箱位置区域。
[0030]进一步地，点云处理模块包括：
[0031]背景拍摄单元，用于采集点云数据，将3D相机放置于拍摄区域正上方，调整相机角度使得地面在相机坐标系中与Z轴垂直，并对目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督3D纸箱检测方法，其特征在于，包括以下步骤：对点云的处理：输入原始点云，对点云数据进行滤波处理；利用K
‑
Means聚类筛选出纸箱点云；对图像的处理：以纸箱单通道鸟瞰图作为Canny边缘检测算法的输入图，再进行轮廓检测和Canny边缘检测，得到目标纸箱位置区域。2.如权利要求1所述的无监督3D纸箱检测方法，其特征在于，所述对点云的处理的步骤包括：采集点云数据，将3D相机放置于拍摄区域正上方，调整相机角度使得地面在相机坐标系中与Z轴垂直，并对目标区域进行拍摄，得到背景图，背景一般为地面或者传送带；保存背景图数据后，以物流纸箱作为待测物，3D相机对目标区域进行拍摄；通过3D相机拍摄得到背景点云数据集合和纸箱点云数据集合，根据拍摄得到的所述背景点云数据集合和所述纸箱点云数据集合，获取纸箱表面点云的Z轴数据集合和背景点云的Z轴数据集合；采用基于欧式距离的无监督学习聚类算法对获取的所述纸箱表面点云的Z轴数据集合和所述传送带点云的Z轴数据集合进行聚类分析；聚类后分为黑色点云子集和蓝色点云子集两大类，依据点云数量大小判断，将蓝色点云子集设为纸箱表面区域，将黑色点云子集设为传送带区域；将聚类后得到所述纸箱表面点云的Z轴数据集合和所述背景点云的Z轴数据集合依据点云数量分别提取，进行点云分割得到纸箱表面点云。3.如权利要求2所述的无监督3D纸箱检测方法，其特征在于，所述通过3D相机拍摄得到背景点云数据集合和纸箱点云数据集合，根据拍摄得到的所述背景点云数据集合和所述纸箱点云数据集合，获取纸箱表面点云的Z轴数据集合和传送带点云的Z轴数据集合的步骤中，假设纸箱表面点云的X轴数据集合为B
x
＝{X
b1
,X
b2
,...,X
bn
}、纸箱表面点云的Y轴数据集合为B
y
＝{Y
b1
,Y
b2
,...,Y
bn
}、传送带点云的X轴数据集合为G
x
＝{X
g1
,X
g2
,...,X
gn
}、传送带点云的Y轴数据集合为G
y
＝{Y
g1
，Y
g2
，...，Y
gn
}，由于纸箱和传送带往往具有不同的高度差异，根据点云的Z轴数据特征，分为纸箱表面点云的Z轴数据集合B
z
＝{X
p
∈(X
B
∩X
G
),Y
p
∈(Y
B
∩Y
G
)|Z
b1
,Z
b2
,...,Z
bn
}和传送带点云的Z轴数据集合为G
z
＝{X
p
∈(X
B
∩X
G
),Y
p
∈(Y
B
∩Y
G
)|Z
g1
,Z
g2
,...,Z
gn
}。4.如权利要求2所述的无监督3D纸箱检测方法，其特征在于，所述对图像的处理的步骤包括：对三维点云进行预处理降维操作，分割得到的纸箱表面点云的Z轴数据集合根据深度信息转换为纸箱单通道鸟瞰图；采用Canny边缘检测算法在所述纸箱单通道鸟瞰图上得到边缘信息；在Canny边缘检测算法进行边缘检测处理后，依据得到的所述边缘信息，采用轮廓检测算法得到角点；采用轮廓检测算法获取角点信息，再使用最小外接矩形拟合算法得到纸箱的长度和宽度，获得最小外接矩形。5.如权利要求4所述的无监督3D纸箱检测方法，其特征在于，所述采用轮廓检测算法获取角点信息，再使用最小外接矩形拟合算法得到纸箱的长度和宽度，获得最小外接矩形的
步骤包括：按照直接计算方法计算某个轮廓区域的外接矩形，并记录外接矩形长度、宽度和面积，获取最小外接矩形RectMin，并得到其面积值赋给变量AreaMin，设置旋转角度α＝0
°
；对轮廓区域进行旋转一个角度θ，求取旋转后的的最小外接矩形RectTmp，获得其面积值赋给变量AreaTmp；设置旋转角α＝α+θ，比较AreaTmp和AreaMin的大小，将小面积值赋给AreaMin，并将此时的旋转角赋值给β＝α，矩形信息赋给RectMin＝RectTmp；获取一个最小的外接矩形RectMin以及与所述矩形RectMi相对应的旋转角度α；将计算出的所述矩形RectMin反旋转一个β角度，获得最小外接矩形。6.一种无监督3D纸箱检测系统，其特征在于，包括：点云处理模块(10)，用于对点云的处理：输入原始点云，对点...

【专利技术属性】
技术研发人员：周志刚，陈勇超，李昌昊，孔祥宇，
申请(专利权)人：湖北普罗格科技股份有限公司，
类型：发明
国别省市：