一种基于3D视觉的智能拆垛方法及拆垛系统技术方案

本发明专利技术具体公开了一种基于3D视觉的智能拆垛方法及拆垛系统，所述方法包括以下步骤：S1、采集箱垛的图像信息并进行预处理；S2、根据预处理后的图像信息获取码放箱垛的顶层区域并设定拆垛顺序；S3、根据设定的拆垛顺序获取至少包含一个箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；S4、综合两种方法的判断结果确定候选框中待抓取箱子的摆放姿势；S5、计算抓取机械手的旋转角度，并控制机械手抓取箱子拆垛。本发明专利技术通过利用传统图像处理方法和深度学习方法综合判断待抓取箱子的摆放姿势，保证了拆垛过程不受箱子类型、外观和尺寸的影响，同时还能快速导入运行，具有安装便捷、成本低廉且拆垛效率高的特点。

【技术实现步骤摘要】
一种基于3D视觉的智能拆垛方法及拆垛系统
本专利技术涉及智能拆垛
，尤其涉及一种基于3D视觉的智能拆垛方法及拆垛系统。
技术介绍
在仓储物流和电商物流等行业中，拆垛作业是一项常见的工作环节，具体是将托盘上面堆好的箱垛按照需求拆垛，有可能是一次性拆完，有可能是拆部分。最传统的拆垛作业是由人工完成，劳动强度大、工作效率低、容易出错，且长时间作业还会出现腰肌劳损、腰椎盘突出等疾病，具有安全隐患。随着工业机器人技术的发展，将机器人用于拆垛越来越广泛。但却不能完全解决拆垛问题。如只能用于尺寸和摆放固定的箱子；受箱子偏离、变形等影响，示教节点与实际抓取位置有偏差，容易出错。为此，提出了基于视觉的拆垛系统，基于视觉的方式分为2D和3D视觉两种。2D视觉方案无法精准获取抓取高度；需要模板匹配识别，每种箱子都要创建模板；受光照及箱子表面纹理影响较大。现有3D视觉能弥补2D视觉方案的部分缺陷，但是仍存在一些问题，如对光源亮度即功率要求较高；不能满足大视野的栈板拆垛要求；识别出错而无法自我报警导致抓取不稳出现高空掉箱问题，致使货物的破损或报废，给客户带来直接经济损失，而且还存在造价较高和节拍慢的问题。鉴于此，设计一种安装便捷、拆垛效率高且不受箱子外观、类型和尺寸影响、稳定性高的智能拆垛方法及拆垛系统是本
技术人员亟待解决的技术问题。
技术实现思路
本专利技术的目的是提供一种基于3D视觉的智能拆垛方法及拆垛系统，所述方法利用传统图像处理方法和深度学习方法分别判断待抓取箱子的摆放姿势并进行综合决策，既保证了快速导入运行，又可以不受箱子的类型、外观和尺寸的影响，具有安装便捷、稳定性高、成本低廉且拆垛效率高的特点。为解决上述技术问题，本专利技术提供一种基于3D视觉的智能拆垛方法，所述方法包括以下步骤：S1、通过图像获取装置获取箱垛的原始灰度图像和深度图像的信息，并对所获取的箱垛图像信息进行预处理；S2、根据预处理后的图像信息获取栈板中码放箱垛的顶层区域并设定拆垛顺序；S3、根据设定的拆垛顺序从所述顶层区域中获取至少包含一个待抓取箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；S4、根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策，确定所述候选框中待抓取箱子的摆放姿势；S5、根据步骤S4中所确定待抓取箱子的摆放姿势计算出机械手抓取待抓取箱子时的旋转角度，最后控制机械手对箱垛上的待抓取箱子进行抓取拆垛。优选地，所述步骤S1的具体实现方式为：通过2D相机和3D相机获取箱垛的原始灰度图像和深度图像信息，并利用滤波操作对所获取的箱垛图像信息进行预处理。优选地，所述步骤S3的具体实现方式包括：S31、根据设定的拆垛顺序和待抓取箱子的实际尺寸从顶层区域中获取至少包含一个待抓取箱子区域的候选框；S32、利用传统图像处理方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势；S33、利用深度学习方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势。优选地，所述步骤S32的具体实现方式包括：S321、通过图像处理算法从所述候选框中提取待抓取箱子的空间特征和纹理特征；S322、将步骤S321中所提取的箱子空间特征和纹理特征输入到决策树中进行判断，得到所述候选框中待抓取箱子的摆放姿势。优选地，所述步骤S33的具体实现方式包括：S331、将利用传统图像处理方法得到待抓取箱子摆放姿势的样本数据进行深度学习训练，建立深度学习训练模型；S332、将所述候选框输入到深度学习训练模块中进行处理，得到所述候选框中待抓取箱子的摆放姿势。优选地，所述步骤S4中根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策的具体实现方式为：当传统图像处理方法和深度学习方法的判断结果一致时，则系统认为判断正确，即可确定候选框中箱子的摆放姿势，并识别出待抓取箱子的空间位置信息；否则报警。优选地，所述步骤S5中计算出抓取箱子时机械手的旋转角度的同时还判断抓取拆垛过程中是否存在掉箱、多抓和抓取顺序不正确的抓取风险，如果存在抓取风险，则系统报警并停止抓取动作。一种基于3D视觉的智能拆垛系统，包括：图像获取装置，用于获取栈板上箱垛的原始灰度图像和深度图像的信息；抓取机构，设于栈板一侧用于对栈板上所输送的箱垛进行拆卸；控制系统，分别与图像获取装置和抓取机构连接，用于控制图像获取装置获取箱垛图像信息，以及用于控制抓取机构对栈板上箱垛进行拆垛工作；上位机，与控制系统连接，用于对所获取的箱垛图像信息进行识别处理并与控制系统进行数据交互。优选地，所述图像获取装置包括底板和套设于底板上并与底板形成可密闭空间的外壳，所述底板上设有前挡板、后挡板、电路板、2D相机、3D相机和光源，2D相机、3D相机和光源并列固定设于底板右侧，前挡板位于底板右侧且前挡板上设有供2D相机和3D相机采集箱垛图像信息的视窗以及供光源透射至栈板上的通孔，后挡板位于底板左侧且后挡板上设有供电源线和通信线通过的线孔，电路板设于前挡板与后挡板之间用于将电压转换为相机所需电压。优选地，所述视窗和通孔上均设有圆形防护板，圆形防护板通过盖板分别固定在前挡板的视窗和通孔上，所述后挡板的线孔上装设有用于将图像获取装置内电源线和通信线与外部电源线和通信线进行转接的航空接头。与现有技术比较，本专利技术通过利用传统图像处理方法和深度学习方法分别判断待抓取箱子的摆放姿势并进行综合决策，既保证了拆垛过程中能够不受箱子的类型、外观和尺寸的影响，同时又能够快速导入运行；而所述智能拆垛系统能够将图像获取装置内部与外部独立分割，防止了灰尘进入，极大程度上保证了元器件的使用效果和使用寿命。因此具有安装便捷、成本低廉且拆垛效率高的特点。附图说明图1是本专利技术一种基于3D视觉的智能拆垛方法的流程图，图2是本专利技术中判断候选框中箱子摆放姿势的方法流程图，图3是本专利技术中利用传统图像处理方法判断箱子摆放姿势的方法流程图，图4是本专利技术中利用深度学习方法判断箱子摆放姿势的方法流程图，图5是本专利技术中一种基于3D视觉的智能拆垛系统的结构示意图，图6是本专利技术中一种基于3D视觉的智能拆垛系统中图像获取装置的俯视图，图7是图6的右视图，图8是图6的左视图，图9是本专利技术中图像获取装置安装于外壳内的结构示意图。图中：1.图像获取装置，11.前挡板，12.后挡板，13.电路板，14.2D相机，15.3D相机，16.光源，17.底板，18.视窗，19.通孔，20.线孔，21.圆形防护板，22.盖板，23.外壳，24.相机支架，25.3D相机固定板，26.光源固定板，3.抓取机构，4.控制系统，5.栈板，6.箱子，7.上位机。具体实施方式为了使本
的人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术作进一步的详细说明。...

【技术保护点】
1.一种基于3D视觉的智能拆垛方法，其特征在于，所述方法包括以下步骤：/nS1、通过图像获取装置获取箱垛的原始灰度图像和深度图像的信息，并对所获取的箱垛图像信息进行预处理；/nS2、根据预处理后的图像信息获取栈板中码放箱垛的顶层区域并设定拆垛顺序；/nS3、根据设定的拆垛顺序从所述顶层区域中获取至少包含一个待抓取箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；/nS4、根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策，确定所述候选框中待抓取箱子的摆放姿势；/nS5、根据步骤S4中所确定待抓取箱子的摆放姿势计算出机械手抓取待抓取箱子时的旋转角度，然后控制机械手对箱垛上的待抓取箱子进行抓取拆垛。/n

【技术特征摘要】
1.一种基于3D视觉的智能拆垛方法，其特征在于，所述方法包括以下步骤：
S1、通过图像获取装置获取箱垛的原始灰度图像和深度图像的信息，并对所获取的箱垛图像信息进行预处理；
S2、根据预处理后的图像信息获取栈板中码放箱垛的顶层区域并设定拆垛顺序；
S3、根据设定的拆垛顺序从所述顶层区域中获取至少包含一个待抓取箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；
S4、根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策，确定所述候选框中待抓取箱子的摆放姿势；
S5、根据步骤S4中所确定待抓取箱子的摆放姿势计算出机械手抓取待抓取箱子时的旋转角度，然后控制机械手对箱垛上的待抓取箱子进行抓取拆垛。


2.如权利要求1所述的基于3D视觉的智能拆垛方法，其特征在于，所述步骤S1的具体实现方式为：通过2D相机和3D相机获取箱垛的原始灰度图像和深度图像信息，并利用滤波操作对所获取的箱垛图像信息进行预处理。


3.如权利要求2所述的基于3D视觉的智能拆垛方法，其特征在于，所述步骤S3的具体实现方式包括：
S31、根据设定的拆垛顺序和待抓取箱子的实际尺寸从顶层区域中获取至少包含一个待抓取箱子区域的候选框；
S32、利用传统图像处理方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势；
S33、利用深度学习方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势。


4.如权利要求3所述的基于3D视觉的智能拆垛方法，其特征在于，所述步骤S32的具体实现方式包括：
S321、通过图像处理算法从所述候选框中提取待抓取箱子的空间特征和纹理特征；
S322、将步骤S321中所提取的箱子空间特征和纹理特征输入到决策树中进行判断，得到所述候选框中待抓取箱子的摆放姿势。


5.如权利要求4所述的基于3D视觉的智能拆垛方法，其特征在于，所述步骤S33的具体实现方式包括：
S331、将利用传统图像处理方法得到待抓取箱子摆放姿势的样本数据进行深度学习训练，建立深度学习训练模型；
S332、...

【专利技术属性】
技术研发人员：赵科，
申请(专利权)人：湖南视普瑞智能科技有限公司，
类型：发明
国别省市：湖南;43