一种基于旋转目标检测的视觉引导拆垛方法技术

本发明专利技术涉及拆垛视觉定位的技术领域，具体是一种基于旋转目标检测的视觉引导拆垛方法，包括(1)采用3D相机获取箱体堆垛的原始图像及对应的原始点云数据；(2)调用深度学习模型对所述原始图像进行旋转目标检测，得到箱体堆垛中顶层箱体的边界框坐标信息；(3)根据所述边界框坐标信息得到顶层箱体的掩膜，对所述掩膜进行点云映射，得到箱体的目标点云区域；(4)对所述目标点云区域进行平面拟合，计算箱体目标点云的位姿；(5)对所述位姿进行调整与排序，并进行拆垛。本发明专利技术针对拆垛场景下箱体堆垛密集堆叠、角度随机的特点，使用深度学习模型对目标箱体图像进行旋转目标检测，考虑了角度信息，能高效精确地得到箱体边界框，此外结合箱体点云信息，得到目标箱体的位姿，最终有效提升箱体拆垛时的定位精度。

【技术实现步骤摘要】

本专利技术涉及拆垛视觉定位，尤其涉及一种基于旋转目标检测的视觉引导拆垛方法。

技术介绍

1、在现代仓储物流领域中，拆垛分拣技术得到了长远的发展。由于拆垛场景中来料箱体完全随机，能否准确的识别与分割箱体堆垛是提升物流效率的首要问题；拆垛场景下的箱体来料随机，箱体角度随机、尺寸差异较大、密集堆叠的现象；同时由于箱体纹理特征、胶带污渍等影响，定位难度较大。

2、在实际的工业生产中，大多数机器人通常都是采用示教的方式，提前设计好机器人的相关运动轨迹和抓取位置，这种方式不能够实时感知机器人周围的环境信息，不能获取待拆垛箱体的实时位置和姿态，受到生产环境的约束性较大。

3、传统视觉特征提取算法使用经典的图像处理方法对目标特征进行提取，比如主流的边缘检测算法和sift特征匹配算法等，然而这种算法容易受到现场环境光照和物体遮挡的影响，鲁棒性不强，难以得到实际应用；而深度学习作为当前目标检测领域的主流算法，其精度与速度较传统视觉算法得到了很大的提升，现有的基于深度学习的视觉技术中，将水平目标检测方法简单迁移到拆垛场景下的箱体识别，各检测框之间存在重叠本文档来自技高网...

【技术保护点】

1.一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，包括：

2.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(1)具体为：采用所述3D相机拍摄得到箱体堆垛的原始RGB图像及深度图像，将所述深度图像转化为相机坐标系下的点云信息，保存原始图像与原始点云数据。

3.根据权利要求2所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述箱体堆垛为固定在托盘上的物料周转箱体。

4.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(2)具体为：利用预先训练好的所述深度学习模型，对所述原始...

【技术特征摘要】

1.一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，包括：

2.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(1)具体为：采用所述3d相机拍摄得到箱体堆垛的原始rgb图像及深度图像，将所述深度图像转化为相机坐标系下的点云信息，保存原始图像与原始点云数据。

3.根据权利要求2所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述箱体堆垛为固定在托盘上的物料周转箱体。

4.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(2)具体为：利用预先训练好的所述深度学习模型，对所述原始图像中目标箱体进行旋转目标检测，得到图像中堆垛顶层箱体的边界框坐标、分类标签及对应置信度信息。

5.根据权利要求4所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述深度学习模型为旋转目标检测...

【专利技术属性】
技术研发人员：王昌龙，程嘉宝，黄腾蛟，过志强，
申请(专利权)人：无锡信捷电气股份有限公司，
类型：发明
国别省市：