【技术实现步骤摘要】
本专利技术涉及物流仓储、机器人控制领域，具体是一种基于深度学习与点云的无序堆叠物料分拣方法。
技术介绍
1、农业领域对果蔬的采摘、分拣作业，制造业中对零部件的分拣、装配作业，再生资源领域对可回收物料的识别、分拣作业，物流行业对快递的分类、分拣作业等。由于技术限制，上述应用往往依赖人工操作，存在人工劳动强度高，而工作低效率的问题。如采用机器人代替人工作业，则上述应用场景均可归结为机器人对无序堆叠物料的分拣问题。与平面目标抓取不同，三维场景中的物料无序叠加、互相遮挡。如何准确识别、分类无序场景中的物料，并准确检测其在机器人工作空间的位置和姿态，是机器人抓取操作的首要关键问题。
技术实现思路
1、针对上述存在的问题，本专利技术提出一种基于深度学习与点云的无序堆叠物料分拣方法。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于深度学习与点云的无序堆叠物料分拣方法，所述方法包括：
4、s1、获取训练所需的物料数据集，对数据集进行预处理并完成数据标注；
5、s本文档来自技高网...
【技术保护点】
1.一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S1中数据集采集多组无序堆叠物料的彩色图像，将RGB图像转换为640×480分辨率大小，并使用旋转和翻转进行数据增强，使用LabelImg软件对无序堆叠物料的RGB图像中处于表面、未被遮挡的完整物料进行矩形标签标注，标签保存格式选择YOLO格式。
3.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S2中使用YOLOv5目标检测网络进行模型训...
【技术特征摘要】
1.一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述s1中数据集采集多组无序堆叠物料的彩色图像，将rgb图像转换为640×480分辨率大小，并使用旋转和翻转进行数据增强，使用labelimg软件对无序堆叠物料的rgb图像中处于表面、未被遮挡的完整物料进行矩形标签标注，标签保存格式选择yolo格式。
3.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述s2中使用yolov5目标检测网络进行模型训练，样本按照3:1:1的比例划分训练集、验证集和测试机，使用训练集用于模型的训练，验证集用于模型的验证，测试机用于模型的测试；模型训练完成将yolov5的detect脚本改写为detectapi类用于外部调用yolov5的推理api。
4.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述s3中使用深度相机采集对齐后的待分拣无序堆叠物料的彩色图像和深度图像，其中彩色图像用于yolov5的推理，深度图像通过绝对值缩放转化为8位灰度图像用于构建三维点云，灰度值越大表示物料距相机越远，缩放的尺度因子，表示所需深度相机的有效拍摄距离；使用训练后的yolov5模型对彩色图像进行推理，选择推理结果中置信度最高的物料作为机械臂的当前抓取目标，并根据所识别的边界框对灰度图像进行截取，截取区域为yolov5所识别到的区域对应的灰度/深度图像；根据相机成像模型，将所识别边界框中的各二维像素点以及对应的深度值转化到相机坐标系下，在相机坐标系下各个三维点间的位置即表示实际空间位置，至此完成三维点云的构建。
5.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述随机一致性采样算法，在三维点云中随机选择三个不共线的点所在的平面作为估计平面模型，求出所估计平面的法向量和平面上一点，计算其余所有点到该估计平面的距离，距离小于阈值的点作为该平面模型的内点，重复以上步骤进行多次迭代，在迭代中选择内点数量最多的平面模型作为该算法的最佳估计平面模型。
6.根据权利要求5所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，改进所述随机一致性采样算法，每次进行随机一致性采样获得最佳估计平面后，将该估计平面的所有内点在三...
【专利技术属性】
技术研发人员：杨洋，李经纬，李建辉，
申请(专利权)人：摩派空间天津有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。