【技术实现步骤摘要】
本专利技术涉及物流仓储、机器人控制领域，具体是一种基于深度学习与点云的无序堆叠物料分拣方法。
技术介绍
1、农业领域对果蔬的采摘、分拣作业，制造业中对零部件的分拣、装配作业，再生资源领域对可回收物料的识别、分拣作业，物流行业对快递的分类、分拣作业等。由于技术限制，上述应用往往依赖人工操作，存在人工劳动强度高，而工作低效率的问题。如采用机器人代替人工作业，则上述应用场景均可归结为机器人对无序堆叠物料的分拣问题。与平面目标抓取不同，三维场景中的物料无序叠加、互相遮挡。如何准确识别、分类无序场景中的物料，并准确检测其在机器人工作空间的位置和姿态，是机器人抓取操作的首要关键问题。
技术实现思路
1、针对上述存在的问题，本专利技术提出一种基于深度学习与点云的无序堆叠物料分拣方法。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于深度学习与点云的无序堆叠物料分拣方法，所述方法包括：
4、s1、获取训练所需的物料数据集，对数据集进行预处理并完成数据标注；
5、s2、使用yolov5目标检测网络训练一种针对无序堆叠物料识别的算法模型；
6、s3、基于yolov5的目标识别结果和深度相机采集的图像构建无序堆叠物料三维点云；
7、s4、选取yolov5识别边界框中心点的实际空间坐标作为机械臂抓取的末端点位，使用改进的随机一致性采样方法对无序堆叠物料三维点云进行多平面估计，选取估计平面内点数最多且包含末端抓取点的平面法
8、s5、根据坐标变换关系将相机坐标系下的各个点位转换至机械臂基坐标系下，得到各点位对应的机械臂的关节坐标；
9、s6、利用串口通信、arduino uno开发板、arduino mega 2560开发板和上位机实现机械臂末端执行器的控制。
10、所述s1中数据集采集多组无序堆叠物料的彩色图像，将rgb图像转换为640×480分辨率大小，并使用旋转、翻转等方法进行数据增强，使用labelimg软件对无序堆叠物料的rgb图像中处于表面、未被遮挡的完整物料进行矩形标签标注，标签保存格式选择yolo格式，标记后样本量约1700；
11、所述s2中使用yolov5目标检测网络进行模型训练，样本按照3:1:1的比例划分训练集、验证集和测试机，使用约1000个样本用于模型的训练，约340个样本用于模型的验证，约340个样本用于模型的测试；模型训练完成将yolov5的detect脚本改写为detectapi类用于外部调用yolov5的推理api；
12、所述s3中使用深度相机采集对齐后的待分拣无序堆叠物料的彩色图像和深度图像，其中彩色图像用于yolov5的推理，深度图像通过绝对值缩放转化为8位灰度图像用于构建三维点云，灰度值越大表示目标距相机越远，缩放的尺度因子 ， 表示所需深度相机的有效拍摄距离；使用训练后的yolov5模型对彩色图像进行推理，选择推理结果中置信度最高的物料作为机械臂的当前抓取目标，并根据所识别的边界框对灰度图像进行截取，截取区域为yolov5所识别到的区域对应的灰度（深度）图像；根据相机成像模型，将所识别边界框中的各二维像素点以及对应的深度值转化到相机坐标系下，在相机坐标系下各个三维点间的位置即表示实际空间位置，至此完成三维点云的构建。
13、所述s4中机械臂抓取点位的计算，在三维点云中选择yolov5识别边界框中心像素点所对应的三维点作为机械臂抓取的末端点位；
14、所述s4中机械臂抓取姿态的计算，基于改进随机一致性采样算法实现最佳抓取平面估计的方法为：
15、所述随机一致性采样算法，在三维点云中随机选择三个不共线的点所在的平面作为估计平面模型，求出所估计平面的法向量和平面上一点，计算其余所有点到该估计平面的距离，距离小于阈值的点作为该平面模型的内点，重复以上步骤进行多次迭代，在迭代中选择内点数量最多的平面模型作为该算法的最佳估计平面模型；
16、改进上述算法，每次进行随机一致性采样获得最佳估计平面后，将该估计平面的所有内点在三维点云中移除，再次进行随机一致性采样，重复上述步骤直至三维点云中点的数量少于3，完成对该三维点云的多平面估计，在所有拟合平面中选择内点包含机械臂末抓取末端点的平面法向量作为机械臂抓取该目标的末端姿态朝向；
17、所述s4中物料的尺寸估计，将yolov5识别边界框的长和宽转换为实际空间中的距离，选择距离较大的值作为物料的估计尺寸，该估计尺寸的范围为物料的实际长边尺寸至物料的对角线尺寸；
18、所述s4中单一物料的最佳拍摄点位估计中，使用上述边界框的长和宽的实际距离以及该方向对应的深度相机彩色帧的视场角估计相机到物料的距离，选择距离较大的值作为相机最佳拍摄点位到物料的高度，将该高度值与机械臂末端抓取点位结合转化为单一物料的最佳拍摄实际空间点位；
19、所述s5中使用opencv库完成相机与机械臂的手眼标定得到相机到机械臂末端的变换矩阵，再根据机械臂的位姿得到机械臂的末端到基座的变换矩阵，将相机坐标系下各点位的坐标值通过上述两个变换矩阵变换到机械臂基坐标系下，然后通过机械臂的逆运动学模型求解得到各点位对应的机械臂的关节坐标；
20、所述s6中利用串口通信、arduino uno开发板、arduino mega 2560开发板和上位机实现机械臂末端执行器的控制策略为：上位机读取深度相机对齐的深度图像和彩色图像，通过所述s2、s3、s4算法识别得到所抓取物料的位姿和尺寸，通过串口将物料的位姿发送给arduino mega 2560开发板控制机械臂末端走至物料中心点处，然后向arduino uno开发板发送开始抓取指令以开启末端吸盘执行器和真空负压传感器，机械臂带动吸盘向下压，若吸盘成功吸取到物料，真空负压传感器将给出高电平信号，并返回给上位机，上位机收到高电平信号后向arduino mega 2560发送指令控制机械臂走至初始位置；
21、所述s6中根据物料尺寸进行分级分拣：机械臂末端呈三角形安装有一个直径35mm吸盘、两个直径60mm吸盘，对于尺寸大于等于300mm的物料，上位机将控制机械臂使用三个吸盘同时进行吸取，然后将物料放至大货仓箱中；对于尺寸大于等于150mm，小于300mm的物料，上位机将控制机械臂使用一个60mm直径吸盘进行吸取，然后将物料放至中货仓箱中；对于尺寸小于150mm的物料，上位机将控制机械臂使用35mm直径吸盘进行吸取，然后将物料放至小货仓箱中，从而实现物料的稳定抓取和分拣。
22、与现有技术相比，本专利技术的有益效果是：
23、本专利技术打破了单一场景下对单一固定目标抓取的限制，结合深度学习目标识别网络，能够泛化到任意类型对象的抓取，能够适应多变复杂的实本文档来自技高网...
【技术保护点】
1.一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S1中数据集采集多组无序堆叠物料的彩色图像，将RGB图像转换为640×480分辨率大小，并使用旋转和翻转进行数据增强，使用LabelImg软件对无序堆叠物料的RGB图像中处于表面、未被遮挡的完整物料进行矩形标签标注，标签保存格式选择YOLO格式。
3.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S2中使用YOLOv5目标检测网络进行模型训练，样本按照3:1:1的比例划分训练集、验证集和测试机，使用训练集用于模型的训练，验证集用于模型的验证，测试机用于模型的测试；模型训练完成将YOLOv5的detect脚本改写为DetectAPI类用于外部调用YOLOv5的推理API。
4.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S3中使用深度相机采集对齐后的待分拣无序堆叠物料的彩色图像和深度图像，其中彩色图像用于
5.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述随机一致性采样算法，在三维点云中随机选择三个不共线的点所在的平面作为估计平面模型，求出所估计平面的法向量和平面上一点，计算其余所有点到该估计平面的距离，距离小于阈值的点作为该平面模型的内点，重复以上步骤进行多次迭代，在迭代中选择内点数量最多的平面模型作为该算法的最佳估计平面模型。
6.根据权利要求5所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，改进所述随机一致性采样算法，每次进行随机一致性采样获得最佳估计平面后，将该估计平面的所有内点在三维点云中移除，再次进行随机一致性采样，重复上述步骤直至三维点云中点的数量少于3，完成对该三维点云的多平面估计，在所有拟合平面中选择内点包含机械臂末抓取末端点的平面法向量作为机械臂抓取该物料的末端姿态朝向。
7.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S4中物料的尺寸估计，将YOLOv5识别边界框的长和宽转换为实际空间中的距离，选择距离较大的值作为物料的估计尺寸，所述估计尺寸的范围为物料的实际长边尺寸至对角线尺寸；
8.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S5中使用OpenCV库完成相机与机械臂的手眼标定得到相机到机械臂末端的变换矩阵，再根据机械臂的位姿得到机械臂的末端到基座的变换矩阵，将相机坐标系下各点位的坐标值通过变换矩阵变换到机械臂基坐标系下，然后通过机械臂的逆运动学模型求解得到各点位对应的机械臂的关节坐标。
9.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S6中利用串口通信、Arduino UNO开发板、Arduino Mega 2560开发板和上位机实现机械臂末端执行器的控制策略为：上位机读取深度相机对齐的深度图像和彩色图像，通过所述S2、S3、S4算法识别得到所抓取无序堆叠物料的位姿和尺寸，通过串口将物料的位姿发送给Arduino Mega 2560开发板控制机械臂末端走至物料中心点处，然后向Arduino UNO开发板发送开始抓取指令以开启末端吸盘执行器和真空负压传感器，机械臂带动吸盘向下压，若吸盘成功吸取到物料，真空负压传感器将给出高电平信号，并返回给上位机，上位机收到高电平信号后向Arduino Mega 2560发送指令控制机械臂走至初始位置。
10.根据权利要求9所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述S6中根据物料尺寸进行分级分拣：机械臂末端呈三角形安装有一个直径35mm吸盘、两个直径60mm吸盘，对于尺寸大于等于300mm的物料，上位机将控制机械臂使用三个吸盘同时进行吸取，然后将物料放至大货仓箱中；对于尺寸大于等于150mm，小于300mm的物料，上位机将...
【技术特征摘要】
1.一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述s1中数据集采集多组无序堆叠物料的彩色图像，将rgb图像转换为640×480分辨率大小，并使用旋转和翻转进行数据增强，使用labelimg软件对无序堆叠物料的rgb图像中处于表面、未被遮挡的完整物料进行矩形标签标注，标签保存格式选择yolo格式。
3.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述s2中使用yolov5目标检测网络进行模型训练，样本按照3:1:1的比例划分训练集、验证集和测试机，使用训练集用于模型的训练，验证集用于模型的验证，测试机用于模型的测试；模型训练完成将yolov5的detect脚本改写为detectapi类用于外部调用yolov5的推理api。
4.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述s3中使用深度相机采集对齐后的待分拣无序堆叠物料的彩色图像和深度图像，其中彩色图像用于yolov5的推理，深度图像通过绝对值缩放转化为8位灰度图像用于构建三维点云，灰度值越大表示物料距相机越远，缩放的尺度因子，表示所需深度相机的有效拍摄距离；使用训练后的yolov5模型对彩色图像进行推理，选择推理结果中置信度最高的物料作为机械臂的当前抓取目标，并根据所识别的边界框对灰度图像进行截取，截取区域为yolov5所识别到的区域对应的灰度/深度图像；根据相机成像模型，将所识别边界框中的各二维像素点以及对应的深度值转化到相机坐标系下，在相机坐标系下各个三维点间的位置即表示实际空间位置，至此完成三维点云的构建。
5.根据权利要求1所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，所述随机一致性采样算法，在三维点云中随机选择三个不共线的点所在的平面作为估计平面模型，求出所估计平面的法向量和平面上一点，计算其余所有点到该估计平面的距离，距离小于阈值的点作为该平面模型的内点，重复以上步骤进行多次迭代，在迭代中选择内点数量最多的平面模型作为该算法的最佳估计平面模型。
6.根据权利要求5所述的一种基于深度学习与点云的无序堆叠物料分拣方法，其特征在于，改进所述随机一致性采样算法，每次进行随机一致性采样获得最佳估计平面后，将该估计平面的所有内点在三...
【专利技术属性】
技术研发人员：杨洋，李经纬，李建辉，
申请(专利权)人：摩派空间天津有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。