【技术实现步骤摘要】
本专利技术属于机器人的一种视觉分拣工件的抓取方法，特别是涉及了一种考虑分拣目标相邻干扰的机器人最优抓取位姿获取方法。
技术介绍
1、近年来机器人被越来越广泛地应用于各个领域，通过取代劳动强度大、重复性高、作业环境恶劣以及其他不需要或者不适合人类完成的工作，机器人技术得到了快速发展，具有很大的研究价值和应用前景。
2、分拣是工业生产中一项常见而重要的工艺。通过机器人视觉分拣技术，分类整理流水线上摆放无序的工件、识别筛选带有缺陷的不合格产品等，生产效率得到显著提升。相比于传统的人工分拣，不仅避免了人为误差，而且具有很高的生产速度以及节约了任务成本。
3、机器人视觉分拣中，机器人通过外部相机获取抓取任务的图像信息，确定工件类型及位置坐标，使用目标识别、目标提取、抓取位姿检测等视觉算法实现抓取，满足种类繁多、堆叠情况复杂的工件分拣任务要求。
4、抓取作为工业机器人实现分拣的重要步骤，获取分拣工件准确的抓取位姿是完成抓取的关键。然而现有的抓取位姿检测方法中，中小工件的抓取往往只针对单一工件，没有考虑相邻工件的干扰影响；普通深度相机难以采集到小型工件的高分辨率图像，因而较难构建工件的三维点云实现6d抓取；基于深度学习的抓取方法同样也存在缺少工业环境中小型工件的公开数据集的问题，难以实现较高的检测精度。
技术实现思路
1、本专利技术目的是针对上述现有技术中所存在的不足，主要是用于解决工业机器人实现分拣任务时受到相邻工件干扰，难以获取分拣工件最优抓取位姿的问题，
2、本专利技术的技术方案如下：
3、步骤1：采集抓取任务rgb图像和深度图像，对抓取任务rgb图像进行分拣工件的识别和提取后，确定初始待抓取工件；
4、步骤2：结合分拣工件的上下位状态以及深度图像，确定最终的待抓取工件和对应的分拣目标区域、潜在干扰区域以及夹爪抓取点的补偿高度；
5、步骤3：根据分拣目标区域和潜在干扰区域以及夹爪结构，确定夹爪的抓取点搜索区域和实际干扰区域；
6、步骤4：设置搜索约束条件，根据夹爪的抓取点搜索区域和实际干扰区域，结合搜索约束条件和夹爪抓取点的补偿高度进行抓取位姿检测，获得最优抓取位姿；如果无法生成最优抓取位姿，则当前待抓取工件不可抓取并选择当前任务rgb图像中其他待抓取工件作为新的待抓取工件，重复步骤2-步骤3以及进行抓取位姿检测，直至获得最优抓取位姿；进而控制机器人手臂的夹爪，实现待抓取工件的抓取；
7、步骤5：重复步骤1-步骤4，不断采集图像并抓取每张图像中对应的待抓取工件，直至图像中的工件抓取完毕，完成机器人抓取。
8、所述步骤1具体为：
9、步骤1.1：采集抓取任务rgb图像和深度图像；
10、步骤1.2：对抓取任务rgb图像进行目标识别，获得各分拣工件的检测框，将与机器人手臂的夹爪距离最近的检测框所在分拣工件作为初始待抓取工件，若没有识别到工件，则结束抓取。
11、所述步骤2具体为：
12、步骤2.1：结合分拣工件的上下位状态，对当前待抓取工件进行上下位判断后，确定最终的待抓取工件以及获得分拣目标区域和各相邻目标区域；
13、步骤2.2：基于分拣目标区域以及对应的深度图像，分别对各相邻目标区域进行干扰区域的判断，获得潜在干扰区域以及夹爪抓取点的补偿高度。
14、所述步骤2.1具体为：
15、步骤2.1.1：根据当前待抓取工件生成最近图像区域，进而确定待抓取工件对应的潜在干扰工件，提取最近图像区域中各工件的目标区域；
16、步骤2.1.2：判断当前待抓取工件所在目标区域中当前待抓取工件是否处于物理堆叠的下位状态，如果当前待抓取工件处于下位状态，则记为不可抓取工件，将其上位的工件作为新的待抓取工件；
17、步骤2.1.3：重复步骤2.1.1-步骤2.1.2，直至当前待抓取工件为最上位状态，将最终的待抓取工件所在的目标区域作为分拣目标区域，最终的潜在干扰工件所在的目标区域作为各相邻目标区域。
18、所述步骤2.1.1具体为：
19、对当前待抓取工件对应检测框的四周拓展后，获得初始夹爪框，如果存在与夹爪框相交的检测框，则扩大夹爪框，使得与夹爪框相交的检测框包含在扩大的夹爪框中，将最终的夹爪框所在区域作为最近图像区域，接着将最近图像区域中除了当前待抓取工件所在检测框以外检测框所对应的工件记为潜在干扰工件。
20、所述步骤2.2具体为：
21、步骤2.2.1：对分拣目标区域与各相邻目标区域分别随机取点生成对应的点阵，利用深度相机的内外映射关系矩阵对所有点阵进行坐标系转换后，在深度图像中获得对应的点阵深度信息，进而获得对应的点阵高度信息；
22、步骤2.2.2：根据分拣目标区域和各相邻目标区域对应的点阵高度信息，将各相邻目标区域判定为潜在干扰区域和非潜在干扰区域以及获取夹爪抓取点的补偿高度。
23、所述步骤2.2.2具体为：
24、步骤2.2.2.1：根据分拣目标区域和各相邻目标区域对应的点阵高度信息，分别计算各相邻目标区域与分拣目标区域之间的高度差，计算公式如下：
25、
26、其中，ht表示第i个相邻目标区域与分拣目标区域之间的高度差，表示分拣目标区域对应的点阵平均高度，max{hi(x,y)}表示第i个相邻目标区域对应的点阵最大高度；
27、步骤2.2.2.2：当某个相邻目标区域与分拣目标区域之间的高度差小于等于高度差阈值ht时，则将该相邻目标区域判定为潜在干扰区域，否则判定该相邻目标区域为非潜在干扰区域，并根据所有非潜在干扰区域的高度信息计算得到夹爪抓取点的补偿高度。
28、所述步骤3具体为：
29、步骤3.1：根据夹爪结构生成夹爪滑窗，夹爪滑窗中对应于夹爪末端部位的两侧区域记为抓取屏蔽区；夹爪滑窗可绕其中心点旋转，由夹爪滑窗的中心点坐标和旋转角度组成夹爪滑窗位姿；
30、步骤3.2：将分拣目标区域的最小外接矩形记为抓取点搜索区域，再将抓取点搜索区域的四周基于夹爪滑窗相关尺寸拓展后，形成滑窗搜索区域；
31、步骤3.3：对所有潜在干扰区域进行逐像素筛选，只保留存在于滑窗搜索区域内的像素，从而形成实际干扰区域；再将滑窗搜索区域内的分拣目标区域和实际干扰区域置不同灰度值标记，其他均为背景区域的像素，则置0。
32、所述步骤4中，搜索约束条件具体为：
33、对抓取点搜索区域逐像素搜索过程中，改变夹爪的抓取位姿时，其对应的夹爪滑窗内有分拣目标区域的像素但没有实际干扰区域的像素，且抓取屏蔽区内只有背景区域的像素本文档来自技高网...
【技术保护点】
1.一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤1具体为：
3.根据权利要求1所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2具体为：
4.根据权利要求3所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.1具体为：
5.根据权利要求4所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.1.1具体为：
6.根据权利要求3所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.2具体为：
7.根据权利要求6所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.2.2具体为：
8.根据权利要求1所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤3具体为：
9.根据权利要求1所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤4中，搜索约束条件具体为：<...
【技术特征摘要】
1.一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤1具体为：
3.根据权利要求1所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2具体为：
4.根据权利要求3所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.1具体为：
5.根据权利要求4所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.1.1具体为：
6.根据权利要求3所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2.2具体为：
7.根据权利要求6所述的一种考虑分拣目标相邻干扰的机器人抓取方法，其特征在于，所述步骤2....
【专利技术属性】
技术研发人员：刘达新，刘振宇，谢超逸，张一飞，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。