一种基于双深度相机识别定位的机械臂抓取方法技术

本发明专利技术公开了一种基于双深度相机识别定位的机械臂抓取方法，属于机械臂抓取领域。通过设置两个深度相机，一个设置在机械臂外为第一相机，第一相机可

【技术实现步骤摘要】
一种基于双深度相机识别定位的机械臂抓取方法


[0001]本专利技术涉及机械臂抓取领域，具体涉及一种基于双深度相机识别定位的机械臂抓取方法。

技术介绍

[0002]当前机械臂识别抓取基本分为两种情况：第一种是相机固定在机械臂夹爪上，即相机与机械臂末端夹爪位置相对固定；第二种是相机固定在机械臂外，即相机与机械臂基坐标系位置相对固定。
[0003]相机固定在机械臂夹爪上，可在机械运动过程中实时更新自身与目标物的位置，可做到精准抓取，但是该方式同样存在局限性，由于相机固定在机械夹爪上，其视野依赖机械臂位姿，特别是在机械臂末端未朝向目标物或距目标物较近时，相机视野无法完整呈现目标物体，识别算法无法确定目标物上的抓取点。如果依靠转动机械臂去增大相机视野效率低下，同时机械臂功率比较大，长时间运动会增加功耗、缩短机械臂使用寿命，得不偿失。
[0004]相机与机械臂基坐标系相对固定的方式视野范围大，但是与目标物较远，识别误差较大，同时因相机与目标物位置也相对固定无法实时调整目标物的位置，从而无法精准抓取。

技术实现思路

[0005]针对现有的机械臂识别抓取存在的问题，本专利技术提供了一种基于双深度相机识别定位的机械臂抓取方法，有效提高深度相机识别效率和机械臂抓取精度。
[0006]本专利技术采用以下的技术方案：一种基于双深度相机识别定位的机械臂抓取方法，在机械臂外设置有一个第一相机，在机械臂末端的夹爪上设置有一个第二相机；抓取方法包括以下步骤：步骤1：机械臂启动，并初始化控制参数；步骤2：第一相机启动目标识别算法，对目标物进行识别，提取目标物的几何中心作为第一抓取点，获取第一抓取点在第一相机的坐标系下的坐标P
B
；步骤3：通过坐标变换矩阵将P
B
转化到机械臂基坐标系下，判断目标物是否在机械臂工作范围内，如果目标物在机械臂工作范围内则执行步骤4，如果目标物不在机械臂工作范围内则执行步骤2；步骤4：根据步骤3得到的P
B
转化到机械臂基坐标系下的坐标，控制机械臂末端的夹爪，带动第二相机运动到目标物附近同时启动第二相机的识别算法；步骤5：第二相机获取目标物的几何中心作为第二抓取点，第二抓取点在第二相机的坐标系下的坐标P
A
，通过坐标转化，获取P
A
过在机械臂末端的夹爪坐标系下的坐标；步骤6：控制机械臂对目标物进行抓取。
[0007]优选地，步骤2具体包括：
步骤2.1：第一相机识别到目标物后，提取目标物的几何中心作为第一抓取点，获取第一抓取点在第一相机的坐标系下的坐标P
B
；第一相机如果未识别到目标物，则第一相机绕相机Y轴
±
π范围内循环往复旋转，直到识别到目标物；步骤2.2：第一相机识别到目标物体后相机停止旋转，记录第一深度转角β，更新变换矩阵T
base2B
，提取目标物几何中心作为第一抓取点，获取第一抓取点在第一相机的坐标系下的坐标P
B
，变换矩阵的更新见式（1）和式（2）；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式（1）中代表第一相机的坐标系从标定时的位姿旋转到当前位姿所产生的变换矩阵，式（2）中T
base2B
代表当前时刻第一相机的坐标系到机械臂基坐标系的变换矩阵，T
base_B
代表手眼标定时获得的第一相机的坐标系到机械臂基坐标系的变换矩阵。
[0008]优选地，步骤3具体包括：通过坐标变换矩阵将P
B
转化到机械臂基坐标系下，变换关系为式（3），判断目标物是否在机械臂工作范围内，判断方法为式（4）；如果式（4）关系成立，则进入步骤4，否则屏蔽该目标物后跳转到步骤2；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）式（3）中代表第一抓取点在机械臂基坐标系下的坐标点，式（4）中表示第一抓取点到机械臂基坐标系原点的距离，是机械臂抓取阈值。
[0009]优选地，步骤4中控制机械臂末端的夹爪具体公式为：；则有；令；则有；进一步变换为：；其中，代表第二相机坐标系到机械臂末端夹爪坐标系的变换矩阵，该矩阵由手眼标定获得；代表第一抓取点在第二相机坐标系下的期望坐标，该坐标手动设置；通过变换矩阵得到第一抓取点在机械臂末端夹爪坐标系下的坐标，和分别代表机械臂末端夹爪坐标系在机械臂基坐标系下的姿态和位置，可通过上述公式求得。
[0010]优选地，步骤5具体包括：如果第二相机识别到目标物，则结合深度图像提取目标物表面轮廓信息，根据轮
廓信息是否连续判断目标物有无重叠现象，保留最前端完整的目标物，剔除遮挡目标；获取目标物的几何中心作为第二抓取点，第二抓取点在第二相机的坐标系下的坐标P
A
；获取P
A
过在机械臂末端的夹爪坐标系下的坐标；；如果第二相机未识别到目标物，则返回步骤2。
[0011]优选地，步骤6具体包括：机械臂对目标物抓取完成后，第二相机停止识别目标物同时机械臂控制程序判断是否收到停止运行信号，若收到则程序停止，机械臂回到初始位置，若未收到停止信号，则返回步骤2。
[0012]本专利技术具有的有益效果是：本专利技术提供的基于双深度相机识别定位的机械臂抓取方法，通过设置两个深度相机，一个设置在机械臂外为第一相机，第一相机可
±
180
°
往返交替扫描，扩大视野范围，使识别范围进一步扩大；一个设置在机械臂末端的夹爪上为第二相机，第二相机跟随机械臂末端的夹爪向目标物运动，可在运动过程中不断更新调整夹爪与目标物的相对位置，做到精准抓取。本方法的第一相机和第二相机协同作业，先由第一相机确定目标物大致位置，第二相机根据第一相机提供的目标位置靠近目标物后进行识别，进一步提高了识别精度，同时提高了机械臂的工作效率，减少了无用操作。
[0013]在识别算法上，第一相机采用最基本的目标识别算法，占用工控机资源少，识别效率高，首先通过该相机确定目标物存在且保证能够抓取到，第二相机采用“物体识别+边缘检测”方案，识别精度高，本方法中第二相机仅进行抓取作业时开启识别功能，有效减小工控机资源占用，降低能耗。本方法检测范围广，识别速度快，抓取精度高。
附图说明
[0014]图1为基于双深度相机识别定位的机械臂抓取方法的流程图。
具体实施方式
[0015]下面结合附图和具体实施例对本专利技术的具体实施方式做进一步说明：结合图1，一种基于双深度相机识别定位的机械臂抓取方法，在机械臂外设置有一个第一相机，在机械臂末端的夹爪上设置有一个第二相机。
[0016]第一相机可以设置在含有机械臂的机器人的头部，也可以设置在相对于机械臂固定基座不动的平台上。第一相机可
±
180
°
往返交替扫描，能够全方位的看到目标物。
[0017]还包括一个工控机，第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双深度相机识别定位的机械臂抓取方法，其特征在于，在机械臂外设置有一个第一相机，在机械臂末端的夹爪上设置有一个第二相机；抓取方法包括以下步骤：步骤1：机械臂启动，并初始化控制参数；步骤2：第一相机启动目标识别算法，对目标物进行识别，提取目标物的几何中心作为第一抓取点，获取第一抓取点在第一相机的坐标系下的坐标P
B
；步骤3：通过坐标变换矩阵将P
B
转化到机械臂基坐标系下，判断目标物是否在机械臂工作范围内，如果目标物在机械臂工作范围内则执行步骤4，如果目标物不在机械臂工作范围内则执行步骤2；步骤4：根据步骤3得到的P
B
转化到机械臂基坐标系下的坐标，控制机械臂末端的夹爪，带动第二相机运动到目标物附近同时启动第二相机的识别算法；步骤5：第二相机获取目标物的几何中心作为第二抓取点，第二抓取点在第二相机的坐标系下的坐标P
A
，通过坐标转化，获取P
A
过在机械臂末端的夹爪坐标系下的坐标；步骤6：控制机械臂对目标物进行抓取。2.根据权利要求1所述的一种基于双深度相机识别定位的机械臂抓取方法，其特征在于，步骤2具体包括：步骤2.1：第一相机识别到目标物后，提取目标物的几何中心作为第一抓取点，获取第一抓取点在第一相机的坐标系下的坐标P
B
；第一相机如果未识别到目标物，则第一相机绕相机Y轴
±
π范围内循环往复旋转，直到识别到目标物；步骤2.2：第一相机识别到目标物体后相机停止旋转，记录第一深度转角β，更新变换矩阵T
base2B
，提取目标物几何中心作为第一抓取点，获取第一抓取点在第一相机的坐标系下的坐标P
B
，变换矩阵的更新见式（1）和式（2）；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式（1）中 代表第一相机的坐标系从标定时的位姿旋转到当前位姿所产生的变换矩阵，式（2）中T
base2B
代表当前时刻第一相机的坐...

【专利技术属性】
技术研发人员：于海龙，张锐，
申请(专利权)人：北京钢铁侠科技有限公司，
类型：发明
国别省市：