一种基于双目视觉的工件定位与抓取方法技术

本发明专利技术公开了一种基于双目视觉的工件定位与抓取方法，通过双目相机采集的左、右两张工件图片，进行特征检测，根据特征提取工件抓取位姿信息，将工件的位置及姿态发送给机器人，引导机器人末端夹具抓取工件并搬运至仓储区，提高生产的自动化程度，替代人工操作，提高生产效率，减少工人劳动强度。

A method of workpiece location and grabbing based on binocular vision

【技术实现步骤摘要】
一种基于双目视觉的工件定位与抓取方法
本专利技术属于工件搬运领域，尤其涉及一种基于双目视觉的工件定位与抓取方法。
技术介绍
在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：工厂内工件一般需要人工进行搬运，这些工作重复度高，工作环境恶劣，同时工人劳动强度较大，导致生产效率较低。现有技术为人工搬运，工人劳动强度大，生产效率低；基于单目视觉的定位丧失了部分空间信息，对于高度定位精度低。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于视觉搬运系统，实现工件卸车后的自动仓储及过筛时工件的自动供料，提高生产的自动化程度，替代人工操作，提高生产效率，减少工人劳动强度的基于双目视觉的工件定位与抓取方法为了解决上述技术问题，本专利技术所采用的技术方案是：一种基于双目视觉的工件定位与抓取方法，包括如下步骤：1)工件抓取位姿检测：抓取位置为矩形工件中心所在位置，抓取位姿为矩形工件旋转角度的修正值；工件模型中标记点为定制标准圆，其圆心连接成的轮廓中心与矩形工件中心重合，因此对矩形工件的中心提取可转换为对标记点圆心连接成的轮廓中心提取；1.1)使用最小圆拟合对标记点进行圆心提取；1.2)将4个圆心坐标连接成一个轮廓特征；1.3)对轮廓拟合最小旋转矩形；1.4)提取旋转矩形中心坐标(x，y)和旋转角度α；2)姿态示教：将工件任意放置，相机采集工件图片，使用步骤1)算法进行中心坐标及旋转角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内，记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u；3)双目视觉模型求解工件抓取高度z：4)引导机器人抓取工件；5)将工件搬运至仓储区。所述步骤3)包括如下步骤：3.1)提取左相机中图像标记圆的中心像素坐标(xl,yl)，提取右相机中图像标记圆的中心像素坐标(xr,yr)；3.2)计算左右相机的视差d；d＝xl-xr；3.3)根据双目模型计算工件在相机坐标系下的高度z；其中f为相机焦距，左右相机的焦距相差较小，默认为相等，则左相机焦距等于右相机焦距f＝f左＝f右。所述第4)步包括如下步骤：4.1)重新任意放置工件，使用步骤1算法检测并提取工件中心坐标(x，y)及旋转姿态β；4.2)提取到的像素坐标系下的工件中心坐标(x，y)和工件在相机坐标系下的高度z通过转换矩阵H转换到机器人基坐标系下坐标(xb,yb,zb)；此处H矩阵为相机坐标系与机器人基坐标系的转换矩阵，通过手眼标定可得到；4.3)计算此时工件旋转角度β与示教工件旋转角度αr的角度差：Δangle＝β-αr；则机器人的姿态角度修正值为u+Δangle；4.4)将求得的机器人基坐标系下的位置坐标(xb,yb,zb)及姿态u+Δangle发送给机器人，机器人到达该位置，驱动气缸打开夹爪，完成抓取。所述第5)步中，机器人搬运工件到达已示教的仓储区位置。上述技术方案中的一个技术方案具有如下优点或有益效果，基于视觉搬运系统，实现工件卸车后的自动仓储及过筛时工件的自动供料，提高生产的自动化程度，替代人工操作，提高生产效率，减少工人劳动强度。附图说明图1为本专利技术实施例中提供的基于双目视觉的工件定位与抓取方法的矩形工件的结构示意图；图2为图1的基于双目视觉的工件定位与抓取方法的原理图；具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。参见图1-2，一种基于双目视觉的工件定位与抓取方法，包括如下步骤：1、工件抓取位姿检测图1为工件模型和末端夹具，末端夹具需与工件凹槽铆合才能进行抓取，因此抓取位置为矩形工件中心所在位置，抓取位姿为矩形工件旋转角度的修正值。工件模型中Mark点为定制标准圆，其圆心连接成的轮廓中心与矩形工件中心重合，因此对矩形工件的中心提取可转换为对Mark点圆心连接成的轮廓中心提取即可。(1)使用最小圆拟合对Mark点进行圆心提取；(2)将4个圆心坐标连接成一个轮廓特征；(3)对轮廓拟合最小旋转矩形；(4)提取旋转矩形中心坐标(x，y)和旋转角度α。2、姿态示教将工件任意放置，相机采集工件图片，使用步骤1算法进行中心坐标及旋转角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内，记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u。3、双目视觉模型求解工件抓取高度z(1)提取左相机中图像Mark圆一的中心像素坐标(xl,yl)，提取右相机中图像Mark圆一的中心像素坐标(xr,yr)；(2)计算左右相机的视差d；d＝xl-xr(3)根据双目模型计算工件在相机坐标系下的高度z；其中f为相机焦距，左右相机的焦距相差较小，默认为相等，则左相机焦距等于右相机焦距f＝f左＝f右b为两相机中心的距离，此距离为相机内参标定时得到的；4、引导机器人抓取工件(1)重新任意放置工件，使用步骤1算法检测并提取工件中心坐标(x，y)及旋转姿态β；(2)将提取到的像素坐标系下的工件中心坐标(x，y)和工件在相机坐标系下的高度z通过转换矩阵H转换到机器人基坐标系下坐标(xb,yb,zb)。此处H矩阵为相机坐标系与机器人基坐标系的转换矩阵，通过手眼标定可得到；(3)计算此时工件旋转角度β与示教工件旋转角度αr的角度差：Δangle＝β-αr则机器人的姿态角度修正值为u+Δangle；(4)将求得的机器人基坐标系下的位置坐标(xb,yb,zb)及姿态u+Δangle发送给机器人，机器人到达该位置，驱动气缸打开夹爪，完成抓取。5、搬运至仓储区机器人搬运工件到达已示教的仓储区位置；能快速检测抓取位姿，并且在大范围视觉检测时x，y方向精度可达0.5mm，z精度可达0.5mm，旋转角度精度小于0.5°。采用上述的方案后，基于视觉搬运系统，实现工件卸车后的自动仓储及过筛时工件的自动供料，提高生产的自动化程度，替代人工操作，提高生产效率，减少工人劳动强度。上面结合附图对本专利技术进行了示例性描述，显然本专利技术具体实现并不受上述方式的限制，只要采用了本专利技术的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本专利技术的构思和技术方案直接应用于其它场合的，均在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的工件定位与抓取方法，其特征在于，包括如下步骤：/n1)工件抓取位姿检测：抓取位置为矩形工件中心所在位置，抓取位姿为矩形工件旋转角度的修正值；工件模型中标记点为定制标准圆，其圆心连接成的轮廓中心与矩形工件中心重合，因此对矩形工件的中心提取可转换为对标记点圆心连接成的轮廓中心提取；/n1.1)使用最小圆拟合对标记点进行圆心提取；/n1.2)将4个圆心坐标连接成一个轮廓特征；/n1.3)对轮廓拟合最小旋转矩形；/n1.4)提取旋转矩形中心坐标(x，y)和旋转角度α；/n2)姿态示教：/n将工件任意放置，相机采集工件图片，使用步骤1)算法进行中心坐标及旋转角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内，记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u；/n3)双目视觉模型求解工件抓取高度z：/n4)引导机器人抓取工件；/n5)将工件搬运至仓储区。/n

【技术特征摘要】
1.一种基于双目视觉的工件定位与抓取方法，其特征在于，包括如下步骤：
1)工件抓取位姿检测：抓取位置为矩形工件中心所在位置，抓取位姿为矩形工件旋转角度的修正值；工件模型中标记点为定制标准圆，其圆心连接成的轮廓中心与矩形工件中心重合，因此对矩形工件的中心提取可转换为对标记点圆心连接成的轮廓中心提取；
1.1)使用最小圆拟合对标记点进行圆心提取；
1.2)将4个圆心坐标连接成一个轮廓特征；
1.3)对轮廓拟合最小旋转矩形；
1.4)提取旋转矩形中心坐标(x，y)和旋转角度α；
2)姿态示教：
将工件任意放置，相机采集工件图片，使用步骤1)算法进行中心坐标及旋转角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内，记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u；
3)双目视觉模型求解工件抓取高度z：
4)引导机器人抓取工件；
5)将工件搬运至仓储区。


2.如权利要求1所述的基于双目视觉的工件定位与抓取方法，其特征在于，所述步骤3)包括如下步骤：
3.1)提取左相机中图像标记圆的中心像素坐标(xl,yl)，提取右相机中图像标记圆的中心像素坐标(xr,yr)；<...

【专利技术属性】
技术研发人员：张星宇，陈健，刘志恒，高云峰，曹雏清，
申请(专利权)人：芜湖哈特机器人产业技术研究院有限公司，
类型：发明
国别省市：安徽;34