一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法制造方法及图纸

本发明专利技术公开一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，所述装置包括工业机械臂、双目视觉、末端夹持器、蓝光面光源、机械臂底座、工控机。工业机械臂安装在机械臂底座上，机械臂底座根据任务需求设计高度。双目视觉系统安装在机械臂末端，视觉系统的相机光轴方向与机械臂末端工具坐标系的Z轴垂直。末端夹持器安装于机械臂末端工具坐标系沿Z轴方向，双目视觉系统之后。本发明专利技术利用双目视觉系统和机械臂实现了重型工件的精确位姿测量和稳定抓取，不需要每个工位点都对重型工件的抓取进行示教，节省大量的示教工作量和时间，并且大大减小了机械定位设计的难度和要求，提高了整个装配系统的灵活性和稳定性。

A device and method based on binocular vision and mechanical arm for precise measurement and grasping of large workpiece

【技术实现步骤摘要】
一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法
本专利技术涉及机器人测量与控制领域，尤其涉及一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法。
技术介绍
目前机器人视觉伺服技术一般为单目视觉，多用于2D及2.5D装配作业，且通常针对小零件的抓取和装配作业。首先，利用单目视觉测量待装配零件在平面内的位置。然后，控制机械臂和抓手抓取待装配零件完成装配操作。由于单目视觉对深度信息不敏感，所以只能用来测量平面的位移信息和绕垂直平面轴的一个旋转信息，当前的机器人视觉伺服技术很难解决大型工件在三维空间中的位姿测量与抓取。
技术实现思路
为了解决大型工件三维空间位姿测量和抓取的难题，本专利技术的目的在于提供一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法。一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，其特征在于，该装置包括：机械臂底座，工业机械臂，双目视觉，蓝光面光源，工控机，末端夹持器，电磁阀连接线，动力气路，相机连接线，光源连接线，其特征在于，所述工业机械臂安装在机械臂底座上，双目视觉安装在机械臂末端，末端夹持器安装在机械臂末端，使双目视觉位于机械臂末端与夹持器之间。优选的，所述双目视觉的视野方向与末端夹持器的抓取方向成90°，该结构使末端夹持器在设计时，不必考虑视觉系统的安装布置问题，便于设计抓取重型工件的夹持器。优选的，所述双目视觉使用大面积的面光源，双目相机从面光源的开孔处获取视野。优选的，所述末端夹持器由气路提供动力，由电磁阀控制夹爪的释放与抓紧。进一步地，该方法包括离线和在线两个过程：离线过程：步骤S1：将待抓取工件以任意位姿摆放，作为示教位姿。人为示教工件在该位姿下，机械臂的抓取位姿TG；步骤S2：机械臂带动双目视觉运动到拍照位姿TC，使待抓取工件的粗匹配特征和精定位特征在双目视觉的视野中；步骤S3：根据双目视觉重建的精定位特征点，确定工件的位姿TM，并根据坐标变换关系计算出抓取姿态下，机械臂与工件的相对位姿TMG，该相对位姿在工件抓取时是保持不变的；在线过程：步骤S4：机械臂带动双目视觉运动到工件上方的拍照位姿TC’，双目视觉系统采集工件的实时图像，并进行粗匹配定位和精定位，确定工件的当前位姿TM’。步骤S5：根据离线过程求得的抓取姿态下机械臂与工件的相对位姿TMG，求得当前工件位姿下，机械臂的抓取位姿TG’，给机械臂发送指令，让机械臂运动到抓取位姿，对工件进行抓取。本专利技术不需要对机械臂进行多次示教，只需要示教一个抓取位姿，就能够对任意姿态摆放的工件进行精确抓取；本专利技术采用工件模板匹配粗定位和几何特征拟合精定位相结合的方法，既能提高工件定位的稳定性，又能对工件的位姿进行高精度的测量，实现高精度抓取作业。实验生产证明，本专利技术能够实现大尺寸重型工件的精确位姿测量与抓取作业，并大大减少不同位姿摆放工件的示教工作。附图说明图1为本专利技术基于双目视觉和机械臂的大型工件位姿测量与抓取的装置示意图。图2为本专利技术基于双目视觉和机械臂的大型工件位姿测量与抓取的方法流程图。其中：1-机械臂底座，2-工业机械臂，3-双目视觉，4-蓝光面光源，5-末端夹持器，6-电磁阀连接线，7-动力气路，8-相机连接线，9-光源连接线，10-工控机，11-机械臂通讯连接线。具体实施方式为了加深对本专利技术的理解，下面将结合实施例对本专利技术做进一步详述，本实施例仅用于解释本专利技术，并不构成对本专利技术保护范围的限定。本专利技术提出一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，其特征在于，该装置包括：机械臂底座1，工业机械臂2，双目视觉3，蓝光面光源5，工控机10，末端夹持器5，电磁阀连接线6，动力气路7，相机连接线8，光源连接线9，其特征在于，所述工业机械臂2安装在机械臂底座1上，双目视觉3安装在机械臂末端，末端夹持器5安装在机械臂末端，使双目视觉3位于机械臂末端与夹持器之间，所述双目视觉3的视野方向与末端夹持器的抓取方向成90°，该结构使末端夹持器在设计时，不必考虑视觉系统的安装布置问题，便于设计抓取重型工件的夹持器，所述双目视觉3使用大面积的面光源，双目相机从面光源的开孔处获取视野，所述末端夹持器5由气路提供动力，由电磁阀控制夹爪的释放与抓紧。本方法包括离线和在线两个过程：离线过程：步骤S1：将待抓取工件以任意位姿摆放，作为示教位姿。人为示教工件在该位姿下，机械臂的抓取位姿TG；步骤S2：机械臂带动双目视觉运动到拍照位姿TC，使待抓取工件的粗匹配特征和精定位特征在双目视觉的视野中；步骤S3：根据双目视觉重建的精定位特征点，确定工件的位姿TM，并根据坐标变换关系计算出抓取姿态下，机械臂与工件的相对位姿TMG，该相对位姿在工件抓取时是保持不变的；在线过程：步骤S4：机械臂带动双目视觉运动到工件上方的拍照位姿TC’，双目视觉系统采集工件的实时图像，并进行粗匹配定位和精定位，确定工件的当前位姿TM’。步骤S5：根据离线过程求得的抓取姿态下机械臂与工件的相对位姿TMG，求得当前工件位姿下，机械臂的抓取位姿TG’，给机械臂发送指令，让机械臂运动到抓取位姿，对工件进行抓取。本专利技术不需要对机械臂进行多次示教，只需要示教一个抓取位姿，就能够对任意姿态摆放的工件进行精确抓取；本专利技术采用工件模板匹配粗定位和几何特征拟合精定位相结合的方法，既能提高工件定位的稳定性，又能对工件的位姿进行高精度的测量，实现高精度抓取作业。以上所述的具体实施例，对本专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施例而已，并不用于限制本专利技术，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。上面所述的实施例仅仅是对本专利技术的实施方式进行描述，并非对本专利技术的构思和范围进行限定。在不脱离本专利技术设计构思的前提下，本领域普通人员对本专利技术的技术方案做出的各种变型和改进，均应落入到本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，其特征在于，该装置包括：机械臂底座（1)，工业机械臂(2)，双目视觉(3)，蓝光面光源(5)，工控机(10），末端夹持器(5)，电磁阀连接线(6)，动力气路(7)，相机连接线(8)，光源连接线(9)，其特征在于，所述工业机械臂(2)安装在机械臂底座(1)上，双目视觉(3)安装在机械臂末端，末端夹持器(5)安装在机械臂末端，使双目视觉(3)位于机械臂末端与夹持器之间。/n

【技术特征摘要】
1.一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，其特征在于，该装置包括：机械臂底座（1)，工业机械臂(2)，双目视觉(3)，蓝光面光源(5)，工控机(10），末端夹持器(5)，电磁阀连接线(6)，动力气路(7)，相机连接线(8)，光源连接线(9)，其特征在于，所述工业机械臂(2)安装在机械臂底座(1)上，双目视觉(3)安装在机械臂末端，末端夹持器(5)安装在机械臂末端，使双目视觉(3)位于机械臂末端与夹持器之间。


2.根据权利要求1所述的装置，其特征在于，所述双目视觉(3)的视野方向与末端夹持器的抓取方向成90°，该结构使末端夹持器（5）在设计时，不必考虑视觉系统的安装布置问题，便于设计抓取重型工件的末端夹持器（5）。


3.根据权利要求1所述的装置，其特征在于，所述双目视觉(3)使用大面积的面光源，双目相机从面光源的开孔处获取视野。


4.根据权利要求1所述的装置，其特征在于，所述末端夹持器(5)由...

【专利技术属性】
技术研发人员：李福东，朱文俊，徐鹏，
申请(专利权)人：南京曼新智能科技有限公司，
类型：发明
国别省市：江苏;32