一种工件抓取模板的生成方法及系统技术方案

本发明专利技术公开了一种工件抓取模板的生成方法及系统，其中，工件抓取模板的生成方法，包括：获取机器人对参考工件多角度拍摄的图像，其中，所述参考工件的表面贴附有抓取点标记；根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。本发明专利技术解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。

A Generation Method and System of Workpiece Grabbing Template

The invention discloses a method and system for generating workpiece grabbing template, in which a method for generating workpiece grabbing template includes: acquiring images taken by a robot from multiple angles of a reference workpiece, in which a grabbing point mark is attached to the surface of the reference workpiece; reconstructing the three-dimensional model of the reference workpiece according to the image, and generating workpiece grabbing template, in which, The workpiece grabbing template includes the position of the grabbable point on the reference workpiece indicated by the grabbing point mark. The invention solves the problems of large workload of importing model and difficulty in specifying grasping points when grasping workpiece, and improves the deployment speed of the robot three-dimensional vision grasping system.

【技术实现步骤摘要】
一种工件抓取模板的生成方法及系统
本专利技术实施例涉及三维重建
，尤其涉及一种工件抓取模板的生成方法及系统。
技术介绍
由于人工智能技术的发展，对于机器人的自动化要求逐渐变高，这就要求机器人能够根据人的指令对物体进行自主的抓取以及搬运等操作。目前，在流水线上利用机器人抓取工件时，都是通过摄像头获取工件图像数据，并通过图像处理等方式进行工件的定位及抓取。但是，现有技术的这种机器人视觉抓取方法具有若干缺点。具体地，该机器人视觉抓取方法需要很大的计算量，需要从照片信息计算出产品尺寸和产品位置。其次，由于计算过程复杂，从而导致操作的时效性较差。而且，无法对抓取点进行定位，只能进行粗略地抓取，容易损伤工件。
技术实现思路
有鉴于此，本专利技术的目的是提出一种工件抓取模板的生成方法及系统，以提高机器人三维视觉抓取系统的部署速度。为实现上述目的，本专利技术采用如下技术方案：一方面，本专利技术实施例提供了一种工件抓取模板的生成方法，包括：获取机器人对参考工件多角度拍摄的图像，其中，所述参考工件的表面贴附有抓取点标记；根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。进一步地，所述获取机器人对参考工件多角度拍摄的图像，包括：利用机器人力控拖动技术，通过拖动机器人末端调整所述机器人末端上深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；在每个所述拍摄视角下利用所述深度相机拍摄所述参考工件的单帧二维图像和单帧三维图像。进一步地，所述根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，包括：在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的工件三维模型数据；基于所述二维图像和所述三维图像，识别所述抓取点标记，得到所述抓取点标记在所述机器人基坐标系下的标记点坐标数据；合并所述工件三维模型数据和所述标记点坐标数据；重设工件坐标系，将合并后的所述工件三维模型数据和所述标记点坐标数据变换至所述工件坐标系中，得到所述工件抓取模板。进一步地，在机器人基坐标系下对所述三维图像进行配准，包括：基于所述深度相机在所述机器人基坐标系下的位姿，对所述三维图像进行粗配准；基于最近点迭代算法对经粗配准后的三维图像进行精配准。另一方面，本专利技术实施例提供了一种工件抓取模板的生成系统，包括机器人、参考工件和处理器；所述机器人用于对所述参考工件进行多角度拍摄，所述参考工件的表面贴附有抓取点标记；所述处理器用于获取机器人对参考工件多角度拍摄的图像，并根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。进一步地，所述机器人包括拖动示教系统、机器人末端和设置于所述机器人末端的深度相机；所述拖动示教系统用于利用机器人力控拖动技术，通过拖动机器人末端进行示教；所述机器人末端用于通过力控拖动来调整所述深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；所述深度相机用于在每个所述拍摄视角下拍摄所述参考工件的单帧二维图像和单帧三维图像。进一步地，所述机器人上还设置有拖动示教按钮和相机采集按钮；所述机器人末端具体用于在所述拖动示教按钮被按下时，通过力控拖动来调整所述深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；所述深度相机具体用于在所述相机采集按钮被按下时，在每个所述拍摄视角下拍摄所述参考工件的单帧二维图像和单帧三维图像。进一步地，所述处理器包括图像获取模块、图像配准模块、图像识别模块、图像合并模块和抓取模板生成模块；所述图像获取模块用于获取所述二维图像和所述三维图像；所述图像配准模块用于在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的工件三维模型数据；所述图像识别模块用于基于所述二维图像和所述三维图像，识别所述抓取点标记，得到所述抓取点标记在所述机器人基坐标系下的标记点坐标数据；所述图像合并模块用于合并所述工件三维模型数据和所述标记点坐标数据；所述抓取模板生成模块用于重设工件坐标系，将合并后的所述工件三维模型数据和所述标记点坐标数据变换至所述工件坐标系中，得到所述工件抓取模板。进一步地，所述抓取点标记具有至少一对用于标示夹爪夹取点的夹取点图案，或者至少一个用于标示吸盘吸取点的吸取点图案，所述夹取点图案和所述吸取点图案为不同的图案。进一步地，所述抓取点标记包括依次层叠的胶层和印刷层；所述胶层用于将所述印刷层贴附于所述参考工件的表面；所述印刷层印刷有所述夹取点图案或所述吸取点图案。本专利技术的有益效果是：本专利技术提供的工件抓取模板的生成方法及系统，通过对表面贴附有抓取点标记的参考工件进行多角度拍摄，再根据拍摄的图像对参考工件的三维模型进行重建，预先生成具有可抓取点位置信息的工件抓取模板。由此，在之后的正常流水线上抓取不具有抓取点标记的同种工件时，只需识别出工件的位姿，便可根据工件抓取模板确定抓取点的位置，实现对工件的精准抓取，解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。附图说明下面将通过参照附图详细描述本专利技术的示例性实施例，使本领域的普通技术人员更清楚本专利技术的上述及其他特征和优点，附图中：图1是本专利技术实施例提供的工件抓取模板的生成方法的流程示意图；图2是本专利技术实施例提供的工件抓取模板的生成方法的具体流程示意图；图3是本专利技术实施例提供的工件抓取模板的生成系统的结构示意图；图4是本专利技术实施例提供的拖动机器人末端的示意图；图5是图3中区域A的放大示意图；图6是本专利技术实施例提供的采用吸盘吸取参考工件时的示意图；图7是本专利技术实施例提供的采用夹爪夹取参考工件时的示意图；图8是本专利技术实施例提供的抓取点标记的结构示意图。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。图1是本专利技术实施例提供的工件抓取模板的生成方法的流程示意图。该方法适用于对可抓取的工件进行三维重建的情况，该方法可以由工件抓取模板的生成系统来执行。如图1所示，该工件抓取模板的生成方法包括：步骤110、获取机器人对参考工件多角度拍摄的图像。其中，所述参考工件的表面贴附有抓取点标记。通常，对工件的抓取操作可包括夹爪末端执行器的夹取操作和吸盘末端执行器的吸取操作，相应地，抓取点标记可以包括夹取点标记和吸取点标记，其中，夹取点标记为至少一对，吸取点标记为至少一个。上述参考工件可贴附一对夹取点标记或一个吸取点标记，若参考工件具有多个可抓取点，则参考工件各可抓取点的位置均可贴附相应的抓取点标记。本实施例中，机器人可以为6自由度关节型机器人，机器人由一系列连杆串联组成，连杆之间的机器人关节由驱动器驱动控制，关节的相对运动带动连杆运动，到达指定位置以实现所需位姿。本实施例可通过调整机器人的位姿，来改变对参考工件的拍摄视角，实现对参考工件的多角度拍摄，进而获取机器人对参考工件多角度拍摄的图像。其中，该图本文档来自技高网...

【技术保护点】
1.一种工件抓取模板的生成方法，其特征在于，包括：获取机器人对参考工件多角度拍摄的图像，其中，所述参考工件的表面贴附有抓取点标记；根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。

【技术特征摘要】
1.一种工件抓取模板的生成方法，其特征在于，包括：获取机器人对参考工件多角度拍摄的图像，其中，所述参考工件的表面贴附有抓取点标记；根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。2.根据权利要求1所述的工件抓取模板的生成方法，其特征在于，所述获取机器人对参考工件多角度拍摄的图像，包括：利用机器人力控拖动技术，通过拖动机器人末端调整所述机器人末端上深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；在每个所述拍摄视角下利用所述深度相机拍摄所述参考工件的单帧二维图像和单帧三维图像。3.根据权利要求2所述的工件抓取模板的生成方法，其特征在于，所述根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，包括：在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的工件三维模型数据；基于所述二维图像和所述三维图像，识别所述抓取点标记，得到所述抓取点标记在所述机器人基坐标系下的标记点坐标数据；合并所述工件三维模型数据和所述标记点坐标数据；重设工件坐标系，将合并后的所述工件三维模型数据和所述标记点坐标数据变换至所述工件坐标系中，得到所述工件抓取模板。4.根据权利要求3所述的工件抓取模板的生成方法，其特征在于，在机器人基坐标系下对所述三维图像进行配准，包括：基于所述深度相机在所述机器人基坐标系下的位姿，对所述三维图像进行粗配准；基于最近点迭代算法对经粗配准后的三维图像进行精配准。5.一种工件抓取模板的生成系统，其特征在于，包括机器人、参考工件和处理器；所述机器人用于对所述参考工件进行多角度拍摄，所述参考工件的表面贴附有抓取点标记；所述处理器用于获取机器人对参考工件多角度拍摄的图像，并根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。6.根据权利要求5所述的工件抓取模板的生成系统，其特征在于，所述机器人包...

【专利技术属性】
技术研发人员：左方睿，宗成星，杨跞，
申请(专利权)人：中科新松有限公司，
类型：发明
国别省市：上海,31