堆叠场景下的电子元器件抓取方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及视觉控制技术领域，具体公开了一种堆叠场景下的电子元器件抓取方法、装置、设备及介质，其中，抓取方法包括步骤：获取点云图和RGB图；利用实例检测模型分析RGB图以获取器件包络框信息和器件类型信息；基于器件类型信息调用器件模板获取抓取目标电子元器件所需的角度信息；基于点云图内的点云及器件包络框信息获取目标电子元器件的三维坐标信息；基于三维坐标信息及角度信息控制机械臂抓取目标电子元器件；该抓取方法将电子元器件的检测、识别、定位过程区分为初步定位、精确定位、三维位姿标定过程，具有抓取精度高的特点，且无需将信息量巨大的点云输入神经网络，有效降低系统计算资源消耗、提高抓取速度。提高抓取速度。提高抓取速度。

【技术实现步骤摘要】
堆叠场景下的电子元器件抓取方法、装置、设备及介质


[0001]本申请涉及视觉控制
，具体而言，涉及一种堆叠场景下的电子元器件抓取方法、装置、设备及介质。

技术介绍

[0002]机器人作为面向未来的智能制造重点技术，具有可控性强、灵活性高以及配置柔性等优势，被广泛的应用于零件加工、协同搬运、物体抓取与部件装配等领域。
[0003]随着机器视觉技术与传感器技术的不断发展，基于计算机视觉的机器人可以完成检测、识别、定位、抓取、码放的一系列动作，可柔性地将物料在无序或半无序状态下完成分拣，具有灵活性高以及配置柔性等优势，被广泛的应用于零件加工、协同搬运、物体分拣、部件装配等领域。
[0004]电路板通常由多种电子元器件插件完成，电子元器件通常是成批次地进行生产、堆放以待插件，一般是处于无序状态地随机摆放于托盘或工作台上，常存在堆叠等现象，现有的抓取机械臂的定位分析过程需要结合多种传统算法与神经网络进行分析才能大致确定电子元器件的位置，尤其在电子元器件存在遮挡堆叠的情况时，对电子元器件的位姿估计准确率较低、且对计算资源需求大。...

【技术保护点】

【技术特征摘要】
1.一种堆叠场景下的电子元器件抓取方法，用于定位并抓取电子元器件，其特征在于，所述方法包括以下步骤：获取至少包含一个电子元器件的点云图和RGB图；利用实例检测模型分析所述RGB图以获取器件包络框信息和器件类型信息；基于所述器件类型信息调用器件模板，并利用所述器件模板及所述器件包络框信息获取抓取目标电子元器件所需的角度信息；基于所述点云图内的点云及所述器件包络框信息获取所述目标电子元器件的三维坐标信息；基于所述三维坐标信息及所述角度信息控制机械臂抓取所述目标电子元器件。2.根据权利要求1所述的堆叠场景下的电子元器件抓取方法，其特征在于，所述利用实例检测模型分析所述RGB图以获取器件包络框信息和器件类型信息的步骤和所述基于所述器件类型信息调用器件模板的步骤之间还包括以下步骤：利用实例检测模型分析所述RGB图以获取关于所述电子元器件的二分类掩码图；根据所述二分类掩码图中的掩码面积确定至少一个所述目标电子元器件。3.根据权利要求2所述的堆叠场景下的电子元器件抓取方法，其特征在于，所述根据所述二分类掩码图中的掩码面积确定至少一个所述目标电子元器件的步骤包括：根据二分类掩码图获取每个掩码的面积；比较每个掩码的面积与目标面积的大小确定至少一个所述目标电子元器件，所述目标面积为预设的且与所述器件类型信息对应的面积值。4.根据权利要求1所述的堆叠场景下的电子元器件抓取方法，其特征在于，所述RGB图基于滤波、降噪算法进行预处理。5.根据权利要求1所述的堆叠场景下的电子元器件抓取方法，其特征在于，所述点云图和所述RGB图基于结构光3D相机基于图像背景色彩匹配对应的频率结构光采样生成。6.根据权利要求1所述的堆叠场景下的电子元器件抓取方法，其特征在于，所述利用所...

【专利技术属性】
技术研发人员：彭悦言，杨旭韵，温志庆，
申请(专利权)人：季华实验室，
类型：发明
国别省市：