本发明专利技术提供了一种序线材抓取方法、装置及电子设备，涉及自动分拣技术领域，该方法包括：获取料箱中线材的深度图像，基于线材尺寸在深度图像中建立多个ROI区域；基于预先训练得到的深度神经网络模型对各ROI区域进行识别，得到ROI区域中的抓取点识别结果；其中，深度神经网络模型基于预先标注得到的抓取点正样本图像及负样本图像训练得到；获取料箱中线材的点云数据，基于点云数据及抓取点识别结果确定料箱中的最优抓取点；基于最优抓取点所在位置控制抓取机器人优先抓取最优抓取点对应的线材。本发明专利技术能够控制抓取机器人先抓取容易抓取到的线材，保证抓取机器人能够始终有效抓取到线材，提升了无序线材的抓取效率及准确率。提升了无序线材的抓取效率及准确率。提升了无序线材的抓取效率及准确率。
【技术实现步骤摘要】
无序线材抓取方法、装置及电子设备
[0001]本专利技术涉及自动分拣
，尤其是涉及一种序线材抓取方法、装置及电子设备。
技术介绍
[0002]随着自动化技术的快速发展，自动化流水线可以高效率进行零部件装配工作，自动化流水线中各零部件通常放置于料箱中并置于指定位置以便进行零部件抓取工作。诸如，在液晶显示器生产线中需要从料箱中抓取线材进行读码投放，但是，由于料箱中的线材通常为杂乱无序摆放，线材绑有透明绑带且存在叠放情况，在基于机器人抓取无序线材时容易出现无法准确识别出线材合理抓取点位置，进而导致无法有效抓取到线材的情况，影响了自动化流水线的上料效率。
技术实现思路
[0003]有鉴于此，本专利技术的目的在于提供一种序线材抓取方法、装置及电子设备，能够控制抓取机器人先抓取容易抓取到的线材，保证抓取机器人能够始终有效抓取到线材，提升了无序线材的抓取效率及准确率。
[0004]为了实现上述目的，本专利技术实施例采用的技术方案如下：
[0005]第一方面，本专利技术实施例提供了一种无序线材抓取方法，包括：获取料箱中线材的深度图像，基于所述线材尺寸在所述深度图像中建立多个ROI区域；基于预先训练得到的深度神经网络模型对各所述ROI区域进行识别，得到所述ROI区域中的抓取点识别结果；其中，所述深度神经网络模型基于预先标注得到的抓取点正样本图像及负样本图像训练得到；获取所述料箱中线材的点云数据，基于所述点云数据及所述抓取点识别结果确定所述料箱中的最优抓取点；基于所述最优抓取点所在位置控制抓取机器人优先抓取所述最优抓取点对应的线材。
[0006]进一步，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述基于所述点云数据及所述抓取点识别结果确定所述料箱中的最优抓取点的步骤，包括：基于所述抓取点识别结果筛选出合格抓取点；基于所述点云数据确定各所述合格抓取点与所述料箱入口的距离；基于所述合格抓取点与所述料箱入口的距离从所述合格抓取点中筛选出最优抓取点。
[0007]进一步，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述抓取点识别结果包括抓取点评分，所述方法还包括：获取预先采集得到的料箱中线材的深度图像及点云数据；从所述深度图像中裁剪出抓取点图像，基于所述点云数据将所述抓取点图像划分为正样本图像和负样本图像；将标注有抓取点评分的正样本图像和负样本图像输入深度神经网络模型中进行训练，得到训练后的深度神经网络模型。
[0008]进一步，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述从所述深度图像中裁剪出抓取点图像，基于所述点云数据将所述抓取点图像划分为正样本图像
和负样本图像的步骤，包括：基于所述线材的尺寸在所述深度图像中建立多个ROI区域，对各所述ROI区域进行边缘检测得到线材边缘点，对所述线材边缘点进行采样得到抓取候选点；根据所述抓取候选点在所述深度图像中的位置从所述深度图像中裁剪出所述抓取候选点对应的抓取点图像；基于所述点云数据判断所述抓取点图像中的抓取候选点是否满足预设的抓取条件，如果是，将所述抓取点图像划分为正样本图像，如果否，将所述抓取点图像划分为负样本图像。
[0009]进一步，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述基于所述点云数据判断所述抓取点图像中的抓取候选点是否满足预设的抓取条件的步骤，包括：基于所述点云数据判断所述抓取候选点是否符合力闭合条件，判断所述抓取候选点对应的线材是否存在抓取干扰；其中，所述抓取干扰包括所述抓取候选点对应的抓取点图像中存在其他线材图像，或者，所述抓取候选点与所述料箱侧壁的距离小于预设距离；当所述抓取候选点符合力闭合条件，且所述抓取候选点对应的线材不存在抓取干扰时，确定所述抓取候选点满足所述预设的抓取条件。
[0010]进一步，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述无序线材抓取方法还包括：当所述抓取候选点不符合力闭合条件时，或者，当所述抓取候选点对应的线材存在抓取干扰时，确定所述抓取候选点不满足所述预设的抓取条件。
[0011]进一步，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述基于所述点云数据判断所述抓取候选点是否符合力闭合条件的步骤，包括：基于所述点云数据及所述抓取机器人与所述抓取候选点的相对位置关系获取所述抓取候选点对应的抓取向量及所述抓取候选点对应的法向量；当所述抓取向量与所述抓取候选点对应的法向量满足量及所述抓取候选点对应的法向量；当所述抓取向量与所述抓取候选点对应的法向量满足时，确定所述抓取候选点符合力闭合条件；其中，为所述抓取向量，为所述抓取候选点对应的法向量，friction_coefficient为预设阈值，所述预设阈值与所述线材的材质相关。
[0012]第二方面，本专利技术实施例还提供了一种无序线材抓取装置，包括：获取模块，用于获取料箱中线材的深度图像，基于所述线材尺寸在所述深度图像中建立多个ROI区域；识别模块，用于基于预先训练得到的深度神经网络模型对各所述ROI区域进行识别，得到所述ROI区域中的抓取点识别结果；其中，所述深度神经网络模型基于预先标注得到的抓取点正样本图像及负样本图像训练得到；确定模块，用于获取所述料箱中线材的点云数据，基于所述点云数据及所述抓取点识别结果确定所述料箱中的最优抓取点；控制模块，用于基于所述最优抓取点所在位置控制抓取机器人优先抓取所述最优抓取点对应的线材。
[0013]第三方面，本专利技术实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
[0014]第四方面，本专利技术实施例提供了一种存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如第一方面任一所述的方法。
[0015]本专利技术实施例提供了一种序线材抓取方法、装置及电子设备，该方法包括：获取料箱中线材的深度图像，基于线材尺寸在深度图像中建立多个ROI区域；基于预先训练得到的深度神经网络模型对各ROI区域进行识别，得到ROI区域中的抓取点识别结果；其中，深度神
经网络模型基于预先标注得到的抓取点正样本图像及负样本图像训练得到；获取料箱中线材的点云数据，基于点云数据及抓取点识别结果确定料箱中的最优抓取点；基于最优抓取点所在位置控制抓取机器人优先抓取最优抓取点对应的线材。本专利技术通过基于预先训练得到的深度神经网络对线材的深度图像进行分区域识别，并根据料箱中线材的点云数据及抓取点识别结果筛选出最优抓取点，从而可以控制抓取机器人先抓取容易抓取到的线材，保证抓取机器人能够始终有效抓取到线材，提升了无序线材的抓取效率及准确率。
[0016]本专利技术实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本专利技术实施例的上述技术即可得知。
[0017]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种无序线材抓取方法，其特征在于，包括：获取料箱中线材的深度图像，基于所述线材尺寸在所述深度图像中建立多个ROI区域；基于预先训练得到的深度神经网络模型对各所述ROI区域进行识别，得到所述ROI区域中的抓取点识别结果；其中，所述深度神经网络模型基于预先标注得到的抓取点正样本图像及负样本图像训练得到；获取所述料箱中线材的点云数据，基于所述点云数据及所述抓取点识别结果确定所述料箱中的最优抓取点；基于所述最优抓取点所在位置控制抓取机器人优先抓取所述最优抓取点对应的线材。2.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据及所述抓取点识别结果确定所述料箱中的最优抓取点的步骤，包括：基于所述抓取点识别结果筛选出合格抓取点；基于所述点云数据确定各所述合格抓取点与所述料箱入口的距离；基于所述合格抓取点与所述料箱入口的距离从所述合格抓取点中筛选出最优抓取点。3.根据权利要求1所述的方法，其特征在于，所述抓取点识别结果包括抓取点评分，所述方法还包括：获取预先采集得到的料箱中线材的深度图像及点云数据；从所述深度图像中裁剪出抓取点图像，基于所述点云数据将所述抓取点图像划分为正样本图像和负样本图像；将标注有抓取点评分的正样本图像和负样本图像输入深度神经网络模型中进行训练，得到训练后的深度神经网络模型。4.根据权利要求3所述的方法，其特征在于，所述从所述深度图像中裁剪出抓取点图像，基于所述点云数据将所述抓取点图像划分为正样本图像和负样本图像的步骤，包括：基于所述线材的尺寸在所述深度图像中建立多个ROI区域，对各所述ROI区域进行边缘检测得到线材边缘点，对所述线材边缘点进行采样得到抓取候选点；根据所述抓取候选点在所述深度图像中的位置从所述深度图像中裁剪出所述抓取候选点对应的抓取点图像；基于所述点云数据判断所述抓取点图像中的抓取候选点是否满足预设的抓取条件，如果是，将所述抓取点图像划分为正样本图像，如果否，将所述抓取点图像划分为负样本图像。5.根据权利要求4所述的方法，其特征在于，所述基于所述点云数据判断所述抓取点图像中的抓取候选点是否满足预设的抓取条件的步骤，包括：基于所述点云数据判断所述抓取候选点是否符合力闭合条件，判断...
【专利技术属性】
技术研发人员：张磊，白凯鑫，陈兆芃，
申请(专利权)人：北京思灵机器人科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。