一种基于机器学习的工件自动抓取方法、系统及装置制造方法及图纸

本发明专利技术属于机器学习、图像识别和双目视觉技术领域，针对目前工件自动抓取在应用过程中存在系统组成复杂、工件类别识别不准确、可抓取目标种类难以扩展、不高效、不精准等问题，公开一种基于机器学习的工件自动抓取方法、系统及装置。装置包括系统和机械臂控制组件，系统包括双目视觉组件、数据预处理框架、深度卷积神经网络和信息流程；方法通过信息流程将深度卷积神经网络输出的目标检测信息与双目视觉组件的图像信息进行融合，降低系统的复杂程度，数据预处理框架对数据集随机抽取形成训练集、验证集，并完成对工件库类别的管理，深度神经网络实现对多类工件的识别，使系统更高效、更易扩展、更精准的分类和定位，完成对工件的自动抓取任务。自动抓取任务。自动抓取任务。

【技术实现步骤摘要】
一种基于机器学习的工件自动抓取方法、系统及装置
[0001]本申请是名为《一种基于机器学习的工件自动抓取系统及方法》的专利申请的分案申请，原申请的申请日为2021年09月17日，申请号为202111095314.0。


[0002]本专利技术属于机器学习、图像识别和双目视觉
，具体为一种基于机器学习的工件自动抓取方法、系统及装置。

技术介绍

[0003]工件自动抓取技术的任务是完成对指定类别工具的识别，并向机械抓取手臂提供目标工件的深度信息、抓取点信息，同时能够对工件库中所有的工件类别有效识别，并且识别的种类能够按需管理。
[0004]现阶段，工件自动抓取技术主要依赖于目标特征提取、特征匹配等手段进行分类和定位，同时对工件深度信息的测定一般采用激光测距或多图三角测量的方式，存在以下不足：
[0005]一是：部分自动抓取技术中对工件的空间定位采用主动视觉场景测量法，视觉组件通过向外发射激光实现对三维空间的构建，利用激光传感器形成的点云图像获取工件空间定位，导致系统复杂，硬件要求高；
[0006]二是：对工件的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的工件自动抓取方法，其特征在于，包括以下步骤：步骤1，图像的采集及预处理；采集工件在不同环境下多种姿态图像；根据所述姿态图像得到数据集和标签；步骤2，对深度卷积神经网络Net1进行训练；采用所述数据集和所述标签对深度卷积神经网络进行训练；以所述深度卷积神经网络的损失函数的值最小为目标，得到所述深度卷积神经网络的参数；采用Adam优化器对所述深度卷积神经网络的权重进行更新，得到更新后的权重；根据所述更新后的权重和所述参数，计算所述损失函数的损失变化值；若所述损失变化值小于设定阈值，则将所述损失值对应的深度卷积神经网络作为收敛后的深度卷积神经网络；步骤3，采用K
‑
fold交叉验证步骤2训练获得的深度卷积神经网络Net1的权重；步骤4，对工件目标进行实时检测；将工件的实时视频图像输入至步骤3验证后的深度卷积神经网络Net1中，输出目标检测信息；步骤5，对工件进行空间定位；根据所述目标检测信息计算空间深度信息；步骤6，对相应工件完成抓取任务；根据所述空间深度信息对相应工件实时抓取。2.根据权利要求1所述的一种基于机器学习的工件自动抓取方法，其特征在于，所述步骤1中图像采集的具体过程为：双目视觉组件搭载左右两个高清摄像头，通过左摄像头采集工件在不同环境下，多种姿态图像。3.根据权利要求1所述的一种基于机器学习的工件自动抓取方法，其特征在于，所述预处理包括：采用图像分割的方法对采集的姿态图像中不同的目标进行标注，得到数据集以及对应的标签；所述标签为工件类别信息；所述数据集为工件库种类采集图像；所述数据集包括训练集和验证集。4.根据权利要求1所述的一种基于机器学习的工件自动抓取方法，其特征在于，所述深度卷积神经网络Net1的输入层为可见光图像，图像的尺寸为W*H，采用多种类型的卷积核进行卷积操作并通过调整卷积步长对特征图像下采样，激励函数为ReLU函数，通过特征池化金字塔FPN网络以及卷积层，在三尺度下完成对目标的检测。5.根据权利要求1所述的基于机器学习的工件自动抓取方法，其特征在于，所述损失函数为：L
c
(o,c,O,C,l,g)＝λ1L
conf
(o,c)+λ2L
cla
(O,C)+λ3L
loc
(l,g)其中，L
conf
(o,c)为置信度损失；L
cla
(O,C)为分类损失；L
loc
(l,g)为定位损失；λ1为置信度损失的平衡系数；λ2为分类损失的平衡系数；...

【专利技术属性】
技术研发人员：梁建安，王虹鑫，李凯，池家聪，张旭，宋苗苗，
申请(专利权)人：山西大学，
类型：发明
国别省市：