一种基于深度学习的快速分拣方法技术

本发明专利技术公开了一种基于深度学习的快速分拣方法，包括以下步骤：采集图像数据并制作标签，将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；利用视觉相机捕获一帧图像；基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；利用U

【技术实现步骤摘要】
一种基于深度学习的快速分拣方法


[0001]本专利技术涉及物料识别分拣领域，具体来说，涉及一种基于深度学习的快速分拣方法。

技术介绍

[0002]目前，视觉传感器已经广泛引入机械臂抓取系统，将图像处理与机械手控制相结合，利用先进的图像处理技术获取抓取目标的最优位姿，在此基础上设计视觉控制器，对于提高机械臂抓取的智能化水平、扩展其应用范围具有重要的理论研究意义和广阔的实际应用前景。
[0003]与传统的特征提取方法相比较，经过深度学习得到的特征具有更好的鲁棒性，其能够较好的适应训练集中未曾出现的新物体。近几年，深度学习得到了迅速的发展，提出了很多分类性能优秀的网络模型，例如，r
‑
cnn、fastr
‑
cnn、faster及r
‑
cnn等。上述算法可以针对不同的目标，利用训练好的网络结构使用相同的模型参数，同时完成对多个目标的识别及检测任务。这对于提高机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性具有重要的意义。然而上述现有技术不能很好的解决现在非结构化环境下机械臂对未知目标的高鲁棒、自主抓取问题。
[0004]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]针对相关技术中的问题，本专利技术提出一种基于深度学习的快速分拣方法，以克服现有相关技术所存在的上述技术问题。
[0006]为此，本专利技术采用的具体技术方案如下：
[0007]一种基于深度学习的快速分拣方法，该方法包括以下步骤：
[0008]S1、采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；
[0009]S2、利用视觉相机捕获一帧图像；
[0010]S3、基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；
[0011]S4、利用U
‑
Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征；
[0012]S5、利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置；
[0013]S6、计算机器人的控制量并控制机械臂完成基于视觉的机械臂自主抓取任务。
[0014]进一步的，所述采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型包括以下步骤：
[0015]S11、利用相机采集图像，并通过数据标注软件labelme进行标记，获得数据集，所述数据集包含图像以及相应的身份标签；
[0016]S12、将所述数据集按照预设的比例划分为训练数据集和验证数据集，并计算所述训练数据集中图像的均值图像；
[0017]S13、将所述训练数据集和所述验证数据集中的所有图像减去均值图像，得到均值化的训练数据集和验证数据集；
[0018]S14、利用所述均值化的训练数据集和验证数据集训练深度卷积神经网络，利用损失函数对训练数据集进行训练和学习网络参数，按照预设的训练步长将验证数据集放入卷积神经网络中进行测试，并观察网络的训练收敛情况，直至训练网络收敛，获得训练结果。
[0019]进一步的，所述基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标包括以下步骤：
[0020]S31、通过深度学习目标识别与检测网络模型训练图像数据；
[0021]S32、根据所述深度学习目标识别与检测网络模型的训练过程，不断调整训练权重，直至训练预测结果符合标记结果；
[0022]S33、根据所述预测结果生成权重数据，并通过所述权重数据对待预测图像进行推理，获得操作台上物体的位置信息。
[0023]进一步的，所述利用U
‑
Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征包括以下步骤：
[0024]S41、利用U
‑
Net语义分割网络并基于训练数据集进行训练，获得权重参数；
[0025]S42、通过所述权重参数计算待预测图像，获得抓取目标的抓取区域图像特征。
[0026]进一步的，所述U
‑
Net语义分割网络采用的是U
‑
Net网络模型，所述U
‑
Net网络模型的整体结构包括：编码、解码及跳跃连接。
[0027]进一步的，所述利用U
‑
Net语义分割网络并基于训练数据集进行训练，获得权重参数还包括：
[0028]通过添加交叉熵的Loss损失函数，增加了像素级的Loss权重，
[0029]其中，Loss损失函数计算公式为：
[0030][0031]其中，E表示损失值；
[0032]Ω表示类别数；
[0033]x表示每一个类别；
[0034]W(x)表示一个one
‑
hot向量，one
‑
hot表示一项属性的特征向量；
[0035]pc
(x)
表示预测样本属于类别c
(x)
的概率；
[0036]其中，W(x)的计算公式如下：
[0037][0038]其中，w
c
表示对类别频率的权重；
[0039]d1表示像素点离细胞最近的距离；
[0040]d2表示像素点离细胞倒数第二近的距离；
[0041]W0表示权重常量，取值为10；
[0042]σ表示标准差，其取值为5。
[0043]进一步的，所述利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置包括以下步骤：
[0044]S51、通过标定板标定相机，获得相机的内外参，并计算三维世界坐标系变换为图像坐标系的单应矩阵；
[0045]S52、计算出所述单应矩阵的逆矩阵，并根据所述逆矩阵计算图像坐标系中的点在三维坐标系中的对应点。
[0046]进一步的，所述三维世界坐标系变换为图像坐标系的单应矩阵的计算公式为：
[0047][0048]其中，表示相机的内参矩阵；
[0049]f表示相机焦距；
[0050]θ表示点与光轴之间夹角，取值为90
°
；
[0051]dX及dY表示像素尺寸大小；
[0052]u0，v0表示图像中心点；
[0053]表示相机的外参矩阵；
[0054]R表示旋转矩阵；
[0055]T表示平移矩阵；
[0056]表示相机坐标系中的坐标；
[0057]表示世界坐标系下的坐标，内外参矩阵相乘构成单应矩阵。
[0058]进一步的，所述深度学习目标识别与检测网络模型采用Mask
‑
RCNN网络模型。
[0059]进一步的，所述Mask
‑
RCNN网络模型包括：骨干网络ResNe本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的快速分拣方法，其特征在于，该方法包括以下步骤：S1、采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；S2、利用视觉相机捕获一帧图像；S3、基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；S4、利用U
‑
Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征；S5、利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置；S6、计算机器人的控制量并控制机械臂完成基于视觉的机械臂自主抓取任务。2.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型包括以下步骤：S11、利用相机采集图像，并通过数据标注软件labelme进行标记，获得数据集，所述数据集包含图像以及相应的身份标签；S12、将所述数据集按照预设的比例划分为训练数据集和验证数据集，并计算所述训练数据集中图像的均值图像；S13、将所述训练数据集和所述验证数据集中的所有图像减去均值图像，得到均值化的训练数据集和验证数据集；S14、利用所述均值化的训练数据集和验证数据集训练深度卷积神经网络，利用损失函数对训练数据集进行训练和学习网络参数，按照预设的训练步长将验证数据集放入卷积神经网络中进行测试，并观察网络的训练收敛情况，直至训练网络收敛，获得训练结果。3.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标包括以下步骤：S31、通过深度学习目标识别与检测网络模型训练图像数据；S32、根据所述深度学习目标识别与检测网络模型的训练过程，不断调整训练权重，直至训练预测结果符合标记结果；S33、根据所述预测结果生成权重数据，并通过所述权重数据对待预测图像进行推理，获得操作台上物体的位置信息。4.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述利用U
‑
Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征包括以下步骤：S41、利用U
‑
Net语义分割网络并基于训练数据集进行训练，获得权重参数；S42、通过所述权重参数计算待预测图像，获得抓取目标的抓取区域图像特征。5.根据权利要求4所述的一种基于深度学习的快速分拣方法，其特征在于，所述U
‑
Net语义分割网络采用的是U
‑
Net网络模型，所述U
‑
Net网络模型的整体结构包括：编码...

【专利技术属性】
技术研发人员：刘大鹏，
申请(专利权)人：上海麦牙科技有限公司，
类型：发明
国别省市：