一种基于深度学习的零件分拣识别系统和方法技术方案

本发明专利技术公开了一种基于深度学习的零件分拣识别系统和方法，涉及计算机视觉和零件分拣领域，所述系统包括：训练模块和应用模块，在训练模块中建立模型，并将模型应用到应用模块中获得识别结果并将识别结果输出。训练模块包括：合成图像制作模块、实际图像采集模块、数据集生成模块、深度学习模块，其中，深度学习模块与数据集生成模块连接，接收训练集和验证集，并构建深度学习模型，包括目标识别网络和域自适应网络，目标识别网络用于特征的提取、对象的分类以及候选框的生成；域自适应网络用于对齐源域和目标域中图像的特征。齐源域和目标域中图像的特征。齐源域和目标域中图像的特征。

【技术实现步骤摘要】
一种基于深度学习的零件分拣识别系统和方法


[0001]本专利技术涉及计算机视觉和零件分拣领域，尤其涉及一种基于深度学习的零件分拣识别系统和方法。

技术介绍

[0002]近年来，随着对生产能力需求的大幅提升，工业智能化的进程逐步加快，工业分拣设备的使用也逐渐进入以物流行业为首的各大领域。最传统的分拣采用流水线加人工分拣的方式，该方法是对人力资源极大的消耗，而且难以保证分拣质量的持续性。目前，大部分的分拣设备采用的是基于传感器的分拣方式，通过红外传感器判断物件大小，通过加速度传感器判断物体重量等。该方法往往在识别的对象上有一定局限性，只能识别比较一般的物体。
[0003]随着人工智能的发展，深度学习的方法也开始被运用到零件分拣的领域中。基于深度学习的零件分拣方法能够处理更加复杂的场景，对零件本身的形状样式没有特殊的需求。
[0004]在中国专利技术专利申请“基于FD
‑
Densenet网络的工业零件识别分拣方法、介质及系统”(公开号为CN112347863)中，安康等人使用基于FD
‑
Densenet的目标检测网络对待分拣零件进行识别。本专利技术实现了零件识别与生产线分拣一体化，提高了分拣效率，同时是一种轻量化模型，更便于工业设备的配置使用，但是在网络训练过程中需要对体积大小不同的零件进行一个预先的裁剪：放大或者缩小有效区域，图像采集的过程相对复杂。
[0005]在中国专利技术专利申请“基于深度学习的小型零件分拣方法及其分拣系统”(公开号为CN112170233A)中，张立国等人使用YOLOv4目标检测网络对零件对象进行训练识别，能够实现对小型零件的分拣，提升了生产线上可识别的零件类别与样式范围，主要针对不规则的复杂零件实现了一定准确率和速度的分拣，但是该专利技术针对固定的样本数据进行训练和测试，所满足的识别对象仅限于选取的零件类别，若要针对其他零件进行训练，需要重新制作标注数据集，过程过于繁复。
[0006]因此，本领域的技术人员致力于开发一种基于深度学习的零件分拣识别系统和方法，解决现有技术方案中存在的数据集获取困难和应用受场景限制的问题。

技术实现思路

[0007]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何克服现有技术中存在的深度学习网络模型在实际应用过程中的数据集获取困难、应用受场景限制等缺陷问题。
[0008]为实现上述目的，本专利技术提供了一种基于深度学习的零件分拣识别系统与方法，来提高零件分拣目标识别网络的泛化性，其中，深度学习特指无监督域自适应的学习。
[0009]本专利技术提供的一种基于深度学习的零件分拣识别系统，包括：
[0010]训练模块和应用模块，在所述训练模块中建立模型，并将所述模型应用到所述应
用模块中获得识别结果并将所述识别结果输出；
[0011]其中，所述训练模块包括：
[0012]合成图像制作模块，所述合成图像制作模块绘制识别目标的三维合成图像，所述三维合成图像包含若干角度；
[0013]实际图像采集模块，所述实际图像采集模块获取所述识别目标的二维真实场景图像，并将所述二维真实场景图像作为训练集的一部分以及测试集；
[0014]数据集生成模块，所述数据集生成模块分别与所述合成图像制作模块和所述实际图像采集模块连接，通过机器学习方法对所述三维合成图像进行真值框和类别的标注，再将已标注的所述三维合成图像作为源域，将未标注的真实图像作为目标域，并按设定的比例生成训练集和验证集；
[0015]深度学习模块，所述深度学习模块与所述数据集生成模块连接，接收所述训练集和所述验证集，并构建深度学习模型，包括目标识别网络和域自适应网络，所述目标识别网络用于特征的提取、对象的分类以及候选框的生成；所述域自适应网络用于对齐所述源域和所述目标域中图像的特征。
[0016]进一步地，所述应用模块也包括：
[0017]所述实际图像采集模块和所述深度学习模块，所述实际图像采集模块将重新采集所述识别目标的二维真实场景图像并作为所述深度学习模块中所建立模型的输入，在所述深度学习模块中生成所述识别结果；
[0018]所述应用模块还包括结果输出模块，所述结果输出模块连接所述深度学习模块，获取所述识别结果以及所述候选框的坐标，并将所述候选框的坐标转换为零件分拣工作台的世界坐标，并输出所述识别目标的类别和位置。
[0019]进一步地，在构建深度学习模型的过程中，包括构建网络的正向传播和反向传播过程：将输入的所述训练集和所述验证集先通过特征提取层进行特征提取，而后进入分支，一部分继续目标识别网络的训练，另一部分进入域分类器；通过损失函数的反向传播和优化器对权重的更新寻找最优的特征提取器使得在所述域分类器的效果最差的同时所述深度学习模型的自身目标识别的预测结果最优。
[0020]进一步地，所述按设定的比例生成训练集和验证集的比例为8：2。
[0021]本专利技术提供的一种基于深度学习的零件分拣识别方法，所述方法包括以下步骤：
[0022]步骤1、生成训练数据集；
[0023]步骤2、训练深度学习模型；
[0024]步骤3、测试所述步骤2中建立的所述深度学习模型；
[0025]步骤4、将实际场景获取的识别对象的实时图像输入所述深度学习模型获得识别结果，将所述识别对象基于像素的位置信息转换为基于分拣工作台的世界坐标，并输出最终的分类结果及位置信息。
[0026]进一步地，所述步骤1包括以下子步骤：
[0027]步骤1.1、获取图像，包括获取所述识别对象的三维模型并截取多个角度的二维单目标图像，通过单目相机捕获不少于一千张零件分拣图像；
[0028]步骤1.2、图像标注，包括对所述零件分拣图像进行候选框标注，使用canny算子进行轮廓提取，并通过最小外接矩形框定对象位置，再按照Pascal Voc的数据集标注格式输
出为xml标签文件，获得带标签的合成图像；
[0029]步骤1.3、将所述带标签的合成图像作为源域部分，未标记的所述零件分拣图像作为目标域部分，各自按照8：2的比例分为训练集和验证集并随机打乱顺序，生成所述训练数据集。
[0030]进一步地，所述步骤2包括以下子步骤：
[0031]步骤2.1、将在imageNet上预训练的ResNet50权重作为所述深度学习模型的初始权重，并设置超参数初始值；
[0032]步骤2.2、构建整体网络架构，以Faster
‑
RCNN作为目标识别网络，其中，ResNet50为骨干网络，包括特征提取部分以及分类及候选框回归部分；以基于对抗思想的梯度反转层作为域自适应实现模块，包括域分类器部分；
[0033]步骤2.3、构建正向传播过程，将所述训练数据集送入所述深度学习模型，通过特征提取器获取一副特征图，将获取的所述特征图送入所述分类及候选框回归部分进行目标识别，同时送入所述域分类器部分判断所述特征图是来自所述源域部分还是来自所述目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的零件分拣识别系统，其特征在于，包括：训练模块和应用模块，在所述训练模块中建立模型，并将所述模型应用到所述应用模块中获得识别结果并将所述识别结果输出；其中，所述训练模块包括：合成图像制作模块，所述合成图像制作模块绘制识别目标的三维合成图像，所述三维合成图像包含若干角度；实际图像采集模块，所述实际图像采集模块获取所述识别目标的二维真实场景图像，并将所述二维真实场景图像作为训练集的一部分以及测试集；数据集生成模块，所述数据集生成模块分别与所述合成图像制作模块和所述实际图像采集模块连接，通过机器学习方法对所述三维合成图像进行真值框和类别的标注，再将已标注的所述三维合成图像作为源域，将未标注的真实图像作为目标域，并按设定的比例生成训练集和验证集；深度学习模块，所述深度学习模块与所述数据集生成模块连接，接收所述训练集和所述验证集，并构建深度学习模型，包括目标识别网络和域自适应网络，所述目标识别网络用于特征的提取、对象的分类以及候选框的生成；所述域自适应网络用于对齐所述源域和所述目标域中图像的特征。2.如权利要求1所述的基于深度学习的零件分拣识别系统，其特征在于，所述应用模块也包括：所述实际图像采集模块和所述深度学习模块，所述实际图像采集模块将重新采集所述识别目标的二维真实场景图像并作为所述深度学习模块中所建立模型的输入，在所述深度学习模块中生成所述识别结果；所述应用模块还包括结果输出模块，所述结果输出模块连接所述深度学习模块，获取所述识别结果以及所述候选框的坐标，并将所述候选框的坐标转换为零件分拣工作台的世界坐标，并输出所述识别目标的类别和位置。3.如权利要求2所述的基于深度学习的零件分拣识别系统，其特征在于，在构建深度学习模型的过程中，包括构建网络的正向传播和反向传播过程：将输入的所述训练集和所述验证集先通过特征提取层进行特征提取，而后进入分支，一部分继续目标识别网络的训练，另一部分进入域分类器；通过损失函数的反向传播和优化器对权重的更新寻找最优的特征提取器使得在所述域分类器的效果最差的同时所述深度学习模型的自身目标识别的预测结果最优。4.如权利要求1所述的基于深度学习的零件分拣识别系统，其特征在于，所述按设定的比例生成训练集和验证集的比例为8：2。5.一种基于深度学习的零件分拣识别方法，其特征在于，所述方法包括以下步骤：步骤1、生成训练数据集；步骤2、训练深度学习模型；步骤3、测试所述步骤2中建立的所述深度学习模型；步骤4、将实际场景获取的识别对象的实时图像输入所述深度学习模型获得识别结果，将所述识别对象基于像素的位置信息转换为基于分拣工作台的世界坐标，并输出最终的分类结果及位置信息。
6.如权利要求5所述的基于深度学习的零件分拣识别方法，其特征在于，所述步骤1包括以下子步骤：步骤1.1、获取图像，包括获取所述...

【专利技术属性】
技术研发人员：李元旖，许剑新，褚健，杨根科，王宏武，
申请(专利权)人：上海交通大学宁波人工智能研究院，
类型：发明
国别省市：