一种以深度卷积神经网络为基础的零件分拣系统技术方案

本发明专利技术涉及一种以深度卷积神经网络为基础的零件分拣系统，包括控制柜、工业机器人、深度相机、气动爪手、工作台、上位机，工业机器人经控制柜控制运动，气动爪手连接在工业机器人的前端，深度相机位于工作台的上方，与上位机信号连接。深度相机对零件进行图像采集，将采集的图像输入至上位机处理后，并移入已被训练的深度卷积神经网络模型中，该深度卷积神经网络模型对采集的图像进行目标识别和分类，并把得到的目标零件位置坐标和深度坐标发送给工业机器人的控制柜，控制柜将控制机器人对目标零件进行成功抓取和放入指定位置，从而实现对各种零件的分拣，减少了人工分类的工作量，提高了工厂的工作效率。

【技术实现步骤摘要】
一种以深度卷积神经网络为基础的零件分拣系统
本专利技术涉及零件分拣
，尤其是涉及一种以深度卷积神经网络为基础的图像识别和图像定位的零件分拣系统。
技术介绍
对工程零件的只能分拣将会给工厂带来巨大的效益，节约劳动力，并再一方面使工人避免从事这些重复性的工作。随着国家提出中国制造2025，社会与国家都要求建立智能化工厂，以把人类从脏乱的工厂环境中解放出来。中国专利CN100484645A公开了高速自动化生产线上的次品自动分拣方法及设备，其方法是在生产线次品分拣系统接收到次品分拣信号后，启动3自由度联动传送装置，将与该装置相连的机械臂快速定位到次品的正上方，并与产品生产线传送带保持同速运动，然后机械臂下降抓取次品、提升并释放至指定位置，次品释放后，通过3自由度联动传送装置将机械臂复位，等待下一轮分拣抓取。其设备包括电气控制和机械部分；机械部分包括3自由度联动传送装置和装设于该传送装置上由机械臂臂和机械臂爪组成的机械臂；机械臂爪的中心位置设置有摄像机，电气控制部分分别与3自由度联动传送装置和机械臂电连接。但是该专利将基于神经网络的模糊控制用于伺服电机的控制领域，使用的是多传感器信息获取配合相机图像处理获取物体中心坐标信息，再使用基于神经网络的模糊控制伺服电机，从而对三维物体进行抓取。而本专利使用的是工业机器人，首先不需要对机器人的电机进行控制；其次上述专利在图像处理领域使用的是基于人工特征提取的传统方法(几何特征提取)，首先此方法使相机对光线的条件要求高，鲁棒性欠缺，针对不同的工作环境需要做特定的调整，不具有适用性，而本专利使用的基于深度卷积神经网络的图像处理，不需要对特征进行繁琐的人工特征提取(所有特征提取存在与卷积神经网络内部)；且本专利由于使用的是深度卷积神经网络，模拟人类获取图像信息的方法，其鲁棒性与适用性很高，不需要针对特定的工作环境进行特定的调整；本专利使用的是深度相机，会获取深度信息，配合深度卷积神经网络可以对不规则的物体也能进行一定的抓取；最后，上述专利每次是对单个物体进行抓取，若在相机视野内存在多个物体，上述专利将无法抓取，而本专利会对一视野内多个物体进行定位并框取，而且会判断出最为容易抓取的物体进行抓取，然后会持续循环，直至目标视野内物体全部抓取完毕。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种提高效率和精度的以深度卷积神经网络为基础的零件分拣系统。本专利技术的目的可以通过以下技术方案来实现：一种以深度卷积神经网络为基础的零件分拣系统，包括控制柜、工业机器人、深度相机、气动爪手、工作台、上位机，所述的工业机器人经控制柜控制运动，所述的气动爪手连接在工业机器人的前端，所述的深度相机位于工作台的上方，与所述的上位机信号连接。所述的上位机使用以VGG深度卷积神经网络模型为基础的Faster-RCNN网络。所述的上位机在分拣系统工作之前进行大量零件图像样本的训练。通过深度相机采集各种零件在同工作台下各个姿态的大量图像，打上标签分别建立零件数据集的训练集和验证集。训练集需要图像安装零件种类进行分类，验证集为打乱顺序的零件，具体来说，将所需要分类拣取的零件分别在同一工作台背景下拍取各自不同姿态的几千张图像，并将这些图像旋转、缩放、添加噪声点等增加数据量建立零件图像数据集。将图像数据集输入进深度卷积神经网络，对网络进行训练。所述的深度相机获取图像，将图像发送给上位机处理后输入进已训练完成的Faster-RCNN网络模型中计算处理，以获取零件的位置坐标和深度坐标，将位置坐标和深度坐标发送给工业机器人的控制柜，控制工业机器人到达正确的位置和深度，再控制气动爪手对零件进行抓取并放入指定位置。所述的工业机器人为可在三维方向上运动的机械臂。与现有技术相比，本专利技术采用深度卷积神经网络对目标物体进行有效的识别与检测，通过网络的卷积操作、池化操作有效的减少了传统神经网络的权重、偏差数量，提高了模型建立的方便性。此外，与传统工业相机的形态学特征提取识别相比，此系统的识别效果更具有鲁棒性和适应性，可以避免环境对系统的影响。附图说明图1为本专利技术的结构示意图；图2为数据集建立流程图；图3为本专利技术的工作流程图。图中，1-控制柜、2-机械臂、3-深度相机、4-气动爪手、5-零件、6-工作台、7-上位机。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。实施例本专利技术一种以深度卷积神经网络为基础的图像识别和图像定位的零件分拣系统硬件由工业机器人及其控制柜1、深度相机3、气动爪手4、工作台6、上位机7组成。本实施例中，工业机器人采用能在三维方向上运动的机械臂2，经控制柜1控制运动，气动爪手4连接在机械臂2的前端，深度相机3位于工作台6的上方，与上位机7信号连接。上位机7使用以VGG深度卷积神经网络模型为基础的Faster-RCNN网络，在分拣系统工作之前进行大量零件图像样本的训练，具体如下：本专利技术首先需要进行的准备工作，建立数据集，其流程如图2所示，首先使用深度相机3采集所需要分类拣取的零件5分别在同一工作台6背景下拍取各自不同姿态的几千张图像。然后将采集的图像按照各自种类的零件分类，并打上标签。再将这些图像旋转、缩放、添加噪声点等以增加数据量。将所有图像格式如像素数量等统一大小，建立零件图像数据集，以备输入网络。进一步的引入Faster-RCNN(更快速的区域搜索卷积神经网络)网络模型，将自制的零件数据集中训练集输入此网络进行训练。并同时使用数据集中的验证集对网络效果进行验证，最终完成网络模型的准备。具体的上述Faster-RCNN网络模型训练操作分为以下步骤：1)输入测试图像。2)将整张图像输入CNN(深度卷积神经网络)，进行特征提取。3)用RPN生成建议窗口(proposals)，每张图像生成300个建议窗口。4)把建议窗口映射到CNN模型的最后一层卷积featuremap上。5)通过RoIpooling层使每个RoI生成固定尺寸的featuremap。6)利用SoftmaxLoss(探测分类概率)和SmoothL1Loss(探测边框回归)对分类概率和边框回归(Boundingboxregression)联合训练。其中使用的深度卷积神经网络是工程上应用最为广泛的VGG网络模型。本专利技术工作过程如图3所示，包括以下步骤：首先对深度相机3进行标定，以建立工作坐标系与工业机器人坐标系的转换关系，然后深度相机3进行拍照，照片发送给上位机7，再然后上位机对照片进行处理使其符合网络输入要求。进一步，上位机7处理后的照片传入已完成训练的网络，网络将框出所有识别出的目标，并对最可能抓取目标进行判断，若图像上并没有目标物体，结束，否则上述目标判断结果将会使用OpenCV进行位置坐标和深度坐标的获取。进一步，坐标与深度信息将发送给机械臂2以及其控制柜1，再然后控制机械臂2到达指定位置，控制气动爪手4对目标物体进行抓取进一步，判断是否抓取成功，若未成功，机械臂2回到原点，再次返回开始执行。若抓取成功，把目标物体放入指定本文档来自技高网...

【技术保护点】
1.一种以深度卷积神经网络为基础的零件分拣系统，其特征在于，该系统包括控制柜(1)、工业机器人(2)、深度相机(3)、气动爪手(4)、工作台(6)、上位机(7)，所述的工业机器人(2)经控制柜(1)控制运动，所述的气动爪手(4)连接在工业机器人(2)的前端，所述的深度相机(3)位于工作台(6)的上方，与所述的上位机(7)信号连接。

【技术特征摘要】
1.一种以深度卷积神经网络为基础的零件分拣系统，其特征在于，该系统包括控制柜(1)、工业机器人(2)、深度相机(3)、气动爪手(4)、工作台(6)、上位机(7)，所述的工业机器人(2)经控制柜(1)控制运动，所述的气动爪手(4)连接在工业机器人(2)的前端，所述的深度相机(3)位于工作台(6)的上方，与所述的上位机(7)信号连接。2.根据权利要求1所述的一种以深度卷积神经网络为基础的零件分拣系统，其特征在于，所述的上位机(7)使用以VGG深度卷积神经网络模型为基础的Faster-RCNN网络。3.根据权利要求2所述的一种以深度卷积神经网络为基础的零件分拣系统，其特征在于，所述的上位机(7)在分拣系统工作之前进行大量零件图像样本的训练。4.根据权利要求3所述的一种以深度卷积神经网络为基础的零件分拣系统，其特征在于，通过深度相机(3)采集各种零件在...

【专利技术属性】
技术研发人员：陈志澜，陈绪，阮宏洋，赵宏武，
申请(专利权)人：上海建桥学院，
类型：发明
国别省市：上海,31