一种基于深度学习的柔性机器人视觉识别与定位系统技术方案

本发明专利技术公开了一种基于深度学习的柔性机器人视觉识别与定位系统，包括如下步骤：获取零件的图像并二值化处理提取其外轮廓边缘；找出其外轮廓边缘在横向上的外接矩形确定待识别区域，归一化处理为标准图像；等角度地逐渐旋转标准图像，找出标准图像旋转到其外轮廓边缘在横向上的外接矩形的面积最小时的旋转角度α；采用深度学习网络提取旋转角度为α时的外轮廓边缘，识别零件以及其位姿；根据旋转角度α，以及位姿，计算旋转前待识别零件所处的实际位姿，并将该位姿数据传给柔性机器人，以便柔性机器人拾取待识别零件。本发明专利技术利用深度学习网络逐层自动抽取零件图像数据所蕴含的轮廓形状特征，能够在复杂条件下，大大提高零件识别及定位准确性和适应性。

A deep learning based visual recognition and localization system for flexible robots

The invention discloses a deep learning based on flexible robot vision recognition and positioning system, which comprises the following steps: acquiring parts of the image binarization processing and extracting the outline of the outline of the edge; find the edge in the horizontal rectangle to determine recognition area, normalized to a standard image angle gradually; the standard image rotation, rotation angle and find out the standard of image rotation to its outer edge in the horizontal rectangle area of the hour with the rotation angle alpha; depth extraction for learning network contour edge alpha, identification of parts and the position; according to the rotation angle alpha, and pose and the actual pose calculation to identify the parts before rotation, and the position data is transmitted to a flexible robot, flexible robot to identify parts to pick up. The invention utilizes the depth learning network to automatically extract the contour shape features contained in the part image data by layer by layer, and can greatly improve the accuracy and adaptability of the parts identification and positioning under complicated conditions.

【技术实现步骤摘要】
一种基于深度学习的柔性机器人视觉识别与定位系统
本专利技术涉及机器人行业的视觉识别与定位
，特别地涉及一种基于深度学习的柔性机器人视觉识别与定位系统。
技术介绍
柔性工业机器人在对零件的自动装配、搬运、分拣中，如何准确识别与定位传输装置上随意放置并混杂的机械零件是一项非常重要且十分有难度的任务，零件的特征是否被正确选取、是否被有效描述，对柔性机器人最终识别与定位效果的影响是非常显著的、甚至是决定性的。在零件混杂、随意放置、视角变化、图像缩放、扭曲、光照变化、背景干扰等复杂条件下，现有柔性机器人识别与定位准确性不高，其主要原因就是所用零件特征有效性和适应性差。对于零件特征，现有方法多是采用“人工缺陷特征选取+人工特征描述计算”的方式，如颜色、纹理、形状等各类传统人工特征及其描述算子。目前采用较多的是针对不同的零件提出的各种人工形状描述算子，如傅立叶算子、曲率尺度空间算子、矩、以及链码等，这些方法在特定的条件下能够获得一定的效果。但是面对零件混杂、随意放置、视角变化、光照变化、背景干扰、甚至图像缩放或扭曲，这些方法就不能很好地进行零件目标识别了。并且，上述人工特征的有效性和适应性存在很大问题，需要启发式方法、非常专业的知识、很大程度上也靠个人经验，并有可能受具体条件的限制，适应性往往较差。零件人工特征有效性和适应性差是现有柔性机器人识别与定位准确性不高的主要原因之一。深度学习机制具有优异的特征自学习能力，能够模拟人脑准确高效地从大量感知数据中自动提取本质信息，从而大大提高分类识别或分类的准确性。目前针对深度学习的研究主要集中在环境条件较好的人脸模型、字符识别、语音识别等方面。
技术实现思路
针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种利用深度学习网络逐层自动抽取零件图像数据所蕴含的轮廓形状特征，在零件混杂、随意放置、视角变化、光照变化、背景干扰、缩放或扭曲等复杂条件下，大大提高零件识别及定位准确性和适应性的基于深度学习的柔性机器人视觉识别与定位系统。为了解决上述技术问题，本专利技术采用了如下的技术方案：一种基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，包括如下步骤：1)零件外轮廓边缘提取：采用CCD相机获取待识别零件所在区域的图像，对原图像进行二值化处理，提取图像中各零件的外轮廓边缘；2)归一化处理：确定图像中各零件的外轮廓边缘在水平方向上的外接矩形，并将每个外接矩形向外扩大至少2个像素得到每个零件的待识别区域，将每个零件的待识别区域归一化处理为标准图像；3)在90度范围内，等角度地逐渐旋转各零件的标准图像，并计算每次旋转后该零件在当前位置处的外轮廓边缘在水平方向上的外接矩形的面积，确定各零件的标准图像旋转到其外轮廓边缘在水平方向上的外接矩形的面积最小时的旋转角度α；4)采用已经学习有待识别零件的外轮廓边缘在水平方向上的外接矩形的面积最小时的四种位姿的深度学习网络提取所述步骤3)中各零件旋转角度为α时的外轮廓边缘形状，识别混杂在各零件中的待识别零件以及其旋转后所处的位姿；5)根据识别出来的待识别零件在所述步骤3)中的旋转角度α，以及识别时所处的位姿，计算旋转前待识别零件所处的实际位姿，并将该位姿数据传给柔性机器人，以便柔性机器人拾取待识别零件。作为优化，所述步骤1)中，对原图像采用单一阈值法进行二值化处理，并采用Roberts算子快速提取图像中各零件的外轮廓边缘。作为优化，所述步骤2)中，先计算各零件的外轮廓边缘在CCD相机视图坐标上的最大横坐标xmax、最小横坐标xmin、最大纵坐标ymax以及最小纵坐标ymin，得到以(xmin,ymax)、(xmax,ymax)、(xmax,ymin)、(xmin,ymin)为顶点的水平方向上零件轮廓边缘的外接矩形；并将每个外接矩形沿x方向和y方向分别向外扩大至少2个像素得到每个零件的待识别区域，将每个零件的待识别区域归一化处理为标准图像；作为优化，所述步骤3)中，具体包括如下步骤：3.1)计算各零件的外轮廓边缘在当前位置的水平外接矩形的面积，由图像的零阶几何矩和一阶几何矩计算出图像区域的几何中心即形心；3.2)以零件外轮廓边缘图像的形心为旋转中心，每次旋转角度为k度，直到旋转到90度；3.3)每次旋转后，以坐标最大最小法确定零件轮廓边缘在旋转后的水平外接矩形，并计算其面积；比较各旋转位置的水平外接矩形面积，确定面积最小时的位置；3.4)以零件外轮廓边缘图像在上述面积最小时的位置为起点，绕形心沿顺时针方向和逆时针方向分别旋转(k-1)/i次，每次旋转角度为i度，其中i为系统定位精度；并计算每次旋转后该零件在当前位置处的外轮廓边缘在水平方向上的外接矩形的面积，确定该外接矩形的面积最小时该零件的位置；3.5)确定各零件的标准图像旋转到其外轮廓边缘在水平方向上的外接矩形的面积最小时位置的旋转角度α。作为优化，所述步骤4)中，具体包括如下步骤：4.1)构建基于深度学习网络的零件形状特征自动提取与识别系统；该深度学习网络包括输入层X0、第1卷积层C1、第1降采样层S1、第2卷积层C2、第2降采样层S2、全连接层N6、RBF识别层R7和输出层Y8；所述输入层X0大小为32×32个神经元，以待识别区域归一化处理后的32×32像素标准图像作为输入，输入层神经元与标准图像的像素一一对应；第1卷积层C1由4幅含有28×28个神经元的特征图组成，是用4种不同的5×5大小卷积核卷积输入层X0而得到；第1降采样层S1由4幅含有14×14个神经元的特征图组成，每个特征图对应第1卷积层C1的一个特征图；S1降采样层的每个神经元与C1中相对应特征图的2*2邻域相连接，通过局部平均实现二次特征提取；第2卷积层C2由11幅含有10×10个神经元的特征图组成，是用11种不同的5×5大小卷积核卷积第1降采样层S1相应的特征图而得到；C2层与S1层之间的连接采取不全连接方式；第2降采样层S2由11幅含有14×14个神经元的特征图组成，每个特征图对应第2卷积层C2的一个特征图；S2降采样层的每个神经元与C2中相应特征图的2*2邻域相连接，通过局部平均实现二次特征提取；全连接层N6与S2之间全连接，是用22种不同的5×5大小卷积核卷积S2而得到，N6特征图的大小为1*1，即每个特征图只含有1个神经元，N6层的22个神经元组成零件的深度学习特征矢量：A＝{a1,a2,...,a22},其中A表示零件轮廓的深度学习特征矢量，a1……a22分别表示N6层的22个神经元的输出值；RBF识别层R7为RBF(径向基)神经网络，其输入与N6层全相连，其隐层共有11个神经单元；每个RBF欧式径向基函数单元计算输入向量和参数向量之间的欧式距离，采用高斯函数作为基函数，其隐层第i个神经单元的输出为：Ri＝exp[-||Xi-Ci||2/(2σi2)]；其中Ri表示隐层第i个神经单元的输出，Xi表示隐层第i神经单元的输入值，Ci为隐层第i个神经单元的Gaussian函数的中心点；σi为隐层第i个神经单元的宽度；该RBF识别层的输出由5个神经元组成，第j个输出神经元的输出值yj为:其中，h表示该RBF神经网络隐层神经元的数量，n表示输出神经元的数量，wij表示第i个隐层神经元与第j个输出神经元之间本文档来自技高网...

【技术保护点】
一种基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，包括如下步骤：1)零件外轮廓边缘提取：采用CCD相机获取待识别零件所在区域的图像，对原图像进行二值化处理，提取图像中各零件的外轮廓边缘；2)归一化处理：确定图像中各零件的外轮廓边缘在水平方向上的外接矩形，并将每个外接矩形向外扩大至少2个像素得到每个零件的待识别区域，将每个零件的待识别区域归一化处理为标准图像；3)在90度范围内，等角度地逐渐旋转各零件的标准图像，并计算每次旋转后该零件在当前位置处的外轮廓边缘在水平方向上的外接矩形的面积，确定各零件的标准图像旋转到其外轮廓边缘在水平方向上的外接矩形的面积最小时的旋转角度α；4)采用已经学习有待识别零件的外轮廓边缘在水平方向上的外接矩形的面积最小时的四种位姿的深度学习网络提取所述步骤3)中各零件旋转角度为α时的外轮廓边缘形状，识别混杂在各零件中的待识别零件以及其旋转后所处的位姿；5)根据识别出来的待识别零件在所述步骤3)中的旋转角度α，以及识别时所处的位姿，计算旋转前待识别零件所处的实际位姿，并将该位姿数据传给柔性机器人，以便柔性机器人拾取待识别零件。

【技术特征摘要】
1.一种基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，包括如下步骤：1)零件外轮廓边缘提取：采用CCD相机获取待识别零件所在区域的图像，对原图像进行二值化处理，提取图像中各零件的外轮廓边缘；2)归一化处理：确定图像中各零件的外轮廓边缘在水平方向上的外接矩形，并将每个外接矩形向外扩大至少2个像素得到每个零件的待识别区域，将每个零件的待识别区域归一化处理为标准图像；3)在90度范围内，等角度地逐渐旋转各零件的标准图像，并计算每次旋转后该零件在当前位置处的外轮廓边缘在水平方向上的外接矩形的面积，确定各零件的标准图像旋转到其外轮廓边缘在水平方向上的外接矩形的面积最小时的旋转角度α；4)采用已经学习有待识别零件的外轮廓边缘在水平方向上的外接矩形的面积最小时的四种位姿的深度学习网络提取所述步骤3)中各零件旋转角度为α时的外轮廓边缘形状，识别混杂在各零件中的待识别零件以及其旋转后所处的位姿；5)根据识别出来的待识别零件在所述步骤3)中的旋转角度α，以及识别时所处的位姿，计算旋转前待识别零件所处的实际位姿，并将该位姿数据传给柔性机器人，以便柔性机器人拾取待识别零件。2.如权利要求1所述的基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，所述步骤1)中，对原图像采用单一阈值法进行二值化处理，并采用Roberts算子快速提取图像中各零件的外轮廓边缘。3.如权利要求1所述的基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，所述步骤2)中，先计算各零件的外轮廓边缘在CCD相机视图坐标上的最大横坐标xmax、最小横坐标xmin、最大纵坐标ymax以及最小纵坐标ymin，得到以(xmin，ymax)、(xmax，ymax)、(xmax，ymin)、(xmin，ymin)为顶点的水平方向上零件轮廓边缘的外接矩形；并将每个外接矩形沿x方向和y方向分别向外扩大至少2个像素得到每个零件的待识别区域，将每个零件的待识别区域归一化处理为标准图像。4.如权利要求1所述的基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，所述步骤3)中，具体包括如下步骤：3.1)计算各零件的外轮廓边缘在当前位置的水平外接矩形的面积，由图像的零阶几何矩和一阶几何矩计算出图像区域的几何中心即形心；3.2)以零件外轮廓边缘图像的形心为旋转中心，每次旋转角度为k度，直到旋转到90度；3.3)每次旋转后，以坐标最大最小法确定零件轮廓边缘在旋转后的水平外接矩形，并计算其面积；比较各旋转位置的水平外接矩形面积，确定面积最小时的位置；3.4)以零件外轮廓边缘图像在上述面积最小时的位置为起点，绕形心沿顺时针方向和逆时针方向分别旋转(k-1)/i次，每次旋转角度为i度，其中i为系统定位精度；并计算每次旋转后该零件在当前位置处的外轮廓边缘在水平方向上的外接矩形的面积，确定该外接矩形的面积最小时该零件的位置；3.5)确定各零件的标准图像旋转到其外轮廓边缘在水平方向上的外接矩形的面积最小时位置的旋转角度α。5.如权利要求1所述的基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，所述步骤4)中，具体包括如下步骤：4.1)构建基于深度学习网络的零件形状特征自动提取与识别系统；该深度学习网络包括输入层X0、第1卷积层C1、第1降采样层S1、第2卷积层C2、第2降采样层S2、全连接层N6、RBF识别层R7和输出层Y8；所述输入层X0大小为32×32个神经元，以待识别区域归一化处理后的32×32像素标准图像作为输入，输入层神经元与标准图像的像素一一对应；第1卷积层C1由4幅含有28×28个神经元的特征图组成，是用4种不同的5×5大小卷积核卷积输入层X0而得到；第1降采样层S1由4幅含有14×14个神经元的特征图组成，每个特征图对应第1卷积层C1的一个特征图；S1降采样层的每个神...

【专利技术属性】
技术研发人员：余永维，杜柳青，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆,50