一种基于深度卷积神经网络的工业机械臂视觉控制方法技术

本发明专利技术公开了一种基于深度卷积神经网络的工业机械臂视觉控制方法，包括步骤：1)目标物体视觉信息采集与预处理；2)训练与调整深度卷积神经网络模型；3)验证模型与保存模型。本发明专利技术结合深度卷积神经网络提取不同姿态的目标物体的理想抓取位置，提升了系统能够适用的范围，从而克服了传统视觉控制发放识别特定目标物体差问题，有效简化工业机械臂的使用难度，为工业机械臂控制提供新的方法，具备良好的扩展性。

Vision control method of industrial robot arm based on depth convolution neural network

The invention discloses an industrial robot visual control method, deep convolutional neural network includes the steps of: 1) the target object based on visual information acquisition and processing; 2) training and adjust the depth of convolutional neural network model; 3) to validate the model and storage model. Grab the ideal position of the object from different pose of the invention combines deep convolutional neural network, the system can enhance the scope of application, so as to overcome the traditional visual control issue special target recognition problem of the difference between objects, simplify the robot arm's difficulty, for the industrial manipulator control to provide a new method and has good scalability.

【技术实现步骤摘要】
一种基于深度卷积神经网络的工业机械臂视觉控制方法
本专利技术涉及工业机械臂领域，尤其是指一种基于深度卷积神经网络的工业机械臂视觉控制方法。
技术介绍
在工业生产中，工业机械臂可以替代人力进行简单和重复性的工作，例如：拾取、组装、焊接、包装、敲打、剪切、打磨、拖拽等生产操作。特别是在危险、恶劣的作业环境下使用机器人技术降低潜在的安全风险。研究机器人技术是实现智能制造，降低企业生产成本的重要的途径。“运动规划”和“任务确定”是工业机械臂的关键的两类技术。“运动规划”可以分为路径规划(pathplanning)和轨迹生成(trajectorygeneration)两部分。路径规划的目的是为工业机械臂找到一系列无干涉、并能成功完成任务的路径点，这些路径点可以是三维空间中的坐标，或者关节角度，路径规划即为工业机械臂确定工作过程中需要经过的特定位置的集合；轨迹生成负责为工业机械臂生成一系列在运动上连续的参考点和附加信息，轨迹生成即确定工业机械臂以何种方式、速度通过路径规划生成的路径点集合。“任务确定”是研究和解决工业机械臂如何识别目标物体。工业机械臂需要能够识别目标物体，然后才能进行后续生产操作。目前这部分存在很大缺陷，现有的工业机械臂需要要求物件出现在固定的空间三维坐标位置上。工业机械臂再从这个位置针对不同作业对物件进行具体操作。目前在传统工业机器人上的控制技术(正逆运动学，正逆动力学，轨迹规划，参数辨识，误差补偿等)在理论上已经非常成熟了，只要给定目标坐标，就能配合多种方法进行轨迹规划获取一条适当的运动路径和运动过程中的动力输出配置。目前生产上的工业机械臂使用方式有以下几种：1.拖动示教：即通过拖动工业机器人来教会工业机器人按照固定的轨迹进行工作，使用上十分简单，但是面对复杂工作不能很好的进行规划，而且这种拖动方式需要人来进行，工业机器人存在一定危险性。2.外部示教：利用手：势传感器来操作机器人，让机器人模仿手的运动。但是问题在于这些传感器的精度不高，短期内无法用于工业生产。3.语音示教：利用预定义的语音指令来操纵工业机器人运动，存在问题是可操作精度差，不能很好的进行精细的工作。4.编程示教：即利用工业机器人的示教盒进行编程控制工业机器人的运转，这需要工厂中有熟悉机器人的使用人员。以上的4种工业机器人使用方式都存在的缺点的是，工业机器人需要按照预定义的程序运转，需要专业人员进行维护，并且应用到新任务中的复杂度高。部署和实施上的困难在很大程度上限制了机器人产业的反展。给定目标物体信息，工业机械臂便可完成相应生产操作，但是如何确定目标物体是应用的一大难题。因此亟需一种智能的能够自动识别目标物体的算法用于控制工业机械臂，降低工业机械臂的应用成本。
技术实现思路
本专利技术的目的在于克服现有工业机械臂视觉控制技术自动化水平与智能化层度低，提出了一种基于深度卷积神经网络的工业机械臂视觉控制方法，该方法考虑了工业机械臂相对稳定的室内工作环境要求，克服通过重复性编程控制工业机器人的缺点；结合机器学习与机器视觉，利用仿生物视觉方法的深度卷积神经网络的提取目标零件的能力，提升工业机械臂视觉系统识别目标零件的准确度，优化工业机械臂的使用和加速工业机械臂在生产中的应用。为实现上述目的，本专利技术所提供的技术方案为：一种基于深度卷积神经网络的工业机械臂视觉控制方法，具体包含以下步骤：1)目标物体视觉信息采集与预处理将目标物体放置于工作台上，利用CCD照像机采集目标物体图像的颜色信息图片和深度信息，以及进行人工标注理想抓取位姿点。2)训练与调整深度卷积神经网络模型利用步骤1)中采集的目标物体对预设深度神经网络进行，得到目标物体模型高层次特征表达，得到预训练的深度卷积神经网络模型，并利用一组测试数据调整和测试预训练的深度卷积神经网络模型的准确率。3)验证模型与保存模型将CCD照像机采集新的目标物体图像的样本作为步骤2)得到的深度卷积神经网络的输入，得到目标物体上的理想抓取位置，以此位置作为目标点，控制机械臂进行抓取操作。在步骤1)中，目的是充分获取到目标物体的视觉信息表示以及标注理想抓取位置，利用CCD照相机采集目标物体视觉信息。具体要求为采集在工作台上不同姿态，不同位置，不同方向的目标物体视觉信息图片，这样才能充分表示在多种情况下目标物体的实际分布。目标物体可以有多种，比如电子零件、剪刀、水杯、手机天线等物体。在工厂实际加工中生产线上需要加工的多类别的。采集生产线上需要加工的多种目标物体的视觉信息图像样本可使训练后的深度卷积神经网络具备识别多种目标物体抓取位置的能力。规整采集到的目标物体图像大小为248×248像素。人工使用方框标注目标物体的理想抓取位置，即工业机械臂家具需要运动到此区域才能完成成功的抓取。目标物体的理想抓取位置可能存在多个，便可以多次标注，以5元组的形式表示标注的理想抓取位置：(抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)，其中夹角用弧度制表示。标注的多个抓取点，其重要性不同，对于规则的目标物体，工业机械臂抓取的成功概率是越接近目标物体中心的抓取成功率越高。由此需要对采集的图像进行二值化，然后按照高斯分布以目标物体中心产生对目标物体图像产生抓取可能性描述，抓取成功可能性是有(0，1)区间表示的概率，其中目标物体中心点的抓取可能性设为1，目标物体的边界抓取可能性设为0。对人工标准的5元组集合进行添加上抓取成功可能性属性即最终得到关于抓取位置的6元组(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。由此，训练深度卷积神经网络所需要的目标物体视觉信息图像样本和标注信息已经完备。在步骤2)中，本专利技术采用深度卷积神经网络对工作台上的目标物体的理想抓取点进行识别从而控制工业机械臂进行抓取等工业加工处理操作，具体实现为如下：在深度卷积神经网络中主要包括卷积运算操作层、下采样层、激活层(在本专利技术中使用的是修正线性单元函数)以及全连接层(一般用于深度卷积网络的最后一层，得出深度卷积网络的预测结果)。卷积运算操作层相对于传统的神经网络中的层减少了层中权重参数的数量。卷积运算操作层通过令每个神经元与下一层的若干个局部区域相连接。将目标物体视觉信息图像(长、宽固定)输入到卷积运算层中，计算权重和局部区域图像像素值的内积，卷积运算后的输出y与卷积核w、卷积前的输入x关系如下：其中yj是卷积后输出向量中的元素，xi是与yj对应的卷积前输入的局部区域中的像素，从而提取局部区域的特征结果信息，在整幅图像上滑动的重复计算这个过程，提取得到整幅图像关于此权重向量的特征结果信息，这部分权重值组成的向量称为卷积核或过滤器。过滤器能够提取出目标物体图像的部分特征信息，当过滤器与局部区域图像像素进行内积操作时，存在特征内积输出展现为激活状态。经过卷积运算操作后就能得到新的目标物体的二维表示，在单个卷积运算操作层中应用若干过滤器提取目标物体若干新的二维表示，其中过滤器相对应的特征的表达结果保留在新的二维表示中，在训练过程中，会根据神经网络预测结果与真实结果的误差，通过反向计算最终误差对每一层的参数的导数(即误差函数的梯度方向)对卷积核进行修正，从而使网络能够学习导目标物体理想抓取位置的特征。本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于，包括以下步骤：1)目标物体视觉信息采集与预处理将目标物体放置于工作台上，利用CCD照像机采集目标物体图像的颜色信息图片和深度信息，以及进行人工标注理想抓取位姿点；2)训练与调整深度卷积神经网络模型利用步骤1)中采集的目标物体对预设深度神经网络进行，得到目标物体模型高层次特征表达，得到预训练的深度卷积神经网络模型，并利用一组测试数据调整和测试预训练的深度卷积神经网络模型的准确率；3)验证模型与保存模型将CCD照像机采集新的目标物体图像的样本作为步骤2)得到的深度卷积神经网络的输入，得到目标物体上的理想抓取位置，以此位置作为目标点，控制机械臂进行抓取操作。

【技术特征摘要】
1.一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于，包括以下步骤：1)目标物体视觉信息采集与预处理将目标物体放置于工作台上，利用CCD照像机采集目标物体图像的颜色信息图片和深度信息，以及进行人工标注理想抓取位姿点；2)训练与调整深度卷积神经网络模型利用步骤1)中采集的目标物体对预设深度神经网络进行，得到目标物体模型高层次特征表达，得到预训练的深度卷积神经网络模型，并利用一组测试数据调整和测试预训练的深度卷积神经网络模型的准确率；3)验证模型与保存模型将CCD照像机采集新的目标物体图像的样本作为步骤2)得到的深度卷积神经网络的输入，得到目标物体上的理想抓取位置，以此位置作为目标点，控制机械臂进行抓取操作。2.根据权利要求1所述的一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于：在步骤1)中，获取目标物体的视觉信息表示以及标注理想抓取位置，利用CCD照相机采集目标物体视觉信息，具体要求为：采集在工作台上不同姿态，不同位置，不同方向的目标物体视觉信息图片，以充分表示在多种情况下目标物体的实际分布；目标物体有多种，采集多种目标物体的视觉信息图像样本能够使训练后的深度卷积神经网络具备识别多种目标物体抓取位置的能力；规整采集到的目标物体图像大小为248×248像素，人工使用方框标注目标物体的理想抓取位置，即工业机械臂家具需要运动到此区域才能完成成功的抓取；以5元组的形式表示标注的理想抓取位置：抓取中心x坐标、抓取中心y坐标、方框长度、方框高度、方框与水平方向的夹角，其中夹角用弧度制表示；标注的多个抓取点，其重要性不同，对于规则的目标物体，工业机械臂抓取的成功概率是越接近目标物体中心的抓取成功率越高；由此需要对采集的图像进行二值化，然后按照高斯分布以目标物体中心产生对目标物体图像产生抓取可能性描述，抓取成功可能性是有(0，1)区间表示的概率，其中目标物体中心点的抓取可能性设为1，目标物体的边界抓取可能性设为0；对人工标准的5元组集合进行添加上抓取成功可能性属性即最终得到关于抓取位置的6元组：抓取成功可能性、抓取中心x坐标、抓取中心y坐标、方框长度、方框高度、方框与水平方向的夹角。3.根据权利要求1所述的一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于：在步骤2)中，采用深度卷积神经网络对工作台上的目标物体的理想抓取点进行识别从而控制工业机械臂进行抓取等工业加工处理操作，具体实现为如下：在深度卷积神经网络中主要包括卷积运算操作层、下采样层、激活层以及全连接层；其中在激活层中使用的是修正线性单元函数，全连接层用于深度卷积网络的最后一层，得出深度卷积网络的预测结果；卷积运算操作层通过令每个神经元与下一层的若干个局部区域相连接，将目标物体视觉信息图像输入到卷积运算层中，计算权重和局部区域图像像素值的内积，卷积运算后的输出y与卷积核w、卷积前的输入x关系如下：其中yj是卷积后输出向量中的元素，xi是与yj对应的卷积前输入的局部区域中的像素，从而提取局部区域的特征结果信息，在整幅图像上滑动的重复计算这个过程，提取得到整幅图像关于此权重向量的特征结果信息，这部分权重值组成的向量称为卷积核或过滤器；过滤器能够提取出目标物体图像的部分特征信息，当过滤器与局部区域图像像素进行内积操作时，存在特征内积输出展现为激活状态；经过卷积运算操作后就能得到新的目标物体的二维表示，在单个卷积运算操作层中应用若干过滤器提取目标物体若干新的二维表示，其中过滤器相对应的特征的表达结果保留在新的二维表示中，在训练过程中，根据神经网络预测结果与真实结果的误差，通过反向计算最终误差对每一层的参数的导数即误差函数的梯度方向对卷积核进行修正，从而使网络能够学习导目标物体理想抓取位置的特征；在卷积运算操作层中，每一层的神经元仅与上一层的局部区域相连接，前一层的以滑动窗口的方式对内积和像素值进行内积操作；在内积操作中，仅窗口中的目标物体图像像素值参与内积运算；滑动方式是每次窗口向右移动若干单位的像素即使得窗口覆盖新的局部区域，若以到达目标物体图像的右边界，则移动窗口回到目标图像的左边界，并将窗口向下移动若干单位的像素；此窗口即为过滤器或卷积核，其具有长度和宽度即具有长×宽的像素大小的区域；上述运算提取出目标物体图像具有过滤器所表示特征的过滤结果；在实际应用中，过滤器的长、宽、数量属于超参数，需要手动设置；通过这样的方式，过滤器减少了卷积操作层中需要的参数数量，实现了层中参数共享的作用；下采样层，也即池化层，经过卷积运算操作层后，得到的目标物体新的二维表示仍然存在维度过高的情形，维数过多使得训练难度增加，容易使得深度卷积网络产生过拟合现象，需要通过下采样方法降低新的二维表示的数据维度；下采样的方法是对图像数据中不同位置的特征进行聚合统计，具体是：将目标物体新的二维表示分割成大小相同的若干的小区域，以此小区域的统计特征表示该区域，从而使得数据的维度降低；通常卷积运算操作层和下采样层合并认为是一层。4.根据权利要求3所述的一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于：所述深度卷积神经网络由5个卷积层、3个下采样层、2个全连接层以及一个DropOut层组合而成，最终输出的是一个6元组描述的抓取位置点，包含抓取位置的信息，其具体形式即步骤1)中处理后的标注信息：抓取成功可能性、抓取中心x坐标、抓取中心...

【专利技术属性】
技术研发人员：皮思远，肖南峰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44