基于视觉深度学习特征的机器人机械手检测及抓取方法技术

本发明专利技术公开了一种基于视觉深度学习特征的机器人机械手检测及抓取方法，所述方法包括以下步骤：通过单目相机采集RGB图像从中选取关键帧图像，将关键帧图像切分成多个区域输入卷积神经网络A中，根据识别的目标类别选择抓取的目标区域；将关键帧图像与目标区域的标准图像作为卷积神经网络B的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高；根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态。本发明专利技术仅需采用简单设备，就可实现高效的目标识别和抓取定位，抓取结果准确。

Robot manipulator detection and grasping method based on visual depth learning feature

The invention discloses a robot manipulator detection and grabbing method based on the visual depth learning feature. The method comprises the following steps: collecting RGB image by monocular camera, selecting key frame image from it, dividing the key frame image into multiple areas, inputting them into convolutional neural network a, selecting the grabbing target area according to the recognized target category, and selecting the key frame image and the target The standard image of the region is matched as the input of convolutional neural network B, and the key frame image is rotated at an angle to achieve the highest matching rate with the standard image; the pose of the target region is determined according to the angle with the highest matching rate, and the grasping pose of the manipulator is adjusted. The invention only needs simple equipment to realize efficient target recognition and grab positioning, and the grab result is accurate.

【技术实现步骤摘要】
基于视觉深度学习特征的机器人机械手检测及抓取方法
本专利技术涉及深度学习
，尤其涉及一种基于视觉深度学习特征的机器人机械手检测及抓取方法，用于提高生产中工业机械手抓取目标时的准确性、实时性以及智能性，同时降低生产成本。
技术介绍
工业自动化程度反应一个国家的经济发展水平，随着自动化技术的飞快发展，现代工业已经离不开机器人的参与，机器人的种类及数量越来越多，覆盖范围也越来越广，因此需要更高准确度、更高即时性、更加智能化的机器人来跟上经济的快速发展。在计算机视觉领域，目标识别和定位是机械手自动抓取过程中的关键技术，指导机器人按照人类的意图去抓取目标物体，使机器人完成搬运、分拣、零件加工等工作，或者使机器人在复杂的家庭环境下抓取主人指定的物品等。目前，机器人机械手检测和抓取技术有以下方法：1)接触式传感设备，例如：机械手末端使用爪部压力传感器和控制电路识别抓取物体的硬度，实现目标物体的动态抓取；2)采用双目立体视觉或深度视觉技术，拟合目标物体的空间三维结构，由双目相机采集的关键帧图像以及深度信息计算出目标物体的具体位置以及目标位姿。结合基于深度学习的单目视觉技术在工业机器人机械手工件检测及抓取应用尚不完善。
技术实现思路
本专利技术提供了一种基于视觉深度学习特征的机器人机械手检测及抓取方法，本专利技术仅需采用简单设备，就可实现高效的目标识别和抓取定位，抓取结果准确，详见下文描述：一种基于视觉深度学习特征的机器人机械手检测及抓取方法，所述方法包括以下步骤：r>通过单目相机采集RGB图像从中选取关键帧图像，将关键帧图像切分成多个区域输入卷积神经网络A中，根据识别的目标类别选择抓取的目标区域；将关键帧图像与目标区域的标准图像作为卷积神经网络B的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高；根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态。所述卷积神经网络A的结构为：输入层，卷积层，池化层，全连接层和输出层，输出层输出目标区域在每个区域的评分，选取得分最高的区域为目标物体所在区域。其中，所述池化层取最大值的函数，全连接层设计有一个随机函数，范围为(0,1]，代表全连接层神经元参与计算的比例，当其值为1时全部神经元参与计算。进一步地，所述卷积神经网络B可分解为通道卷积和块卷积。所述通道卷积的计算量为C通＝D×D×3×3×3，对数据进行一次规范化操作，采用修正线性单元函数ReLU来进行规范化；所述块卷积的计算量为C块＝D×D×1×1，D×D为输入图像的大小。进一步地，所述修正线性单元函数ReLU为：其中，X为每一个卷积层和池化层的输出结果。本专利技术提供的技术方案的有益效果是：1、本专利技术仅需一个单目摄像机采集目标物体图像，通过训练基于深度学习的神经网络模型，结合计算机视觉中的图像处理技术，识别图像目标物体，根据相机的移动轨迹以及相对运动量，确定目标物体的准确位置，再通过可分解卷积神经网络计算目标物体的姿态，然后控制机器人的机械臂对目标物体进行精准抓取；2、本专利技术使用的设备简单，可以降低生产成本；同时提高在生产流水线上对于残次品的识别率以及抓取准确率，提高生产效率。附图说明图1为基于视觉深度学习特征的机器人机械手检测及抓取方法的流程图；图2为目标物体图像以及相机移动的结构示意图；图3为三角测量示意图；图4为通道卷积、规范化操作的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1现有技术中的机器人机械手需要安装多种传感器，进行传感信息融合，以至于消耗成本高，但算法精准度低，造成机器人机械手在工作过程中的抓取失败。针对以上问题，本专利技术实施例提出了一种基于视觉深度学习特征的机器人机械手检测及抓取方法，这种方法属于多自由度机械手控制领域，本实施例由单目相机采集RGB图像，将关键帧图像分割成若干区域，使其适宜输入卷积神经网络中，经过卷积神经网络处理，识别出目标物体并找到目标物体所在的区域。根据相机在拍摄两帧照片时的相对运动推算出目标的位置以及与机械手之间的距离。将相邻关键帧图像放入可分解卷积神经网络，与标准图像进行匹配，对关键帧图像进行一定角度的旋转，找到匹配率最高时的旋转角度。最后，以机械手末端为坐标原点建立机械臂坐标系，根据计算的角度值确定目标位姿。实施例2一种基于视觉深度学习特征的机器人机械手检测及抓取方法，该方法应用于基于深度学习特征的机器人机械手抓取设备中，包括以下步骤：需要一个单目相机采集一系列RGB图像，从中选取关键帧图像，并将关键帧图像切分成多个区域，放入卷积神经网络中，根据识别的目标类别选择抓取的目标区域。相机位于机械手末端，可根据机械手运行的轨迹以及相对运动量推算出目标物体的准确位置，以及机械手与目标物体之间的距离。将单目相机获取的相邻关键帧图像与目标物体的标准图像作为神经网络的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高。根据找到匹配率最高时的角度确定目标物体的位姿，便于下一步调整机械手的抓取姿态。本实施例中涉及到两个神经网络，分别为卷积神经网络A和可分解卷积神经网络B。本实施例的操作步骤如下：S1：进行初始化；其中，该步骤具体为：配置好机器人机械手的相机，将机械臂放置在合适的位置，便于相机采集图像。S2：获取单目相机RGB彩色图像，采用帧间差方法选取一系列关键帧图像；本专利技术的实施例使用单目相机获取目标物体的一系列高分辨率RGB图像，RGB图像不仅包含目标物体的颜色信息还有目标物体的纹理信息，采用帧间差方法选取一系列关键帧。帧间差方法采集关键帧的过程如下：对时间上连续的两帧进行差分计算，两帧间的对应像素相减，取绝对值，若绝对值大于阈值，则取第二帧为关键帧，之后将所有关键帧图像统一处理为32*32的大小。其中，阈值根据实际应用中的需要进行设定，本专利技术实施例对此不做限制。S3：将关键帧图像切分成若干区域，其大小适宜放入卷积神经网络A中；本专利技术实施例的步骤S2中，在两关键帧图像内设置滑动窗口，移动滑动窗口提取出目标区域，滑动窗口的大小即为候选目标区域的大小，使滑动窗口在关键帧图像上移动来找到目标物体的所在区域，候选目标区域大小即为卷积神经网络A的输入尺寸。优选地，滑动窗口的尺寸是卷积神经网络A输入要求的尺寸，不需再进行放大或者缩小操作，减少计算量。在步骤S3之前要设计一个卷积神经网络A，该神经网络的结构为输入层，卷积层，池化层，全连接层和输出层，在输出层输出目标物体在每个区域的评分，选取得分最高的区域为目标物体所在区域。在此实施例中，卷积神经网络A输入的图像的大小为32*32，通道为3(RGB)，滑动窗口的大小为24*2本文档来自技高网...

【技术保护点】
1.一种基于视觉深度学习特征的机器人机械手检测及抓取方法，其特征在于，所述方法包括以下步骤：/n通过单目相机采集RGB图像从中选取关键帧图像，将关键帧图像切分成多个区域输入卷积神经网络A中，根据识别的目标类别选择抓取的目标区域；/n将关键帧图像与目标区域的标准图像作为卷积神经网络B的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高；/n根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态。/n

【技术特征摘要】
1.一种基于视觉深度学习特征的机器人机械手检测及抓取方法，其特征在于，所述方法包括以下步骤：
通过单目相机采集RGB图像从中选取关键帧图像，将关键帧图像切分成多个区域输入卷积神经网络A中，根据识别的目标类别选择抓取的目标区域；
将关键帧图像与目标区域的标准图像作为卷积神经网络B的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高；
根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态。


2.根据权利要求1所述的一种基于视觉深度学习特征的机器人机械手检测及抓取方法，其特征在于，所述卷积神经网络A的结构为：输入层，卷积层，池化层，全连接层和输出层，
输出层输出目标区域在每个区域的评分，选取得分最高的区域为目标物体所在区域。


3.根据权利要求2所述的一种基于视觉深度学习特征的机器人机械手检测及抓取方法，其特征在于，

【专利技术属性】
技术研发人员：于雅楠，华春杰，王仲民，沈怡麟，
申请(专利权)人：天津职业技术师范大学中国职业培训指导教师进修中心，
类型：发明
国别省市：天津;12