一种非特定形状物体识别、定位与机械手抓取系统及方法技术方案

本发明专利技术提供了一种非特定形状物体识别、定位与机械手抓取系统及方法，属于机械手抓取领域，系统包括多自由度机械手、机器视觉成像模块和中央处理模块，多自由度机械手与中央处理模块相连接，机器视觉成像模块与中央处理模块相连接，以将采集的图像数据传输给中央处理模块，中央处理模块对图像数据进行处理，提取目标轮廓，并根据目标轮廓结合标定后的物空间尺寸与像空间像素数量映射关系实现对每个目标的外形尺寸的测量，还用于采用深度神经网络模型依据目标外形尺寸对目标进行分类，以控制多自由度机械手对目标进行识别、定位和拾取。本发明专利技术还提供了对目标进行识别、定位和拾取的方法。本发明专利技术方法和系统适应性强，能对目标进行灵活拾取。灵活拾取。灵活拾取。

A system and method for recognizing, locating and grasping non-specific shape objects by manipulator

【技术实现步骤摘要】
一种非特定形状物体识别、定位与机械手抓取系统及方法


[0001]本专利技术属于机械手抓取领域，更具体地，涉及一种非特定形状物体识别、定位与机械手的抓取系统及方法。

技术介绍

[0002]近年来互联网技术发展迅速，自动化已成为工业生产中的主流。传统的人工生产已渐渐消失在视野中，新兴的工业机器人等更先进的生产设备迈入人们的视野。而对于零件生产这一行业，许多问题随之而来。全自动化的生产线，在面对不同种类的零件时该如识别？机械手该如何抓取？
[0003]目前，工业产线自动化的传统机械手进行物体抓取时，需要事先对待抓取目标的特征进行分析、编程，再配合机器视觉系统实现对特定目标的位置定位，最终指导机械手完成抓取过程。而且，现有技术中，视觉识别的算法只针对某些特点的零件，还无法做到完全对随机物体的识别，而且系统在坐标的计算上存在一定的投影误差，导致机械手在抓取物体的时候有着几毫米左右的误差。此外，机械手抓取的策略并未做到最佳，机械手在抓取过程中还存在一些多余的动作，因此抓取效率并不是很高。机械手在抓取物体的时候，会有着不理想的抓取姿势，从而使得抓取出现错误而导致机械手停止。机械手对抓取的物体有着大小的限制，所抓的物体既不能太大也不能太小。机械手在抓取物体的时候偶尔会有抓不稳导致物体掉下来的情况。
[0004]针对现有技术的以上缺陷，需要开发一种用于机械手的非特定形状物体识别、定位与抓取系统及方法。

技术实现思路

[0005]针对现有技术的缺陷，本专利技术的目的在于提供一种非特定形状物体识别、定位与机械手抓取系统及方法，通过结合深度神经网络学习实现目标的自动判断和分类，并引导机械手实现对一定范围内位置随机的目标进行拾取，旨在解决现有技术中机械手的抓取不够灵活、适应性不足的问题。
[0006]为实现上述目的，本专利技术提供了一种非特定形状物体识别、定位与机械手抓取系统，其包括多自由度机械手、机器视觉成像模块和中央处理模块，其中，
[0007]多自由度机械手包括卡爪或/和吸嘴，多自由度机械手与中央处理模块相连接，以受中央处理模块控制，根据中央处理模块给出的平面运动坐标和目标外围尺寸执行对目标的拾取，
[0008]机器视觉成像模块包括工业相机和成像镜头，机器视觉成像模块与中央处理模块相连接，以将自身采集的图像数据传输给中央处理模块，
[0009]中央处理模块用于接收机器视觉成像模块采集的图像数据，对图像数据进行处理，提取目标轮廓，并根据目标轮廓结合标定后的物空间尺寸与像空间像素数量映射关系实现对每个目标的外形尺寸的测量，还用于采用深度神经网络模型依据目标外形尺寸对目
标进行分类，进而指导并控制多自由度机械手对目标进行识别、定位和拾取。
[0010]进一步的，中央处理模块内集成有图像处理子模块，图像处理子模块用于图像数据执行处理，具体为，通过直方图均衡化获得对比度改善的工作区域图像，再通过边缘提取算法实现对工作区域图像中的待拾取目标进行分割，将工作区域图像中所有的目标轮廓提取，以为后续的分析和处理提供数据基础。
[0011]进一步的，中央处理模块内还集成有尺寸测量子模块，其用于根据目标轮廓测量目标尺寸信息，目标尺寸信息包括外接矩形长宽比、矩形度和圆度，还用于据目标轮廓信息测量目标平面中心位置的实际空间坐标，用于后续对机械手拾取的引导。
[0012]进一步的，中央处理模块内还集成有目标分类子模块，其用于根据图像处理子模块提取的目标轮廓信息和尺寸测量子模块获取的目标尺寸信息，通过训练好的深度神经网络模型对目标进行分类，并在目标无法被分类到已知目标特性分类库中，则将其作为新的目标特征加入分类库。
[0013]进一步的，中央处理模块内还集成有拾取引导子模块，其用于根据工作区域内每个目标的位置信息和分类信息，按照设定的拾取方式引导机械手完成对目标的拾取工作。
[0014]按照本专利技术的第二个方面，还提供一种非特定形状物体识别、定位与机械手抓取方法，其包括如下步骤：
[0015]S1：采集获得图像数据，图像数据为数字格式，
[0016]S2：对数据格式的图像数据执行图像预处理，获取目标图像，利用边缘提取和亚像素分析获取目标图像中目标的边缘信息，并根据边缘信息确定其外接矩形，
[0017]S3：对每个目标的边缘信息和外接矩形进行配对，将配对结果存放于目标信息列表中，对列表中的每一个信息进行分析，计算出每个目标外接矩形的长、宽信息以及外接矩形中心位置坐标信息，并将信息存入目标信息列表中，用于对目标进行分类，
[0018]S4：利用预先训练好的分类用深度神经网络模型对目标信息进行分类，采用由输入层、多个隐藏层、输出层构成的深度神经网络作为分类网络，网络输入信息为目标轮廓及尺寸信息，输出为分类结果，
[0019]在进行目标分类时，如果发现新类型目标，首先排除其是已知目标发生位置重叠，如果仍然表现出新目标的特征，则将其视作第一次出现的新目标，将获取到的新目标数据加入到训练集中，并通过生成对抗神经网络产生大量与之特征相似的目标数据，再通过机器学习训练的方式更新深度神经网络模型的参数，实现对新出现的非特定对象目标的准确分类，
[0020]S5:指导并控制多自由度机械手按照设定方式对目标进行识别、定位和拾取，拾取非特定目标时，按照预定的收集方式将其放置到对应的收集空间中。
[0021]进一步的，步骤S4中，排除新类型目标是已知目标发生位置重叠的具体操作为，首先根据位置测量结果引导机械手运行到新类型目标附近，对新类型目标进行触碰操作，改变目标位置，再重新对工作区域进行图像采集，然后对新类型目标出现区域进行目标识别，如果其仍然表现出新目标的特征，则将其视作第一次出现的新目标。
[0022]进一步的，步骤S3中，计算出每个目标外接矩形的长、宽以及外接矩形中心位置坐标信息时，第一坐标系为空间坐标系，第二坐标系为图片坐标系，第三坐标系为机械手坐标系，图片坐标系以固定的拍摄所得图像为准建系，空间坐标系以置物平面的物体具体位置
为准，以置物平面为xy平面，竖直方向向上为z轴正方向建系，机械手坐标系以机械手运动时，运动前后的两个特征点的差异位置为准在实际空间上建系，通过一个矩阵完成对在第二坐标系的坐标向第一坐标系的转换，通过第二个矩阵完成对在第一坐标系的坐标向第三坐标系的转换。
[0023]进一步的，步骤S5中，多自由度机械手在放置目标后，将自身的位姿返还给外界的中央处理模块，以确认机械手的坐标是否是正确的，多自由度机械手在抓取目标前按照目标物体的大小进行排序，以此对物体进行抓取，并且按照种类和大小进行分类将不同的物体摆放到对应地不同位置。
[0024]进一步的，步骤S2中，图像预处理包括灰度拉伸、直方图均衡化、平滑滤波、畸变校正、白平衡校正中的一种或者多种，步骤S5中，指导并控制多自由度机械手按照设定方式对目标进行识别、定位和拾取时，设定方式是指按照目标大小，形状或/和色域进行坐标的排序后的方式。
[0025]本专利技术通过提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非特定形状物体识别、定位与机械手抓取系统，其特征在于，其包括多自由度机械手、机器视觉成像模块和中央处理模块，其中，多自由度机械手包括卡爪或/和吸嘴，多自由度机械手与中央处理模块相连接，以受中央处理模块控制，根据中央处理模块给出的平面运动坐标和目标外围尺寸执行对目标的拾取，机器视觉成像模块包括工业相机和成像镜头，机器视觉成像模块与中央处理模块相连接，以将自身采集的图像数据传输给中央处理模块，中央处理模块用于接收机器视觉成像模块采集的图像数据，对图像数据进行处理，提取目标轮廓，并根据目标轮廓结合标定后的物空间尺寸与像空间像素数量映射关系实现对每个目标的外形尺寸的测量，还用于采用深度神经网络模型依据目标外形尺寸对目标进行分类，进而指导并控制多自由度机械手对目标进行识别、定位和拾取。2.如权利要求1所述的一种非特定形状物体识别、定位与机械手抓取系统，其特征在于，中央处理模块内集成有图像处理子模块，图像处理子模块用于图像数据执行处理，具体为，通过直方图均衡化获得对比度改善的工作区域图像，再通过边缘提取算法实现对工作区域图像中的待拾取目标进行分割，将工作区域图像中所有的目标轮廓提取，以为后续的分析和处理提供数据基础。3.如权利要求2所述的一种非特定形状物体识别、定位与机械手抓取系统，其特征在于，中央处理模块内还集成有尺寸测量子模块，其用于根据目标轮廓测量目标尺寸信息，目标尺寸信息包括外接矩形长宽比、矩形度和圆度，还用于据目标轮廓信息测量目标平面中心位置的实际空间坐标，用于后续对机械手拾取的引导。4.如权利要求3所述的一种非特定形状物体识别、定位与机械手抓取系统，其特征在于，中央处理模块内还集成有目标分类子模块，其用于根据图像处理子模块提取的目标轮廓信息和尺寸测量子模块获取的目标尺寸信息，通过训练好的深度神经网络模型对目标进行分类，并在目标无法被分类到已知目标特性分类库中，则将其作为新的目标特征加入分类库。5.如权利要求4所述的一种非特定形状物体识别、定位与机械手抓取系统，其特征在于，中央处理模块内还集成有拾取引导子模块，其用于根据工作区域内每个目标的位置信息和分类信息，按照设定的拾取方式引导机械手完成对目标的拾取工作。6.一种非特定形状物体识别、定位与机械手抓取方法，其特征在于，其包括如下步骤：S1：采集获得图像数据，图像数据为数字格式，S2：对数据格式的图像数据执行图像预处理，获取目标图像，利用边缘提取和亚像素分析获取目标图像中目标的边缘信息，并根据边缘信息确定其外接矩形，S3：对每个目标的边缘信息和外接矩形进行配对，将配对结果存放于目标信息列表中，对列表中的每一个信息进行分析，计算出每个目标外接矩形的长、宽信息以及外接矩形中心位置...

【专利技术属性】
技术研发人员：夏珉，许晗，李正泳，马宇霆，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：