一种基于小样本学习的机器人抓取系统及方法技术方案

本发明专利技术公开了一种基于小样本学习的机器人抓取系统及方法，涉及机器人学习技术领域，所述系统包括图像获取模块、图像处理模块、动作处理模块；图像获取模块包括景深摄像头，用于采集图像；图像处理模块包括U

【技术实现步骤摘要】
一种基于小样本学习的机器人抓取系统及方法


[0001]本专利技术涉及机器人学习
，尤其是涉及一种基于小样本学习的机器人抓取系统及方法。

技术介绍

[0002]随着科技的进步，机器人已经成为日常生产生活中不可缺少的一部分。在智能产业中，机器人抓取作为机器人功能中最基本的动作，在无遮挡、单一物体的定位与抓取等问题上已经得到了很好的实现。但在实际生产中经常会出现待抓取物体互相遮挡情况，例如水果生产运输过程中苹果的抓取装箱。目前的智能机器人并不能很好的处理这一情况。因此，智能机器人在目标物体互相遮挡情况下的抓取成为亟待解决的问题。
[0003]基于视觉的机器人抓取任务中的关键环节是图像分割，只有准确有效的定位出目标的位置才能实现快速准确的抓取。图像分割方法主要分为传统方法和深度学习方法，传统方法受所采集的图像质量影响较大，对图片要求较高，需要背景与物体区分度大，图像对比度恰当，多通过颜色特征或者纹理特征进行分割。
[0004]随着深度学习的研究与发展，深度学习在机器视觉领域逐渐展现了卓越的能力与适应性，传统方法难以解决的问题，通过深度学习，往往可以得到令人满意的成果。常用的深度学习分割方法有U
‑
net，R
‑
CNN等神经网络方法，但深度学习往往需要大量数据对网络进行训练，训练集的标注又会消耗大量的时间，而生产任务又不允许调试时间过长，因此在尽量小的数据集下取得较好的结果，成为了研究的重点。综上所述，目前对于多目标，遮挡场景的机器人抓取少有研究。但多物体相互遮挡又是生产环境中常见的情况，使用深度学习方法解决这个问题就需要实现高精度的图像分割的网络。

技术实现思路

[0005]有鉴于此，有必要针对上述的问题，提供一种基于小样本学习的机器人抓取系统及方法，采用U
‑
net3+网络，并利用dropblock和Mish激活函数的特性增强网络用于增强遮挡情况的分割效果，从而使得机器人能够较好处理遮挡场景的抓取任务。
[0006]为实现上述目的，本专利技术是根据以下技术方案实现的：
[0007]一方面，本专利技术提供一种基于小样本学习的机器人抓取系统，包括图像获取模块、图像处理模块、动作处理模块；
[0008]所述图像获取模块包括景深摄像头，用于采集图像；
[0009]所述图像处理模块包括U
‑
net3+网络结构；用于处理图像，完成识别、定位、分割任务；
[0010]所述动作处理模块包括ROS(Robot Operating System)系统和对应的package，用于将图像信息转换为对电机进行控制的控制信息。
[0011]进一步地，所述U
‑
net3+网络结构包括编码部分和解码部分，解码部分用于实现提取上下文信息，编码部分用于实现按照提取的结果，将目标精准定位；编码部分由卷积层和
池化层堆叠而成，解码部分由上采样层、卷积层和BN层堆叠而成；解码部分卷积层的输入为编码部分的全部引出结果的融合，每层输入融合前需要将编码部分的引出结果通过上采样或池化调整至与本层大小一致，然后融合，作为本层的输入，送入卷积层，进行卷积。
[0012]进一步地，所述U
‑
net3+网络结构还包括dropblock模块，用于增强网络针对遮挡物体的识别能力。
[0013]进一步地，所述U
‑
net3+网络结构的激活函数为Mish激活函数，用于对网络进行优化，使网络得到更好的准确性和泛化能力；所述Mish函数的公式表示为：
[0014]Mish＝x
×
tanh(ln(1+e
x
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0015]其中，Mish为激活函数、tanh是双曲正切函数、ln(x)是自然对数，e
x
是以e为底的指数函数。
[0016]另一方面，本专利技术提供一种基于小样本学习的机器人抓取方法，包括以下步骤：
[0017]步骤S1：图像获取模块对不同程度的遮挡物体以及不同的物体进行图像采集；
[0018]步骤S2：图像处理模块对采集到的图像进行预处理，包括图像锐化和图像高斯滤波处理；
[0019]步骤S3：图像处理模块使用labelme对图像进行标注，生成json文件，再使用官方api生成png格式的mask图像；将得到的mask图像数据集分为训练集和验证集两部分，采用损失函数Dice Loss来度量两个集合的相似度；
[0020]步骤S4：利用图像训练集，采用初始值为0.000001的学习率，对图像处理模块的U
‑
net3+网络进行训练；利用图像测试集对网络进行测试，完成识别、定位、分割任务；
[0021]步骤S5：动作处理模块将图像信息转换为对机器人进行控制的控制信息，并控制机器人完成抓取动作。
[0022]进一步地，在步骤S3中，所述对图像进行标注包括按照图像中物体的种类进行分类标注，以及按照图像中物体的遮挡情况进行分类标注；所述按照图像中物体的遮挡情况进行分类标注包括被遮挡和未被遮挡两种不同种类。
[0023]与现有技术相比，本专利技术的优点和积极效果至少包括：
[0024]本专利技术提出了一种针对遮挡情况优化的分割网络的抓取算法，利用U
‑
net3+网络，并提出利用dropblock和Mish激活函数的特性增强网络用于增强遮挡情况的分割效果，设计了针对小样本情况下的分割神经网络，设计了针对遮挡情况下多目标的抓取系统，使用了Mish激活函数对网络进行优化，在不同网络，不同情况下均使得网络准确率提升，训练时间减少；让网络在运算是具有更好的表现；且允许输入信息更好的传入网络，从而让网络得到更好的准确性和泛化能力。
附图说明
[0025]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本专利技术的机器人抓取系统示意图；
[0027]图2为本专利技术一种实施例的U
‑
net3+网络的解码部分第三层结构示意图；
[0028]图3为本专利技术一种实施例的U
‑
net3+网络的Mish函数曲线示意图；
[0029]图4为本专利技术一种实施例的网络改进对比示意图。
具体实施方式
[0030]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本专利技术的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于小样本学习的机器人抓取系统，其特征在于，包括图像获取模块、图像处理模块、动作处理模块；所述图像获取模块包括景深摄像头，用于采集图像；所述图像处理模块包括U
‑
net3+网络结构，用于处理图像，完成识别、定位、分割任务；所述动作处理模块包括ROS系统和对应的package，用于将图像信息转换为对电机进行控制的控制信息。2.根据权利要求1所述的基于小样本学习的机器人抓取系统，其特征在于，所述U
‑
net3+网络结构包括编码部分和解码部分，解码部分用于实现提取上下文信息，编码部分用于实现按照提取的结果，将目标精准定位；编码部分由卷积层和池化层堆叠而成，解码部分由上采样层、卷积层和BN层堆叠而成；解码部分卷积层的输入为编码部分的全部引出结果的融合，每层输入融合前需要将编码部分的引出结果通过上采样或池化调整至与本层大小一致，然后融合，作为本层的输入，送入卷积层，进行卷积。3.根据权利要求2所述的基于小样本学习的机器人抓取系统，其特征在于，所述U
‑
net3+网络结构还包括dropblock模块，用于增强网络针对遮挡物体的识别能力。4.根据权利要求3所述的基于小样本学习的机器人抓取系统，其特征在于，所述U
‑
net3+网络结构的激活函数为Mish激活函数，用于对网络进行优化，使网络得到更好的准确性和泛化能力；所述Mish函数的公式表示为：Ｍ...

【专利技术属性】
技术研发人员：雷渠江，桂光超，李秀昊，王雨禾，金锦涛，刘荣强，邓忠辉，王卫军，
申请(专利权)人：广州中国科学院先进技术研究所，
类型：发明
国别省市：