一种基于注意力机制的多尺度融合机器人抓取检测方法技术

本发明专利技术公开了一种基于注意力机制的多尺度融合机器人抓取检测方法，通过构建抓取检测模型并对其进行训练实现；该方法突出了抓取检测的显著特征，降低了对物体抓取检测没有贡献的背景信息的影响，提高了抓取检测模型的效率。同时采用轻量化的网络设计方法，可兼顾机器人抓取实时性和准确性的要求，完成端到端的抓取检测。另外，这种在杂乱场景中专注于目标本体特征的抓取检测方式，更契合人类的感知模式，进一步推动了机器人抓取检测的智能化过程。本发明专利技术解决了经验抓取检测方法为实现泛化性而很难满足精准性的问题；解决了抓取检测方法在真实场景中难以保证实时性的问题。法在真实场景中难以保证实时性的问题。法在真实场景中难以保证实时性的问题。

【技术实现步骤摘要】
一种基于注意力机制的多尺度融合机器人抓取检测方法


[0001]本专利技术涉及图像处理、深度学习以及机器人抓取控制领域，特别涉及一种基于注意力机制的多尺度融合机器人抓取检测方法。

技术介绍

[0002]抓取检测(Grasp Detection)，是为指定的机器人抓取器,获取可用于实际抓取操作的抓取方案的一种技术。在家庭和工业场景中，从桌子上抓取物体是机器人在独立运行或执行人机协作任务时一个非常重要和有挑战性的步骤。一般的，机器人抓取可分为抓取检测、轨迹规划和执行三个步骤。抓取检测是指机器人通过RGB或RGBD摄像机获取目标的视觉信息，然后利用这些视觉信息预测抓取模型来指导机械臂和抓取器执行抓取任务。
[0003]机器人的抓取力远远落后于人类的表现，并且是机器人领域中尚未解决的问题。当人们看到新颖的物体时，他们可以根据自己的经验本能地快速轻松地抓住任何未知物体。近年来展开了许多与机器人抓取和操纵有关的工作，但是实时的抓取检测仍然是一个挑战
[0004]抓取检测主要分为两类方法，一种是分析法，一种是经验法。分析法指的是依据机械手的各种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的多尺度融合机器人抓取检测方法，其特征在于，包括：构建抓取检测模型；收集抓取数据集，其中包括RGB图像及相应的标注信息，及深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集，并对图像中所包含物体区域进行标定；对数据集进行数据预处理，包括图像数据预处理及标注参数预处理，将扩充后的数据集按比例随机划分训练集和验证集；利用训练集数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率，并一定程度避免抓取检测模型的过拟合；根据训练得到的抓取检测模型，利用预处理之后的真实图像数据作为网络输入，抓取配置及抓取框五维表示作为抓取检测模型输出，最终映射到真实世界坐标。2.根据权利要求1所述的基于注意力机制的多尺度融合机器人抓取检测方法，其特征在于，所述抓取检测模型包括前端的特征提取器和后端的抓取预测器；其中特征提取器包括超大卷积模块、残差及多尺度模块、注意力模块依次连接。3.根据权利要求2所述的基于注意力机制的多尺度融合机器人抓取检测方法，其特征在于，所述抓取检测模型包括：通道特征提取层，采用超大卷积核和深度可分离的构建方法，用于分别提取RGBD的特征，降低模型的参数量，并对RGBD四通道的特征进行融合；再经过两次稀疏卷积降采样，进一步提取特征；RBF多尺度感受层，由若干层残差模块和RBF模块构成，使用残差模块避免梯度消失问题，RBF模块利用多分支卷积层扩张和合并以及不同的大小的空洞卷积模拟人类感受野；注意力编码层，采用空间注意力和正则化注意力的组合方式，之后经过上采样，将特征图的尺寸还原为输入尺寸大小；抓取生成层，利用经过上采样的特征图，通过多分支的输出模式获得回归结果。4.根据权利要求1所述的基于注意力机制的多尺度融合机器人抓取检测方法，其特征在于，所述抓取数据集包含当...

【专利技术属性】
技术研发人员：赵阳，王进，张海运，陆国栋，
申请(专利权)人：浙江钱塘机器人及智能装备研究有限公司，
类型：发明
国别省市：