本发明专利技术涉及一种基于多源信息融合的机器人抓取方法和装置，方法包括获取待抓取物体的RGB图像、光流图像和深度图像；分别对RGB图像、光流图像和深度图像进行特征提取，对应获得各个特征；将RGB特征、光流特征和深度特征输入多源信息融合模块，输出获得待抓取物体的融合特征；将融合特征输入物体姿态预测模块，通过物体姿态预测模块对对待抓取物体进行分类，并回归出待抓取物体的抓取位置信息；根据所预测待抓取物体的抓取位置信息，抓取待抓取物体；根据触觉传感器感知触觉信息，判断是否抓取成功。与现有技术相比，本发明专利技术充分考虑机器人抓取的复杂环境，有效地提高了机器人对运动物体的抓取能力，具有精度高、鲁棒性好等优点。鲁棒性好等优点。鲁棒性好等优点。
【技术实现步骤摘要】
一种基于多源信息融合的机器人抓取方法和装置
[0001]本专利技术涉及机器人
，尤其是涉及一种基于多源信息融合的机器人抓取方法和装置。
技术介绍
[0002]机器人抓取技术是智能机器人的重要组成部分，在生产制造、物流、医疗、服务等领域都有广泛的应用。人工智能与计算机技术的飞速发展极大地推进了机器人智能化抓取能力的提升。其中，机器人自主抓取物体的操作是机器人在工作环境下非常重要的任务。机器人的抓取能力极大影响了机器人的灵活性，也决定了机器人是否能适应复杂的抓取环境。目前大多数抓取机器人针对的物体种类、位置相对固定，通过对机器人的手动编程来实现抓取。在环境复杂、目标多样、位置变化的情况下，每一次变换都需要手动对控制程序进行改动，是一种耗时、泛化性低的方法。近年来，随着深度学习的发展，许多研究人员在他们的机器人抓取工作中使用具有高效、泛化性强等特点的深度学习算法。深度学习使机器人能够通过从大量数据中学习并获得技能，而无需人类干预。然而，现有基于深度学习的物体抓取方法大多是通过提取物体的RGB特征检测抓取位置，但物体的RGB特征反应的信息具有局限性，不足以保证抓取的精确性和鲁棒性。
技术实现思路
[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多源信息融合的机器人抓取方法和装置，用以解决现有技术中抓取精度低、鲁棒性差的问题。
[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种基于多源信息融合的机器人抓取方法，包括以下步骤：
[0006]步骤S1、获取待抓取物体的RGB图像、光流图像和深度图像；
[0007]步骤S2、分别对RGB图像、光流图像和深度图像进行特征提取，对应获得RGB特征、光流特征和深度特征；
[0008]步骤S3、将RGB特征、光流特征和深度特征输入多源信息融合模块，输出获得待抓取物体的融合特征；
[0009]步骤S4、将融合特征输入物体姿态预测模块，通过物体姿态预测模块对对待抓取物体进行分类，并回归出待抓取物体的抓取位置信息；
[0010]步骤S5、根据所预测待抓取物体的抓取位置信息，抓取待抓取物体；
[0011]步骤S6、根据触觉传感器感知触觉信息，判断是否抓取成功。
[0012]进一步地，所述步骤S1中，通过视觉传感器获取包含待抓取目标的RGB图像、光流图像和深度图像，视觉传感器设置于机器人操作平台正前方的一定高度处，视觉传感器的角度使其能够拍摄到包含整个操平台的场景图像。
[0013]进一步地，所述步骤S2中，首先将RGB图像、光流图像和深度图像分别输入到具有相同结构的特征提取网络中，然后通过特征提取网络分别提取RGB特征、光流特征和深度特
征。
[0014]进一步地，所述特征提取网络包括多个密集短连接单元，每个密集短连接单元由一个1
×
1卷积、一个密集短连接模块和一个1
×
1卷积按顺序组成，所述密集短连接模块由拆分模块、短连接模块和特征聚合模块三个子模块组成。
[0015]进一步地，所述步骤S3中，将RGB特征、光流特征和深度特征送入多源信息融合模块，获得待抓取物体的融合特征；所述多源信息融合模块的实现过程如下：
[0016]A1、将RGB特征R、光流特征Z和深度特征D进行逐像素求和操作，逐像素求和操作的输出W可以由下式计算：
[0017][0018]A2、将逐像素求和操作的输出W送入残差模块，残差模块的输出特征P可以由下式计算：
[0019]P＝F
residual
(W)+W
[0020]式中，F
residual
为残差函数；
[0021]A3、残差模块的输出特征P别前馈到一个卷积核大小为1
×
1的卷积层和一个池化层中，多源信息融合模块的最终输出E可以由下式计算：
[0022]E＝F
convpool
(P)
[0023]式中，F
convpool
表示1
×
1的卷积层和池化层。
[0024]进一步地，所述步骤S4中，将多源信息融合模块输出的融合特征输入物体姿态预测模块，通过物体姿态预测模块对对待抓取物体进行分类，并回归出待抓取物体的抓取位置信息；所述待抓取物体的抓取位置信息包括抓取框中心点坐标、抓取框宽度、抓取框高度和抓取框旋转角度。
[0025]进一步地，所述物体姿态预测模块包括目标检测器和抓取检测器两个分支，目标检测器用于获取待抓取物体的类别分类信息，使用的损失函数为交叉熵损失函数；抓取检测器用于获取待抓取物体的抓取位置信息，使用的损失函数为平滑L1损失函数。
[0026]进一步地，所述步骤S5中，根据进入抓取范围的待抓取物体的定位信息，调整机器人的抓取姿态执行抓取操作。
[0027]进一步地，所述步骤S6中，根据触觉传感器感知触觉信息，判断是否抓取成功：若抓取成功，则结束流程；若抓取失败，则返回步骤S5继续执行。
[0028]一种基于多源信息融合的机器人抓取装置，包括主控制计算机、机械臂、机械手、储物平台、待抓取物体、RGB
‑
D深度相机和RGB
‑
D深度相机固定支架；所述机械手内部安装有用于实时反馈抓取状态、控制夹紧力的触觉传感器；所述主控制计算机用于执行如上任一所述的基于多源信息融合的机器人抓取方法。
[0029]与现有技术相比，本专利技术具有如下的有益效果：
[0030]1、本专利技术充分考虑了抓取操作的复杂环境，融合RGB图像、光流图像和深度图像，提高了环境复杂、目标多样、位置变化环境下机器人执行抓取任务的精确性和鲁棒性。
[0031]2、本专利技术采用卷积神经网络对RGB图像、光流图像和深度图像进行多模态信息融合，充分利用了多模态信息之间的互补性。
[0032]3、本专利技术采用触觉传感器实时反馈的待抓取物体的位姿信息，进一步提高了机器人抓取的成功率。
附图说明
[0033]图1为本专利技术实施例中基于多源信息融合的机器人抓取方法的流程示意图。
[0034]图2为本专利技术实施例中基于多源信息融合的机械手抓取装置的结构示意图。
[0035]图3为本专利技术实施例中特征提取网络整体结构示意图。
[0036]图4为本专利技术实施例中特征提取单元结构示意图。
[0037]图5为本专利技术实施例中密集短连接模块结构示意图。
[0038]图6为本专利技术实施例中多源信息融合模块结构示意图。
具体实施方式
[0039]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0040]如图1所示，本实施例公开了一种基于多源信息融合的机器人抓取方法，包括以下步骤：
[0041]步骤S1：获取待抓取物体的RGB图像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多源信息融合的机器人抓取方法，其特征在于，包括以下步骤：步骤S1、获取待抓取物体的RGB图像、光流图像和深度图像；步骤S2、分别对RGB图像、光流图像和深度图像进行特征提取，对应获得RGB特征、光流特征和深度特征；步骤S3、将RGB特征、光流特征和深度特征输入多源信息融合模块，输出获得待抓取物体的融合特征；步骤S4、将融合特征输入物体姿态预测模块，通过物体姿态预测模块对对待抓取物体进行分类，并回归出待抓取物体的抓取位置信息；步骤S5、根据所预测待抓取物体的抓取位置信息，抓取待抓取物体；步骤S6、根据触觉传感器感知触觉信息，判断是否抓取成功。2.根据权利要求1所述的一种基于多源信息融合的机器人抓取方法，其特征在于，所述步骤S1中，通过视觉传感器获取包含待抓取目标的RGB图像、光流图像和深度图像，视觉传感器设置于机器人操作平台正前方的一定高度处，视觉传感器的角度使其能够拍摄到包含整个操平台的场景图像。3.根据权利要求1所述的一种基于多源信息融合的机器人抓取方法，其特征在于，所述步骤S2中，首先将RGB图像、光流图像和深度图像分别输入到具有相同结构的特征提取网络中，然后通过特征提取网络分别提取RGB特征、光流特征和深度特征。4.根据权利要求3所述的一种基于多源信息融合的机器人抓取方法，其特征在于，所述特征提取网络包括多个密集短连接单元，每个密集短连接单元由一个1
×
1卷积、一个密集短连接模块和一个1
×
1卷积按顺序组成，所述密集短连接模块由拆分模块、短连接模块和特征聚合模块三个子模块组成。5.根据权利要求1所述的一种基于多源信息融合的机器人抓取方法，其特征在于，所述步骤S3中，将RGB特征、光流特征和深度特征送入多源信息融合模块，获得待抓取物体的融合特征；所述多源信息融合模块的实现过程如下：A1、将RGB特征R、光流特征Z和深度特征D进行逐像素求和操作，逐像素求和操作的输出W可以由下式计算：A2、将逐像素求和操作的输出W送入残差模块，残差模块的输出特征P可以由下式计算：P＝F
...
【专利技术属性】
技术研发人员：何斌，杨振坤，李刚，陆萍，王志鹏，周艳敏，朱忠攀，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。