一种基于稠密融合特征提取的机器人抓取主动式学习选择方法技术

本发明专利技术属于计算机视觉技术中的物体抓取位姿预测领域，公开了一种基于稠密融合特征提取的机器人抓取主动式学习选择方法，挑选出数据集中信息量最高的数据，从而只训练部分数据达到训练整个数据集的效果，降低抓取模型在不同场景下的迁移成本。主动式学习模块和抓取预测模块是并行结构，可一起进行训练。模型训练完成之后，抓取检测模型为闭环端到端结构，截取当前的色彩和深度数据作为输入，可以输出物体的抓取位姿，并且进行可视化。为了降低使用者使用门槛，本发明专利技术还内嵌一个抓取方式标注接口，可视化的手段标注抓取方式，并反向解算出真值四元数组。真值四元数组。真值四元数组。

【技术实现步骤摘要】
一种基于稠密融合特征提取的机器人抓取主动式学习选择方法


[0001]本专利技术属于计算机视觉技术中的物体抓取位姿预测领域，实现结果为物体位姿预测，涉及到深度学习技术和主动式学习技术，特别涉及一种真实场景下的主动式学习框架，降低抓取模型在不同场景下迁移成本的方法，为一种基于稠密融合特征提取的机器人抓取主动式学习选择方法。

技术介绍

[0002]物体位姿预测是时下计算机视觉和机器人规划控制交叉学科的一个研究热点，其在工业领域的应用不仅可以大幅节约人力，且由于工业机器人的天然的精度优势，可以减少实际生产中的人为操作带来的误差；在共融服务领域，陪伴机器人和服务型机器人也有着强烈的发展动力。这两类机器人的核心都涉及物体位姿预测技术。不同于传统视觉的分类的问题，位姿预测为回归问题，由于多了深度信息的输入，原始数据的复杂度和标注难度均大幅上升，同时也对网络的实效性能提出了较高的要求，开始追求网络的轻量化，以此降低复杂使用场景下延迟，提高实时预测帧数。
[0003]当下最新的抓取位姿预测方法都是基于深度学习方法的，深度学习以其深层次的卷积网络可以从海量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稠密融合特征提取的机器人抓取主动式学习选择方法，主要分为物体抓取方式检测分支以及数据选择策略分支，具体包括以下四个模块：(1)稠密融合共享编码模块(1.1)模块输入：稠密融合共享编码模块即为特征提取模块，本模块的输入指定为RGB和深度图像信息，RGB图像为3通道，深度图像为1通道；本模块中的稠密融合部分将图像大小调整为300x300的尺寸；(1.2)模块结构：稠密融合部分第一步将图像裁剪为300x300；第二步对深度信息和色彩信息进行卷积，输出特征图大小为300x300；第三步将色彩信息和深度信息直接拼接作为局部信息；第四步将局部信息输入至多层感知机中，对不同纬度的信息进行收集，然后经过平均池化得到全局信息，大小为300x300，最后与局部信息进行拼接，通道数变为5；取得了稠密融合的特征信息后，为了网络的轻量性以及检测算法的实时性，使用三层卷积神经网络结构，卷积核的大小分别为9
×
9、5
×
5和3
×
3；输出通道数分别为40、20和10；每一层卷积神经网络结构都由卷积层和激活函数组成，整个过程表述如下公式：Out1＝F(FUS)
ꢀꢀꢀꢀ
(1)Out2＝F(Out1)
ꢀꢀꢀꢀ
(2)Out3＝F(Out2)
ꢀꢀꢀ
(3)其中，FUS表示稠密融合部分得到的5通道输入数据，F代表卷积层与激活函数的组合，Out1、Out2与Out3分别代表三层输出的特征图；在输入图像的长宽均为300像素的情况下，Out1的大小为100像素
×
100像素，Out2的大小为50像素
×
50像素，Out3的大小为25像素
×
25像素；(2)抓取方式检测模块本模块利用特征提取模块得到的最终特征图进行反卷积操作，将特征图还原到原输入大小，即300像素
×
300像素，得到最终的结果，即抓取值图、宽度图以及旋转角的正弦图与余弦图；根据这四张图像，得到物体抓取表示方法的中心点、宽度以及旋转角；(2.1)模块输入：本模块的输入是公式(3)中得到的特征图Out3；(2.2)模块结构：本模块包含三个反卷积层以及四个单独的卷积层；三个反卷积层的卷积核大小分别设置为3
×
3、5
×
5和9
×
9，经过反卷积层之后得到原始大小的特征图；四个单独的卷积层卷积核大小为2
×
2，分别对应抓取值图、宽度图、正弦图和余弦图；此外，在进行反卷积操作之后，每一层还包括ReLU激活函数以实现更有效的表示，而四个单独的卷积层将直接输出结果；这个过程表述为：x＝DF(Out3)
ꢀꢀꢀꢀ
(4)p＝P(x)
ꢀꢀꢀꢀ
(5)w＝W(x)
ꢀꢀꢀꢀ
(6)s＝S(x)
ꢀꢀꢀꢀ
(7)c＝C(x)
ꢀꢀꢀꢀ
(8)其中，Out3为特征提取层的最终输出，DF为三层反卷积层以...

【专利技术属性】
技术研发人员：魏博言，杨鑫，尹宝才，魏小鹏，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：