【技术实现步骤摘要】
一种基于ResNeXt的智能机器人抓取方法
[0001]本专利技术属于机器人视觉
，具体涉及一种基于ResNeXt的智能机器人抓取方法。
技术介绍
[0002]机器人是衡量国家创新能力的重要指标。作为更接近消费端的服务机器人，在人口老龄化加剧以及劳动力成本上升等因素推动下，未来市场发展空间非常广阔。
[0003]在服务机器人所需功能中，机器人抓取是实现机器人与现实世界交互的基本手段。人类看到放置在平台上的物体，可以立即决定如何对其抓取，但是对机器人来说，这是相当具有挑战性的任务。数十年来，为使机器人抓取达到媲美人类的灵巧程度，学术界和科研界都在不断努力。基于视觉的机器人抓取方法通常可以分为以下两类：一类是分析方法，使用几何方式分析目标物体的形状，同时根据物理模型，力学分析等确定一个合适的抓取，这种方法需要精确的模型计算，不仅费时，而且泛化能力差。另一类是数据驱动方法，又称经验方法，这类方法往往使用深度学习的方式，仅需将工作台的RGB或深度图像及抓取标注作为输入，大大减少了人类的工作量，在最近几年逐渐成为主流。<...
【技术保护点】
【技术特征摘要】
1.一种基于ResNeXt的智能机器人抓取方法，其特征在于，包括以下步骤：步骤1，采集原始数据：使用RGB
‑
D相机拍摄所要抓取的物体，得到RGB图像和对应的深度图像，并使用MATLAB图像标注程序在拍摄的RGB图像上画出抓取矩形完成标注；步骤2，生成训练数据：根据标注生成像素级真值图；步骤3，构建深度网络模型：所述深度学习网络模型包括输入块、下采样块、瓶颈块、上采样块、输出块；所述输入块仅使用1维300
×
300深度图输入；所述下采样块先通过卷积核为9的大尺寸二维卷积扩充通道数到32层，再通过两个同样的核为4的二维卷积完成两次下采样，每次下采样后通道数翻倍，每层卷积后都做批归一化和ReLU激活，下采样完成后得到128
×
75
×
75的特征图；所述瓶颈块由5层同构ResNeXt块构成，每个ResNeXt块构造如下：输入128
×
75
×
75特征图，通过核为1的二维卷积升维到256；再经过核为3，分组数为32的分组卷积进一步提取特征；核为1的卷积完成特征聚合，并降维到128；输出特征与输入完成残差相加得到输出；所述上采样块每次转置卷积都跟随批归一化和ReLU激活函数，每次上采样都将通道数减半，第一次上采样后特征为64
×
151
×
151大小，第二次后得到32
×
301
×
301维特征；所述输出块先经过一次核为9、步长为1、padding为4的转置卷积，再通过6个并行的核为2的普通卷积得到分任务输出，均不跟随批归一化层和激活函数，最终得到6幅预测图，分别为L`、Q``、O、COS、SIN、W`；步骤4，训练深度网络模型，将拍摄到的深度图像进行预处理后，输入到深度网络模型，得到输出后与对应真值图一起送入目标函数计算损失，反向传播调整参数，直至目标函数收敛；步骤5，抓取预测，拍摄到的深度图像输入到训练好的深度网络模型得到像素级预测输出：抓取质量分数图Q`，抓取角度图Φ`，抓取宽度图W`，搜索Q`中值最大的像素所在坐标(u,v)，用此坐标在Φ`和W`中分别得到对应的抓取角度θ和抓取宽度w，构成完整抓取预测，至此，得到像素坐标抓取预测，如公式(2)所示：其中，Q`(u,v)表示(u,v)抓取点坐标对应的质量分数，SIN(u,v)表示(u,v)抓取点坐标对应的SIN值，COS(u,v)表示(u,v)抓取点坐标对应的COS值，W`(u,v)表示(u,v)抓取点坐标对应的宽度，arctan()表示反三角函数；步骤6，坐标变换，根据RGB
‑
D相机与机器人之间的手眼标定，将像素坐标抓取转换到机器人坐标抓取，如公式(3)所示：G＝T
Extri
(T
Intri
(g,z
c
))
ꢀꢀꢀꢀ
(3)其中，g表示像素坐标抓取预测，z
c
表示抓取矩形中心距离相机的距离，T
Intri
表示相机内参，T
Extri
表示相机外参；步骤7，执行抓取，使用机器人操作系统中的Moveit功能包控制机器人发送位姿指令，使用IKFast算法用作逆运动学求解，机器人接受运动命令，到...
【专利技术属性】
技术研发人员：韩慧妍，王文俊，张元，杨晓文，薛红新，
申请(专利权)人：中北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。