当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于深度强化学习的加速关系型抓取方法技术

技术编号:41208552 阅读:13 留言:0更新日期:2024-05-09 23:30
本发明专利技术公开了一种基于深度强化学习的加速关系型抓取方法,首先采集场景的RGB‑D图像信息并将其转换到给定的俯视视角下,然后提取可学习的抓取嵌入并将接收RGB‑D图像和历史的抓取嵌入送入抓取网络,抓取网络引入编码器‑解码器架构以及改进的注意力机制最终输出Q图,由Q图提取最优抓取点并通过相应的变换得到最终的抓取坐标用于机械臂的抓取。本发明专利技术可以提升抓取方法的泛化性,增强空间、时间上的感知能力以及提高模型的推理速度,保证智能体在复杂场景中完成抓取任务。

【技术实现步骤摘要】

本专利技术涉及机器视觉领域与机器学习,特别涉及一种基于深度强化学习的加速关系型抓取方法


技术介绍

1、深度学习(deep learning,dl)因其强大的特征学习与表示能力及其端到端(endto end)的学习特性,在机器人抓取(robotic grasping)领域广泛应用。然而,基于深度学习的抓取方法通常需要大量标记数据进行训练,且对数据的利用不充分,这种不充分通常表现在空间和时间两方面。在空间上,物体的摆放具备一定的特点,如杯子、餐具通常会摆放到桌子上,鞋子、垃圾桶等则通常摆放在地上,缺乏对空间关系的理解使得模型的泛化能力不强;而在时间上,以图像形式呈现的数据缺乏时序上的关联,这限制了模型对动态抓取任务的学习。因此数据在空间上的独立性致使抓取模型需要大量数据拟合不同的抓取场景,在样本有限的情况下泛化性不足;数据在时间上的独立性则限制了机器人在复杂抓取任务中的决策能力。此外,传统的深度学习方法对非结构化环境以及变化的场景的处理能力不够。如何提升抓取方法的泛化性,增强空间、时间上的感知能力以及提高模型的推理速度成为研究抓取方法的热点问题。

...

【技术保护点】

1.一种基于深度强化学习的加速关系型抓取方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的基于深度强化学习的加速关系型抓取方法,其特征在于:所述抓取网络是基于深度强化学习中的DQN网络,利用强化学习与环境的交互能力以及自适应调整的能力解决抓取数据匮乏的问题,提升对非结构化环境的处理能力,将深度学习中的编码器-解码器架构引入其中,改进了DQN网络的输出层,并引入改进的注意力机制作为关系模块提升模型捕获空间关系的能力。

3.根据权利要求2所述的基于深度强化学习的加速关系型抓取方法,其特征在于:所述抓取问题建模成马尔可夫决策过程,其中状态为含有历史抓取信息的场景...

【技术特征摘要】

1.一种基于深度强化学习的加速关系型抓取方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的基于深度强化学习的加速关系型抓取方法,其特征在于:所述抓取网络是基于深度强化学习中的dqn网络,利用强化学习与环境的交互能力以及自适应调整的能力解决抓取数据匮乏的问题,提升对非结构化环境的处理能力,将深度学习中的编码器-解码器架构引入其中,改进了dqn网络的输出层,并引入改进的注意力机制作为关系模块提升模型捕获空间关系的能力。

3.根据权利要求2所述的基于深度强化学习的加速关系型抓取方法,其特征在于:所述抓取问题建模成马尔可夫决策过程,其中状态为含有历史抓取信息的场景表示,动作为抓取操作与抓取位置构成的元组,奖励暗示着抓取操作是否成功以及抓取操作的效果。

...

【专利技术属性】
技术研发人员:朱思丞殷锐袁建涛何欣刘胜利王冠
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1