当前位置: 首页 > 专利查询>山东大学专利>正文

一种大语言模型辅助的智能机器人取物方法及系统技术方案

技术编号:40969665 阅读:40 留言:0更新日期:2024-04-18 20:51
本发明专利技术公开了一种大语言模型辅助的智能机器人取物方法及系统,涉及智能机器人控制技术领域。该方法包括步骤:获取观测图像,得到不同物体的级别特征表示;根据全局路径结合机器人的主动避障操作进行移动任务,根据移动任务实际经过的移动路径构建特征地图;在特征地图对目标物体进行查询和定位,根据定位结果执行物体拿取任务,其中,目标物体的查询过程为:首先利用大语言模型提取得到目标物体文本,而后再利用视觉语言模型对目标物体文本进行处理得到文字查询特征。本发明专利技术通过应用大语言模型完成物品级别特征地图构建,并应用大语言模型的自然语言理解能力以及对通用常识的理解,通过自然语言完成对机器人的指令下达,实现取货在内的任务。

【技术实现步骤摘要】

本专利技术涉及智能机器人控制,尤其涉及一种大语言模型辅助的智能机器人取物方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、服务机器人是机器人领域中重要的研究方向之一。服务机器人的主要目的便是为人类提供各种形式的服务以及支持,这就需要机器人具备有复杂的感知、认知、执行能力,可以与人类进行交互并执行得到的相应指令。目前已有多种服务机器人介入到了我们的生活中。

3、近年来,随着大语言模型的蓬勃发展,机器人对人类自然语言的理解能力随之提升,这让机器人对人类的自然语言理解更为贴切。经过提示工程辅助,可以让机器人将自然语言抽象为可执行的动作序列。而借助激光雷达、深度摄像机、超声波传感器、轻型机械臂等传感器、设备,机器人可以完成高精度的导航、障碍规避、物体抓取等任务,实现较为复杂的取物任务。

4、对于寻物这一任务而言,需要机器人可以在其坐标系下得到相应物品的位置以实现导航以及随后对物品的抓取。这一寻物的过程可以通过主动探索的方式在寻找目标点的同时避免地图的构建,但这种方法需要本文档来自技高网...

【技术保护点】

1.一种大语言模型辅助的智能机器人取物方法,其特征在于,包括以下步骤:

2.如权利要求1所述的大语言模型辅助的智能机器人取物方法,其特征在于,利用图像分割法对观测图像进行实例分割的具体步骤为:

3.如权利要求1所述的大语言模型辅助的智能机器人取物方法,其特征在于,根据物体的级别特征表示对所有物体利用主动覆盖算法进行提取的具体步骤为:

4.如权利要求3所述的大语言模型辅助的智能机器人取物方法,其特征在于,根据物体的级别特征表示构建有向图的具体步骤为:

5.如权利要求1所述的大语言模型辅助的智能机器人取物方法,其特征在于,构建特征地图的过程中,...

【技术特征摘要】

1.一种大语言模型辅助的智能机器人取物方法,其特征在于,包括以下步骤:

2.如权利要求1所述的大语言模型辅助的智能机器人取物方法,其特征在于,利用图像分割法对观测图像进行实例分割的具体步骤为:

3.如权利要求1所述的大语言模型辅助的智能机器人取物方法,其特征在于,根据物体的级别特征表示对所有物体利用主动覆盖算法进行提取的具体步骤为:

4.如权利要求3所述的大语言模型辅助的智能机器人取物方法,其特征在于,根据物体的级别特征表示构建有向图的具体步骤为:

5.如权利要求1所述的大语言模型辅助的智能机器人取物方法,其特征在于,构建特征地图的过程中,对于受到障碍物影响而未能实现主动覆盖的路径,机器人在执行完既定任务后会将这一部分重新作为未覆盖路径,运行原有主动覆盖算法直至因超出任务设定的时间或重复次数而退出。

6.如权利要求1所述的大语...

【专利技术属性】
技术研发人员:张伟李宇宋然李大猷赵晨坤李传鹏曹睿李晓磊
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1