一种凝视引导的机器人交互式物品抓取方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种凝视引导的机器人交互式物品抓取方法、系统、设备及存储介质，所述方法包括以下步骤：(1)采用RGB‑D相机采集桌面物体场景图像，生成包括物体之间相对位置关系的树状结构描述；(2)在RGB‑D相机中采用几何特征方法计算人的头部姿态，在3D空间中估计人的视线向量；(3)计算人的视线沿长线与物体点云交汇情况，判断人的视线是否足够精确地选中某个物品；(4)生成包含物体及其相对位置关系的机器人输出语音提示，询问到底指代哪个物品，待人语音确认后最终锁定物体；(5)在RGB‑D点云中估计物体6D姿态，最终引导机器人完成抓取；本发明专利技术避免了仅靠视觉造成的锁定错误目标物品，锁定指代目标物体的效率更高。

【技术实现步骤摘要】

本专利技术涉及人机交互，具体涉及一种凝视引导的机器人交互式物品抓取方法、系统、设备及存储介质。

技术介绍

1、在人机物品交递场景下，对人所指代的物品进行视觉定位(visual grounding)并检测其抓取位姿，是实现机器人抓取物品并向人递送的根本前提。

2、视觉定位方法旨在赋予机器人通过人的语音指令理解人的物品指代意图、通过视觉系统定位目标物品的能力，这是机器人抓取指代目标物品的基本前提。然而在桌面物体混杂摆放、尤其是当场景中存在同类物品多个实例时，人类的语音指令有时存在模糊的物品指代意图。单纯依靠机器人自主视觉感知或接受人的语言指令，都容易出现指代目标物品表达不清的问题。经过文献查新，zhang等人提出了通过交互式问答来逐步锁定目标物体的交互式视觉定位方法(见“invigorate:interactive visual grounding and graspingin clutter”，2021)，解决了遮挡对视觉定位造成的困难。然而多轮语音问答一定程度上增加了物品交递过程中人的交互负担，需要尽量减少交互中的物品指代意图不确定性。luo提本文档来自技高网...

【技术保护点】

1.一种凝视引导的机器人交互式物品抓取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(1)生成包括物体之间相对位置关系的树状结构描包括以下步骤：

3.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(2)采用几何特征方法计算人的头部姿态具体包括以下步骤：

4.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(3)计算人的视线沿长线与物体点云交汇情况包括以下步骤：

5.根据权利要求1所述的一种凝视引导的机器人...

【技术特征摘要】

1.一种凝视引导的机器人交互式物品抓取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(1)生成包括物体之间相对位置关系的树状结构描包括以下步骤：

3.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(2)采用几何特征方法计算人的头部姿态具体包括以下步骤：

4.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(3)计算人的视线沿长线与物体点云交汇情况包括以下步骤：

5.根据权利要求1所述的一种凝视引导的机器人交互式物品抓取方法，其特征在于，所述步骤(3)判断人的视线是否足够精确地选中某个物品具体如下：

6.根据权利要求1所述的一种凝视引导的机器人交互式物品抓...

【专利技术属性】
技术研发人员：宋伟，钱堃，廖建峰，张卓旸，
申请(专利权)人：之江实验室，
类型：发明
国别省市：