机器人控制方法、装置、相关设备及计算机程序产品制造方法及图纸

技术编号:43847586 阅读:13 留言:0更新日期:2024-12-31 18:41
本申请公开了一种机器人控制方法、装置、相关设备及计算机程序产品,本申请在收到用户的唤醒指令时即调整机器人位姿使得视觉感知单元朝向用户所在位置,并通过视觉感知单元开始采集视觉信息,当检测到用户的任务语音指令时开始启动语音指令识别,并在识别到用户指令意图之前,启动人体姿态识别,以对视觉感知单元采集的视觉信息进行人体姿态识别,在得到用户存在姿态交互意图时,可以根据任务语音指令对应语音片段的前后端点时间,回溯该时间范围内的视觉信息中各帧图像的人体姿态识别结果,确定最终人体姿态识别结果。本申请方案一方面可以加快响应速度,另一方面更符合用户的使用习惯,提高了人机交互的成功率。

【技术实现步骤摘要】

本申请涉及计算机视觉和人机交互,更具体的说,是涉及一种机器人控制方法、装置、相关设备及计算机程序产品


技术介绍

1、随着技术的发展,交互式机器人的使用越来越广泛,人机交互可以脱离偏远平台的遥控,并允许机器人进行一些自主行为。

2、人机交互过程,用户可以配合一定的肢体动作(如手势)向机器下达任务语音指令,示例如用户手指向地面需要清扫的位置,并下达语音指令:“把我指的位置打扫一下”。传统方案一般将人机交互过程视为一个串行流程,即先识别用户的语音指令,在得到用户意图后,进一步控制机器人调整位姿使得摄像头对准用户,采集用户图像,并基于采集的图像进行手势识别,确定用户所指示的交互信息(如所指示的位置信息)。但是,用户的使用习惯并非一定是串行执行,有些用户通常是边说边做动作,甚至是先做动作再说,可能在语音指令说完之后即停止做动作。而由于算法的执行需要消耗时间,从用户的语音指令结束到机器识别到用户意图需要时间,传统方案在得到用户意图后开始启动手势识别时用户可能已经放下了手势,导致无法识别到用户的手势,进而造成交互失败。


技术实现本文档来自技高网...

【技术保护点】

1.一种机器人控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述启动人体姿态识别的时间,与所述启动语音指令识别的时间同步。

3.根据权利要求1所述的方法,其特征在于,启动人体姿态识别,以对所述视觉感知单元持续采集的视觉信息中各帧图像进行人体姿态识别,得到每帧图像的人体姿态识别结果的过程,包括:

4.根据权利要求3所述的方法,其特征在于,利用所述前后端点时间范围内的视觉信息中各帧图像的人体姿态识别结果,确定最终的人体姿态识别结果的过程,包括:

5.根据权利要求4所述的方法,其特征在于,根据各目标滑窗对应的人体姿态识别...

【技术特征摘要】

1.一种机器人控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述启动人体姿态识别的时间,与所述启动语音指令识别的时间同步。

3.根据权利要求1所述的方法,其特征在于,启动人体姿态识别,以对所述视觉感知单元持续采集的视觉信息中各帧图像进行人体姿态识别,得到每帧图像的人体姿态识别结果的过程,包括:

4.根据权利要求3所述的方法,其特征在于,利用所述前后端点时间范围内的视觉信息中各帧图像的人体姿态识别结果,确定最终的人体姿态识别结果的过程,包括:

5.根据权利要求4所述的方法,其特征在于,根据各目标滑窗对应的人体姿态识别结果所包含的稳定的姿态动作所指示的交互信息,确定最终的人体姿态识别结果的过程,包括:

6.根据权利要求4所述的方法,其特征在于,所述稳定的姿态动作所指示的交互信息为指向点坐标;则根据各目标滑窗对应的人体姿态识别结果所包含的稳定的姿态动作所指示的交互信息,确定最终的人...

【专利技术属性】
技术研发人员:孙境廷
申请(专利权)人:安徽科讯锦瑟科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1