基于手势和语音交互辅助的机器人半自主导航方法及系统技术方案

本发明专利技术属于机器人自主导航技术领域，公开一种基于手势和语音交互辅助的机器人半自主导航方法及系统；所述方法包括如下步骤：步骤1.生成手势和语音控制指令；步骤2.基于手势和语音交互的机器人任务训练；步骤3.基于手势和语音交互的机器人在线运动规划。本发明专利技术通过增强现实设备进行手势识别和无声语音识别，从视觉手势交互和无声语音交互出发，对机器人进行离线任务训练，不断更新知识库，基于先验的知识库和自身的轨迹规划和优化算法，不断在线调整运动轨迹，从而实现机器人半自主导航。本发明专利技术可以更加直观地对机器人进行离线任务训练和在线任务规划，采用手势和无声语音识别结合的方式可以有效提高机器人自主导航性能，优化规划轨迹。规划轨迹。规划轨迹。

【技术实现步骤摘要】
基于手势和语音交互辅助的机器人半自主导航方法及系统


[0001]本专利技术属于机器人自主导航
，具体涉及一种基于手势和语音交互辅助的机器人半自主导航方法及系统。

技术介绍

[0002]目前，机器人的自主导航技术日趋成熟，但是已有的在线运动规划方法难以保证机器人在未知和高度复杂的环境中高效和鲁棒地移动。
[0003]中国专利CN114463833A公开了一种基于MediaPipe手势识别模型的安卓人机交互方法。通过获取的手部运动图像，输入到手势识别模型中，实时识别出当前的手势动作。但是只考虑手掌左右移动的偏移信息，并未考虑手掌移动的偏移角度。
[0004]中国专利CN107150347B公开了一种基于人机协作的机器人感知与理解方法。操作者通过手势和语音交互对目标进行在线描述，机器人通过对操作者手势和语音指令的理解来学习任务示教轨迹。基于强化学习模型，操作者在线给予机器人行为评价，通过奖励和惩罚信号不断修正机器人的行为。但是仅对子任务执行的结果进行修正，并未考虑对机器人执行任务示教轨迹过程中的局部极小值进行修正。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势和语音交互辅助的机器人半自主导航方法，其特征在于包括如下步骤：步骤1.生成手势和语音控制指令；通过增强现实头盔捕捉原始的手势图像信息和唇语图像信息，智能设备对手势指令和语音指令进行识别；步骤2.基于手势和语音交互的机器人任务训练；离线地示教机器人执行任务，机器人在强化学习过程中将不断更新经验库和知识库，从而为机器人在线避障提供支持；步骤3.基于手势和语音交互的机器人在线运动规划；基于建立的知识库，通过语音指令发布机器人的航点信息，控制机器人进行小幅度运动，通过手势指令控制机器人进行大幅度运动，语音和手势指令协同控制，根据手势指令控制机器人移动的方向，同时读取语音指令控制机器人移动的位移；当机器人碰到障碍物时，调用自身轨迹规划和优化算法，同时根据建立的知识库不断修正轨迹，最终生成最优运动轨迹。2.根据权利要求1所述的基于手势和语音交互辅助的机器人半自主导航方法，其特征在于：步骤1包括如下步骤：步骤1.1：手势控制指令的生成包括手势所指的方向和手势运动的位移的生成；步骤1.2：语音控制指令的生成包括控制性指令和命令性指令的生成。3.根据权利要求2所述的基于手势和语音交互辅助的机器人半自主导航方法，其特征在于：步骤1.1具体如下：当产生手势动作时，循环获取每一帧指关节关键点信息，将两帧之间关键点的偏移位移作为手势移动的位移量，将两帧之间关键点的偏移角度作为手势所指的方向，循环计算n次，不断叠加偏移位移和偏移角度，获取当前手势的位移值和方向信息；其中，叠加偏移位移的计算公式如下所示：叠加偏移角度的计算公式如下所示：其中，offset为偏移位移量，P
i
为第i个关节的关键点位置，θ
i
为第i个关节对应的偏移角度。4.根据权利要求1所述的基于手势和语音交互辅助的机器人半自主导航方法，其特征在于：步骤2包括如下步骤：步骤2.1.手势和语音指令的发布；步骤2.2.机器人的任务示教；步骤2.3.机器人的任务学习；步骤2.4基于手势和语音交互的机器人示教避障。5.根据权利要求4所述的基于手势和语音交互辅助的机器人半自主导航方法，其特征在于：所述步骤2.1中当机器人需要进行大幅度动作时，操作员通过语音指令将手势和语音
的切换C
hand
设置为手势，通过手势动作来发布机器人移动的方向C
dir
和固定的移动步长C
val
和位移单位C
unit
；当机器人需要进行小幅度动作时，操作通过语音指令将手势和语音的切换C
hand
设置为语音，通过语音输入来发布机器人移动的方向C
dir
和移动步长C
val
和位移单位C
unit
；当需要手势和语音指令协同进行控制时，将手势和语音的切换C
hand
始终保持设置为1，以当前手势所指方向为机器人移动的方向C
dir
，当前发布的语音指令设置机器人移动的步长C
val
和单位C
unit
。6.根据权利要求4所述的基于手势和语音交互辅助的机器人半自主导航方法，其特征在于：所述步骤2.2具体为：基于建立的经验库，操作者利用手势和语音陈述任务名称、子任务的数量和操作对象的属性等信息，并将整个任务分析发送给机器人，机器人利用运动规划算法生成初始的任务示教轨迹；在机器人的运动过程中，操作者通过观察机器人的复现轨迹，对于一些误差大于期望误差的示教点，通过语音指令进行调整，并不断更新任务示教的经验库，直至任务示教完成；所述步骤2.3具体为：通过双目相机观察工作环境，确定关键的障碍物和目标的位姿，通过自身学习到的任务轨迹应用到给定的任务计划中来形成实际的工作轨迹；利用强化学习方法进行建模，操作员不断对机器人的行为进行评价，通过奖励和惩罚信号不断修正机器人的行为；机器人在任务学习的过程，不断地完善自身的知识库。7.根据权利要求4所述的基于手势和语音交互辅助的机器人半自主导航...

【专利技术属性】
技术研发人员：闫野，张皓洋，陆聪，印二威，谢良，张敬，张亚坤，罗治国，赵少楷，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：