【技术实现步骤摘要】
基于主
‑
辅通道融合的机械臂抓取定位方法
[0001]本专利技术属于人机交互领域，具体涉及基于主
‑
辅通道融合的机械臂抓取定位方法。
技术介绍
[0002]人机交互技术是一门研究系统与用户之间交互关系的系统学问，其要广泛体现用户意图，旨在不断提升表达意图的用户体验。传统的人机交互方式多为单一通道的界面、键盘等交互方式，依靠用户的单一视觉、触觉信息进行意图的表达显示，但当前用户与计算机交互方式多样性以及信息交互多样性的快速发展，单一的界面交互模式已经不能满足人们日常的交互任务，因此如何提高人机交互的自然协作性成为了一个亟待解决的问题
[0003]多通道人机交互技术，通过一定的方法将多种通道进行协调，允许用户使用多个通道进行信息输入，并且能够通过多个通道给用户进行信息反馈。面对同一时刻的多种信息来源，快速发展的计算机处理技术进行灵活的多通道信息的交互，可显著提高人机交互的协调性、高效性和趣味性。
[0004]视觉通道、手势通道和语音通道作为人与外界交互的最基本、最常用的方式，具...
【技术保护点】
【技术特征摘要】
1.一种基于主
‑
辅通道融合的机械臂抓取定位系统，其特征在于，包括主通道语音模块、辅助通道手势模块、主
‑
辅通道融合模块、计算机数据处理与通信模块和机械臂模块：所述主通道语音模块用于提供连续性机械臂语音控制命令；所述辅助通道手势模块用于获取kinect相机深度信息和RGB信息，并利用上述信息进行目标物体的指示定位；所述主
‑
辅通道融合模块用于对主通道语音信息和辅助通道手势指示信息进行信息融合，得到kinect下目标物体具体位置、属性信息；所述计算机数据处理与通信模块用于将kinect下目标物体位置转换为机械臂下目标物体位置，并传输给机械臂控制模块进行目标物体抓取；所述机械臂模块用于对机械臂下目标物体进行轨迹规划与抓取。2.一种基于主
‑
辅通道融合的机械臂抓取定位方法，其特征在于，所述方法包含以下步骤：主
‑
辅通道融合模块连接主通道语音模块、辅助通道手势模块和计算机数据处理与通信模块，计算机数据处理与通信模块连接机械臂模块；主通道语音模块获取用户机械臂目标物体抓取指令信息；辅助通道手势模块获取手势信息和物体检测信息确定目标物体位置和属性信息；主
‑
辅通道融合模块获取所述主通道语音模块的目标物体抓取指令信息和辅助通道手势模块信息，采取主
‑
辅通道融合算法确定的目标物体位置和属性信息，融合得到目标物体在kinect下确切位置；根据所述目标物体在kinect下确切位置和机械臂
‑
kinect位置关系获取目标物体在机械臂坐标系下位姿；机械臂根据所述目标物体在机械臂坐标系下位姿进行机械臂轨迹规划并执行抓取。3.根据权利要求2所述的基于主
‑
辅通道融合的机械臂抓取定位方法，其特征在于，所述辅助通道手势模块获取手势信息和物体检测信息确定目标物体位置和属性信息包括：基于深度学习的指示行为目标选择方法、基于深度学习的目标检测方法、指示行为结合目标检测的目标定位方法。4.根据权利要求3所述的基于主
‑
辅通道融合的机械臂抓取定位方法，其特征在于，所述基于深度学习的指示行为目标选择方法包括：根据所述的kinect相机深度信息和RGB信息，基于深度学习实时检测21个手部关键点坐标信息；根据所述的21个手部关键点坐标信息，选择食指指尖和末端关键点指示...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。