一种人机协作机器人系统技术方案

本发明专利技术提供了一种人机协作机器人系统，包括凝视跟踪组件、目标识别定位组件、意图预测组件、预期运动规划组件。凝视跟踪组件通过眼动仪跟踪捕获机器人使用者的凝视焦点；目标识别定位组件分析凝视数据确定机器人使用者所注视的区域，并对区域内的目标进行检测和识别；意图预测组件对机器人使用者关注的目标和使用者的真实意图之间的相关性进行建模，判断出机器人使用者的意图；预期运动规划组件利用意图预测组件提供的预测值对机器人进行运动规划。所述人机协作机器人系统，在人机协作场景中，使机器人系统能够监测操作者的注视模式并预测任务意图，并基于这些预测执行相应的预期运动，实现机器人与机器人使用者之间的流畅、高效的协作。

A man-machine cooperative robot system

The invention provides a man-machine cooperative robot system, comprising a gaze tracking component, an object identification positioning component, an intent prediction component, and an intended motion planning component. Gaze tracking components by eye tracker tracking robot capture the user's gaze focus; target recognition and location component analysis at robot gaze region to determine the user data, and the area of the target detection and recognition; modeling the relationship between components of the robot user intention prediction target and the user's real intention, intention judgment robot the user's intention; prediction value component provides the motion planning of the robot by the expected motion planning component. The man-machine cooperation robot system in collaborative scenarios, the robot system is capable of monitoring the operator's gaze model and prediction task intention, and on the basis of the expected motion prediction is carried out accordingly, realizing the cooperation between the robot and the robot user's smooth and efficient.

【技术实现步骤摘要】
一种人机协作机器人系统
本专利技术属于计算机视觉与工业机器人的交叉领域，具体地，本专利技术涉及一种人机协作机器人系统。
技术介绍
机器人工业自动化在大规模制造中取得了显着的成功，因为它在诸如焊接，切割，冲压，喷漆，重材料处理，精密材料加工等任务中具有显着的优势。机器人自动化在大规模制造中的成功已导致将机器人自动化的使用扩展到中小型制造企业(“中小型企业”)的长期愿望。然而，与大规模制造相比，中小型企业的生产方法通常特征在于小批量、定制化、短周期，没有太多的资金对生产线进行大规模改造，并且对产品的投资回报率更为敏感。这要求机器人具有较低的综合成本、快速部署、简单上手的使用方法，而这些，传统机器人很难满足。此外，在某些机器人应用的新兴行业中，即使是大企业也面临与中小企业同样的问题，3C产业是这个方面的典型代表。3C市场中如手机、平板、可穿戴设备等主流产品的更新换代速度非常快，基本上生命周期只有1～2年，短的甚至只有几个月。如果采用传统机器人方案，建设相应的生产线需要投入大量资源、大量时间，并且有可能连成本都没收回来，所生产的产品就该从市场退出了。而如果对生产线再进行改造，又要投入巨大的资本文档来自技高网...

【技术保护点】
一种人机协作机器人系统，其特征在于，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：所述凝视跟踪组件跟踪捕获眼睛的凝视数据；所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；所述意图预测组件推断机器人操作者意图并且提供置信度；所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务。

【技术特征摘要】
1.一种人机协作机器人系统，其特征在于，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：所述凝视跟踪组件跟踪捕获眼睛的凝视数据；所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；所述意图预测组件推断机器人操作者意图并且提供置信度；所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务。2.根据权利要求1所述的人机协作机器人系统，其特征在于，所述凝视跟踪组件包括眼动仪，用于执行双目瞳孔跟踪、三维重建环境和与其它组件进行交互通信，机器人操作者的凝视位置以红点体现在所述三维重建环境和中，通过雅可比矩阵方法和预定义的Aruco标记实现三维重建环境和物理任务空间中的位置与环境项目之间的映射关联。3.根据权利要求2所述的人机协作机器人系统，其特征在于，所述目标识别定位组件包括视觉行为分类器、注意力提取部分和目标识别部分。4.根据权利要求3所述的人机协作机器人系统，其特征在于，所述视觉行为分类器区分意图注视行为和无意识注视行为。5.根据权利要求4所述的人机协作机器人系统，其特征在于，所述注意力提取部分从所述意图注视行为的凝视数据提取注意力信息，通过反向最小生成树将关注范围内的目标点聚类，使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非...

【专利技术属性】
技术研发人员：陶永，谢先武，陈友东，魏洪兴，熊禾根，刘辉，高进芃，谢光，许曦，房增亮，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11