一种基于多模态行为在线预测的人机协作方法和系统技术方案

本发明专利技术公开了一种基于多模态行为在线预测的人机协作方法和系统，所述方法包括：获取视频数据；根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征；所述视觉语义深层特征用于反映所述人体行为在时序性视觉模式下的时空间语义信息；根据所述视觉语义深层特征和所述人体姿态特征，确定所述作业人员对应的目标人体行为意图；根据所述目标人体行为意图确定移动式协作机器人对应的执行操作和移动路径。解决了现有技术中手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式的问题。品创新日益加快的发展模式的问题。品创新日益加快的发展模式的问题。

【技术实现步骤摘要】
一种基于多模态行为在线预测的人机协作方法和系统


[0001]本专利技术涉及人机协同智能制造装配领域，尤其涉及的是一种基于多模态行为在线预测的人机协作方法和系统。

技术介绍

[0002]现有产品制造模式中，产品装配是整个制造生命周期中时间和精力耗费量最大的环节之一。据统计，在工业化国家的产品生产过程中，大约1/3左右人力从事于有关产品装配的活动，该阶段占用超过40％的生产成本。同时，由于产品的复杂性或个性化发展趋势，极大制约了现有装配的自动化和智能化水平，使得手工装配仍然是现有的主流装配方式之一，繁重紧张的装配任务会增加人员的疲劳程度，进而影响整个产品的生产装配质量，不科学的装配工艺以及工作环境影响着员工的工作状态甚至危害人的健康，降低了工作效率。因此，现有的手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式。
[0003]因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多模态行为在线预测的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态行为在线预测的人机协作方法，其特征在于，所述方法包括：获取视频数据；根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征，所述视觉语义深层特征用于反映所述人体行为在时序性视觉模式下的时空间语义信息；根据所述视觉语义深层特征和所述人体姿态特征，确定所述作业人员对应的目标人体行为意图；根据所述目标人体行为意图对移动式协作机器人进行控制。2.根据权利要求1所述的人机协作方法，其特征在于，所述根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征，包括：根据所述视频数据输出基础三原色视频流和三维人体姿态数据流；根据所述基础三原色视频流提取所述视觉语义深层特征；根据所述三维人体姿态数据流提取所述人体姿态特征。3.根据权利要求2所述的人机协作方法，其特征在于，所述根据所述基础三原色视频流提取所述视觉语义深层特征，包括：对所述基础三原色视频流中每一视频帧对应的人体行为区域进行剪裁，得到若干人体行为区域视频帧；根据所述若干人体行为区域视频帧确定所述人体行为对应的视觉模态浅层特征，并根据所述视觉模态浅层特征提取所述视觉语义深层特征，其中，所述视觉模态浅层特征用于反映所述若干人体行为区域视频帧中的视觉几何特征。4.根据权利要求3所述的人机协作方法，其特征在于，所述根据所述人体行为区域视频帧确定所述人体行为对应的视觉模态浅层特征，并根据所述视觉模态浅层特征提取所述视觉语义深层特征，包括：将所述若干人体行为区域视频帧输入预先经过训练的二维卷积神经网络中，得到所述视觉模态浅层特征；将所述视觉模态浅层特征输入预先经过训练的三维卷积神经网络中，得到所述视觉语义深层特征。5.根据权利要求2所述的人机协作方法，其特征在于，所述根据所述三维人体姿态数据流提取所述人体姿态特征，包括：获取所述三维人体姿态数据流中的人体姿态关节点坐标数据；根据所述人体姿态关节点坐标数据构建人体姿态关节点拓扑图；根据所述人体姿态关节点拓扑图提取所述人体姿态特征。6.根据权利要求5所述的人机...

【专利技术属性】
技术研发人员：李树飞，郑湃，范峻铭，
申请(专利权)人：香港理工大学深圳研究院，
类型：发明
国别省市：