一种基于多模态感知的叶片装配方法及系统技术方案

本发明专利技术涉及一种基于多模态感知的叶片装配方法及系统，所述方法包括：步骤S1、创建叶片的多模态感知装配环境；步骤S2、基于手势感知模型，控制机械臂启停；步骤S3：基于语音感知模型，控制具体装配任务；步骤S4：基于视觉感知模型，识别定位待装配叶片及配件的三维坐标；步骤S5、通过多模态感知进行协同控制，完成叶片及配件装配。与现有技术相比，本发明专利技术采用手势感知、语音感知和视觉感知的多模态感知进行叶片装配，具有协作性强的优点。具有协作性强的优点。具有协作性强的优点。

【技术实现步骤摘要】
一种基于多模态感知的叶片装配方法及系统


[0001]本专利技术涉及工业智能控制领域，尤其是涉及一种基于多模态感知的叶片装配方法及系统。

技术介绍

[0002]人工智能的发展促使机器人的功能与应用迅速扩展，传统机器人已经无法适用于目前高速发展的工业制造领域。智能感知机器人为智能制造在制造业当中的应用开辟了一条新路径，同时，针对机器人的协同控制也呈现出更智能的趋势。
[0003]当前智能制造场景下，单调的信息感知限制了人与机器人协作过程的精确性和安全性，无法适应复杂工业环境下机器人的装配操作需求。而针对汽轮机叶盘的叶片装配过程环境复杂、干扰多的问题，当下单一模态的感知方式过于单调，已经无法满足日益复杂的智能制造场景的迅猛发展。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于多模态感知的叶片装配方法及系统；通过手势感知、语音感知和视觉感知为机器人控制提供多模态的信息交互，更好地实现叶片的人机协同装配，提高装配过程的智能性。
[0005]本专利技术的目的可以通过以下技术方案来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态感知的叶片装配方法，其特征在于，所述方法包括以下步骤：步骤S1、创建叶片的多模态感知装配环境；步骤S2、基于手势感知模型，控制机械臂启停；步骤S3：基于语音感知模型，控制具体装配任务；步骤S4：基于视觉感知模型，识别定位待装配叶片及配件的三维坐标；步骤S5、通过多模态感知进行协同控制，完成叶片及配件装配。2.根据权利要求1所述的一种基于多模态感知的叶片装配方法，其特征在于，所述步骤S1中叶片的多模态感知装配环境包括伺服电机控制的转子试验台、用于放置待装配物料的物料架、用于抓取装配物料的第一协作式机械臂、用于抓取装配配件的第二协作式机械臂以及ROS机器人系统；所述ROS机器人系统分别与第一协作式机械臂、第二协作式机械臂以及伺服电机连接；所述第一协作式机械臂末端配置有用于进行手势感知的深度相机；所述第二协作式机械臂末端配置有用于视觉感知以识别定位的全局相机；所述多模态感知装配环境还设有与ROS机器人系统连接的用于进行语音感知的声音传感器。3.根据权利要求2所述的一种基于多模态感知的叶片装配方法，其特征在于，所述步骤S2中基于手势感知模型，控制机械臂启停，具体为：采用预训练后的基于卷积神经网络的图像识别模型，输入为深度相机采集到的手势图像数据，进行手势感知，以控制第一机械臂和第二机械臂启停。4.根据权利要求3所述的一种基于多模态感知的叶片装配方法，其特征在于，所述基于卷积神经网络的图像识别模型的预训练过程具体为：1)针对第一机械臂和第二机械臂的指令设置手势分类标签，分别采集不同分类标签下的手势图像集，并进行数据增强预处理；其中，左手手势用于控制第一协作式机械臂，右手手势用于控制第二协作式机械臂，每个机械臂包括三个手势，分别为启动、停止、复位；当图像视野中未出现手部图像、出现部分手部图像，以及此刻的手势不属于六类手势中的一个时，判断属于无指令集；2)构建基于卷积神经网络的图像识别模型，针对不同机械臂指令设置手势分类标签，进行网络训练。5...

【专利技术属性】
技术研发人员：张青雷，方圆，段建国，周莹，丁峻宏，陈小龙，王小波，
申请(专利权)人：上海超算科技有限公司，
类型：发明
国别省市：