一种基于多模态感知的叶片装配方法及系统技术方案

本发明专利技术涉及一种基于多模态感知的叶片装配方法及系统，所述方法包括：步骤S1、创建叶片的多模态感知装配环境；步骤S2、基于手势感知模型，控制机械臂启停；步骤S3：基于语音感知模型，控制具体装配任务；步骤S4：基于视觉感知模型，识别定位待装配叶片及配件的三维坐标；步骤S5、通过多模态感知进行协同控制，完成叶片及配件装配。与现有技术相比，本发明专利技术采用手势感知、语音感知和视觉感知的多模态感知进行叶片装配，具有协作性强的优点。具有协作性强的优点。具有协作性强的优点。

【技术实现步骤摘要】
一种基于多模态感知的叶片装配方法及系统


[0001]本专利技术涉及工业智能控制领域，尤其是涉及一种基于多模态感知的叶片装配方法及系统。

技术介绍

[0002]人工智能的发展促使机器人的功能与应用迅速扩展，传统机器人已经无法适用于目前高速发展的工业制造领域。智能感知机器人为智能制造在制造业当中的应用开辟了一条新路径，同时，针对机器人的协同控制也呈现出更智能的趋势。
[0003]当前智能制造场景下，单调的信息感知限制了人与机器人协作过程的精确性和安全性，无法适应复杂工业环境下机器人的装配操作需求。而针对汽轮机叶盘的叶片装配过程环境复杂、干扰多的问题，当下单一模态的感知方式过于单调，已经无法满足日益复杂的智能制造场景的迅猛发展。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于多模态感知的叶片装配方法及系统；通过手势感知、语音感知和视觉感知为机器人控制提供多模态的信息交互，更好地实现叶片的人机协同装配，提高装配过程的智能性。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]根据本专利技术的第一方面，提供了一种基于多模态感知的叶片装配方法，所述方法包括以下步骤：
[0007]步骤S1、创建叶片的多模态感知装配环境；
[0008]步骤S2、基于手势感知模型，控制机械臂启停；
[0009]步骤S3：基于语音感知模型，控制具体装配任务；
[0010]步骤S4：基于视觉感知模型，识别定位待装配叶片及配件的三维坐标；
[0011]步骤S5、通过多模态感知进行协同控制，完成叶片及配件装配。
[0012]优选地，所述步骤S1中叶片的多模态感知装配环境包括伺服电机控制的转子试验台、用于放置待装配物料的物料架、用于抓取装配物料的第一协作式机械臂、用于抓取装配配件的第二协作式机械臂以及ROS机器人系统；所述ROS机器人系统分别与第一协作式机械臂、第二协作式机械臂以及伺服电机连接；
[0013]所述第一协作式机械臂末端配置有用于进行手势感知的深度相机；所述第二协作式机械臂末端配置有用于视觉感知以识别定位的全局相机；所述多模态感知装配环境还设有与ROS机器人系统连接的用于进行语音感知的声音传感器。
[0014]优选地，所述步骤S2中基于手势感知模型，控制机械臂启停，具体为：
[0015]采用预训练后的基于卷积神经网络的图像识别模型，输入为深度相机采集到的手势图像数据，进行手势感知，以控制第一机械臂和第二机械臂启停。
[0016]优选地，所述基于卷积神经网络的图像识别模型的预训练过程具体为：
[0017]1)针对第一机械臂和第二机械臂的指令设置手势分类标签，分别采集不同分类标签下的手势图像集，并进行数据增强预处理；其中，左手手势用于控制第一协作式机械臂，右手手势用于控制第二协作式机械臂，每个机械臂包括三个手势，分别为启动、停止、复位；当图像视野中未出现手部图像、出现部分手部图像，以及此刻的手势不属于六类手势中的一个时，判断属于无指令集；
[0018]2)构建基于卷积神经网络的图像识别模型，针对不同机械臂指令设置手势分类标签，进行网络训练。
[0019]优选地，所述步骤S3中的语音感知模型包括语音唤醒、语音识别、语意理解和语音反馈，用于输出机械臂的控制指令。
[0020]优选地，所述语音识别具体为：采用支持API及多种SDK接入的百度语音软件，通过REST API为ROS机器人系统接入基于云的语音识别。
[0021]优选地，所述步骤S4中的视觉感知模型为基于模板匹配的视觉感知模型，其预训练过程包括以下子步骤：
[0022]1)进行视觉系统标定，包括相机标定和眼在手上相机标定；
[0023]2)采集包含叶片及配件的图像，并进行图像预处理；
[0024]3)采用SURF特征检测算法进行特征检测，采用单应性FLANN进行特征匹配，获取目标叶片及配件位置信息。
[0025]优选地，所述步骤S5具体为：
[0026]1)ROS机器人系统根据通过手势指令生成的控制信号控制机械臂的启动、停止及复位；
[0027]2)语音唤醒后，依据具体的语音指令生成相应的装配指令下发至机械臂；
[0028]3)采用视觉感知模型进行具体装配任务中的识别定位，结果数据用于对整体路径进行规划。
[0029]优选地，所述机械臂的运动控制过程具体为：根据关节的变换矩阵、机械臂的位姿及D
‑
H参数表，求解出机械臂的关节转角角度，驱动机械臂到达目标点位。
[0030]根据本专利技术的第二方面，提供了一种用于所述的基于多模态感知的叶片装配方法的系统，所述系统包括：
[0031]多模态感知模块，包括手势感知子模块、语音感知子模块和视觉感知子模块；
[0032]控制指令输出模块，用于将获取的感知数据输入ROS机器人系统处理后生成控制指令；
[0033]控制执行模块，用于依据控制指令控制机械臂以进行叶片装配；
[0034]信息反馈模块，用于输出当前机械臂运动状态、路径展示以及相机画面，通过语音反馈装配指令。
[0035]与现有技术相比，本专利技术具有以下优点：
[0036]1)本专利技术搭建了基于多模态感知的叶片装配系统，通过卷积神经网络搭建手势感知，控制机械臂启停；通过百度语音搭建语音感知，控制具体装配任务；通过模板匹配搭建视觉感知，识别定位待装配叶片及配件的三维坐标；根据得到的三维坐标进行机械臂的多目标点位控制，完成叶片及配件装配；对整个装配过程进行多模态感知协同控制；即本专利技术通过手势感知、语音感知和视觉感知为机器人控制提供多模态的信息交互，更好地实现自
带冠叶片的人机协同装配，提高装配过程的智能性；
[0037]2)预训练后的基于卷积神经网络的图像识别模型进行手势感知，识别精度更高；
[0038]3)采用支持API及多种SDK接入的百度语音软件，通过REST API为ROS机器人系统接入基于云的语音识别，进行语音感知，语音识别精度更高；
[0039]4)基于模板匹配的视觉感知模型，采用SURF特征检测算法进行特征检测，采用单应性FLANN进行特征匹配，更为精确的获取目标叶片及配件位置信息；
[0040]5)本专利技术的装配系统不仅适用于汽轮机叶盘叶片的识别装配，替换其它后简单调试也可针对其他零件的识别装配，适用性更高；
[0041]6)相较于传统技术主要通过固定化编程进行机械臂控制，智能性不强，或通过单一模态感知的方式，感知信息不丰富，协作性不强的缺陷，本专利技术利用多模态感知控制机械臂完成叶片的智能装配，协作能力强，提高了人机交互性。
附图说明
[0042]图1是基于多模态感知的叶片装配方法流程示意图；
[0043]图2是多模态感知架构流程示意图；
[0044]图3是语音感知逻辑示意图；
[0045]图4是多模态叶片装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态感知的叶片装配方法，其特征在于，所述方法包括以下步骤：步骤S1、创建叶片的多模态感知装配环境；步骤S2、基于手势感知模型，控制机械臂启停；步骤S3：基于语音感知模型，控制具体装配任务；步骤S4：基于视觉感知模型，识别定位待装配叶片及配件的三维坐标；步骤S5、通过多模态感知进行协同控制，完成叶片及配件装配。2.根据权利要求1所述的一种基于多模态感知的叶片装配方法，其特征在于，所述步骤S1中叶片的多模态感知装配环境包括伺服电机控制的转子试验台、用于放置待装配物料的物料架、用于抓取装配物料的第一协作式机械臂、用于抓取装配配件的第二协作式机械臂以及ROS机器人系统；所述ROS机器人系统分别与第一协作式机械臂、第二协作式机械臂以及伺服电机连接；所述第一协作式机械臂末端配置有用于进行手势感知的深度相机；所述第二协作式机械臂末端配置有用于视觉感知以识别定位的全局相机；所述多模态感知装配环境还设有与ROS机器人系统连接的用于进行语音感知的声音传感器。3.根据权利要求2所述的一种基于多模态感知的叶片装配方法，其特征在于，所述步骤S2中基于手势感知模型，控制机械臂启停，具体为：采用预训练后的基于卷积神经网络的图像识别模型，输入为深度相机采集到的手势图像数据，进行手势感知，以控制第一机械臂和第二机械臂启停。4.根据权利要求3所述的一种基于多模态感知的叶片装配方法，其特征在于，所述基于卷积神经网络的图像识别模型的预训练过程具体为：1)针对第一机械臂和第二机械臂的指令设置手势分类标签，分别采集不同分类标签下的手势图像集，并进行数据增强预处理；其中，左手手势用于控制第一协作式机械臂，右手手势用于控制第二协作式机械臂，每个机械臂包括三个手势，分别为启动、停止、复位；当图像视野中未出现手部图像、出现部分手部图像，以及此刻的手势不属于六类手势中的一个时，判断属于无指令集；2)构建基于卷积神经网络的图像识别模型，针对不同机械臂指令设置手势分类标签，进行网络训练。5...

【专利技术属性】
技术研发人员：张青雷，方圆，段建国，周莹，丁峻宏，陈小龙，王小波，
申请(专利权)人：上海超算科技有限公司，
类型：发明
国别省市：