基于深度学习的人机协作系统手势识别控制方法技术方案

本发明专利技术公开了一种基于深度学习的人机协作系统手势识别控制方法，包括以下步骤：步骤1、实时跟踪手势，并获取操作人的手势图像；步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。本发明专利技术的方法，工件目标采集可根据工件特性自行选取相机进行处理后传送至处理端，完成通讯配置；操作人员可在远程计算机下进行远程监测，并且在操作人员进行替换后对同一手势动作的多种姿态进行精确识别归类，实现了真正意义上的人机协作。

Gesture recognition control method based on deep learning in human-machine cooperation system

The invention discloses a gesture recognition and control method for a man-machine cooperation system based on depth learning, which comprises the following steps: step 1, real-time tracking gestures and acquiring gesture images of the operator; step 2, automatically learning gesture image features through depth learning algorithm, and recognizing and classifying various gestures of the same gesture Step 3, according to the gesture information recognized and classified, the corresponding preset robot control instructions are sent. According to the method of the invention, the object acquisition of the workpiece can select the camera according to the characteristics of the workpiece and transmit it to the processing end to complete the communication configuration; the operator can carry out remote monitoring under the remote computer, and accurately recognize and classify the various gestures of the same gesture movement after the operator has replaced them, so as to realize the communication configuration. The real sense of human-machine collaboration.

【技术实现步骤摘要】
基于深度学习的人机协作系统手势识别控制方法
本专利技术属于协作机器人控制
，涉及一种基于深度学习的人机协作系统手势识别控制方法。
技术介绍
目前，大部分协作机器人系统主要采用事先示教的路径轨迹和动作进行作业，这种方式存在很多盲区和安全隐患。许多恶劣、有害、高温、高压和危险环境下，以及在医疗、化工、工业生产中进行作业时，都存在不可预料的后果和难以近距离操作的问题。例如核电站的检修和维护，高压电带点作业、火山口采样、空间探测等，都需要由机器人代替人去完成。在近几年的医疗手术，工业生产中的小零件装配，以及具有危险性的化学实验中，机器人虽然有涉入，但由于作业环境复杂多变和精度要求，完全依靠自主机器人来完成任务是不可能的，操作人员必须协同机器人来完成作业。目前，还没有真正意义上的高精度协作机器人，很多只是停留在仿真，或者是复杂环境下对机器人进行遥感控制。体感控制机器人系统，特别是在手势控制机器人协作系统中，大多数都是依靠指尖数量等信息识别，识别手势单一、识别效果差；随着操作人员的不同，手势的幅度、姿态、轨迹等都会有所变化，会导致判别指令错误与无法识别等意外情况，而引入基于深度学习的神经网络识别具有自动学习手势变化和判别的能力，是机器人控制中的一个重要研究课题。ABB展出的YuMi双臂机器人，是全球首台真正意义上的协作机器人，它能够轻松应对各种小件组装的挑战，进行各种危险实验，手术等，而国内目前针对YuMi机器人化工等实践协作开发领域并未有所研究。
技术实现思路
本专利技术的目的是提供一种基于深度学习的人机协作系统手势识别控制方法，解决了现有人机协作技术中存在的精度低，数据量大、机器伤人和不安全隐患等工业机器人协作问题。本专利技术所采用的技术方案是，一种基于深度学习的人机协作系统手势识别控制方法，包括以下步骤：步骤1、实时跟踪手势，并获取操作人的手势图像；步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。本专利技术的有益效果是，包括以下方面：1)传统的提取手势识别都是人为寻找特征并分析提取，大多数根据指尖数量信息来识别手势，识别效果差，目标姿态单一；本专利技术使用深度学习自动学习手势图像特征并归类，可识别同一手势的多种姿态，不仅精度高，更可以对多种手势进行识别归类。2)本专利技术实施例采用手势识别与YuMi机器人相结合，解决了协作安全和高精度作业问题，使操作人通过多种手势姿态的变化直接与机器人进行协作任务，可广泛应用于各种途径。附图说明图1为本专利技术实施例的七种手势图；图2为本专利技术实施例的三种手势及归类示意图；图3为本专利技术实施例的动态手势跟踪与采集流程图；图4为本专利技术实施例的手势识别流程图；图5为本专利技术实施例深度学习的人机协作系统手势识别整体控制图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。本专利技术是一种基于深度学习的人机协作系统手势识别控制方法，包括以下步骤：步骤1、实时跟踪手势，并获取操作人的手势图像；在步骤1中，实时跟踪手势并获取操作人的手势图像具体包括：采用kinect体感相机采集用户的手势图像；采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样；将采集到的操作人手势RGB图像和深度图像通过USB传送至PC机进行处理。采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样包括：采用VS软件及C++编程语言，读取操作人员上肢及手势的深度图像及RGB图像；根据所述RGB图像和深度图像，对图像进行滤波后背景剔除，并转换为HSI模型后得到颜色概率分布图。判断是否有手势存在，并根据计算图像中心和图像重心窗口是否覆盖来反复寻找；每隔相同时间进行一次采样，获取二值图像。实施例中，采用Kincet体感相机进行手势图像采集，该相机可同时得到深度图像和RGB图像，然后经过图像分割处理后，采用camshift跟踪算法对手势进行跟踪和定时图像采集，并处理为二值图像，其在Kinect体感相机的视野范围内准确度和精度都很高，且成本较低。步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；在步骤2中，通过深度学习自动学习手势图像特征对同一手势的多种姿态进行识别和归类，具体包括：采用开源手势库中的手势图像离线训练RBM网络，自动学习多种手势图像深度特征；采用BP神经网络对经过RBM特征提取的手势集图像进行监督学习分类；根据RBM网络和BP神经网络形成的DBN网络对实时采集的操作人手势图像进行识别，并归类为图1中a-g手势(可根据工作要求增加手势数目，在此仅举7个手势示例)。实施例中，RBM网络根据手势库中的大量手势图像，不断自动学习和更新网络参数，挖掘多种手势存在的不同特征；然后在使用带标签图像数据的方式下采用BP神经网络对找到特征后的手势集的同一手势可能做出的多种姿态手势进行识别并归类为图1中的(a-g)手势，形成完整的DBN深度学习手势识别网络；最后实时采集动态手势图像送入网络进行识别。步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。在步骤3中，根据识别和归类的手势信息发送相应的预设置机器人控制指令，具体包括：通过获得的手势归类，当检测出归类为图1中的(a-g)手势，分别对应(1-7)数字输出；然后在机器人编程软件上分别编译产生目标1号工件、目标2号工件、伺服系统打开同时自动进行关节运动、夹取命令、开始作业、机器停止相关人机协作系统运动指令、初始化，进行远程人机协作，(若需要更多动作，也可根据其他手势的变化自行配置相关运动及参数)。如图1、图2所示，为本专利技术实施例的七种手势及其三种手势归类原理图，以下对归类原理进行详细说明：图1中的(a-g)七种手势为本专利技术实施例设置的手势标签和归类结果图，其分别映射为(1-7)的数字输出，在机器人上映射为目标1号工件、目标2号工件、伺服系统打开同时自动进行关节运动、夹取命令、开始作业、机器停止相关人机协作系统运动指令、初始化。图2中，h0、h1、h2三个分类分别表示a、b、c三种手势的多种姿态(近似变形)经过深度学习手势识别最终归类示意图。本专利技术方法完全可以在指定手势的各种姿态下进行识别，并且并不局限于上述的(a-g)七种手势，用户可根据工件的具体流程自行设定多种姿态的相关手势，设置多种相关输出信号，给机器人编译需要的相关运动指令，可广泛应用于多种途径。如图3，为本专利技术实施例的动态手势跟踪与采集流程图(即步骤1的详细步骤)，以下对动态手势跟踪与采集流程进行详细说明：步骤X101、使用Matlab工具箱，将第一台Kinect体感相机标定于远程手势台上方2m～3m之间；在PC上配置KinectSDK，并将操作人员上肢及手势的深度图像及RGB图像通过USB传输至PC中；步骤X102、采用C++在VS软件中对得到的图像进行中值滤波去除噪音影响，利用KinectSDK中的肤色检测程序进行手势动态检测，同时使用C++编程得到动态深度数据流并转换为高度信息；步骤X103、Kinect通过在PC处理端编程处理后，实时检测手是否存在，若没有，继续检测，若有，执行下一步；步骤X104、在VS软件中将RGB图像转换为HSV本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人机协作系统手势识别控制方法，其特征在于，包括以下步骤：步骤1、实时跟踪手势，并获取操作人的手势图像；步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。

【技术特征摘要】
1.一种基于深度学习的人机协作系统手势识别控制方法，其特征在于，包括以下步骤：步骤1、实时跟踪手势，并获取操作人的手势图像；步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。2.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤1中，具体包括：采用kinect体感相机采集用户的手势图像；采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样；将采集到的操作人手势RGB图像和深度图像通过USB传送至PC机进行处理。3.根据权利要求2所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样包括：采用VS软件及C++编程语言，读取操作人员上肢及手势的深度图像及RGB图像；根据所述RGB图像和深度图像，对图像进行滤波后背景剔除，并转换为HSI模型后得到颜色概率分布图；判断是否有手势存在，并根据计算图像中心和图像重心窗口是否覆盖来反复寻找；每隔相同时间进行一次采样，获取二值图像。4.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤2中，具体包括：采用开源手势库中的手势图像离线训练RBM网络，自动学习多种手势图像深度特征；采用BP神经网络对经过RBM特征提取的手势集图像进行监督学习分类；根据RBM网络和BP神经网络形成的DBN网络对实时采集的操作人手势图像进行识别，并归类。5.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤3中，具体包括：通过获得的手势归类，当检测出归类手势，分别对应数字输出；然后在机器人编程软件上分别编译产生相关人机协作系统运动指令、初始化，进行远程人机协作。6.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤1中，动态手势跟踪与采集具体包括：步骤X101、使用Matlab工具箱，将第一台Kinect体感相机标定于远程手势台上方2m～3m之间；在PC上配置KinectSDK，并将操作人员上肢及手势的深度图像及RGB图像通过USB传输至PC中；步骤X102、采用C++在VS软件中对得到的图像进行中值滤波去除噪音影响，利用KinectSDK中的肤色检测程序进行手势动态检测，同时使用C++编程得到动态深度数据流并转换为高度信息；步骤X103、Kinect通过在P...

【专利技术属性】
技术研发人员：杨延西，杨志伟，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61