一种基于动作融合的机器人示教系统及实施方法技术方案

本发明专利技术提供一种基于动作融合的机器人示教系统及其设计方法，主要由机械臂，计算机主机，肌电信号传感器，动作捕捉模块，摄像机，增强现实设备和麦克风组成。动作捕捉模块在操作者示教时，负责捕捉其手臂动作和手势，并转化为控制机械臂的指令。机械臂的运动情况由摄像机捕捉，并通过增强现实设备将图像呈现给操作者，为操作者提供具有临场感的立体视觉反馈。肌电信号传感器负责采集操作者手臂的表面肌电信号，本发明专利技术可以从肌电信号中提取操作者的疲劳度，用于多组示教动作的加权融合，增强了示教动作的稳定度。融合后的示教动作经过操作者的语音命令命名，存储在运动原语存储库中，实现了示教动作的复用，进一步提高了整体示教过程的效率。

A robot teaching system based on motion fusion and its implementation method

The invention provides a robot teaching system based on action fusion and its design method. It consists of a mechanical arm, a computer host, a myoelectric signal sensor, an action capture module, a camera, an augmented reality device and a microphone. The motion capture module is responsible for capturing its arm movements and gestures when the operator is teaching, and transforming them into instructions for controlling the robot arm. The motion of the manipulator is captured by the camera, and the image is presented to the operator by the augmented reality device to provide the operator with the stereoscopic visual feedback with a sense of presence. The EMG signal sensor is responsible for collecting the surface electromyography signal of the operator's arm. The invention can extract the fatigue degree of the operator from the EMG signal, and use the weighted fusion of several groups of teaching movements to enhance the stability of the teaching action. After the fusion, the teaching action is named after the operator's voice command, which is stored in the repository of the movement primitives, which realizes the reuse of the teaching action, and further improves the efficiency of the whole teaching process.

【技术实现步骤摘要】
一种基于动作融合的机器人示教系统及实施方法
本专利技术属于机器人应用领域，具体地涉及一种基于动作融合的机器人示教系统。
技术介绍
随着机器人技术的快速发展，“机器换人”已成为时代趋势，以智能制造为代表“工业4.0”时代已经来临。传统机器人在投入生产工作前，需要专业人员对其进行编程和示教，这使得系统集成的费用往往超过机器人硬件本身。在传统的机器人示教方法中，操作人员需要通过示教器一步一步地操纵机器人，指导机器人完成任务。这种示教方法交互性差，耗时耗力，易造成操作者的疲劳，且示教动作僵化。而随着科技的发展，人类社会对产品的功能与质量的要求越来越高，产品更新换代的周期不断缩短，加工装配任务也在快速变化，传统示教方法将越来越无法满足生产的需要。在这种情况下，迫切需要一种新型的，高效灵活且对用户友好的机器人示教系统。目前，与新型机器人示教系统相关的专利主要有：1.中国公开专利号：CN206254183U，名称：一种机器人智能拖动示教系统。该专利技术为机器人的末端装配了拖动工具和力传感器，使得操作人员可以通过拖动机器人的方式进行示教，同时还提供了显示屏用于显示拖动力的大小和方向，以及机器人的关节位置信息。这类示教系统使得操作者可以更方便地对机器人进行示教，同时也提供了一定的反馈信息。但是，操作者仍需要与机器人直接接触，安全方面仍存在问题，而且示教者的动作会受机器人机械结构限制，同时也会加速操作者的疲劳。此外，显示屏的信息也无法给操作者一个直观的反馈。2.中国公开专利号：CN206326605U，名称：一种基于机器视觉的智能示教系统。该专利技术利用体感设备获取操作者的示教动作，数据经过处理后发送到机器人端，实现了对机器人的远程示教，保证了操作者的人身安全和示教的灵活性；同时使用了双目视觉设备检测机器人的运动状态，为操作者提供了直观的视觉反馈。然而，一方面，该专利技术没有考虑示教动作的重用和存储问题，由于生产的变化带来的可能只是机器人动作的一些微小变化，机器人动作并不需要完全重新示教，因此示教动作的存储和重新利用，可以极大地提高示教的效率；另一方面，操作者在示教过程中必然会出现疲劳的问题，此时示教动作的质量和稳定度无法得到保障，而这个问题在远程示教中尤为明显。
技术实现思路
本专利技术提供一种基于动作融合的机器人示教系统及实施方法。该系统主要由机械臂，计算机主机，肌电信号传感器，动作捕捉模块，摄像机，增强现实设备和麦克风组成。动作捕捉模块负责捕捉操作者的示教动作，肌电信号传感器负责采集操作者示教时的手臂表面肌电信号。考虑到操作者的疲劳度对示教动作的负面影响，本专利技术从肌电信号中评估出操作者的疲劳度，并进一步根据疲劳度，对示教动作进行融合，以得到稳定性更好的示教动作。利用摄像机和增强现实设备，可以将机械臂及其工作空间的动态三维实时视频信息反馈给操作者，为操作者提供更加真实的，直观的机械臂操作情况。利用麦克风采集操作者的动作命令，实现示教动作的存储和复用，可以极大地提高示教的效率。总的来讲，本专利技术旨在综合提高示教系统的示教动作稳定性，用户友好度及示教效率。本专利技术的目的通过下述技术方案予以实现：一种基于动作融合的机器人示教系统，其特征在于：所述系统主要由计算机主机（1），机械臂（2），肌电信号传感器（3），动作捕捉模块（4），摄像机（5），增强现实设备（6）和麦克风（7）组成。机械臂（2）是示教系统的主体操作对象，与计算机主机（1）连接；肌电信号传感器（3）与计算机主机（1）以有线或无线的方式连接，负责获取操作者手臂肌电信号；动作捕捉模块（4）与计算机主机（1）连接，负责捕捉操作者运动信息；摄像机（5）与计算机主机（1）连接，用于获取机械臂（2）及其工作空间的信息；增强现实设备（6）与计算机主机（1）连接，用于显示机械臂（2）及其工作空间的信息；麦克风（7）与计算机主机（1）连接，负责检测收集操作者的声音信息。所述机械臂（2）可以是任意形式和任意自由度的机械臂，可以接收计算机主机（1）发出的控制指令并作出相应动作。可选地，所述肌电信号传感器（3）穿戴在操作者的手臂，其功能主要是但不限于，通过检测人手肌电信号的变化，获取操作者当前的疲劳程度。可选地，所述的动作捕捉模块（4）用于采集操作者手臂和手部的运动信息，动作捕捉模块（4）可以是但不限于可穿戴式外骨骼装置，视觉或红外设备。进一步地，利用所述肌电信号传感器（3）获取的操作者疲劳度，以及动作捕捉模块（4）获取的操作者运动信息，可以通过机器学习算法对操作者示教动作进行融合，融合后的示教动作用于机器人的运动控制。可选地，所述增强现实设备（6）可以对摄像机（5）捕捉到的机器人及机器人工作空间的视频信息进行处理，并显示出来。所显示的画面为动态三维实时视频。进一步地，所述的摄像机（5）可以是任意的摄像头，摄像机数量最少为两个，布置在机器人前方的不同位置；增强现实设备（6）可以是但不限于头戴式显示器、虚拟现实眼镜。可选地，所述麦克风（7）检测到的操作者的声音信息，用于示教动作的存储命名和复现触发指令。本专利技术的另一种技术方案为一种基于动作融合的机器人示教系统的实施方法，其包括如下内容：(1)操作者的示教动作通过动作捕捉模块（4）采集，并通过计算机主机（1）发送到机械臂（2），控制机械臂（2）实时运动；操作者手臂的肌电信号通过肌电信号传感器（3）采集，并发送到计算机主机（1）进行处理；(2)从操作者的肌电信号中评估操作者的疲劳度，以及进一步的动作融合，是示教系统设计的核心问题；本专利技术采用平均度量评估法，对操作者疲劳度进行评估；采用机器学习算法，根据所评估的操作者疲劳度，对多组示教动作进行融合；优选的，平均度量评估法采用肌电信号的三种度量来评估操作者的疲劳度；这三种度量包括肌电信号的平均频率，DImitrov指数和均方根；优选的，机器学习算法采用加权高斯混合回归对示教动作进行加权融合；(3)在示教过程中，机械臂（2）及其工作空间的视频信息由摄像机（5）采集，并发送到计算机主机（1）；所采集到的视频信息经计算机主机（1）处理，由增强现实设备（6）显示，增强现实设备（6）显示的是动态三维实时视频，可以实时将机械臂（2）及其工作空间的信息反馈给操作者；(4)在示教动作融合完成后，操作者发出声音信息，为示教动作命名，麦克风（7）采集操作者发出的声音信息，并发送到计算机主机（1）上进行处理，通过提取声音信息中的关键字，来为示教动作进行命名，示教动作以命名作为关键字，存储在运动原语存储库中，运动原语存储库用于示教动作复现阶段的动作复用。附图说明图1为本专利技术的基于动作融合的机器人示教系统的结构示意图，图2为系统在示教过程中的信号流向图；图3为示教者示教动作控制机械臂的示意图；图4为基于疲劳度的动作融合的流程图。其中1为计算机主机、2为机械臂、3为肌电信号传感器、4为动作捕捉模块、5为摄像机、6为增强现实设备、7为麦克风。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地较为详细描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。如附图1所示，本系统由计本文档来自技高网...

【技术保护点】
一种基于动作融合的机器人示教系统，其特征在于：所述系统主要由计算机主机（1），机械臂（2），肌电信号传感器（3），动作捕捉模块（4），摄像机（5），增强现实设备（6）和麦克风（7）组成；机械臂（2）是示教系统的主体操作对象，与计算机主机（1）连接；肌电信号传感器（3）与计算机主机（1）以有线或无线的方式连接，负责获取操作者手臂肌电信号；动作捕捉模块（4）与计算机主机（1）连接，负责捕捉操作者运动信息；摄像机（5）与计算机主机（1）连接，用于获取机械臂（2）及其工作空间的信息；增强现实设备（6）与计算机主机（1）连接，用于显示机械臂（2）及其工作空间的信息；麦克风（7）与计算机主机（1）连接，负责检测收集操作者的声音信息。

【技术特征摘要】
1.一种基于动作融合的机器人示教系统，其特征在于：所述系统主要由计算机主机（1），机械臂（2），肌电信号传感器（3），动作捕捉模块（4），摄像机（5），增强现实设备（6）和麦克风（7）组成；机械臂（2）是示教系统的主体操作对象，与计算机主机（1）连接；肌电信号传感器（3）与计算机主机（1）以有线或无线的方式连接，负责获取操作者手臂肌电信号；动作捕捉模块（4）与计算机主机（1）连接，负责捕捉操作者运动信息；摄像机（5）与计算机主机（1）连接，用于获取机械臂（2）及其工作空间的信息；增强现实设备（6）与计算机主机（1）连接，用于显示机械臂（2）及其工作空间的信息；麦克风（7）与计算机主机（1）连接，负责检测收集操作者的声音信息。2.根据权利要求1所述的机器人示教系统，其特征在于：所述机械臂（2）可以是任意形式和任意自由度的机械臂，可以接收计算机主机（1）发出的控制指令并作出相应动作。3.根据权利要求1所述的机器人示教系统，其特征在于：所述肌电信号传感器（3）穿戴在操作者的手臂，其功能主要是但不限于，通过检测人手肌电信号的变化，获取操作者当前的疲劳程度。4.根据权利要求1所述的机器人示教系统，其特征在于：所述的动作捕捉模块（4）用于采集操作者手臂和手部的运动信息，动作捕捉模块（4）可以是但不限于可穿戴式外骨骼装置，视觉或红外设备。5.根据权利要求1所述的机器人示教系统，其特征在于：利用所述肌电信号传感器（3）获取的操作者疲劳度，以及动作捕捉模块（4）获取的操作者运动信息，可以通过机器学习算法对操作者示教动作进行融合，融合后的示教动作用于机器人在示教复现阶段的运动控制。6.根据权利要求1所述的一种基于动作融合的机器人示教系统，其特征在于：所述增强现实设备（6）可以对摄像机（5）捕捉到的机器人及机器人工作空间的视频信息进行处理，并显示出来；所显示的画面为动态三维实时视频。7.根据权利要求1所述的一种基...

【专利技术属性】
技术研发人员：杨辰光，陈垂泽，
申请(专利权)人：华南理工大学，常州普旺科技有限公司，
类型：发明
国别省市：广东,44