基于多传感器的机械臂控制方法技术

本发明专利技术涉及基于多传感器的机械臂控制方法，首先通过肌电电极以及Kinect传感器采集肌电信号和人体图像；再分别提取肌电信号和人体图像的特征；然后通过BP神经网络对采集的信号进行手势识别和手臂动作识别；最后将识别的动作应用于机器人手臂控制。本发明专利技术提供基于多传感器的机械臂控制方法，解决机械臂控制问题。

【技术实现步骤摘要】
基于多传感器的机械臂控制方法
本专利技术涉及机械臂控制领域，特别涉及基于多传感器的机械臂控制方法。
技术介绍
智能人机交互是以人体生物电信号检测为基础、以人工智能、深度学习为特色，实现机器主动理解人的行为意图的高端人机交互技术，代表了人机交互的最新热点与潮流。近年来肌电信号的人机交互技术在生物医学、康复轮椅、航空航天、步态识别、人体外骨骼等领域取得了很大的应用成果。然而，基于肌电信号的人机交互技术很多都是应用于手势识别，而没有对手臂动作进行应用。Kinect传感器可以检测人体运动图像，因此可以利用肌电信号对机器人手势进行控制，利用人体图像信息对机器人手臂进行控制，实现更加精确的机器臂控制方法。针对以上问题，提出一种基于脑肌电信号和Kinect传感器信号的机械臂控制系统；首先对手臂肌电信号和左右手运动信号进行同步采集，然后分别进行特征提取和分类识别；并最终将分类模型应用于机械臂的多指令实时控制中。
技术实现思路
为了解决上述存在问题。本专利技术提供基于多传感器的机械臂控制方法，解决机械臂控制问题。为达此目的：<本文档来自技高网...

【技术保护点】
1.基于多传感器的机械臂控制方法，具体步骤如下，其特征在于,/n步骤1：将肌电电极环贴在人体的手臂处采集人体的肌电信号，并通过三维Kinect摄像头捕捉人体运动数据；/n步骤2：利用STA/LTA算法截取肌电信号，并提取肌电信号的特征；/n步骤3：使用Kinect for Windows SDK中骨骼追踪技术分离出人体数据中的人体轮廓，得到人体骨骼数据，并通过人体骨骼数据计算各个关节的肢体向量特征和肢体加速度特征；/n步骤4：将已知的肌电信号和图像信号分别制作人工标签，肌电信号的类别对应人体手势类别，图像信号的类别对应人体关节运动类别，分别训练BP神经网络人体手势分类器、BP神经网络人体手臂动...

【技术特征摘要】
1.基于多传感器的机械臂控制方法，具体步骤如下，其特征在于,
步骤1：将肌电电极环贴在人体的手臂处采集人体的肌电信号，并通过三维Kinect摄像头捕捉人体运动数据；
步骤2：利用STA/LTA算法截取肌电信号，并提取肌电信号的特征；
步骤3：使用KinectforWindowsSDK中骨骼追踪技术分离出人体数据中的人体轮廓，得到人体骨骼数据，并通过人体骨骼数据计算各个关节的肢体向量特征和肢体加速度特征；
步骤4：将已知的肌电信号和图像信号分别制作人工标签，肌电信号的类别对应人体手势类别，图像信号的类别对应人体关节运动类别，分别训练BP神经网络人体手势分类器、BP神经网络人体手臂动作分类器；
步骤5：采集被测者的肌电信号和人体图像，并通过步骤3提取相应的特征，将特征输入到BP神经网络分类器中，分别得到人体手势的分类和人体手臂动作的分类；
步骤6：使用BP神经网络分类器输出的人体手势类别和人体手臂动作类别控制机器人手臂动作。


2.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤2中STA/LTA算法如下：
首先确定长时窗口长度为采集的整个肌电信号长度、短时窗口的长度为一个动作的肌电信号长度的1.5倍和阈值；然后分别计算长时窗口和短时窗口的平均值；最后通过比较阈值和长短时窗口的比值，来判断是否存在手臂动作，若比值大于阈值则该段肌电信号存在手臂动作的情况，STA/TLA算法公式如下：



其中xj和xk分别为信号在j，k点的信号电压幅值，m和n分别为短时窗口、长时窗口的采样点数，R(i)为短时窗口平均值和长时窗口平均值的比值；当算法判断到该段肌电信号存在手臂动作的情况时，将会截取一个周期的肌电信号。


3.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤2中提取肌电信号的特征如下：
设截取的肌电信号为x(n)n＝0,2,...,N-1，N为信号的长度，提取的信号有：
短时能量：



波形长度：

。


4.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤3中人体骨骼关节数据信息如下：
使用KinectforWindowsSDK中的骨骼追踪技术，对人体运动信息进行采集，最终获得人体20个骨骼关节点三维数据信息，并将每个关节用A-T的编号进行表示，并通过式4计算人体骨骼的关节角：



其中，θ是每帧骨骼数据t时刻关节角的大小，U(t)和V(t)分别是t时刻的两个关节向量，通过式1最终可得17个人体关节角信息。


5.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤3中计算各个关节的肢体向量特征和肢体加速度特征如下：
根据人体结构学，人体可分为五大部分，KinectforWindowsSDK中的骨骼追踪技术可获得以上各个关节点数据信息，包括：
头部T(t)、颈部C(t)、脊柱D(t)和臀部G(t)；左手L(t)、左腕J(t)、左肘H(t)和右肩A(t)；右手M(t)、右腕K(t)、右肘I(t)和右肩B(t)；左脚...

【专利技术属性】
技术研发人员：杨忠，田小敏，吴有龙，宋爱国，徐宝国，
申请(专利权)人：金陵科技学院，
类型：发明
国别省市：江苏;32