隐秘环境下融合IMU和sEMG的加密手势识别方法技术

本发明专利技术公开了一种隐秘环境下融合IMU和sEMG的加密手势识别方法，其步骤包括：在肌电手环的稀疏电极间加入一个压力传感器，使用肌电手环采集sEMG，并由压力传感器获得压力数据，同时使用数据手套采集IMU信号；将所采集的肌电信号传入压力补偿模块，根据获得的压力数据对所述采集的sEMG进行补偿；通过sEMG识别使用者身份后自动按照预先设定的加密融合方法对sEMG与IMU进行融合；然后将融合模块输出的融合图像传至手势识别模块进行手势的分类与识别，得到识别结果。本方法无需任何视觉信号，可以在隐秘环境下进行操控，并且通过sEMG信号加密与所提出的sEMG与IMU信号融合方法更加保证了控制的安全性。

【技术实现步骤摘要】
隐秘环境下融合IMU和sEMG的加密手势识别方法
本专利技术涉及手势识别
，特别涉及一种隐秘环境下融合IMU和sEMG的加密手势识别方法。
技术介绍
本专利技术来自于肌电信号与IMU的手势识别问题，在人与人的日常交流中，手势是一种使用广泛且频繁的交互方式，多年来，研究人员对手势识别技术的探索愈发深入，手势识别早已成为人机交互领域的热点之一。实现手势识别的技术有很多种，目前基于视觉的手势识别技术研究与应用最为广泛，也最为便利，但是基于视觉的手势识别技术隐蔽性较差，同时基于视觉的识别收到的干扰较多。与之相比，基于表面肌电信号(sEMG)的手势识别技术和基于运动传感器(IMU)的手势识别技术就更具有应用前景，这两类技术因为无需视觉数据，不受背景条件、光线等外界环境的影响，相比于基于视觉的手势识别技术，具有更优的隐蔽性。另外，相比于密码、身份证等信息很容易被盗取，使用生物特征来进行用户认证具有更高的安全性，而在生物特征中，DNA可以通过毛发、唾液等获得，脸部、虹膜等特征可通过相机、深度相机来捕捉，指纹信息通过任何接触面即可轻易盗取等等，基于生理信号，如脑电信号、肌电信号等，的生物识别方法就显示出很大的应用前景。基于上述背景，考虑到在军事与商业等领域对控制的隐蔽性与安全性要求较高，为满足这一需求，本专利技术中提出了一种隐秘环境下融合IMU和sEMG的加密手势识别方法，采用基于表面肌电信号的身份识别方法，可以进行更加安全的控制同时又相比于采集其他生理信号操作简单，保证了基于此方法的手势识别与控制具有极高的隐蔽性与安全性。
技术实现思路
本专利技术的目的是为了提升手势识别与控制的隐蔽性与安全性，同时也为了提升加密手势识别的便捷性。本专利技术公开了一种隐秘环境下融合运动传感器(IMU)和表面肌电信号(sEMG)的加密手势识别方法，其包括以下步骤：S1，通过肌电-压力手环采集使用者的sEMG信号与压力信号，同时使用惯性测量单元数据手套采集使用者的IMU信号；S2，将肌电-压力手环采集到的sEMG信号传递至压力补偿模块，对sEMG信号进行压力补偿；S3，利用经过压力补偿模块后的sEMG信号进行身份识别，识别方式为根据预先录入系统的所有允许使用者的sEMG信号与所述经过压力补偿模块后的sEMG信号进行匹配，若匹配成功，身份识别成功，则可进行后续操作，否则，身份识别失败，无法进行后续操作；S4，在步骤S3身份识别成功后，将经过压力补偿模块后的sEMG信号与IMU信号进行融合，得到融合后的灰度图像；S5，将所述灰度图像发送至手势识别模块进行识别分类，得到识别结果。所述的步骤S1，具体包括：将所述肌电-压力手环与惯性测量单元数据手套同时佩戴于被采集者上，肌电-压力手环紧密贴合肌肉佩戴于被采集者上臂，惯性测量单元数据手套戴于被采集者手上，等待所采集信号平稳后，再进行sEMG信号、压力信号和IMU信号的数据采集。所述的肌电-压力手环，肌电-压力手环共包括17个模块，其中1个是压力传感器，另外16个是用于采集稀疏多通道肌电信号的16个电极，该17个模块并联连接；所述惯性测量单元数据手套，其包括惯性测量单元运动传感器模块、蓝牙发送模块，所述传感器模块采集数据后通过蓝牙发送模块传至上位计算机进行处理，惯性测量单元数据手套共采集36个通道的惯性测量数据；所述惯性测量单元运动传感器模块，其采用六轴惯性测量单元运动传感器，用于记录双手在做动作时的运动信息，其运动信息包括三轴的加速度和三轴的角速度信息，该传感器位于五根手指以及手背处，手指处的传感器分别与手背处的传感器连接。所述的步骤S2，具体包括：首先采集sENG数据与压力数据F，并设定一个标准的压力值F0；对采集的sEMG数据进行滤波预处理，过滤掉工作频率干扰及噪声，得到预处理后的sEMG数据E0；对sEMG数据进行压力补偿：E＝E0-k(E0-Es)(F-F0)，其中，E为压力补偿后的sEMG数据能量值；E0为进行压力补偿前的能量值；k为可调节系数；Es为所有被采集者sEMG数据静止段能量值均值；F为所采集的压力值；F0为设定的标准压力值；其中，Es的计算公式为：其中，N为所有被采集者总数，Esi为第i个被采集者的静止段能量值的平均值；所述的步骤S4，具体包括：设定压力补偿后的稀疏多通道sEMG信号的16个通道分别对应52行二维网格的中的某16行，如第1、4、5、7、10、14、15、16、21、23、24、28、35、45、46、49行；每个sEMG信号通道取连续100帧的信号值；根据设定的16行索引，将每个sEMG信号通道取的连续100帧的信号值，按照通道依次排列在52行的二维信号网格中的前16行中，所述二维信号网格的每行对应一个通道，每列对应帧数，所述二维信号网格中的每个点对应一个通道一帧的信号值；将采集的36通道的IMU信号取与sEMG信号相同时间的连续100帧信号值；将IMU信号100帧数据按照通道数由低到高，分别排列在所述52行二维信号网格中的剩余36行，得到完整的52*100维的二维信号网格；将该52*100维的二维信号网格中的每个点的信号值线性变换为灰度图中的像素值，得到sEMG信号与IMU信号融合后的灰度图像。所述的步骤S5，其手势识别模块为基于深度卷积神经网络的图像分类模块；深度卷积神经网络的相关计算实现过程包括：卷积层正向传播的映射过程为，其中，为所述手势识别卷积神经网络第l层的输出；i和j是卷积层输出图像的行和列的下标；f为relu激活函数；s为第l层输入图像的大小；为第l层的输入；为第l层卷积的卷积核；b(l)为第l层的偏置项；深度卷积神经网络中，使用的损失函数如下：其中，N为样本总数；C为手势类别数；yi,k为第i个样本预测的第k个真实手势标签值；Pi，k为第i个样本预测为第k个手势标签值的概率；假设手势类别数为C，则输出层使用softmax函数对输入为C×1的向量进行分类，输出如下：其中，Sj为softmax输出向量S的第j个值；aj为所述C×1向量中的第j个值；ak为所述C×1向量中的第k个值；根据损失函数Llog(Y,P)，采用反向传播算法进行模型的训练；所述模型在预测时，选取样本经过softmax层输出的C×1向量中数值最大的索引值作为该样本的预测手势标签。本专利技术的有益效果包括：(1)本专利技术融合了压力模块的肌电手环通过采集压力信号，在后续处理中可以通过对sEMG信号的补偿提高手势的特征辨识；通过基于sEMG信号的身份识别模块对控制系统进行加密控制系统全程无需视觉信息，可以保证基于本方法的控制系统的隐蔽性与安全性。(2)本专利技术在应用过程中，使用者的肌电信号无法窃取，极大保障了身份识别的安全性，另一方面，被迫与主动动作所产生的肌电信号不同，指定使用者可以按照自身意本文档来自技高网...

【技术保护点】
1.一种隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，包括以下步骤：/nS1，通过肌电-压力手环采集使用者的sEMG信号与压力信号，同时使用惯性测量单元数据手套采集使用者的IMU信号；/nS2，将肌电-压力手环采集到的sEMG信号传递至压力补偿模块，对sEMG信号进行压力补偿；/nS3，利用经过压力补偿模块后的sEMG信号进行身份识别，识别方式为根据预先录入系统的所有允许使用者的sEMG信号与所述经过压力补偿模块后的sEMG信号进行匹配，若匹配成功，身份识别成功，则可进行后续操作，否则，身份识别失败，无法进行后续操作；/nS4，在步骤S3身份识别成功后，将经过压力补偿模块后的sEMG信号与IMU信号进行融合，得到融合后的灰度图像；/nS5，将所述灰度图像发送至手势识别模块进行识别分类，得到识别结果。/n

【技术特征摘要】
20200929 CN 202011053480X1.一种隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，包括以下步骤：
S1，通过肌电-压力手环采集使用者的sEMG信号与压力信号，同时使用惯性测量单元数据手套采集使用者的IMU信号；
S2，将肌电-压力手环采集到的sEMG信号传递至压力补偿模块，对sEMG信号进行压力补偿；
S3，利用经过压力补偿模块后的sEMG信号进行身份识别，识别方式为根据预先录入系统的所有允许使用者的sEMG信号与所述经过压力补偿模块后的sEMG信号进行匹配，若匹配成功，身份识别成功，则可进行后续操作，否则，身份识别失败，无法进行后续操作；
S4，在步骤S3身份识别成功后，将经过压力补偿模块后的sEMG信号与IMU信号进行融合，得到融合后的灰度图像；
S5，将所述灰度图像发送至手势识别模块进行识别分类，得到识别结果。


2.一种如权利要求1所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的步骤S1，具体包括：
将所述肌电-压力手环与惯性测量单元数据手套同时佩戴于被采集者上，肌电-压力手环紧密贴合肌肉佩戴于被采集者上臂，惯性测量单元数据手套戴于被采集者手上，等待所采集信号平稳后，再进行sEMG信号、压力信号和IMU信号的数据采集。


3.一种如权利要求1或2所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的肌电-压力手环，肌电-压力手环共包括17个模块，其中1个是压力传感器，另外16个是用于采集稀疏多通道肌电信号的16个电极，该17个模块并联连接。


4.一种如权利要求1或2所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述惯性测量单元数据手套，其包括惯性测量单元运动传感器模块、蓝牙发送模块，所述传感器模块采集数据后通过蓝牙发送模块传至上位计算机进行处理，惯性测量单元数据手套共采集36个通道的惯性测量数据。


5.一种如权利要求4所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述惯性测量单元运动传感器模块，其采用六轴惯性测量单元运动传感器，用于记录双手在做动作时的运动信息，其运动信息包括三轴的加速度和三轴的角速度信息，该传感器位于五根手指以及手背处，手指处的传感器分别与手背处的传感器连接。


6.一种如权利要求1所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的步骤S2，具体包括：
首先采集sENG数据与压力数据F，并设定一个标准的压力值F0；
对采集的sEMG数据进行滤波预处理，过滤掉工作频率干扰及噪声，得到预处理后的sEMG...

【专利技术属性】
技术研发人员：闫野，沈瑞，印二威，谢良，张亚坤，闫慧炯，罗治国，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11