基于双视图多尺度卷积神经网络的表面肌电信号识别方法技术

本发明专利技术公开了一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法。将表面肌电信号转换为一维表面肌电图像；利用希尔伯特曲线进行时间域和电极域的填充，变为二维表面肌电子图像；构建并训练卷积神经网络，经过输入部分的卷积特征提取后，将输出送到卷积神经网络流中；在第一层经过下采样确定每个卷积神经网络流的尺度；经过常规卷积或跨步卷积后的融合卷积特征经过视图聚合模块中的特征级融合将两个卷积神经网络流位于同一层的输出卷积特征进行拼接并输入到层融合，再将特征级融合后的卷积特征进行拼接，最终输出识别结果。本发明专利技术使一维图像转换为二维图像，使神经网络能够提取低层和高层深度特征，提高手势识别精度。

【技术实现步骤摘要】
基于双视图多尺度卷积神经网络的表面肌电信号识别方法
本专利技术属于模式识别
，具体是一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法。
技术介绍
在最近的人机交互领域，人们对于利用手势识别的用户界面产生了极大的兴趣。人机交互界面主要可以分为基于视觉的人机交互界面和基于传感器的人机交互界面。由于基于视觉的人机交互界面存在交互能力差、不够便捷的问题，故基于传感器的人机交互界面成为研究热点。表面肌电图是一种包括运动指令的神经信号，可以在残肢肌肉表面无创提取且蕴含丰富的手势动作信息。基于表面肌电信号的人机交互界面相比其他人机交互界面，具有对遮挡鲁棒、对外界干扰鲁棒以及更好的可穿戴性三大优势，成为近年来人机交互界面领域研究的重点之一。对于手势识别，关键是从表面肌电信号中准确地将手势分类。分类的方法主要分为两大类：机器学习方法和深度学习方法。基于表面肌电信号的机器学习方法在手势识别领域应用广泛，完整的模式识别系统应由数据采集、特征提取、分类器定义和新数据推理组成，之后将得到的特征输入到分类器中。基于表面肌电信号的深度学习方法是近几年手势本文档来自技高网...

【技术保护点】
1.一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，该方法包括以下步骤：/n步骤1、获取表面肌电信号，预处理后用M帧长度的滑动窗口采集N个通道表面肌电信号，构建为N张长度为M的一维表面肌电图像和M张长度为N的一维表面肌电图像；/n步骤2、对步骤1得到的所有一维表面肌电图像进行时间域或电极域上的希尔伯特曲线填充，得到二维表面肌电子图像；将所有二维表面肌电子图像分为训练集和测试集；/n步骤3、根据步骤2得到的二维表面肌电子图像构建双视图多尺度卷积神经网络，该卷积神经网络由两个输入部分、两个卷积神经网络流、一个视图聚合模块和一个分类模块组成；/n步骤4、使用步骤2得到的训练集对步...

【技术特征摘要】
1.一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，该方法包括以下步骤：
步骤1、获取表面肌电信号，预处理后用M帧长度的滑动窗口采集N个通道表面肌电信号，构建为N张长度为M的一维表面肌电图像和M张长度为N的一维表面肌电图像；
步骤2、对步骤1得到的所有一维表面肌电图像进行时间域或电极域上的希尔伯特曲线填充，得到二维表面肌电子图像；将所有二维表面肌电子图像分为训练集和测试集；
步骤3、根据步骤2得到的二维表面肌电子图像构建双视图多尺度卷积神经网络，该卷积神经网络由两个输入部分、两个卷积神经网络流、一个视图聚合模块和一个分类模块组成；
步骤4、使用步骤2得到的训练集对步骤3构建的双视图多尺度卷积神经网络进行训练，得到双视图多尺度卷积神经网络模型；
步骤5、使用步骤4得到的双视图多尺度卷积神经网络模型，对测试集进行识别，得到手势识别的结果。


2.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤1中，预处理是：使用低通滤波器过滤噪声信号以及使用Max-Min标准化对信号进行归一化处理。


3.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤2具体是：对步骤1得到的N张长度为M的一维表面肌电图像进行时间域上的希尔伯特曲线填充，得到N张H×H的二维表面肌电子图像，H为M的平方根；对步骤1得到的M张长度为N的一维表面肌电图像电极域上的希尔伯特曲线填充，得到M张W×W的二维表面肌电子图像，W为N的平方根；将所有二维表面肌电子图像分为训练集和测试集。


4.根据权利要求3所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤2中，当进行时间维度上的填充时，对于每个电极n和每个时间步长m，希尔伯特曲线将时间步长m生成为图像坐标(i,j)(i＝j，且m＝i×j)，以使位置(i,j)处的图像值等于电极n在时间步长m处的信号值，最终得到N张H×H的二维表面肌电子图像；
当进行电极维度上的填充时，对于每个电极n和每个时间步长m，希尔伯特曲线将电极n生成为图像坐标(i,j)(i＝j,且n＝i×j)，以使位置(i,j)处的图像值等于时间步长m在电极n处的信号值，最终得到M张W×W的二维表面肌电子图像；
当采用长度小于H2或W2的一维表面肌电图像时，可以填充只有零的行和列，将其填充为H2或W2，进而得到二维表面肌电子图像。


5.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤3中，每个输入部分均由一个具有64个3×3的二维卷积核、卷积核步长为1的卷积层构成；在卷积层之前进行批次归一化，卷积层之后进行批次归一化和ReLU非线性激活。


6.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤3中，每个卷积神经网络流均由第一层L＝1、第二层L＝2、第三层L＝3以及第四层L＝4四层构成；
第一层L＝1由下采样构成，下采样由2×2的最大池化层构成；在L＝1、s＝2时，输入尺寸为8×8的卷积特征，生成的输出卷积特征是经过下采样后的尺寸为4×4的卷积特征；在L＝1、尺度s＝3时，输入尺寸为4×4的卷积特征，生成的输出卷积特征是经过下采样后的尺寸为2×2的卷积特征；
第二层至第四层L＝2～4均由常规卷积和跨步卷积构成；
所述常规卷积由两个二维卷积核的卷积层构成，第一个是64个3×3的二维卷积核、卷积核步长为1、零填充为same的卷积层，第二个是64个2×2的二维卷积核、卷积核步长为1、零填充为same的卷积层；两个卷积层依次进行卷积特征提取，批次归一化和ReLU非线性激活应用于每个卷积层之后；
所述跨步卷积由两个二维卷积核的卷积层构成，第一个是64个3×3的二维卷积核、卷积核步长为1、无零填充的卷积层，第二个是64个2×2的二维卷积核、卷积核步长为1、零填充为same的卷积层；两个卷积层依次进行卷积特征提取，批次归一化和ReLU非线性激活应用于每个卷积层之后。


7.根据权利要求1或6所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，卷积神经网络流一的第二层的具体结构是：在层L＝2、尺度s＝1时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征经过常规卷积后得到的尺寸为8×8的卷积特征；在L＝2、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征经过跨步卷积后得到的尺寸为4×4的卷积特征以及L＝1、s＝2、输入尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征的融合，最终融合成尺寸为4×4的卷积特征；在L＝2、s＝3时，生成的输出卷积特征是L＝1、s＝2、输入尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征以及L＝1、s＝3、输入尺寸为2×2的卷积特征经过常规卷积后得...

【专利技术属性】
技术研发人员：张燕，杨帆，弓正菁，李璇，杨安杰，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12