一种基于多流分治卷积神经网络的表面肌电信号手势识别方法技术

本发明专利技术公开了一种基于多流分治卷积神经网络的表面肌电信号手势识别方法。步骤如下：将肌电信号转化为肌电图像；对肌电图像按照肌电电极布局和前臂肌肉形状进行分割；构建并训练多流分治卷积神经网络，得到最优网络模型；对待测数据进行分类；本发明专利技术和现有基于表面肌电信号的多类手部动作识别方法相比，提出一种多流分治卷积神经网络，使用分而治之的策略，从输入的肌电图像中提取包含更多局部肌肉活动特性的卷积特征，使神经网络可以更好地学习人体前臂肌肉的局部特征。本发明专利技术多流分治卷积神经网络相比传统单流神经网络以及随机森林等传统分类器，不论对于稀疏多通道肌电信号还是由二维电极阵列采集的高密度肌电信号，都具有更好的手势识别性能。

A gesture recognition method for surface electromyography signals based on multi stream deconvolution convolution neural network

The invention discloses a gesture recognition method of surface electromyography signal based on multi-stream divide-and-convolute neural network. The steps are as follows: converting EMG signal into EMG image; segmenting EMG image according to EMG electrode layout and forearm muscle shape; constructing and training multi-stream divide-and-convolution neural network to obtain the optimal network model; classifying the measured data; the invention and the existing multi-class hand movements based on surface EMG signal. Compared with the recognition method, a multi-stream divide-and-conquer convolution neural network is proposed, which uses the divide-and-conquer strategy to extract the convolution features which contain more local muscle activity characteristics from the input EMG images, so that the neural network can better learn the local features of human forearm muscles. Compared with traditional single-stream neural network and random forest classifier, the multi-stream divide-and-convolute neural network has better gesture recognition performance for sparse multi-channel EMG signal and high-density EMG signal collected by two-dimensional electrode array.

【技术实现步骤摘要】
一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
本专利技术属于模式识别
，涉及一种基于多流分治卷积神经网络的表面肌电信号手势识别方法。
技术介绍
人机交互界面主要可以分为基于视觉的人机交互界面与基于传感器的人机交互界面。基于表面肌电信号的人机交互界面属于后者，相比其他人机交互界面，其具有对遮挡鲁棒、对外界干扰鲁棒以及更好的可穿戴性三大优势，成为近年来人机交互界面领域研究的重点之一。在基于表面肌电信号的人机交互界面中，表面肌电信号手势识别的最终目标是在允许的观测延迟内获取尽可能高的手势识别准确率。为了达到这个目标，目前主流的方法包括两种：第一种是使用二维肌电电极阵列采集的高密度肌电信号代替若干个肌电电极采集的稀疏多通道肌电信号，来同时获取人体动作时肌肉发力的时序和空间信息。例如Amma等人使用7×24的高密度肌电信号进行手势识别，在识别27个手指动作时获得了90.4％的识别准确率；第二种是使用近年来提出的深度学习技术，从表面肌电信号中提取深层特征表述，来提高识别精度。例如Atzori等人使用改进自LeNet的深度卷积神经网络对NinaPro数据集的肌电信号进行手势识别测试本文档来自技高网...

【技术保护点】
1.一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，包括如下步骤：1)获取肌电信号，将肌电信号转化为肌电图像；2)对步骤1)得到的肌电图像，按照肌电电极布局和前臂肌肉形状进行分割；对于稀疏肌电信号，按照通道对肌电图像进行分割，将每个通道的肌电图像作为一个肌电子图像；对于二维肌电电极阵列采集的肌电信号，将肌电图像按照采集电极布局分成若干个等尺寸的肌电子图像；3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；3.1)卷积神经网络流：每个卷积神经网络流由卷积层和局部连接层构成，卷积层由2维卷积核构成，局部连接层由2维局部感知单元构成；...

【技术特征摘要】
1.一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，包括如下步骤：1)获取肌电信号，将肌电信号转化为肌电图像；2)对步骤1)得到的肌电图像，按照肌电电极布局和前臂肌肉形状进行分割；对于稀疏肌电信号，按照通道对肌电图像进行分割，将每个通道的肌电图像作为一个肌电子图像；对于二维肌电电极阵列采集的肌电信号，将肌电图像按照采集电极布局分成若干个等尺寸的肌电子图像；3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；3.1)卷积神经网络流：每个卷积神经网络流由卷积层和局部连接层构成，卷积层由2维卷积核构成，局部连接层由2维局部感知单元构成；步骤2)得到的肌电子图像作为卷积层的输入；3.2)融合模块：融合模块包括拼接单元和全连接层，拼接单元将多个卷积神经网络流的输出拼接起来，随后拼接的卷积特征被输入全连接层中；3.3)分类模块：分类模块由G-way全连接层和softmax分类器构成，其中G为待分类手势数目，步骤3.2)全连接层的输出作为G-way全连接层的输入，softmax分类器的输出为最终手势识别结果；4)使用训练数据对步骤3)构建的卷积神经网络进行训练，得到最优网络模型；5)使用步骤4)获得的最优网络模型，对待测数据进行分类，得到分类结果。2.根据权利要求1所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤1)中，对获取的肌电信号进行采样，对于稀疏肌电信号，使用滑动采样窗口进行采样，对于二维肌电电极阵列采集的肌电信号，基于瞬态肌电信号进行采样；将采样得到的肌电信号样本转换为肌电图像。3.根据权利要求2所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤1)中，对于稀疏肌电信号，将L帧长度滑动窗口采集的D通道肌电信号构建为D×L的肌电图像；对于二维肌电电极阵列采集的...

【专利技术属性】
技术研发人员：耿卫东，卫文韬，胡钰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33