一种基于肌电信号的虚拟键盘设计方法技术

本发明专利技术提供了一种基于肌电信号的虚拟键盘设计方法，涉及人机交互、智能技术领域。本发明专利技术方法包括：采集用户在敲击键盘时所产生的肌电信号的训练样本，训练样本的标签是手势动作序列，对肌电信号去噪并转换为时频图，利用训练样本的时频图对建立的手势识别模型进行训练，利用训练好的手势识别模型对实时采集的肌电信号进行识别，利用CTC技术获得手势动作序列，并将识别的手势动作序列进行键码转换。本发明专利技术所设计的键盘布局为T9键盘，使用者只要佩戴上MYO臂环，可以将任何平面假想成一个三行三列的键盘，进行敲击平面的手势动作，实现文字输入，经实验，使用本发明专利技术方法实现的虚拟键盘进行文字输入，在速度上可以达到15.7字/分钟。

【技术实现步骤摘要】
一种基于肌电信号的虚拟键盘设计方法
本专利技术是一种基于肌电信号的虚拟键盘设计方法，属于人机交互、智能计算

技术介绍
传统的物理键盘是一种最常见的用于文字输入的人机交互设备，但是物理键盘通常是安置在固定的地方，并且体积太大不易于随身携带。在可移动的人机交互领域中，设备应该具有体积小、易于携带以及计算和通信能力的特点，因此人们提出了虚拟键盘的概念，它允许用户通过不同的设备和方法向计算机等设备中输入文字和命令。现如今，最常见的虚拟键盘为智能手机和平板的虚拟键盘，它们被安置在设备的屏幕中，用户可以通过触摸按键对应的屏幕区域来输入文本。但是这类虚拟键盘的尺寸通常很小，使得用户容易触摸错误的区域，而且该类虚拟键盘需要占用设备额外的显示区域。肌电信号是众多肌肉纤维中运动单元动作电位在时间和空间上的叠加，能在一定程度上反应神经肌肉的活动。目前基于肌电信号的应用主要体现在两个领域之上，诊断医学疾病、帮助残疾人控制假肢的医学领域，和基于肌电信号的人机交互领域(Muscle-ComputerInterfaces,MCI)。先前的研究已经证明了将肌电信号用于人机交互的可行性，并且许多研究人员提出可以通过肌电信号识别的手势来与计算机进行通信。先前的基于肌电信号进行文字输入的研究中，可以通过识别算法识别手语手势将肌电信号转换成手语对应的单词。但是该类方法要求用户事先熟悉手语手势，同时该类方法无法给用户带来使用真实键盘的体验。
技术实现思路
考虑到人们已经熟悉了键盘布局下的输入习惯，本专利技术提出了一种基于肌电信号的虚拟键盘设计方法，所设计的虚拟键盘所用到的手势是基于真实键盘布局的敲击键盘手势，利用肌电信号检测预定手势进行文字输入。本专利技术的一种基于肌电信号的虚拟键盘设计方法，所设计的键盘布局采用了T9键盘，整体键盘被划分成了9个区域。本专利技术定义了9组动作，每组动作对应了敲击键盘中的一个区域。用户可以将任何表面假想成键盘，通过实行手指敲击手势进行文字命令输入。本专利技术方法的实现步骤如下：步骤1：采集用户在做出敲击键盘操作时所产生的肌电信号，并传输给智能终端设备；在采集标注数据以及实时检测时，用户将MYO臂环佩戴在右手肘部往上位置，通过蓝牙与智能终端设备建立无线连接，MYO臂环采集的肌电信号通过蓝牙传输给智能终端设备。在训练和测试数据采集时，采集人员通过观察屏幕上的手势动作序列进行手势动作；每条采集到的训练样本是一段肌电信号，标签是英文单词所对应的键码序列，即手势动作序列。优选地，将每个训练样本的长度设定为预先设置地固定长度，当采集的肌电信号长度不足时，在信号末尾补零。步骤2：智能终端设备对肌电信号预处理，包括：对采集的肌电信号进行去噪，然后将时域信号转换为时频图。步骤3：构建手势识别模型；所述的手势识别模型的输入为肌电信号的时频图，手势识别模型将时频图先通过CNN(卷积神经网络)层提取特征图，再将特征图转换为特征序列输入LSTM网络中，学习信号之间的时序关系，输出时间概率图；其中，LSTM网络的隐层大小设定为手势动作类别个数。时间概率图为一个二维矩阵，矩阵的每行代表一个手势动作类别，每列代表一个时间点，矩阵中的元素值代表在手势动作类别在对应时间点的概率值。步骤4：训练手势识别模型；将训练样本经过步骤2预处理得到肌电信号的时频图，将时频图输入手势识别模型，输出时间概率图；对时间概率图使用CTC技术解码生成不定长的手势动作序列；设l代表手势动作序列，x代表时间概率图，则p(l|x)表示当输入为x输出为l的概率，训练过程中，通过调整手势识别模型中的网络权重来调整输出的时间概率图，使得概率p(l|x)最大化。步骤5：将训练好的手势识别模型部署在智能终端设备中，对实时采集的肌电信号进行步骤2的预处理后输入训练好的手势识别模型进行识别，利用CTC技术从输出的时间概率图中获的手势动作序列；将手势识别模型的识别结果与语言模型结合来最终确定手势动作序列。步骤6：将手势动作序列进行键码转换。每个手势动作对应一个键码，本专利技术采用T9键盘，每个键码对应了三到四个字符。首先从文本库中提取单词；对提取到的所有单词建立字典树；转换的时候，使用深度优先搜索算法遍历字典树，生成键码序列对应的所有存在于字典树中的字符序列；用户选择想要输入的字符序列，实现文字输入。相对于现有技术，本专利技术的优点和积极效果在于：(1)本专利技术实现的基于肌电信号的虚拟键盘，使用集成了肌电传感器和蓝牙的可穿戴设备MYO臂环作为数据采集装置，可以获取8通道肌电信号并通过蓝牙与手机、计算机进行交互，整体设备具有便携性，可以随身佩戴，随时随地使用，用户可以像使用真实物理键盘一样使用所设计的虚拟键盘进行文字输入，同时还可以获取丰富的肌电信号为后续更精准的手势分类做准备。(2)本专利技术方法基于CNN和RNN实现手势识别模型，利用CNN学习信号的特征，利用RNN学习肌电信号序列的上下文关系，手势识别模型的输入为信号的时频图，输出是手势标签，整体识别过程是端到端的，免去了以往的识别方式，即人们利用信号处理知识和经验选择信号段的不同特征构成特征序列，再比较不同的分类器进行分类的准确率选择最终的分类器。本专利技术的手势识别模型自己学习输入时频图的特征和内部联系，通过调整各个网络层的权重，具有实时性的同时拥有较高的手势识别准确率。经过实验表明，本专利技术设计的虚拟键盘进行文字输入时，在速度上可以达到15.7字/分钟(WordPerMinute,WPM)。(3)当输入文字速度变快的时候，手势动作频率也会变快，无法通过信号短时能量准确地截取出单个手势动作对应的信号段，因此，本专利技术方法使用了CTC技术对齐肌电信号序列与手势动作标签序列，免去了人为手动对准每一帧信号对应的标签，同时还能让本专利技术设计的手势识别模型可以识别手势序列，提升了手势序列识别的准确性。附图说明图1是本专利技术实现一种基于肌电信号的虚拟键盘设计方法的流程示意图；图2是本专利技术提取的肌电信号时频图的一个示例；图3是本专利技术的手势识别模型的结构示意图。具体实施方式下面将结合附图和实施例对本专利技术的技术方案作进一步的详细说明。本专利技术提出的一种基于肌电信号的虚拟键盘设计方法，通过采集肌电信号对设备使用者的手势动作进行识别，通过将每个识别出来的动作转换生成键码，并将键码转化成字符文本序列，从而实现文本输入。为了带给用户使用真实物理键盘的体验，本专利技术实现的虚拟键盘采用智能手机常用的T9键盘布局，键盘被划分为3行和3列，共9个按键区域，每个按键对应了3个或者4个字符。为了让用户使用体验贴近于使用真实的物理键盘，本专利技术定义了9组手势动作，每组手势动作对应了用手指点击平面上的9个区域。本专利技术实现虚拟键盘的最大的难点在于高频率下的手指手势序列识别，先前工作对于此类任务通常是从连续肌电信号中提取活动段信号并对单个手势进行识别，本专利技术方法设计了一个端到端的模型，直接将肌电信号映射成最终的结果。相比于由于文字输入设备需要本文档来自技高网...

【技术保护点】
1.一种基于肌电信号的虚拟键盘设计方法，其特征在于，所述方法实现的虚拟键盘采用T9键盘布局，对各按键区域定义一组手势动作，该方法包括如下步骤：/n步骤1，采集用户在用手指做出敲击键盘操作时所产生的肌电信号作为训练样本，并为训练样本设置标签，标签为不定长的手势动作序列；/n步骤2，对肌电信号进行去噪预处理，并将肌电信号表示为时频图；/n步骤3，构建手势识别模型；/n所述的手势识别模型的输入为肌电信号的时频图，输出为时间概率图，时间概率图为一个二维矩阵，矩阵的每行代表一个手势动作类别，每列代表一个时间点，矩阵中的元素值代表在手势动作类别在对应时间点的概率值；/n所述的手势识别模型将肌电信号的时频图，先通过卷积层和池化层提取特征图，再将特征图转换为特征序列输入LSTM网络中，输出时间概率图；其中，LSTM网络的隐层大小设定为手势动作类别个数；/n步骤4，训练手势识别模型；/n将训练样本的时频图输入手势识别模型，输出时间概率图；对时间概率图使用CTC技术解码生成不定长的手势动作序列；设l代表手势动作序列，x代表时间概率图，则p(l|x)表示当输入为x输出为l的概率，训练过程中，通过调整手势识别模型中的网络权重来调整输出的时间概率图，使得概率p(l|x)最大化；/n步骤5，用训练好的手势识别模型进行实时手势识别；/n将实时采集的肌电信号进行步骤2的预处理后输入训练好的手势识别模型进行识别，利用CTC技术得到手势动作序列；将手势识别模型的识别结果与语言模型结合来最终确定手势动作序列；/n步骤6，手势动作序列中，每个手势动作对应一个键码；/n建立单词的字典树，使用深度优先搜索算法遍历字典树，将手势动作序列转换为键码序列对应的所有存在于字典树中的字符序列。/n...

【技术特征摘要】
20200121 CN 20201007063351.一种基于肌电信号的虚拟键盘设计方法，其特征在于，所述方法实现的虚拟键盘采用T9键盘布局，对各按键区域定义一组手势动作，该方法包括如下步骤：
步骤1，采集用户在用手指做出敲击键盘操作时所产生的肌电信号作为训练样本，并为训练样本设置标签，标签为不定长的手势动作序列；
步骤2，对肌电信号进行去噪预处理，并将肌电信号表示为时频图；
步骤3，构建手势识别模型；
所述的手势识别模型的输入为肌电信号的时频图，输出为时间概率图，时间概率图为一个二维矩阵，矩阵的每行代表一个手势动作类别，每列代表一个时间点，矩阵中的元素值代表在手势动作类别在对应时间点的概率值；
所述的手势识别模型将肌电信号的时频图，先通过卷积层和池化层提取特征图，再将特征图转换为特征序列输入LSTM网络中，输出时间概率图；其中，LSTM网络的隐层大小设定为手势动作类别个数；
步骤4，训练手势识别模型；
将训练样本的时频图输入手势识别模型，输出时间概率图；对时间概率图使用CTC技术解码生成不定长的手势动作序列；设l代表手势动作序列，x代表时间概率图，则p(l|x)表示当输入为x输出为l的概率，训练过程中，通过调整手势识别模型中的网络权重来调整输出的时间概率图，使得概率p(l|x)最大化；
步骤5，用训练好的手势识别模型进行实时手势识别；
将实时采集的肌电信号进行步骤2的预处理后输入训练好...

【专利技术属性】
技术研发人员：李辉勇，牛建伟，符宗恺，刘雪峰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11