一种基于监督自编码的脑控字符拼写识别方法及系统技术方案

本发明专利技术涉及一种基于监督自编码的脑控字符拼写识别方法及系统。方法包括获取使用者的脑电信号；对所述脑电信号进行预处理；利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征；根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符。本发明专利技术所提供一种基于监督自编码的脑控字符拼写识别方法及系统，提高脑控字符拼写的准确性和效率。

A method and system of brain controlled character spelling recognition based on supervised self coding

【技术实现步骤摘要】
一种基于监督自编码的脑控字符拼写识别方法及系统
本专利技术涉及人机交互领域，特别是涉及一种基于监督自编码的脑控字符拼写识别方法及系统。
技术介绍
基于脑电信号的拼写是一种全新的信息交互方式，其不依赖于人体外周神经和肌肉系统，就能实现大脑与外部环境间的信息交流及控制，该交互方式将极大改善残障人士或一些特定受限应用的交互体验，在医疗康复、教育教学、游戏娱乐、智能家居及军事等领域具有广泛的应用前景。当前基于脑电信号的字符拼写系统主要运用事件相关电位(ERP)或稳态视觉诱发电位(SSVEP)进行，ERP在时间序列上是串行诱发的，当目标数量较多时，输出一个目标所需的时间较长；SSVEP的信息传输率虽高，但字符闪烁会使用户感到视觉疲劳，不适合长期使用，因此采用运动视觉诱发电位可改善字符拼写速度，减少使用者视觉疲劳。目前采用运动视觉诱发电位的脑控拼写存在的问题：①编码字符指令少，输入速度慢，②识别解码主要通过选取最优电极导联或特征，再运用分类算法进行识别解码，由于脑电是皮层激活源在头皮电极处的叠加信号，不能直观反映拼写意图大脑活动信息，解码精度和效率不高。
技术实现思路
本专利技术的目的是提供一种基于监督自编码的脑控字符拼写识别方法及系统，提高脑控字符拼写的准确性和效率。为实现上述目的，本专利技术提供了如下方案：一种基于监督自编码的脑控字符拼写识别方法，包括：获取使用者的脑电信号；对所述脑电信号进行预处理；所述预处理包括双侧乳突参考电极转换、0.5-40Hz带通滤波、眼电伪迹去除，按照刺激呈现时间的0ms～400ms进行分段，以-100ms～0ms为基准进行基线校正；利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征；所述训练好的自编码器以预处理后的脑电信号为输入，以脑电信号源特征为输出；根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符。可选的，所述利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征，之前还包括：构建三级带输出类别反馈的自编码器；对所述自编码器进行训练，得到训练好的自编码器。可选的，所述构建三级带输出类别反馈的自编码器，具体包括：以预处理后的脑电信号X作为输入，提取第一级源特征h1＝φ(W1X+b1)，构建一级自编码器；使得W1、为第一级编解码权值，b1、为第一级编解码偏置项，为神经元激活函数，权值和偏置项可通过预训练得到；以第一级源特征h1作为输入，提取第二级源特征h2＝φ(W2h1+b2)，构建二级自编码器，获重构输入信号使得W2、为第二级编解码权值，b2、为第二级编解码偏置项，为神经元激活函数，权值和偏置项可通过预训练得到；随机初始化T表示转置，然后根据各输入信号及重构信号计算更新量h0＝X,j＝1,2,3,ε为学习率，更新后的权值和偏置项作为下一输入信号的权值和偏置项，依次对所有信号进行编码器预训练；以第二级源特征h2作为输入，对应为输出类别，[10]代表非目标，[01]代表目标，提取第三级源特征h3＝φ(W3h2+b3)，构建三级带输出类别反馈的自编码器；所述第三级源特征h3通过softmax层预测输出引入输出类别y计算误差使用梯度下降法来逐层微调权值和偏置项，每一级权值和偏置项微调更新量可选的，所述根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符，之后还包括：将所述待拼写的字符发送至刺激界面进行拼写校正；所述刺激界面包括A-Z的26个英文字符、0-9的10个数字字符和逗号、句号、空格、返回4个功能字符的刺激界面，共分为5组，每组8个字符按九宫格方形外围排列，每个字符下方和九宫格中心均设置一个从左向右快速运动的方块。一种基于监督自编码的脑控字符拼写识别系统，包括：脑电信号获取模块，用于获取使用者的脑电信号；预处理模块，用于对所述脑电信号进行预处理；所述预处理包括双侧乳突参考电极转换、0.5-40Hz带通滤波、眼电伪迹去除，按照刺激呈现时间的0ms～400ms进行分段，以-100ms～0ms为基准进行基线校正；脑电信号源特征确定模块，用于利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征；所述训练好的自编码器以预处理后的脑电信号为输入，以脑电信号源特征为输出；待拼写的字符确定模块，用于根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符。可选的，还包括：三级带输出类别反馈的自编码器构建模块，用于构建三级带输出类别反馈的自编码器；自编码器训练模块，用于对所述自编码器进行训练，得到训练好的自编码器。可选的，所述三级带输出类别反馈的自编码器构建模块具体包括：一级自编码器构建单元，用于以预处理后的脑电信号X作为输入，构建一级自编码器，提取第一级源特征h1＝φ(W1X+b1)，然后重构输入信号使得W1、为第一级编解码权值，b1、为第一级编解码偏置项，为神经元激活函数，权值和偏置项可通过预训练得到；二级自编码器构建单元，用于以第一级源特征h1作为输入，构建二级自编码器，提取第二级源特征h2＝φ(W2h1+b2)，然后重构输入信号使得W2、为第二级编解码权值，b2、为第二级编解码偏置项，为神经元激活函数，权值和偏置项可通过预训练得到；预训练单元，用于随机初始化T表示转置，然后根据各输入信号及重构信号计算更新量h0＝X,j＝1,2,3,ε为学习率，更新后的权值和偏置项作为下一输入信号的权值和偏置项，依次对所有信号进行编码器预训练；三级带输出类别反馈的自编码器构建单元，用于以第二级源特征h2作为输入，对应为输出类别，[10]代表非目标，[01]代表目标，提取第三级源特征h3＝φ(W3h2+b3)，构建三级带输出类别反馈的自编码器；所述第三级源特征h3通过softmax层预测输出引入输出类别y计算误差使用梯度下降法来逐层微调权值和偏置项，每一级权值和偏置项微调更新量可选的，还包括：拼写校正模块，用于将所述待拼写的字符发送至刺激界面进行拼写校正；所述刺激界面包括A-Z的26个英文字符、0-9的10个数字字符和逗号、句号、空格、返回4个功能字符的刺激界面，共分为5组，每组8个字符按九宫格方形外围排列，每个字符下方和九宫格中心均设置一个从左向右快速运动的方块。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术所提供的一种基于监督自编码的脑控字符拼写识别方法及系统，脑电信号进行预处理，得到运动视觉诱发电位，由于每个字符刺激呈现是同时进行的，可提高意图到脑电信号的转换效率；利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征。根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符。即将运动视觉诱发电位信号近似映射为脑皮层源电流密度信号，在自编码模型构建过程中，引入目标类别，提取与目标类别尽可能相关的脑皮层源电流密度特征，提高目标识别的准确性。附图说明...

【技术保护点】
1.一种基于监督自编码的脑控字符拼写识别方法，其特征在于，包括：/n获取使用者的脑电信号；/n对所述脑电信号进行预处理；所述预处理包括双侧乳突参考电极转换、0.5-40Hz带通滤波、眼电伪迹去除，按照刺激呈现时间的0ms～400ms进行分段，以-100ms～0ms为基准进行基线校正；/n利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征；所述训练好的自编码器以预处理后的脑电信号为输入，以脑电信号源特征为输出；/n根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符。/n

【技术特征摘要】
1.一种基于监督自编码的脑控字符拼写识别方法，其特征在于，包括：
获取使用者的脑电信号；
对所述脑电信号进行预处理；所述预处理包括双侧乳突参考电极转换、0.5-40Hz带通滤波、眼电伪迹去除，按照刺激呈现时间的0ms～400ms进行分段，以-100ms～0ms为基准进行基线校正；
利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征；所述训练好的自编码器以预处理后的脑电信号为输入，以脑电信号源特征为输出；
根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符。


2.根据权利要求1所述的一种基于监督自编码的脑控字符拼写识别方法，其特征在于，所述利用训练好的自编码器对预处理后的脑电信号进行提取，得到脑电信号源特征，之前还包括：
构建三级带输出类别反馈的自编码器；
对所述自编码器进行训练，得到训练好的自编码器。


3.根据权利要求1所述的一种基于监督自编码的脑控字符拼写识别方法，其特征在于，所述构建三级带输出类别反馈的自编码器，具体包括：
以预处理后的脑电信号X作为输入，提取第一级源特征h1＝φ(W1X+b1)，构建一级自编码器；使得W1、为第一级编解码权值，b1、为第一级编解码偏置项，为神经元激活函数，权值和偏置项可通过预训练得到；
以第一级源特征h1作为输入，提取第二级源特征h2＝φ(W2h1+b2)，构建二级自编码器，获重构输入信号使得W2、为第二级编解码权值，b2、为第二级编解码偏置项，为神经元激活函数，权值和偏置项可通过预训练得到；
随机初始化T表示转置，然后根据各输入信号及重构信号计算更新量h0＝X,j＝1,2,3,ε为学习率，更新后的权值和偏置项作为下一输入信号的权值和偏置项，依次对所有信号进行编码器预训练；
以第二级源特征h2作为输入，对应为输出类别，[10]代表非目标，[01]代表目标，提取第三级源特征h3＝φ(W3h2+b3)，构建三级带输出类别反馈的自编码器；所述第三级源特征h3通过softmax层预测输出引入输出类别y计算误差使用梯度下降法来逐层微调权值和偏置项，每一级权值和偏置项微调更新量


4.根据权利要求1所述的一种基于监督自编码的脑控字符拼写识别方法，其特征在于，所述根据所述脑电信号源特征进行脑控字符拼写的识别，得到待拼写的字符，之后还包括：
将所述待拼写的字符发送至刺激界面进行拼写校正；所述刺激界面包括A-Z的26个英文字符、0-9的10个数字字符和逗号、句号、空格、返回4个功能字符的刺激界面，共分为5组，每组8个字符按九宫格方形外围排列，每个字符下方和九宫格中心均设置一个从左向右快速运动的方块。


5.一种基于监督自编码的脑控字符拼写识别系统，其特征在于，包括：...

【专利技术属性】
技术研发人员：陈桂军，张雪英，焦江丽，郭柳君，李凤莲，黄丽霞，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西;14