基于脑机接口的多源域自适应想象语音生成方法及系统技术方案

技术编号:31377701 阅读:25 留言:0更新日期:2021-12-15 11:17
本发明专利技术公开了基于脑机接口的多源域自适应想象语音生成方法及系统,获取源域数据和目标域数据;对源域数据和目标域数据进行预处理;所述源域数据,包括:训练集和测试集;训练集和测试集均为已知分类标签的脑电信号;目标域数据,包括:预设伪标签的脑电信号;将预处理后的源域数据和目标域数据均进行特征提取;对提取的特征进行降维处理;根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器,得到目标域数据对应的修正后的伪标签;根据修正后的伪标签,生成对应的语音信号。通过降低源域和目标域之间的边缘分布差异和条件分布差异,使用在源域数量增加时拥有更高的识别准确率。源域数量增加时拥有更高的识别准确率。源域数量增加时拥有更高的识别准确率。

【技术实现步骤摘要】
基于脑机接口的多源域自适应想象语音生成方法及系统


[0001]本专利技术涉及语音生成
,特别是涉及基于脑机接口的多源域自适应想象语音生成方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
,并不必然构成现有技术。
[0003]失语症是指人由于与语言功能有关的脑组织的病变引起的一种病症,如脑卒中、喉癌、闭锁综合征等。这类疾病会造成患者对人类进行交际符号系统的理解和表达能力的损害,尤其是语音、词汇、语法等成分、语言结构和语言的内容与意义的理解和表达障碍,以及作为语言基础的语言认知过程的减退和功能的损害。以脑卒中为例,患者虽然出现失语的状况,但其脑部的语言神经并没有发生病变,换言之患者是可以在大脑内部产生语音神经信号的,结合当下时兴的脑机接口技术,这就为患者的语言表达提供了可能性。
[0004]近年来,想象语音已经成为一种新的神经范式,它基于大脑活动的内部刺激,以实现交流行为,而不需要借助听觉语言。想象语音包括音素、字或者词语的内心想象发音,不产生任何的声音或发音动作。/>[0005]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于脑机接口的多源域自适应想象语音生成方法,其特征是,包括:获取源域数据和目标域数据;对源域数据和目标域数据进行预处理;所述源域数据,包括:训练集和测试集;所述训练集和测试集,均为已知分类标签的脑电信号;所述目标域数据,包括:预设伪标签的脑电信号;将预处理后的源域数据和目标域数据均进行特征提取;对提取的特征进行降维处理;根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器,得到目标域数据对应的修正后的伪标签;根据修正后的伪标签,生成对应的语音信号。2.如权利要求1所述的基于脑机接口的多源域自适应想象语音生成方法,其特征是,获取源域数据和目标域数据;具体包括:通过使用时佩戴在用户头部的EEG电极帽,获取用户想象发声的脑电信号。3.如权利要求1所述的基于脑机接口的多源域自适应想象语音生成方法,其特征是,对源域数据和目标域数据进行预处理;具体包括:采用独立成分分析和赫斯特指数,消除待处理脑电信号的伪影;采用共同平均参考值,对消除伪影的脑电信号计算所有电极的平均值,通过去除所有电极的平均值来提高信噪比。4.如权利要求3所述的基于脑机接口的多源域自适应想象语音生成方法,其特征是,采用独立成分分析和赫斯特指数,消除待处理脑电信号的伪影;具体包括:首先,通过独立成分分析将采集到的EEG信号分解为时间上独立且空间固定的分量之和,眼部活动对应于大脑的额叶部位;然后,计算眼电所处空间的赫斯特指数,即赫斯特指数在0.58

0.69范围内的分量,使用赫斯特指数评估每个通道的所有独立分量,去除眼电分量后,再将剩余的分量混合成整个通道的总量,完成伪影处理。5.如权利要求1所述的基于脑机接口的多源域自适应想象语音生成方法,其特征是,所述根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器,得到目标域数据对应的修正后的伪标签,具体过程包括:针对降维处理得到的训练集特征向量,将特征向量按照对应特征值从大到小的顺序排列成矩阵,选取前k个特征向量作为自适应矩阵A;对自适应矩阵A进行迭代优化,得到优化后的自适应矩阵A;基于优化后的自适应矩阵A、训练集脑电信号所有已提取特征和训练集脑电信号对应标签、测试集脑电信号所有已提取特征和测试集脑电信号对应标签,对分类器进行训练,得到目标域数据对应的修正后的伪标签。6.如权利要求5所述的基于脑机接口的多源域自适应想象语音生成方法,其特征是,所述对自适应矩阵A进行迭代优化,得到优化后的自适应矩阵A;具体包括:(1)对训练集的数据进行特征分解,对特征分解得到的所有特征值采用从大到小的顺序进行排序,选择前k个特征向量,作为自适应矩阵A;(2)...

【专利技术属性】
技术研发人员:高诺戚禾汀赵凯王蕴辉鲁守银
申请(专利权)人:山东建筑大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1