当前位置: 首页 > 专利查询>安徽大学专利>正文

基于多尺度语音-脑电融合的脑控说话人提取方法及系统技术方案

技术编号:41726145 阅读:32 留言:0更新日期:2024-06-19 12:49
本发明专利技术公开了一种基于多尺度语音‑脑电融合的脑控说话人提取方法及系统。该方法包括:S1、语音编码器将原始混合语音样本转化为具有不同时间分辨率的语音特征;S2、脑电编码器将多通道的脑电信号编码到低维的特征表达,并利用图卷积网络提取脑电数据;S3、在说话人提取网络模块中分别融合多尺度语音和脑电的双模态特征,使用基于掩蔽的方法过滤掉干扰说话人;S4、语音解码器模块将掩蔽后的语音特征转化为原始的时域目标语音波形。本方法利用听者所记录的脑电信号来指导提取目标语音,使说话人提取方法具有根据个人主观意识有效分离目标说话人的能力,并将多尺度的语音特征和脑电特征分别进行融合,提高了语音的感知质量和可懂度。

【技术实现步骤摘要】

本专利技术涉及目标说话人提取,具体涉及一种基于多尺度语音-脑电融合的脑控说话人提取方法及系统


技术介绍

1、声音被认为是信息的载体。人类大脑具有出色的选择性听觉注意能力,可以让他们在类似于鸡尾酒会等的多说话人环境下只提取目标听觉信息,同时忽略干扰说话人。但对于患有听力损失的听者来说,这是一个重大挑战。

2、语音增强和说话人提取算法的快速发展推动了助听器的进步,并作为前端语音处理技术来提取清晰的目标语音,以便投入语音应用,例如语音活动检测、说话人分割和语音合成等。但这些方法仍然缺乏人类选择性注意神经机制的有效性,实际应用中会受到环境限制。

3、近年来,语音分离领域取得了显著的进展,它旨在从一个有多个说话人同时说话的场景里,把单个说话人的声音分离出来。大多数语音分离算法要求混合物中说话人的数量是已知且固定不变的,这极大地限制了这些算法的实用性。

4、并且分离出的语音源与听者的注意力选择无关,这就需要后续的说话人提取网络利用给定的目标说话人信息,包括神经信号或者视觉注意,去语音跟踪。但是在实际应用中,听者只会对一个说话人关注本文档来自技高网...

【技术保护点】

1.一种基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,包括:

2.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤S1包括:

3.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤S2包括:

4.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤S3包括:

5.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤S4包括:

6.一种基于多尺度语音-脑电融合的脑控说话人提取系统,其特征在于,包...

【技术特征摘要】

1.一种基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,包括:

2.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤s1包括:

3.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤s2包括:

4.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤s3包括:

5.根据权利要求1所述的基于多尺度语音-脑电融...

【专利技术属性】
技术研发人员:范存航张晶晶张宏玉吕钊朱彤裴胜兵李平
申请(专利权)人:安徽大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1