脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统技术方案

技术编号:23406025 阅读:35 留言:0更新日期:2020-02-22 17:00
本申请公开了一种多模式波束形成器,包括:用于接收多模式输入信号的装置;用于构建优化模型和求解优化模型的装置,其获得对所述多模式输入信号进行线性或非线性组合的波束形成权系数。所述优化模型包括用于获得所述波束形成权系数的优化公式。所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。

Electroencephalogram assisted beamformer, beamforming method and ear mounted hearing system

【技术实现步骤摘要】
脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统
本专利技术涉及助听
,具体地,涉及一种用在耳戴式(ear-worn)听力系统中的脑电图辅助的多模式波束形成器以及波束形成方法以及包括该波束形成器的耳戴式听力系统。
技术介绍
耳戴式听力系统用来通过传递放大的声音至遭受听觉损失的人的耳道来帮助他们。患者的耳蜗外毛细胞的损坏导致患者的听觉的频率分辨率损失。随着这种情况发展,患者难于区分语音和环境噪声。简单的放大解决不了这个问题。因此,需要帮助这类患者明白嘈杂环境下的语音。通常在耳戴式听力系统中应用波束形成器,以区分语音和噪声,从而帮助患者明白嘈杂环境下的语音。一方面,在听力系统中应用(由麦克风阵列提供的)空间多样性的双耳波束形成技术是一项公知技术,其能明显改善使用者在嘈杂的多个讲话者环境下对目标讲话者的语义理解。然而,广泛使用的两类波束形成器,如多通道维纳滤波器(Multi-channelWienerFilter,MWF)波束形成器和最小方差无失真响应(MinimumVarianceDistortionlessResponse,MVDR)波束形成器,需要关于目标讲话者的先验信息,即,利用传统信号处理方法来提取讲话者的空间先验信息。具体地,MWF波束形成器需要针对参与的讲话者(AttendedTalker)的语音活跃检测(VoiceActivityDetection,VAD),而MVDR波束形成器需要识别参与的讲话者的声学传递函数(AcousticTransferFunction,ATF)。>在实际应用中,从嘈杂的多个讲话者环境精确地获得这种空间先验信息是不容易的。另一方面,人脑在嘈杂的多个讲话者环境下识别和跟踪单个讲话者的机理是最近几十年活跃的研究课题。最近几年,通过使用者的脑电图信号(EEG)提取其在多个讲话者环境中的听觉注意力(AuditoryAttention,AA),取得了实质性进展。例如,在S.VanEyndhoven,T.Francart和A.Bertrand,EEG-informedattendedspeakerextractionfromrecordedspeechmixtureswithapplicationinneuro-steeredhearingprostheses(来自与在神经控制的听力修复中的应用的记录的语音混合的EEG信息的参与的扬声器提取),IEEETransactionsonBiomedicalEngineering,64(5):1045-1056,2017年5月和N.Das,S.VanEyndhoven,T.Francart和A.Bertrand,EEG-basedattention-drivenspeechenhancementfornoisyspeechmixturesusingn-foldmulti-channelwienerfilters(用于使用n重多通道维纳滤波器的嘈杂语音混合的基于EEG的注意力驱动的语音增强),In201725thEuropeanSignalProcessingConference(EUSIPCO)中,1660-1664页,2017年8月(上述文件通过引用并入本文以用于所有目的)中公开了基于EEG辅助的AA解码波束形成方法,这些方法直接从EEG信号中获取使用者AA。但是这些方法均以分步骤的方式实现波束形成,即,第一步将通过使用者EEG信号提取(解码)AA,第二步再根据解码的AA实现波束形成或降低噪声。由于分步的实现过程,这些方法有以下两个缺点:错误的注意力解码的敏感性:由于EEG信号反映人脑的复杂的活动,解码AA可能不总是正确的。一旦AA解码错误,真正目标讲话者会在波束形成阶段被抑制,这对于实际应用来说是非常糟糕的情况。额外的源分离的过程:在AA解码的步骤中,为了获得每个语音源的包络信息,需要从麦克风接收到的混合的输入语音信号中提取每个语音源的信息,这就带来了额外的盲源分离需求,需要额外且复杂的信号处理方法以实现。
技术实现思路
因此,为了克服上述缺陷,本申请致力于将AA解码和波束形成整合在一个优化模型中,并以AA偏好的形式分配使用者对不同语音源的注意力偏好。具体地,通过从信号处理的角度建立基于EEG辅助的AA解码与双耳波束形成之间的内在关联,提出了一种用于耳戴式听力系统中的听觉注意力解码和自适应双耳波束形成的联合算法,该方法能够有效利用EEG信号中包含的AA信息,避免了错误AA解码情况下的敏感性问题且不需要额外的盲源分离过程。将本专利技术构思的波束形成器命名为脑电图辅助的双耳波束形成器。利用低复杂度的迭代算法(即,公知的梯度投影法(GradientProjectionMethod,GPM)和交替方向乘子法(AlternatingDirectionMethodofMultipliers,ADMM))求解所提出的公式。该迭代算法提供了一种可以在实际耳戴式听力系统中实现的有效的波束形成器实施方式。根据本专利技术的一个实施例,公开了一种波束形成器,包括:用于接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号的装置;和用于构建优化模型和求解优化模型的装置,其获得对所述多个输入信号进行线性或非线性组合的波束形成权系数;其中,所述优化模型包括用于获得所述波束形成权系数的优化公式,所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。根据本专利技术的另一个实施例,公开了一种用于波束形成器的波束形成方法,包括:接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号;和通过构建优化模型和求解优化模型获得对所述多个输入信号进行线性或非线性组合的波束形成权系数;其中,所述优化模型包括用于获得所述波束形成权系数的优化公式,所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。根据本专利技术的又一个实施例,公开了一种耳戴式助听系统,包括:麦克风,其配置为接收来自多个语音源的多个输入信号;脑电图信号接收接口,其配置为接收来自一个或多个脑电图电极的信息并且将脑电图信息进行线性或非线性变换以形成至少一个脑电图(EEG)信号;波束形成器,其接收所述多个输入信号和所述至少一个EEG信号,并且输出波束形成权系数;以及合成模块,其将所述多个输入信号和所述波束形成权系数进行线性或非线性合成,以形成波束形成输出,扬声器,其配置为将所述波束形成输出转换为输出声音,其中,所述波束形成器为根据本专利技术的波束形成器。根据本专利技术的进一步的实施例,公开了一种包括指令的计算机可读介质,所述指令当被处理器执行时能够使得所述处理器执行根据本专利技术的波束形成方法。与现有技术中的以分步骤的方式将EEG信号并入波束形成(即,先解码AA,然后进行波束形成)的方法相比,本专利技术将AA解码与波束形成整合在一个优化模型中,从而能够有效利用EEG信号中包含的AA信息,避免了错误AA解码情况本文档来自技高网...

【技术保护点】
1.一种波束形成器,包括:/n用于接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号的装置;和/n用于构建优化模型和求解优化模型的装置,其获得对所述多个输入信号进行线性或非线性组合的波束形成权系数;/n其中,所述优化模型包括用于获得所述波束形成权系数的优化公式,所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。/n

【技术特征摘要】
1.一种波束形成器,包括:
用于接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号的装置;和
用于构建优化模型和求解优化模型的装置,其获得对所述多个输入信号进行线性或非线性组合的波束形成权系数;
其中,所述优化模型包括用于获得所述波束形成权系数的优化公式,所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。


2.根据权利要求1所述的波束形成器,其中,建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用非线性变换或用神经网络的方法建立所述至少一个脑电图信号与波束形成输出之间的关联。


3.根据权利要求1所述的波束形成器,其中,建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用线性变换建立所述至少一个脑电图信号与波束形成输出之间的关联。


4.根据权利要求3所述的波束形成器,其中,所述优化公式包括Pearson相关系数:



其中



且其中,是由所述至少一个EEG信号重新构造的参与语音源的语音信号的包络;z(t)表示波束形成输出;是对应于所述波束形成输出的解析信号;是所述波束形成输出的包络,其是所述解析信号的绝对值;κ({w(ω)})表示对于给定的时间段t=t1,t1+1,...,t2,所述重新构造的参与语音源的语音信号的包络和所述波束形成输出的包络之间的所述Pearson相关系数;{ω(ω)}ω为所述波束形成权系数;ω(ω=1,2,…,Ω)表示频带。


5.根据权利要求4所述的波束形成器,进一步包括用于接收重新构造的参与语音源的语音信号的包络的装置,且其中,基于优化线性变换系数根据所述至少一个EEG信号,得到所述重新构造的参与语音源的语音信号的包络且所述重新构造的参与语音源的语音信号的包络被传递至所述用于接收重新构造的参与语音源的语音信号的包络的装置,
其中,根据对以下公式求解获知所述优化线性变换系数



其中,为时刻t(t=1,2,…)时所述至少一个EEG信号中的EEG通道i(i=1,2,…,C)所对应的EEG信号且τ为时间延迟;sa(t)表示对应于所述多个输入信号的所述参与语音源的语音信号的包络;gi(τ)是对应于具有延迟τ的EEG通道i的所述EEG信号的线性回归系数,E是期望运算符号;正则函数



其限定所述线性回归系数gi(τ)的时间平滑性;且λ≥0是对应的正则参数。


6.根据权利要求5所述的波束形成器,其中,所述解析信号通过离散傅里叶变换根据所述波束形成权系数{w(ω)}ω被表示为:



其中,是用于形成所述解析信号的对角矩阵,是所述离散傅里叶变换矩阵的逆;表示帧l和频带ω(ω=1,2,…,Ω)处的所述多个输入信号,帧l对应于N个采样时间点t,t+1,…,t+N-1,而是用于补偿在用于表示所述多个输入信号所使用的短时傅里叶变换(STFT)中使用的合成窗的对角矩阵,
所述解析信号进一步被等价地表示为:



其中,是所述波束形成权系数,且由{y(l,ω)}ω和矩阵DW,F和DH中的系数确定,以及通过所述解析信号,将所述波束形成输出的包络表示为:





7.根据权利要求6所述的波束形成器,其中,所述波束形成输出的包络的采样率对应于所述多个输入信号的音频采样率。


8.根据权利要求6所述的波束形成器,其中,所述优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数包括最大化所述Pearson相关系数κ({w(ω)}),以提取所述至少一个EEG信号中包含的听觉注意力(AA)信息。


9.根据权利要求8所述的波束形成器,其中,在所述最大化所述Pearson相关系数κ({w(ω)})过程中施加具有鲁棒性的等式约束以控制语音失真,
其中,α=[α1,α2,…,αK]T为额外的变量,其表示所述多个语音源中的听觉注意力偏好;hk(ω)是第k个语音源的声学传递函数;K为所述多个语音源的个数。


10.根据权利要求9所述的波束形成器,其中,所述优化公式变为:



其中,是背景噪声相关矩阵;-γ||α||2为所述优化公式的正则项,其中,||·||2表示所述额外的变量α=[α1,α2,…,αK]T的欧式范数;μ>0和γ≥0是预先设定的参数,其用于平衡去噪、分配注意力偏好和控制注意力偏好稀疏度,且表示所述额外的变量中的元素的和为1。


11.根据权利要求10所述的波束形成器,其中,所述优化模型利用梯度投影法(GPM)和交替方向乘子法(ADMM)求解,其包括以下步骤:
(a)将所述优化公式中的目标函数表示为:



并令优化公式的梯度,
其中,表示关于ω(ω)的梯度分量;表示关于α的梯度分量;
(b)所述GPM将迭代地更新为:






其中,t为迭代指数,为xt处的所述目标函数的梯度,[·]+表示对等式约束和的投影运算,s为常数,且λt为根据Armijo规则确定的步长;
(c)公式(10a)中的投影运算等同于以下凸优化方程:









针对方程11a、11b和11c的增广拉格朗日函数为:



其中,ζk,w和η为拉格朗日因子,其分别与所述等式约束相关联;ρ>0是针对ADMM算法的预定义的参数,
(d)所述ADMM算法将({w(ω)},α,{ζk,ω},η迭代地更新为:









ηl+1=ηl+ρ(1Tα-1)(12d)
其中,l为迭代指数;以及
(e)得到公式12的结果。


12.一种用于波束形成器的波束形成方法,包括:
接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号;和
通过构建优化模型和求解优化模型获得对所述多个输入信号进行线性或非线性组合的波束形成权系数;
其中,所述优化模型包括用于获得所述波束形成权系数的优化公式,所述优化公式包括建立所述至少一...

【专利技术属性】
技术研发人员:蒲文强J·萧T·张ZQ·罗
申请(专利权)人:斯达克实验室公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1