基于上下文的语音增强制造技术

技术编号:39433964 阅读:26 留言:0更新日期:2023-11-19 16:17
一种用于执行语音增强的设备包括一个或多个处理器,所述一个或多个处理器被配置为基于输入信号获得输入频谱数据

【技术实现步骤摘要】
【国外来华专利技术】基于上下文的语音增强
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月23日提交的共同拥有的美国非临时专利申请号17/209,621的优先权权益,其内容通过引用整体明确地并入本文。


[0003]本公开总体上涉及语音增强。

技术介绍

[0004]技术的进步已经导致更小和更强大的计算设备。举例来说,当前存在多种便携式个人计算设备,包含无线电话,例如移动及智能电话、平板及膝上型计算机,其体积小、重量轻且易于由用户携带。这些设备可以通过无线网络传送话音和数据分组。此外,许多此类设备并入附加功能,例如数字静止相机、数字视频相机、数字记录器及音频文件播放器。此外,这样的设备可以处理可执行指令,包括可以用于访问互联网的软件应用,诸如web浏览器应用。因此,这些设备可以包括显著的计算能力。
[0005]这样的计算设备通常包含从一个或多个麦克风接收音频信号的功能。举例来说,音频信号可表示由麦克风捕获的用户语音、由麦克风捕获的外部声音或其组合。这样的设备可以包括执行噪声抑制和语音增强的应用。例如,设备可以在频域中执行对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于执行语音增强的设备,所述设备包括:一个或多个处理器,其被配置为:基于输入信号获得输入频谱数据,所述输入信号表示包括语音的声音;以及使用多编码器变换器处理所述输入频谱数据和上下文数据,以生成表示所述输入信号的语音增强版本的输出频谱数据。2.根据权利要求1所述的设备,其中,所述多编码器变换器包括:多编码器,所述多编码器包括:第一编码器,包括第一注意力网络;至少第二编码器,包括第二注意力网络;以及解码器,包括解码器注意力网络。3.根据权利要求2所述的设备,其中所述一个或多个处理器被配置为:将所述输入频谱数据提供给所述第一编码器以生成第一编码数据;基于一个或多个数据源获得所述上下文数据;将所述上下文数据提供给所述至少第二编码器以生成第二编码数据;以及向所述解码器注意力网络提供所述第一编码数据和所述第二编码数据,以生成对应于所述输入频谱数据的语音增强版本的输出频谱数据。4.根据权利要求3所述的设备,其中,所述一个或多个数据源包括所述输入信号或图像数据中的至少一个。5.根据权利要求4所述的设备,其进一步包括被配置为生成所述图像数据的相机。6.根据权利要求3所述的设备,其中,所述解码器注意力网络包括:第一多头注意力网络,被配置为处理所述第一编码数据;第二多头注意力网络,被配置为处理所述第二编码数据;以及组合器,被配置为组合所述第一多头注意力网络和所述第二多头注意力网络的输出。7.根据权利要求2所述的设备,其中所述解码器进一步包括:经掩码的多头注意力网络,耦合到所述解码器注意力网络的输入;以及解码器前馈网络,耦合到所述解码器注意力网络的输出。8.根据权利要求2所述的设备,所述第一编码器包含被配置为对所述输入频谱数据进行滤波的梅尔滤波器组。9.根据权利要求2所述的设备,还包括自动语音识别引擎,所述自动语音识别引擎被配置为基于所述输入信号生成文本,其中所述上下文数据包括所述文本。10.根据权利要求9所述的设备,其中,所述第二编码器包括被配置为处理所述文本的字素到音素转换器。11.根据权利要求2所述的设备,其中:所述第一编码器包括:第一层,包括所述第一注意力网络,其中所述第一注意力网络对应于第一多头注意力网络;以及第二层,包括第一前馈网络,以及所述第二编码器包括:第一层,包括所述第二注意力网络,其中所述第二注意力网络对应于第二多头注意力
网络;以及第二层,包括第二前馈网络。12.根据权利要求1所述的设备,还包括说话者识别引擎,所述说话者识别引擎被配置为基于所述输入信号生成说话者提取数据,并且其中所述上下文数据包括所述说话者提取数据。13.根据权利要求1所述的设备,还包括情绪识别引擎,所述情绪识别引擎被配置为基于所述输入信号生成情绪数据,并且其中所述上下文数据包括所述情绪数据。14.根据权利要求1所述的设备,还包括噪声分析引擎,所述噪声分析引擎被配置为基于所述输入信号生成噪声类型数据,并且其中,所述上下文数据包括所述噪声类型数据。15.根据权利要求1所述的设备,还包括:麦克风,耦合到所述一个或多个处理器且被配置为生成所述输入信号;以及频谱分析器,被配置为生成所述输入频谱数据。16.根据权利要求1所述的设备,还包括波形发生器,所述波形发生器被配置为处理所述输出频谱数据以生成对应于所述语音的增强版本的输出波形。17.一种语音增强...

【专利技术属性】
技术研发人员:K
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1