语音处理方法、电子设备和存储介质技术

本发明专利技术公开一种语音处理方法、电子设备和存储介质。在该方法中，获取针对多说话人场景的混合音频数据；将混合音频数据输入至语音处理模型，使得语音处理模型验证混合音频数据是否为与目标说话人相关的音频数据；其中，语音处理模型的池化层采用注意力统计池化层，注意力统计池化层用于将注册说话人嵌入和混合音频数据所对应的隐藏层表征序列转换为固定维度的表征，以及注册说话人嵌入为语音处理模型根据目标说话人的注册语料而确定的身份特征信息。由此，语音处理模型采用基于目标说话人的注册语料的注意力统计池化层，能够实现提取特定说话人信息，而无需添加多余的语音分离网络，降低了系统冗余度，且提高了系统计算效率。且提高了系统计算效率。且提高了系统计算效率。

【技术实现步骤摘要】
语音处理方法、电子设备和存储介质


[0001]本专利技术属于互联网
，尤其涉及一种语音处理方法、电子设备和存储介质。

技术介绍

[0002]随着语音技术的不断发展，一些厂商已经能够实现从较嘈杂的语音环境中较好地提取到说话人的语音音频，从而较佳地完成相应的语音任务操作。目前，业内的相关技术研究人员致力于在更复杂的场景中构建鲁棒的说话人验证系统，并且研究了多种技术以去除人声以外的干扰信息，如数据增强、在频谱添加随机扰动、对抗学习等。
[0003]但是，这些技术多是为了去除人声以外的干扰信息，如环境噪音等。然而，当说话人的声音被其他人的声音干扰时，上述系统通常不能选择性地去除这种干扰的声音。
[0004]在具有多说话人的音频识别任务下，为了实现对特定目标人的语音识别，需要去除其他人声的干扰，许多研究者提出了语音分离技术，通过引入语音分离网络来提前分离目标说话人的语音，并将单人语音输入到说话人识别系统中。
[0005]但是，在说话人验证任务中利用语音分离网络会使得系统变得尤为复杂和冗余，造成资源浪费和运算缓慢的问题。
[0006]针对上述问题，目前业界暂未提供较佳的解决方案。

技术实现思路

[0007]本专利技术实施例提供一种语音处理方法、电子设备和存储介质，用于至少解决上述技术问题之一。
[0008]第一方面，本专利技术实施例提供一种语音处理方法，包括：获取针对多说话人场景的混合音频数据；将所述混合音频数据输入至语音处理模型，使得所述语音处理模型验证所述混合音频数据是否为与目标说话人相关的音频数据；其中，所述语音处理模型的池化层采用注意力统计池化层，所述注意力统计池化层用于将注册说话人嵌入和所述混合音频数据所对应的隐藏层表征序列转换为固定维度的表征，以及所述注册说话人嵌入为所述语音处理模型根据所述目标说话人的注册语料而确定的身份特征信息。
[0009]第二方面，本专利技术实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。
[0010]第三方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述方法的步骤。
[0011]第四方面，本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法的步骤。
[0012]本专利技术实施例的有益效果在于：
[0013]针对在多说话人场景下采集的混合音频数据，可以利用语音处理模型抑制混合音频数据中的杂波信号和其他说话人的音频数据，能够分析出混合音频数据是否与目标说话人相关(例如，是否含有目标说话人的语音)。在本专利技术实施例中，语音处理模型采用基于目标说话人的注册语料的注意力统计池化层，能够实现提取特定说话人信息，而无需添加多余的语音分离网络，降低了系统冗余度，且提高了系统计算效率。
附图说明
[0014]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1示出了根据本专利技术实施例的语音处理方法的一示例的流程图；
[0016]图2示出了根据本专利技术实施例的具有EA
‑
ASP的语音处理模型在进行说话人验证任务时的流程图；
[0017]图3示出了根据本专利技术实施例的EA
‑
SAP
‑
M系统的瓶颈维度消融实验数据表；
[0018]图4示出了根据目前相关技术的说话人验证系统在多说话人场景和单说话人场景下的r
‑
vector基线系统在Vox_E测试集的得分分布；
[0019]图5示出了根据本专利技术实施例的说话人验证系统的性能评估数据表；
[0020]图6示出了根据本专利技术实施例的了EA
‑
ASP
‑
M系统在多说话人场景和单说话人场景下的r
‑
vector基线系统在Vox_E测试集的得分分布；
[0021]图7为本专利技术的电子设备的一实施例的结构示意图。
具体实施方式
[0022]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0024]本专利技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0025]在本专利技术中，“模块”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，
并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
[0026]最后，还需要说明的是，在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0027]需说明的是，在目前的相关技术中，存在一些对复杂说话人场景的语音处理技术，目前主要可以采用数据增强方法来去除除人声以外的干扰信息的方法，其主要是提高说话人验证系统鲁棒性的最有效和最简单的方法。一些业内的学者提出了，将随机噪声和混响添加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音处理方法，包括：获取针对多说话人场景的混合音频数据；将所述混合音频数据输入至语音处理模型，使得所述语音处理模型验证所述混合音频数据是否为与目标说话人相关的音频数据；其中，所述语音处理模型的池化层采用注意力统计池化层，所述注意力统计池化层用于将注册说话人嵌入和所述混合音频数据所对应的隐藏层表征序列转换为固定维度的表征，以及所述注册说话人嵌入为所述语音处理模型根据所述目标说话人的注册语料而确定的身份特征信息。2.根据权利要求1所述的方法，其中，所述将所述混合音频数据输入至语音处理模型，使得所述语音处理模型验证所述混合音频数据是否为与目标说话人相关的音频数据，包括：检测所述语音处理模型的语音处理模式；当所述语音处理模型处于注册语音感知模式时，所述注意力统计池化层用于将注册说话人嵌入和所述混合音频数据所对应的隐藏层表征序列转换为固定维度的表征；以及当所述语音处理模型处于注册语音忽略模式时，所述注意力统计池化层用于仅将所述隐藏层表征序列转换为固定维度的表征。3.根据权利要求2所述的方法，其中，所述注册说话人嵌入为所述语音处理模型在注册语音忽略模式下依据所述目标说话人的注册语料预先进行训练而确定的。4.根据权利要求1所述的方法，其中，所述语音处理模型在注册语音感知模式下时所对应的训练样本包含正向测试语料、反向测试语料、注册语料和所述注册说话人嵌入；其中，所述正向测试音频包含所述目标说话人和至少一个其他说话人的音频信息，并且所述正向测试语料与所述注册语料具有相同的分类标签；以及所述反向测试语料包含除所述目标说话人之外的至少一个其他说话人的音频信息，并且所述反向测试语料与所述注册语料的分类标签不同。5.根据权利要求1所述的方法，其中，所述语音处理模型包括特征提取层、所述注意力统计池化层和嵌入转换层，所述特征提取层用于确定输入的所述混合音频数据所对应的隐藏层表征序列，以及所述转...

【专利技术属性】
技术研发人员：钱彦旻，张乐莹，陈正阳，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：