一种语音声纹可视化方法与装置制造方法及图纸

本发明专利技术提供一种语音声纹可视化方法与装置，所述方法包括：获取说话者的语音信息，并获取语音信息的特征信息；将所述特征信息输入至训练好的声纹识别模型中，基于所述声纹识别模型的多层卷积层得到所述语音信息的层次性类激活热力图；其中，所述声纹识别模型是基于语音样本以及语音样本对应的说话人标签进行训练得到的。本发明专利技术能够根据层次性类激活热力图实现对语音声纹的可视化。实现对语音声纹的可视化。实现对语音声纹的可视化。

【技术实现步骤摘要】
一种语音声纹可视化方法与装置


[0001]本专利技术涉及声纹识别的
，尤其涉及一种语音声纹可视化方法与装置。

技术介绍

[0002]声纹识别技术，又称说话人识别技术，是生物特征识别技术的一种。随着深度学习的发展，当前主流的声纹识别技术是通过深度神经网络模型来提取语音中的说话人个性声纹特征，进而完成说话人身份的辨认或确认。
[0003]可视化分析技术是针对深度神经网络的可解释性问题所发展而来的一类研究方向。具体地，通过对深度神经网络的特征空间、预测结果的可视化分析，实现对深度神经网络模型的黑盒分析，提高对深度神经网络模型的可解释性。
[0004]在语音处理领域，可视化分析技术最先在语音识别任务上开展应用。如图1所示，首先对语音频谱特征进行局部掩蔽；然后通过人耳听觉感知或者自动语音识别系统，返回人耳听觉或自动语音识别系统对目标词语识别的正确性变化；最后通过统计该正确性变化与其输入掩蔽位置的关系，即可得到重要性函数图。通过重要性函数图的可视化表现，结合语音学知识，实现对语音识别技术的可视化分析。
[0005]在图像处理领域，可视化分析技术最先在图像识别任务上开展应用。如图2所示，首先训练得到一个基于卷积深度神经网络结构的图像识别模型。当一张图片输入该模型后，可以通过反向传播算法逐层观察卷积层的特征图激活值，对这些在不同卷积层带有不同激活值的特征图进行融合，即可得到重要性函数图。基于重要性函数图，可以开展图像领域相关下游任务，如目标检测任务，图像分割任务等。
[0006]尽管可视化分析技术在语音识别、图像识别等领域得到了一定的发展和应用，但其在声纹识别领域仍相对空白。因此，如何在声纹识别领域实现语音声纹的可视化，是当前课题亟需解决的技术问题。

技术实现思路

[0007]本专利技术提供一种语音声纹可视化方法与装置，用以解决现有技术中难以对语音声纹进行可视化的缺陷，实现对语音声纹识别的可视化。
[0008]本专利技术提供一种语音声纹可视化方法，包括：获取说话者的语音信息，并获取语音信息的特征信息；将所述特征信息输入至训练好的声纹识别模型中，基于所述声纹识别模型的多层卷积层得到所述语音信息的层次性类激活热力图；其中，所述声纹识别模型是基于语音样本以及语音样本对应的说话人标签进行训练得到的。
[0009]根据本专利技术提供的一种语音声纹可视化方法，所述声纹识别模型的训练过程包括：获取语音样本的特征样本；
将所述特征样本输入至所述卷积层中，基于所述卷积层对所述特征样本进行卷积操作，生成特征样本的对应卷积层的特征图；对所述卷积层输出的特征图依次进行时域统计处理、全连接处理以及分类处理，并获取所述语音样本的分类识别结果；基于损失函数对所述声纹识别模型进行迭代更新，直至所述语音样本的声纹识别结果和分类识别结果的差值达到预设阈值。
[0010]根据本专利技术提供的一种语音声纹可视化方法，将所述特征样本输入至所述卷积层中，基于所述卷积层对所述特征样本进行卷积操作，生成特征样本的对应卷积层的特征图之后，还包括：基于神经网络反向传播算法，获取所述卷积层的多个特征图的类激活权重；将每个所述特征图与其对应的类激活权重相乘，得到目标特征图的类激活图；分别将每个所述卷积层对应的目标特征图相加，得到每个卷积层的类激活图；将每个所述卷积层的类激活图相加，得到所述语音信息的层次性类激活热力图。
[0011]根据本专利技术提供的一种语音声纹可视化方法，所述基于神经网络反向传播算法，获取所述卷积层的多个特征图的类激活权重，包括：基于神经网络反向传播算法，获得语音信息对应的语音类别的目标梯度；基于激活函数对所述目标梯度进行负值滤除，得到所述语音信息的目标卷积层的目标特征图的目标位置的权重；所述将每个所述特征图与其对应的类激活权重相乘，得到目标特征图的类激活图，包括：将所述目标卷积层的目标特征图的每个位置的特征图与所述类激活权重相乘，得到所述目标特征图的类激活图。
[0012]根据本专利技术提供的一种语音声纹可视化方法，所述基于神经网络反向传播算法，获得语音信息对应的语音类别的目标梯度，包括：获取语音信息对应的语音类别的预测损失；基于神经网络反向传播算法，获取所述预测损失对目标卷积层的目标特征图的目标位置的目标梯度。
[0013]根据本专利技术提供的一种语音声纹可视化方法，所述分别将每个所述卷积层对应的目标特征图相加，得到每个卷积层的类激活图，包括：将每个卷积层的所有目标特征图按照对应位置进行累加，并基于激活函数滤除负激活值，得到每个卷积层的类激活图。
[0014]根据本专利技术提供的一种语音声纹可视化方法，所述将每个所述卷积层的类激活图相加，得到所述语音信息的层次性类激活热力图，包括：基于插值法将每个卷积层的类激活图进行尺寸扩大或压缩；其中，扩大或压缩后的尺寸与所述特征信息对应的语谱图的尺寸相同；将扩大或压缩后的图片基于卷积层的层数维度累加，得到所述语音信息的层次性类激活热力图。
[0015]本专利技术还提供一种语音声纹可视化装置，包括：获取模块，用于获取说话者的语音信息，并获取语音信息的特征信息；
可视化模块，用于将所述特征信息输入至训练好的声纹识别模型中，基于所述声纹识别模型的多层卷积层得到所述语音信息的层次性类激活热力图；其中，所述声纹识别模型是基于语音样本训练集以及语音样本对应的说话人标签进行训练得到的。
[0016]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语音声纹可视化方法的步骤。
[0017]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语音声纹可视化方法的步骤。
[0018]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语音声纹可视化方法的步骤。
[0019]本专利技术提供的一种语音声纹可视化方法与装置，通过获取说话者的语音信息的特征信息，利用训练好的声纹识别模型中，基于声纹识别模型的多层卷积层获取语音信息的层次性类激活热力图，根据层次性类激活热力图实现对语音声纹的可视化。
附图说明
[0020]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是语音处理领域的可视化分析技术的示意图；图2是图像处理领域的可视化分析技术的示意图；图3是本专利技术提供的语音声纹可视化方法的流程示意图之一；图4是本专利技术提供的语音声纹可视化方法的流程示意图之二；图5是本专利技术提供的声纹识别模型的系统架构图；图6是本专利技术提供的语音声纹可视化方法的流程示意图之三；图7是本专利技术提供的语音声纹可视化方法的样例语音的语音频谱图；图8是本专利技术提供的语音声纹可视化方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音声纹可视化方法，其特征在于，包括：获取说话者的语音信息，并获取语音信息的特征信息；将所述特征信息输入至训练好的声纹识别模型中，基于所述声纹识别模型的多层卷积层得到所述语音信息的层次性类激活热力图；其中，所述声纹识别模型是基于语音样本以及语音样本对应的说话人标签进行训练得到的。2.根据权利要求1所述的语音声纹可视化方法，其特征在于，所述声纹识别模型的训练过程包括：获取语音样本的特征样本；将所述特征样本输入至所述卷积层中，基于所述卷积层对所述特征样本进行卷积操作，生成特征样本的对应卷积层的特征图；对所述卷积层输出的特征图依次进行时域统计处理、全连接处理以及分类处理，并获取所述语音样本的分类识别结果；基于损失函数对所述声纹识别模型进行迭代更新，直至所述语音样本的声纹识别结果和分类识别结果的差值达到预设阈值。3.根据权利要求2所述的语音声纹可视化方法，其特征在于，将所述特征样本输入至所述卷积层中，基于所述卷积层对所述特征样本进行卷积操作，生成特征样本的对应卷积层的特征图之后，还包括：基于神经网络反向传播算法，获取所述卷积层的多个特征图的类激活权重；将每个所述特征图与其对应的类激活权重相乘，得到目标特征图的类激活图；分别将每个所述卷积层对应的目标特征图相加，得到每个卷积层的类激活图；将每个所述卷积层的类激活图相加，得到所述语音信息的层次性类激活热力图。4.根据权利要求3所述的语音声纹可视化方法，其特征在于，所述基于神经网络反向传播算法，获取所述卷积层的多个特征图的类激活权重，包括：基于神经网络反向传播算法，获得语音信息对应的语音类别的目标梯度；基于激活函数对所述目标梯度进行负值滤除，得到所述语音信息的目标卷积层的目标特征图的目标位置的权重；所述将每个所述特征图与其对应的类激活权重相乘，得到目标特征图的类激活图，包括：将所述目标卷积层的目标特征图的每个位...

【专利技术属性】
技术研发人员：郑方，李鹏琦，李蓝天，徐明星，万化，张琛，潘仰耀，谢弈峥，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：