情绪识别方法和装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种情绪识别方法和装置、电子设备及存储介质，属于金融科技技术领域。该方法包括：获取目标语音信号；对目标语音信号进行预处理，得到语义信息特征向量；对语义信息特征向量进行池化，得到降维特征向量；将降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个任务分类器各自输出的分类预测结果；基于多个目标任务对应的分类预测结果识别目标语音信号的情绪信息。基于此，本申请采用的任务分类器是按照任务的语义层次从低至高依次级联在一起，能够基于多个不同语义层次的分类预测结果识别语音信号的情绪信息，从而能够从语音信号中有效地提取高层语义，使得语音情绪识别更加准确。别更加准确。别更加准确。

【技术实现步骤摘要】
情绪识别方法和装置、电子设备及存储介质


[0001]本申请涉及金融科技(Fintech)
，尤其涉及一种情绪识别方法和装置、电子设备及存储介质。

技术介绍

[0002]突发的声音(如大笑、叹息或抽泣等)是情绪识别或情感分类的重要标志。而突发声音携带了超过十个情绪维度的信息，比韵律等其他特征包含更多的情感信息。
[0003]在突发声音识别中，多任务模型对情感的建模能力又优于单个任务。多任务模型以原始音频作为输入，输出HIGH(在连续尺度上预测的十个情绪维度)、TWO(唤醒和效价两个维度)、CULTURE(十个与文化区域相关的高级维度)、TYPE(将突发声音分类为七种类型)。以往的模型通常使用并列的分类器直接输出四个分类结果，没有区分特征的高低层次，这使得模型受到大量冗余的不相关的特征的干扰，不能有效地提取高层语义。
[0004]在大型呼叫中心尤其是银行业催收场景下，话务员极易与客户发生言语冲突，如何在事中高效地识别话务员情绪变化，及时采取干预或疏导措施，提高现场管理效率，进而维护银行业的对客服务形象，是亟待解决的问题。

技术实现思路

[0005]本申请实施例的主要目的在于提出一种情绪识别方法和装置、电子设备及存储介质，能够从突发声音中有效地提取高层语义，从而判断当事人的情绪是否异常，可以及时对异常情绪的当事人进行干预或疏导，有利于维护对客户的服务形象。
[0006]为实现上述目的，本申请实施例的第一方面提出了一种情绪识别方法，所述方法包括：
[0007]获取目标语音信号；
[0008]对所述目标语音信号进行预处理，得到语义信息特征向量；
[0009]对所述语义信息特征向量进行池化，得到降维特征向量；
[0010]将所述降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果；
[0011]基于多个所述目标任务对应的所述分类预测结果识别所述目标语音信号的情绪信息。
[0012]在一些实施例，所述将所述目标语音信号进行预处理，得到语义信息特征向量，包括：
[0013]将所述目标语音信号输入至预先训练好的波形到向量Wav2vec2.0模型；
[0014]基于所述波形到向量Wav2vec2.0模型从所述目标语音信号中提取所述语义信息特征向量。
[0015]在一些实施例，所述基于所述波形到向量Wav2vec2.0模型从所述目标语音信号中提取所述语义信息特征向量，包括：
[0016]通过所述波形到向量Wav2vec2.0模型的特征编码器对所述目标语音信号做归一化处理，得到归一化特征；
[0017]基于所述波形到向量Wav2vec2.0模型的上下文网络对所述归一化特征进行特征聚合，得到所述语义信息特征向量。
[0018]在一些实施例，所述通过所述波形到向量Wav2vec2.0模型的特征编码器对所述目标语音信号做归一化处理，得到归一化特征，包括：
[0019]将所述目标语音信号输入至所述特征编码器的七层卷积层，得到所述目标语音信号的每一个通道的所述归一化特征，其中，第一层卷积层为GroupNorm卷积层，最后一层卷积层为LayerNorm卷积层。
[0020]在一些实施例，所述将所述降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果，包括：
[0021]将所述降维特征向量输入至第一任务分类器，得到第一分类预测结果；
[0022]将所述降维特征向量和所述第一分类预测结果输入至第二任务分类器，得到第二分类预测结果；
[0023]将所述降维特征向量和所述第二分类预测结果输入至第三任务分类器，得到第三分类预测结果；
[0024]将所述降维特征向量和所述第三分类预测结果输入至第四任务分类器，得到第四分类预测结果。
[0025]在一些实施例，所述第一任务分类器为TYPE分类器，所述第二任务分类器为TWO分类器，所述第三任务分类器为HIGH分类器，所述第四任务分类器为CULTURE分类器，所述第一分类预测结果用于表征声音类型的分类预测结果，所述第二分类预测结果用于表征唤醒和效价两个维度的分类预测结果，所述第三分类预测结果用于表征情绪维度的分类预测结果，所述第四分类预测结果用于表征文化背景的分类预测结果。
[0026]在一些实施例，所述任务分类器为由全连接层组成的神经网络，所述全连接层包括至少一个隐藏层，所述隐藏层的输出通过激活函数进行变换。
[0027]为实现上述目的，本申请实施例的第二方面提出了一种情绪识别装置，所述装置包括：
[0028]获取模块，用于获取目标语音信号；
[0029]预处理模块，用于对所述目标语音信号进行预处理，得到语义信息特征向量；
[0030]池化模块，用于对所述语义信息特征向量进行池化，得到降维特征向量；
[0031]分类模块，用于将所述降维特征向量按照任务语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果；
[0032]识别模块，用于基于多个所述任务对应的所述分类预测结果识别所述目标语音信号的情绪信息。
[0033]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0034]为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一
方面所述的方法。
[0035]本申请提出的情绪识别方法和装置、电子设备及存储介质,获取目标语音信号；对目标语音信号进行预处理，得到语义信息特征向量；对语义信息特征向量进行池化，得到降维特征向量；将降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个任务分类器各自输出的分类预测结果；基于多个目标任务对应的分类预测结果识别目标语音信号的情绪信息。基于此，本申请通过从语音信号提取语义信息特征向量，再对语义信息特征向量进行池化，将得到的降维特征向量输入至多个级联的任务分类器进行多任务情绪识别，与现有技术采用并列的分类器直接输出各个分类结果不同，本申请的任务分类器是按照任务的语义层次从低至高依次级联在一起，使得输入的语音特征层次逐渐加深，能够逐层抽取情绪信息并交互至下一层的任务，得到多个任务分类器各自输出的不同语义层次的分类预测结果，基于多个不同语义层次的分类预测结果识别语音信号的情绪信息，从而能够从语音信号中有效地提取高层语义，并且，进一步提升了多任务模型的分类效果，使得语音情绪识别更加准确，尤其对于在金融场景下，本申请提出的情绪识别方法能够判断当事人的情绪是否异常，可以及时对异常情绪的当事人进行干预或疏导，有利于维护对客户的服务形象。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取目标语音信号；对所述目标语音信号进行预处理，得到语义信息特征向量；对所述语义信息特征向量进行池化，得到降维特征向量；将所述降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果；基于多个所述目标任务对应的所述分类预测结果识别所述目标语音信号的情绪信息。2.根据权利要求1所述的方法，其特征在于，所述将所述目标语音信号进行预处理，得到语义信息特征向量，包括：将所述目标语音信号输入至预先训练好的波形到向量Wav2vec2.0模型；基于所述波形到向量Wav2vec2.0模型从所述目标语音信号中提取所述语义信息特征向量。3.根据权利要求2所述的方法，其特征在于，所述基于所述波形到向量Wav2vec2.0模型从所述目标语音信号中提取所述语义信息特征向量，包括：通过所述波形到向量Wav2vec2.0模型的特征编码器对所述目标语音信号做归一化处理，得到归一化特征；基于所述波形到向量Wav2vec2.0模型的上下文网络对所述归一化特征进行特征聚合，得到所述语义信息特征向量。4.根据权利要求3所述的方法，其特征在于，所述通过所述波形到向量Wav2vec2.0模型的特征编码器对所述目标语音信号做归一化处理，得到归一化特征，包括：将所述目标语音信号输入至所述特征编码器的七层卷积层，得到所述目标语音信号的每一个通道的所述归一化特征，其中，第一层卷积层为GroupNorm卷积层，最后一层卷积层为LayerNorm卷积层。5.根据权利要求1所述的方法，其特征在于，所述将所述降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果，包括：将所述降维特征向量输入至第一任务分类器，得到第一分类预测结果；将所述降维特征向...

【专利技术属性】
技术研发人员：张旭龙，王健宗，程宁，朱可欣，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：