情绪识别方法和装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种情绪识别方法和装置、电子设备及存储介质，属于金融科技技术领域。该方法包括：获取目标语音信号；对目标语音信号进行预处理，得到语义信息特征向量；对语义信息特征向量进行池化，得到降维特征向量；将降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个任务分类器各自输出的分类预测结果；基于多个目标任务对应的分类预测结果识别目标语音信号的情绪信息。基于此，本申请采用的任务分类器是按照任务的语义层次从低至高依次级联在一起，能够基于多个不同语义层次的分类预测结果识别语音信号的情绪信息，从而能够从语音信号中有效地提取高层语义，使得语音情绪识别更加准确。别更加准确。别更加准确。

【技术实现步骤摘要】
情绪识别方法和装置、电子设备及存储介质


[0001]本申请涉及金融科技(Fintech)
，尤其涉及一种情绪识别方法和装置、电子设备及存储介质。

技术介绍

[0002]突发的声音(如大笑、叹息或抽泣等)是情绪识别或情感分类的重要标志。而突发声音携带了超过十个情绪维度的信息，比韵律等其他特征包含更多的情感信息。
[0003]在突发声音识别中，多任务模型对情感的建模能力又优于单个任务。多任务模型以原始音频作为输入，输出HIGH(在连续尺度上预测的十个情绪维度)、TWO(唤醒和效价两个维度)、CULTURE(十个与文化区域相关的高级维度)、TYPE(将突发声音分类为七种类型)。以往的模型通常使用并列的分类器直接输出四个分类结果，没有区分特征的高低层次，这使得模型受到大量冗余的不相关的特征的干扰，不能有效地提取高层语义。
[0004]在大型呼叫中心尤其是银行业催收场景下，话务员极易与客户发生言语冲突，如何在事中高效地识别话务员情绪变化，及时采取干预或疏导措施，提高现场管理效率，进而维护银行业的对客服务形象，是亟待解决的问题。...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取目标语音信号；对所述目标语音信号进行预处理，得到语义信息特征向量；对所述语义信息特征向量进行池化，得到降维特征向量；将所述降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果；基于多个所述目标任务对应的所述分类预测结果识别所述目标语音信号的情绪信息。2.根据权利要求1所述的方法，其特征在于，所述将所述目标语音信号进行预处理，得到语义信息特征向量，包括：将所述目标语音信号输入至预先训练好的波形到向量Wav2vec2.0模型；基于所述波形到向量Wav2vec2.0模型从所述目标语音信号中提取所述语义信息特征向量。3.根据权利要求2所述的方法，其特征在于，所述基于所述波形到向量Wav2vec2.0模型从所述目标语音信号中提取所述语义信息特征向量，包括：通过所述波形到向量Wav2vec2.0模型的特征编码器对所述目标语音信号做归一化处理，得到归一化特征；基于所述波形到向量Wav2vec2.0模型的上下文网络对所述归一化特征进行特征聚合，得到所述语义信息特征向量。4.根据权利要求3所述的方法，其特征在于，所述通过所述波形到向量Wav2vec2.0模型的特征编码器对所述目标语音信号做归一化处理，得到归一化特征，包括：将所述目标语音信号输入至所述特征编码器的七层卷积层，得到所述目标语音信号的每一个通道的所述归一化特征，其中，第一层卷积层为GroupNorm卷积层，最后一层卷积层为LayerNorm卷积层。5.根据权利要求1所述的方法，其特征在于，所述将所述降维特征向量按照目标任务的语义层次从低至高依次输入至多个级联的任务分类器，得到多个所述任务分类器各自输出的分类预测结果，包括：将所述降维特征向量输入至第一任务分类器，得到第一分类预测结果；将所述降维特征向...

【专利技术属性】
技术研发人员：张旭龙，王健宗，程宁，朱可欣，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：