情绪识别方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及一种情绪识别方法，包括：获取语音数据中的第一文本特征及对应的第一频率倒谱特征和声纹特征；将第一文本特征和第一频率倒谱特征进行交叉注意力融合，得到第二文本特征和第二频率倒谱特征；将第二频率倒谱特征和声纹特征编码，得到第一音频编码特征和第二音频编码特征；将第一文本特征和第二文本特征编码，得到第一文本编码特征和第二文本编码特征；将第一音频编码特征和第一文本编码特征多头注意力融合后得到第一融合特征；将第一融合特征根据动态路由算法得到第二融合特征；根据第二融合特征、第二文本编码特征和第二音频编码特征得到情绪识别结果。该方法能够充分利用语音数据所对应的文本特征和语音特征，实现高精度的情绪识别。精度的情绪识别。精度的情绪识别。

【技术实现步骤摘要】
情绪识别方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，特别是涉及一种情绪识别方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能领域的迅速发展以及深度学习的助力，人机交互领域受到越来越多研究学者的重视。而情绪识别作为人机交互中一个重要的分支，也成为了当前的热点研究方向。目前，对情绪识别的研究大多集中在语音、面部表情、文本等单模态领域。语音作为人们交流最直接的手段，其中涵盖了丰富的情绪信息，人们情绪的变化可以通过语音特征体现出来。语音情绪识别正是将输入包含情绪信息的语音信号转化为可读的物理特征，并提取其中与情绪表达相关的语音特征，再构建情绪识别分类器进行测试和训练，最后输出情绪识别分类结果。然而，传统技术在对语音和文本进行融合时，融合方式较简单，导致情绪识别精度较低。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提高情绪识别精度的情绪识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0004]第一方面，本申请提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取语音数据，提取所述语音数据中的第一文本特征及对应的语音特征，所述语音特征包括第一频率倒谱特征和声纹特征；将所述第一文本特征和所述第一频率倒谱特征进行交叉注意力融合，得到第二文本特征和第二频率倒谱特征；将所述第二频率倒谱特征和所述声纹特征进行编码，得到第一音频编码特征和第二音频编码特征；将所述第一文本特征和所述第二文本特征进行编码，得到第一文本编码特征和第二文本编码特征；将所述第一音频编码特征和所述第一文本编码特征进行多头注意力融合后得到第一融合特征；根据动态路由算法将所述第一融合特征进行融合，得到第二融合特征；将所述第二融合特征、所述第二文本编码特征和所述第二音频编码特征进行拼接，得到拼接结果，对所述拼接结果进行分类识别得到情绪识别结果。2.根据权利要求1所述的方法，其特征在于，所述将所述第一文本特征和所述第一频率倒谱特征进行交叉注意力融合，得到第二文本特征和第二频率倒谱特征，包括：计算所述第一文本特征相对于所述第一频率倒谱特征的第一注意力权重，以及所述第一频率倒谱特征相对于所述第一文本特征的第二注意力权重；根据所述第一注意力权重和所述第一频率倒谱特征，确定所述第二文本特征；根据所述第二注意力权重和所述第一文本特征，确定所述第二频率倒谱特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一注意力权重和所述第一频率倒谱特征，确定所述第二文本特征，包括：将所述第一注意力权重和所述第一频率倒谱特征的乘积作为所述第二文本特征；所述根据所述第二注意力权重和所述第一文本特征，确定所述第二频率倒谱特征，包括：将所述第二注意力权重和所述第一文本特征的乘积作为所述第二频率倒谱特征。4.根据权利要求1所述的方法，其特征在于，所述将所述第二频率倒谱特征和所述声纹特征进行编码，得到第一音频编码特征和第二音频编码特征，包括：将所述第二频率倒谱特征经过卷积和池化处理，得到第一结果；将所述第一结果的标准差、最大值和平均值与所述声纹特征进行拼接，得到第二结果，将所述第二结果进行池化处理，得到所述第一音频编码特征；将所述第一音频编码特征进行降维处理，得到所述第二音频编码特征。5.根据权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：张文泽，文博，刘云峰，
申请(专利权)人：深圳追一科技有限公司，
类型：发明
国别省市：